Milagre! Resultado do ENEM 2007 foi 40% melhor que em ano anterior!

Todo ano é a mesma coisa. Sai o resultado do ENEM e os jornais e revistas brasileiros (e algumas vezes as autoridades também) correm para comemorar (ou lamentar) resultados que supostamente mostram como o ensino médio vem melhorando (ou piorando). A manchete esse ano é Resultado do Enem-2007 foi 40% melhor que em ano anterior. Em lugar disso deveria aparecer: Prova do Enem- 2007 foi 40% mais fácil que no ano anterior.
A ironia é que as escolas deveriam estar ensinando seus alunos a terem um pouco de espírito crítico, um dos ingredientes fundamentais da cultura científica.
Por maiores e mais eficazes que sejam os esforços das autoridades e educadores para melhorar a educação no Brasil, é pouco provável no período de apenas um ano o resultado acadêmico dos estudantes melhore em média 40%. O curioso é que poucos órgãos de imprensa parecem desconfiar que isso não é razoável.
As provas do ENEM, por mais bem elaboradas que possam ser, mudam o grau de dificuldade a cada ano. Elas envolvem questões diferentes, elaboradas por pessoas diferentes. Um mesmo estudante que resolva a prova em dois anos diferentes muito provavelmente obterá notas diferentes. Portanto é rigorosamente errado chegar a qualquer conclusão sobre a evolução da qualidade do ensino a partir da média do ENEM. Na verdade a média é muito mais sensível ao grau de dificuldade da prova.

É possível comparar como avança ou retrocede a educação em uma certa região, ou num determinado grupo de escolas (as públicas, por exemplo) em relação à média nacional ou local. Isso pode trazer informações valiosas para avaliar iniciativas e práticas de ensino. De qualquer forma, quando comparamos qualquer desempenho com a média nunca é possível saber, por exemplo, se as escolas públicas melhoraram ou se as escolas particulares pioraram. Para dificultar ainda mais a análise, no complexo universo da educação é muto difícil separar os resultados do processo educacional de variáveis interrelacionadas como nível sócio-econômico e acesso aos bens culturais.

É possível avaliar como evolui a qualidade do ensino como um todo?
Sim, e há diferentes estratégias para isso. Uma possibilidade é comparar medidas nacionais com outros países em provas internacionais como o PISA. Essa prova vem revelando que em média os estudantes das escolas de elite brasileiras são menos bem formados que a média dos piores de alguns países europeus.
Outra possibilidade é o que é feito em relação à educação básica no SAEB. Em todas as provas há questões-âncora que se repetem todos os anos. Os estudantes não sabem quais são essas questões. As médias obtidas nessas questões a cada ano são usadas para padronizar e comparar diferentes provas, estimando a evolução do sistema. Uma desvantagem desse método é que obviamente as questões das provas nunca podem ser divulgadas.

Entender os limites de um conjunto de dados e desconfiar de resultados que contrariam o bom senso são atitudes que acompanham a formação científica básica. Talvez eu esteja esperando demais de jornalistas formados em um país onde uma prática que propõe que quanto mais diluídos alguns princípios ativos mais eficazes eles ficam é considerada especialidade médica.

Comentários

Anônimo disse…
Nossa, outro dia discutiamos isto numa lista do discussão... não necessariamente esta sua análise, que me pareceu original e supreendentemente óbvia (óbvia depois que se lê, que fique bem claro!).

Eu, acredito mais na utilidade dos resultados da prova do SAEB do que das provas do ENEM...

Basicamente, porque a prova do SAEB avalia saberes básicos que devem ser dominados para que uma pessoa possa aprender outras coisas...

A prova do ENEM ainda trás muito do ranço propedeutico...(saber mais coisas é melhor!)

Estou começando a achar que a capacidade de aprender é mais importante do que saber muitas coisas...

Numa sociedade que muda rápido e gera muita informação(conhecimento?) isto pode ser mais importante...

PS: Descobri seu blogue, via blogue do Prof. Samuel!
Obrigado, Sérgio.
Independente do que pensem,os sobre o ENEM e o SAEB, já seria um bom começo se de alguma forma fosse possível avaliar se os estudantes saem da escola com alguma cultura científica...