domingo, 6 de abril de 2008

Milagre! Resultado do ENEM 2007 foi 40% melhor que em ano anterior!

Todo ano é a mesma coisa. Sai o resultado do ENEM e os jornais e revistas brasileiros (e algumas vezes as autoridades também) correm para comemorar (ou lamentar) resultados que supostamente mostram como o ensino médio vem melhorando (ou piorando). A manchete esse ano é Resultado do Enem-2007 foi 40% melhor que em ano anterior. Em lugar disso deveria aparecer: Prova do Enem- 2007 foi 40% mais fácil que no ano anterior.
A ironia é que as escolas deveriam estar ensinando seus alunos a terem um pouco de espírito crítico, um dos ingredientes fundamentais da cultura científica.
Por maiores e mais eficazes que sejam os esforços das autoridades e educadores para melhorar a educação no Brasil, é pouco provável no período de apenas um ano o resultado acadêmico dos estudantes melhore em média 40%. O curioso é que poucos órgãos de imprensa parecem desconfiar que isso não é razoável.
As provas do ENEM, por mais bem elaboradas que possam ser, mudam o grau de dificuldade a cada ano. Elas envolvem questões diferentes, elaboradas por pessoas diferentes. Um mesmo estudante que resolva a prova em dois anos diferentes muito provavelmente obterá notas diferentes. Portanto é rigorosamente errado chegar a qualquer conclusão sobre a evolução da qualidade do ensino a partir da média do ENEM. Na verdade a média é muito mais sensível ao grau de dificuldade da prova.

É possível comparar como avança ou retrocede a educação em uma certa região, ou num determinado grupo de escolas (as públicas, por exemplo) em relação à média nacional ou local. Isso pode trazer informações valiosas para avaliar iniciativas e práticas de ensino. De qualquer forma, quando comparamos qualquer desempenho com a média nunca é possível saber, por exemplo, se as escolas públicas melhoraram ou se as escolas particulares pioraram. Para dificultar ainda mais a análise, no complexo universo da educação é muto difícil separar os resultados do processo educacional de variáveis interrelacionadas como nível sócio-econômico e acesso aos bens culturais.

É possível avaliar como evolui a qualidade do ensino como um todo?
Sim, e há diferentes estratégias para isso. Uma possibilidade é comparar medidas nacionais com outros países em provas internacionais como o PISA. Essa prova vem revelando que em média os estudantes das escolas de elite brasileiras são menos bem formados que a média dos piores de alguns países europeus.
Outra possibilidade é o que é feito em relação à educação básica no SAEB. Em todas as provas há questões-âncora que se repetem todos os anos. Os estudantes não sabem quais são essas questões. As médias obtidas nessas questões a cada ano são usadas para padronizar e comparar diferentes provas, estimando a evolução do sistema. Uma desvantagem desse método é que obviamente as questões das provas nunca podem ser divulgadas.

Entender os limites de um conjunto de dados e desconfiar de resultados que contrariam o bom senso são atitudes que acompanham a formação científica básica. Talvez eu esteja esperando demais de jornalistas formados em um país onde uma prática que propõe que quanto mais diluídos alguns princípios ativos mais eficazes eles ficam é considerada especialidade médica.

3 comentários:

Sergio F. Lima disse...

Nossa, outro dia discutiamos isto numa lista do discussão... não necessariamente esta sua análise, que me pareceu original e supreendentemente óbvia (óbvia depois que se lê, que fique bem claro!).

Eu, acredito mais na utilidade dos resultados da prova do SAEB do que das provas do ENEM...

Basicamente, porque a prova do SAEB avalia saberes básicos que devem ser dominados para que uma pessoa possa aprender outras coisas...

A prova do ENEM ainda trás muito do ranço propedeutico...(saber mais coisas é melhor!)

Estou começando a achar que a capacidade de aprender é mais importante do que saber muitas coisas...

Numa sociedade que muda rápido e gera muita informação(conhecimento?) isto pode ser mais importante...

PS: Descobri seu blogue, via blogue do Prof. Samuel!

Leandro R. Tessler disse...

Obrigado, Sérgio.
Independente do que pensem,os sobre o ENEM e o SAEB, já seria um bom começo se de alguma forma fosse possível avaliar se os estudantes saem da escola com alguma cultura científica...

P. Rocha disse...

O resultado do ENEM para as escolas de Belo Horizonte pode ser visto em www.resultadoenem.com.br

Creative Commons License
Os direitos de reprodução de Cultura Científica são regulados por uma Licença Creative Commons.