Todo ano é a mesma coisa. Sai o resultado do ENEM e os jornais e revistas brasileiros (e algumas vezes as autoridades também) correm para comemorar (ou lamentar) resultados que supostamente mostram como o ensino médio vem melhorando (ou piorando). A manchete esse ano é Resultado do Enem-2007 foi 40% melhor que em ano anterior. Em lugar disso deveria aparecer: Prova do Enem- 2007 foi 40% mais fácil que no ano anterior.
A ironia é que as escolas deveriam estar ensinando seus alunos a terem um pouco de espírito crítico, um dos ingredientes fundamentais da cultura científica.
Por maiores e mais eficazes que sejam os esforços das autoridades e educadores para melhorar a educação no Brasil, é pouco provável no período de apenas um ano o resultado acadêmico dos estudantes melhore em média 40%. O curioso é que poucos órgãos de imprensa parecem desconfiar que isso não é razoável.
As provas do ENEM, por mais bem elaboradas que possam ser, mudam o grau de dificuldade a cada ano. Elas envolvem questões diferentes, elaboradas por pessoas diferentes. Um mesmo estudante que resolva a prova em dois anos diferentes muito provavelmente obterá notas diferentes. Portanto é rigorosamente errado chegar a qualquer conclusão sobre a evolução da qualidade do ensino a partir da média do ENEM. Na verdade a média é muito mais sensível ao grau de dificuldade da prova.
É possível comparar como avança ou retrocede a educação em uma certa região, ou num determinado grupo de escolas (as públicas, por exemplo) em relação à média nacional ou local. Isso pode trazer informações valiosas para avaliar iniciativas e práticas de ensino. De qualquer forma, quando comparamos qualquer desempenho com a média nunca é possível saber, por exemplo, se as escolas públicas melhoraram ou se as escolas particulares pioraram. Para dificultar ainda mais a análise, no complexo universo da educação é muto difícil separar os resultados do processo educacional de variáveis interrelacionadas como nível sócio-econômico e acesso aos bens culturais.
É possível avaliar como evolui a qualidade do ensino como um todo?
Sim, e há diferentes estratégias para isso. Uma possibilidade é comparar medidas nacionais com outros países em provas internacionais como o PISA. Essa prova vem revelando que em média os estudantes das escolas de elite brasileiras são menos bem formados que a média dos piores de alguns países europeus.
Outra possibilidade é o que é feito em relação à educação básica no SAEB. Em todas as provas há questões-âncora que se repetem todos os anos. Os estudantes não sabem quais são essas questões. As médias obtidas nessas questões a cada ano são usadas para padronizar e comparar diferentes provas, estimando a evolução do sistema. Uma desvantagem desse método é que obviamente as questões das provas nunca podem ser divulgadas.
Entender os limites de um conjunto de dados e desconfiar de resultados que contrariam o bom senso são atitudes que acompanham a formação científica básica. Talvez eu esteja esperando demais de jornalistas formados em um país onde uma prática que propõe que quanto mais diluídos alguns princípios ativos mais eficazes eles ficam é considerada especialidade médica.
A ironia é que as escolas deveriam estar ensinando seus alunos a terem um pouco de espírito crítico, um dos ingredientes fundamentais da cultura científica.
Por maiores e mais eficazes que sejam os esforços das autoridades e educadores para melhorar a educação no Brasil, é pouco provável no período de apenas um ano o resultado acadêmico dos estudantes melhore em média 40%. O curioso é que poucos órgãos de imprensa parecem desconfiar que isso não é razoável.
As provas do ENEM, por mais bem elaboradas que possam ser, mudam o grau de dificuldade a cada ano. Elas envolvem questões diferentes, elaboradas por pessoas diferentes. Um mesmo estudante que resolva a prova em dois anos diferentes muito provavelmente obterá notas diferentes. Portanto é rigorosamente errado chegar a qualquer conclusão sobre a evolução da qualidade do ensino a partir da média do ENEM. Na verdade a média é muito mais sensível ao grau de dificuldade da prova.
É possível comparar como avança ou retrocede a educação em uma certa região, ou num determinado grupo de escolas (as públicas, por exemplo) em relação à média nacional ou local. Isso pode trazer informações valiosas para avaliar iniciativas e práticas de ensino. De qualquer forma, quando comparamos qualquer desempenho com a média nunca é possível saber, por exemplo, se as escolas públicas melhoraram ou se as escolas particulares pioraram. Para dificultar ainda mais a análise, no complexo universo da educação é muto difícil separar os resultados do processo educacional de variáveis interrelacionadas como nível sócio-econômico e acesso aos bens culturais.
É possível avaliar como evolui a qualidade do ensino como um todo?
Sim, e há diferentes estratégias para isso. Uma possibilidade é comparar medidas nacionais com outros países em provas internacionais como o PISA. Essa prova vem revelando que em média os estudantes das escolas de elite brasileiras são menos bem formados que a média dos piores de alguns países europeus.
Outra possibilidade é o que é feito em relação à educação básica no SAEB. Em todas as provas há questões-âncora que se repetem todos os anos. Os estudantes não sabem quais são essas questões. As médias obtidas nessas questões a cada ano são usadas para padronizar e comparar diferentes provas, estimando a evolução do sistema. Uma desvantagem desse método é que obviamente as questões das provas nunca podem ser divulgadas.
Entender os limites de um conjunto de dados e desconfiar de resultados que contrariam o bom senso são atitudes que acompanham a formação científica básica. Talvez eu esteja esperando demais de jornalistas formados em um país onde uma prática que propõe que quanto mais diluídos alguns princípios ativos mais eficazes eles ficam é considerada especialidade médica.
Comentários
Eu, acredito mais na utilidade dos resultados da prova do SAEB do que das provas do ENEM...
Basicamente, porque a prova do SAEB avalia saberes básicos que devem ser dominados para que uma pessoa possa aprender outras coisas...
A prova do ENEM ainda trás muito do ranço propedeutico...(saber mais coisas é melhor!)
Estou começando a achar que a capacidade de aprender é mais importante do que saber muitas coisas...
Numa sociedade que muda rápido e gera muita informação(conhecimento?) isto pode ser mais importante...
PS: Descobri seu blogue, via blogue do Prof. Samuel!
Independente do que pensem,os sobre o ENEM e o SAEB, já seria um bom começo se de alguma forma fosse possível avaliar se os estudantes saem da escola com alguma cultura científica...