Há uma máxima que aprendi com os computeiros quando ainda era estudante: GIGO: garbage in, garbage out ou Entra Lixo, Sai Lixo. É um trocadilho com FIFO (First In, First Out, ou Primeiro a entrar, Primeiro a sair), uma estratégia usada no gerenciamento de estruturas de dados. GIGO pode ser entendido como dados errados invariavelmente levam a conclusões equivocadas.
O universo acadêmico brasileiro começou a semana com uma notícia bomba: a divulgação do Ranking Universitário da Folha, o RUF. A exemplo do Times, que publica um dos mais respeitados rankings mundiais de universidades, a Folha de São Paulo decidiu fazer um ranking independente das avaliações oficiais feitas pelo INEP. Uma iniciativa desse tipo só merece elogios e tenho certeza que no futuro será uma referência fundamental. Até o Ministro da Educação, responsável pela avaliação oficial, elogiou a iniciativa. Rankings universitários consistem num assunto polêmico sobre o qual não quero me alongar agora (talvez no futuro...).
A exemplo de rankings internacionais, o RUF adotou uma mistura de parâmetros com pesos arbitrários mas bastante razoáveis para seu objetivo: 55% para um indicador de Pesquisa Acadêmica, 20% para Qualidade de Ensino, 20% para Avaliação do Mercado e 5% para Inovação. Com base nos parâmetros adotados, trata-se de um ranking voltado para orientar os estudantes na escolha de uma instituição, a exemplo do QS, Forbes e US News. No contexto brasileiro eu daria menos peso para a pesquisa, mas isso é uma questão de opinião pessoal.
Cada um dos parâmetros precisa ser medido ou estimado por uma metodologia própria. Os resultados são computados, pesados e tabelados. O resultado final está reproduzido na tabela abaixo:
Não há surpresas quanto às 10 primeiras colocadas: As 3 universidades públicas paulistas e mais 7 federais de reconhecida qualidade. No entanto, fiquei muito surpreso com a posição da Unicamp como 5a colocada. Em TODOS os rankings acadêmicos internacionais (ARWU, THE, QS, Scimago, US News), a Unicamp aprece em segundo lugar no Brasil, com exceção do de Leiden onde ela está em terceiro. Mesmo no Webometrics, que eu não considero um ranking acadêmico, ela está em terceiro.
Um resultado surpreendente como esse levou a uma análise detalhada: No RUF a Unicamp aparece em Primeiro lugar em Inovação, segundo lugar nos parâmetros Pesquisa Acadêmica e Avaliação do Ensino, e 42 em Avaliação do Mercado.
Como assim 42???? Não devemos esquecer que segundo Douglas Adams (e o Google) 42 é a resposta para a vida, o universo e tudo mais. Pena que não se saiba mais qual a pergunta...
Um resultado tão surpreendente exige uma explicação. De fato o RUF encontrou uma supremacia das universidades privadas na Avaliação do Mercado, ao contrário do esperado. O próprio RUF aponta a diferença entre a UNIP (9a segundo a Avaliação do Mercado) e a Unicamp (42a) . Segundo ele:
"O executivo valoriza a instituição que lhe oferece bons profissionais - em geral, eles saem de escolas do local de atuação da empresa. Podem ser até instituições de ensino superior sem papel relevante na pesquisa científica, mas que tenham fama de oferecer boa formação. O cientista, por outro lado, valoriza as que se destacam na produção em suas respectivas áreas, dependentemente da região do país."
Essa interpretação não é minimamente razoável, nem compatível com as leis do "mercado". A grande maioria dos jovens brasileiros busca no Ensino Superior uma garantia de emprego e bom salário. Se o "mercado" prefere os formados nas universidades privadas, por que a concorrência no vestibular das públicas é tão maior?
Sempre que uma medida dá um resultado muito surpreendente, os cientistas têm vários caminhos a tomar. Antes de divulgar alguma bobagem, que pode derrubar sua reputação para sempre, o responsável pelo resultado deve verificar a consistência. Por exemplo, verificar se algum outro laboratório encontrou resultado semelhante. No caso, não. Por exemplo, no relatório do QS a Unicamp aparece em segundo entre as brasileiras no geral e no parâmetro Employer Reputation, apesar de a metodologia usada não estar explícita. Ou seja, o dado do RUF é muito diferente do QS apenas nesse parâmetro.
Outra possibilidade é verificar a consistência entre o parâmetro medido e os demais parâmetros. Para isso é preciso fazer algumas considerações: No caso do "mercado", o que ele esperaria de um profissional? Por mais que imaginemos que o empresariado brasileiro seja pouco criativo e descompromissado com inovação ou pesquisa (não é!), certamente ele buscaria os profissionais educados onde a qualidade de ensino é mais alta. No entanto, entre as 40 primeiras segundo a Avaliação do Mercado 10 receberam ZERO em Avaliação do Ensino. É razoável supor que o "mercado" privilegie universidades com um ensino tão mal avaliado? Haveria uma máfia de responsáveis por recursos humanos que de propósito privilegiaria egressos de certas escolas, ainda que de qualidade inferior?
A resposta para essas questões está no relatório técnico que detalha a metodologia usada para estimar a Avaliação do Mercado. Como foi dito no início desse texto: GIGO: Entra lixo, sai lixo.
A metodologia usada para medir a Avaliação pelo Mercado é de uma ingenuidade incompatível sua pretensão de orientar políticas públicas. Foram entrevistados por telefone 1212 responsáveis por recursos humanos em empresas de diversas áreas. Os 20 cursos pesquisados estão no quadro abaixo. Cabe notar que a maior parte dos cursos está presente prioritariamente nas universidades privadas.
A Unicamp não oferece graduação em pelo menos 8 desses cursos. Nada mais óbvio que não seja lembrada. Aliás, assim como muitas das universidades públicas, que só detém 25% da matrícula em graduação.
Nenhuma das explicações oferecidas se sustenta, simplesmente porque a metodologia que foi usada para estimar a Avaliação do Mercado avalia a presença de profissionais em empresas, mas não como o "mercado" avalia os formados em cada instituição.
Isso poderia ser feito de outras maneiras, certamente mais trabalhosas, que alguns dos rankings internacionais usam: por exemplo, computar a empregabilidade dos formados, que salário médio eles obtém no início de carreira (isso sim dá uma boa idéia de como o "mercado percebe cada universidade), que tipo de cargo ocupam após alguns anos na empresa, etc.
É difícil acreditar que na experiente equipe que elaborou o RUF ninguém tenha se dado conta de que o indicador de Avaliação do Mercado tem algo de inconsistente. O blog Cidadania e Cultura do Fernando Nogueira Costa fez uma análise similar.
O raciocínio aqui exposto aplica-se também à UFSCar, uma das universidades mais concorridas do país e que não forma nas áreas privilegiadas pelo RUF. Se refazemos o ranking ignorando o parâmetro mal medido, ela pula de 17o para 10o lugar.
Só posso esperar que a Folha reconheça o erro e reveja seus métodos nas próximas edições do RUF.
Disclaimer: Potenciais conflitos de interesse: O autor é professor e assessor do Reitor da Unicamp, universidade que devido à metodologia utilizada foi classificada em 5o lugar pelo RUF, significativamente abaixo de sua real relevância no ensino superior brasileiro.
Atualização 8/9/2012: Dois textos sobre o assunto, em ordem cronológica:
Questionamentos ao “Ranking Universitário Folha”, do Dmitri Cerboncini Fernandes, de 3/9/2012.
Forrobodó Universitário: a polêmica do RUF, do Gene Reporter (Roberto Takata), de 8/9/2012.
O universo acadêmico brasileiro começou a semana com uma notícia bomba: a divulgação do Ranking Universitário da Folha, o RUF. A exemplo do Times, que publica um dos mais respeitados rankings mundiais de universidades, a Folha de São Paulo decidiu fazer um ranking independente das avaliações oficiais feitas pelo INEP. Uma iniciativa desse tipo só merece elogios e tenho certeza que no futuro será uma referência fundamental. Até o Ministro da Educação, responsável pela avaliação oficial, elogiou a iniciativa. Rankings universitários consistem num assunto polêmico sobre o qual não quero me alongar agora (talvez no futuro...).
A exemplo de rankings internacionais, o RUF adotou uma mistura de parâmetros com pesos arbitrários mas bastante razoáveis para seu objetivo: 55% para um indicador de Pesquisa Acadêmica, 20% para Qualidade de Ensino, 20% para Avaliação do Mercado e 5% para Inovação. Com base nos parâmetros adotados, trata-se de um ranking voltado para orientar os estudantes na escolha de uma instituição, a exemplo do QS, Forbes e US News. No contexto brasileiro eu daria menos peso para a pesquisa, mas isso é uma questão de opinião pessoal.
Cada um dos parâmetros precisa ser medido ou estimado por uma metodologia própria. Os resultados são computados, pesados e tabelados. O resultado final está reproduzido na tabela abaixo:
as 10 melhores universidades
| 1º | USP | SP |
| 2º | UFMG | MG |
| 3º | UFRJ | RJ |
| 4º | UFRGS | RS |
| 5º | Unicamp | SP |
| 6º | Unesp | SP |
| 7º | UFPR | PR |
| 8º | UnB | DF |
| 9º | UFSC | SC |
| 10º | UFPE | PE |
Não há surpresas quanto às 10 primeiras colocadas: As 3 universidades públicas paulistas e mais 7 federais de reconhecida qualidade. No entanto, fiquei muito surpreso com a posição da Unicamp como 5a colocada. Em TODOS os rankings acadêmicos internacionais (ARWU, THE, QS, Scimago, US News), a Unicamp aprece em segundo lugar no Brasil, com exceção do de Leiden onde ela está em terceiro. Mesmo no Webometrics, que eu não considero um ranking acadêmico, ela está em terceiro.
Um resultado surpreendente como esse levou a uma análise detalhada: No RUF a Unicamp aparece em Primeiro lugar em Inovação, segundo lugar nos parâmetros Pesquisa Acadêmica e Avaliação do Ensino, e 42 em Avaliação do Mercado.
Como assim 42???? Não devemos esquecer que segundo Douglas Adams (e o Google) 42 é a resposta para a vida, o universo e tudo mais. Pena que não se saiba mais qual a pergunta...
Um resultado tão surpreendente exige uma explicação. De fato o RUF encontrou uma supremacia das universidades privadas na Avaliação do Mercado, ao contrário do esperado. O próprio RUF aponta a diferença entre a UNIP (9a segundo a Avaliação do Mercado) e a Unicamp (42a) . Segundo ele:
"O executivo valoriza a instituição que lhe oferece bons profissionais - em geral, eles saem de escolas do local de atuação da empresa. Podem ser até instituições de ensino superior sem papel relevante na pesquisa científica, mas que tenham fama de oferecer boa formação. O cientista, por outro lado, valoriza as que se destacam na produção em suas respectivas áreas, dependentemente da região do país."
Essa interpretação não é minimamente razoável, nem compatível com as leis do "mercado". A grande maioria dos jovens brasileiros busca no Ensino Superior uma garantia de emprego e bom salário. Se o "mercado" prefere os formados nas universidades privadas, por que a concorrência no vestibular das públicas é tão maior?
Sempre que uma medida dá um resultado muito surpreendente, os cientistas têm vários caminhos a tomar. Antes de divulgar alguma bobagem, que pode derrubar sua reputação para sempre, o responsável pelo resultado deve verificar a consistência. Por exemplo, verificar se algum outro laboratório encontrou resultado semelhante. No caso, não. Por exemplo, no relatório do QS a Unicamp aparece em segundo entre as brasileiras no geral e no parâmetro Employer Reputation, apesar de a metodologia usada não estar explícita. Ou seja, o dado do RUF é muito diferente do QS apenas nesse parâmetro.
A resposta para essas questões está no relatório técnico que detalha a metodologia usada para estimar a Avaliação do Mercado. Como foi dito no início desse texto: GIGO: Entra lixo, sai lixo.
A metodologia usada para medir a Avaliação pelo Mercado é de uma ingenuidade incompatível sua pretensão de orientar políticas públicas. Foram entrevistados por telefone 1212 responsáveis por recursos humanos em empresas de diversas áreas. Os 20 cursos pesquisados estão no quadro abaixo. Cabe notar que a maior parte dos cursos está presente prioritariamente nas universidades privadas.
Nenhuma das explicações oferecidas se sustenta, simplesmente porque a metodologia que foi usada para estimar a Avaliação do Mercado avalia a presença de profissionais em empresas, mas não como o "mercado" avalia os formados em cada instituição.
Isso poderia ser feito de outras maneiras, certamente mais trabalhosas, que alguns dos rankings internacionais usam: por exemplo, computar a empregabilidade dos formados, que salário médio eles obtém no início de carreira (isso sim dá uma boa idéia de como o "mercado percebe cada universidade), que tipo de cargo ocupam após alguns anos na empresa, etc.
É difícil acreditar que na experiente equipe que elaborou o RUF ninguém tenha se dado conta de que o indicador de Avaliação do Mercado tem algo de inconsistente. O blog Cidadania e Cultura do Fernando Nogueira Costa fez uma análise similar.
O raciocínio aqui exposto aplica-se também à UFSCar, uma das universidades mais concorridas do país e que não forma nas áreas privilegiadas pelo RUF. Se refazemos o ranking ignorando o parâmetro mal medido, ela pula de 17o para 10o lugar.
Só posso esperar que a Folha reconheça o erro e reveja seus métodos nas próximas edições do RUF.
Disclaimer: Potenciais conflitos de interesse: O autor é professor e assessor do Reitor da Unicamp, universidade que devido à metodologia utilizada foi classificada em 5o lugar pelo RUF, significativamente abaixo de sua real relevância no ensino superior brasileiro.
Atualização 8/9/2012: Dois textos sobre o assunto, em ordem cronológica:
Questionamentos ao “Ranking Universitário Folha”, do Dmitri Cerboncini Fernandes, de 3/9/2012.
Forrobodó Universitário: a polêmica do RUF, do Gene Reporter (Roberto Takata), de 8/9/2012.
Comentários
Rafael G. Tavares