segunda-feira, 9 de setembro de 2013

RUF: um ano depois, o que mudou?

Hoje foi publicada a edição 2013 do Ranking Universitário da Folha, o RUF. Como no ano passado, não posso deixar de elogiar a iniciativa de termos um ranking independente das avaliações oficiais (apesar de considerá-las na sua receita no indicador Ensino) Brasil. Isso ocorre em muitos países e tem sido um indutor de uma busca por qualidade. Não se pode desprezar nesses países a importância dos rankings na escolha da instituição por parte dos estudantes. Ao contrário do Brasil, com raríssimas exceções o ensino superior público cobra taxas dos estudantes e há uma saudável competição por talento e por recursos. Isso fica explícito no caso da Forbes, que indica junto com o resultado de seu ranking o custo anual de estudar nas instituições. Com uma média próxima a US$ 60 mil por ano entre os Top 20, trata-se de um serviço com um custo que pode ser pesado para as famílias de classe média. Os americanos economizam um dinheiro durante toda a vida para garantir uma educação de qualidade a seus filhos.

No Brasil a Folha escolheu indicadores que me parecem bem adequados à realidade brasileira: Ensino, Pesquisa, Mercado, Inovação e Internacionalização. Esse último indicador foi aplicado pela primeira vez neste ano, seguindo as tendências mundiais de considerar internacionalização um elemento indispensável na formação com qualidade. Os indicadores escolhidos deixam claro que mais do que ser um ranking fortemente voltado para os resultados em pesquisa como o ARWU (que desencadeou em 2003 a febre mundial por rankings), o RUF busca ser a exemplo do US News e do Forbes um indicador para o estudante brasileiro: onde é melhor estudar?

Um ranking que se preza precisa ser minimamente estável, ou seja, não mudar radicalmente as posições de um ano para o outro. Nesse sentido, o RUF é bem coerente: Algumas top 20 mudaram um pouco de posição mas apenas uma não estava entre as top 20 do ano passado. Poucos rankings internacionais conseguem essa façanha.

Mas será que o RUF está avaliando consistentemente todos os indicadores? Uma rápida análise gráfica pode ajudar a responder a essa pergunta. Eu representei cada um dos parâmetros em função da colocação geral no ranking.

O indicador Pesquisa é o que tem a melhor correlação com a classificação geral. Isso é um pouco óbvio se levamos em consideração que pesquisa corresponde a 40% do ranking (menos que os 55% de 2012). A segunda melhor correlação é para o Ensino, que corresponde a 32% (era 20% em 2012). Metade das instituições não pontuaram em Inovação, mas mesmo assim a correlação é boa até a centésima colocação, e a partir daí fica tudo empatado. Mesmo valendo apenas 4%, é de se esperar que a inovação esteja nas instituições onde há pesquisa.  Pesquisa foi avaliada a partir do número de patentes depositadas no INPI, ou seja, devem ser resultado de atividades de pesquisa aplicada. Esse indicador é um pouco injusto com as instituições menores, dado que não foi ponderado pelo número de docentes. Que é melhor para o estudante? Estar numa instituição onde poucos professores de um universo extenso submetem patentes ou onde quase todos os poucos professores submetem patentes?
E aí aparecem os indicadores problemáticos: Mercado e Internacionalização. Já na versão anterior eu havia chamado atenção para a fragilidade do indicador Mercado: uma pesquisa de opinião feita junto a 1681 responsáveis pela área de recursos humanos de empresas que atuam na área dos 30 cursos de graduação avaliados pelo RUF. Como argumentei no ano passado, essa metodologia não pode trazer resultados confiáveis. Basta olhar o gráfico que mostra a total ausência de correlação entre a avaliação do Mercado e a classificação no ranking, mesmo com esse indicador valendo 18% do total. Mais que isso, aqui sim ocorrem instabilidades importantes: A Unicamp estava em 42 no ano passado pulou para 11 nesse ano. A UNESA saltou de 56 para 16 no mesmo período. É pouco provável que de um ano para o outro o mercado tenha mudado tanto. O problema não está no indicador mas na metodologia incrivelmente frágil que a Folha adotou. Por exemplo, a Forbes avalia esse indicador considerando o grau sucesso dos egressos em suas profissões escolhidas. Para isso ela avalia o salário médio dos  formados, o número de egressos em posições de direção em empresas selecionadas e em listas do tipo Who's Who (tenho dúvidas sobre essa última, já me pediram autorização para me colocar nela várias vezes...). De qualquer forma são indicadores de sucesso no mercado muito mais robustos do que perguntar para responsáveis por RH.  É mais importante formar o diretor de uma empresa ou ser lembrado pelo responsável por RH?

O novo indicador de Internacionalização padece de problemas similares (mas por razões distintas) e como consequência apresenta também baixa correlação com o resultado do RUF. Ele considerou as citações internacionais por docente (essencialmente um resultado de pesquisa de qualidade), as publicações em coautoria internacional (interessante, mas restrito às universidades que publicam e sujeito a efeitos do tamanho da instituição) e o percentual de docentes estrangeiros (esse é usado no mundo todo). Faltou o indicador mais importante e relevante para os estudantes, que é a presença de estudantes estrangeiros. Várias universidades estão há anos fazendo um esforço enorme para atrair estudantes estrangeiros em graduação e pós, mas isso foi ignorado pela Folha.  Da mesma forma, especialmente depois do Ciência sem Fronteiras, é importante considerar o percentual de estudantes da instituição em intercâmbio no exterior. Tendo participado de vários eventos de internacionalização do ensino superior nos últimos anos, tenho claro quais as universidades mais internacionalizadas do Brasil. Várias não figuram entre as Top 20 do RUF neste indicador.

A Folha tem dado uma atenção especial à qualificação e à internacionalização do ensino superior brasileiro, inclusive tendo proposto o RUF. É muito importante que ela preste atenção a detalhes que por menores que pareçam podem ter uma forte influência no resultado.

Dia 10 de setembro será divulgada a edição 2013/14 do QS World University Ranking, que tem um perfil muito similar ao RUF (Disclaimer: Sou membro do Advisory Board).

Vale a pena conferir o que aparecerá por lá e tentar entender as eventuais diferenças em relação ao RUF. Cada ranking tem suas qualidades e limitações. Não devemos considerá-los como verdades absolutas. Aliás, nada deve ser considerado dessa forma...

Nenhum comentário:

Creative Commons License
Os direitos de reprodução de Cultura Científica são regulados por uma Licença Creative Commons.