Quem avalia os nossos avaliadores?

Cada vez que surgem pessoas que acham que podem classificar a humanidade em “bons” e “maus” devemos nos lembrar do maniqueismo dos antigos westerns norte-americanos onde os índios eram os maus e as tropas dizimadoras do general Custer os bons. Os romanos, com uma fina percepção da realidade, já se perguntavam, nas palavras do poeta Juvenal, Quis custodiet ipsos custodes? Quem nos protegerá dos nossos protetores, em interpretação livre. Na Wikipedia podemos encontrar esta pequena explicação:

O problema essencial foi proposto por Platão em A República, sua obra sobre governo e moralidade. A sociedade perfeita como descrita por Sócrates depende de trabalhadores, escravos e comerciantes e da classe guardiã para proteger a cidade. A pergunta é feita a Sócrates, “Quem guardará os guardiões?” ou, “Quem irá nos proteger dos protetores?” a resposta de Platão para esta pergunta é que os guardiões irão se proteger deles mesmos. Nós devemos contar a eles uma “mentira carinhosa.” A mentira carinhosa lhes dirá que eles são melhores do que os que eles servem e é então, responsabilidades deles guardar e proteger aqueles que são menos do que eles mesmos. Nós instigaremos neles um desgosto por poder ou privilégio; eles irão mandar porque eles acham ser correto, não porque eles desejam.

Tudo isto voltou a minha lembrança lendo um artigo da Folha de São Paulo de 11 de abril de 2011 com o título “Quem ranqueia os rankings?”. Neste artigo há uma série de dados interessantes sobre estas classificações de Universidades. Por exemplo a USP varia da 19ª posição na lista Scimago para a 471ª posição na lista do Leiden. Estas classificações têm a pretensão de avaliar de forma global a qualidade das Universidades. Uma citação da Prof.ª Ellen Hazelkorn1 no texto da Folha é relevante para entendermos o assunto:

“Os rankings ajudam pais, estudantes e professores a enxergar melhor a universidade. mas eles não medem qualidade”.

Este é um ponto essencial pois estão nos impondo um campeonato dentro do modelo de competição destrutiva onde há um vencedor e, conforme eles dizem, o segundo colocado é o primeiro dos perdedores. Me irrita profundamente estes protetores que acham que visibilidade e influência econômica é o mesmo que qualidade. São Custers contra os Índios; vocês se lembram quando nenhuma criança queria ser índio e todas queriam ser mocinho? Ai nós contamos a mentira carinhosa de que eles são melhores e que devem e que é a sua responsabilidade cuidar de nós. Lembram-se dos conselhos do FMI? Liberalizem tudo, não controlem os bancos pois eles sabem o que é melhor para o mercado, acabem com o Estado as Enron são melhores e mais eficientes. Felizmente não seguimos – depois de passar por um sufoco seguindo – e estamos livres da dívida externa e sem crise. Estas avaliações de universidades me parecem vinho do mesmo pote. Contam tudo o que lhes interessa e que eles ganham por serem os guardiões. Nos nos perguntamos o motivo do Brasil não ter um Nobel de literatura, para não entrar em áreas científicas, será que um Jorge Amado, um Graciliano Ramos ou um Euclides da Cunha não o mereciam? Melhores do que muitas porcarias que ganharam o premio politicamente.

Para continuar o assunto vou citar três opiniões publicadas na Folha de São Paulo, 11 de Abril de 2011, pág. C6. A primeira é da Profa. Glades Tereza Felix, coordenadora do grupo de ensino superior da UFSM: “Estar em primeiro ou segundo lugar, principalmente para as universidades norte-americanas, significa [conseguir captar] dinheiro”. Isto explica o motivo dos autores dos USA praticamente só fazerem citações a seus colegas (um bom tema para um trabalho de conclusão: avaliar as relações de citações de pesquisadores de diferentes países). O prof. Marco Antônio Zago, pró-reitor de pesquisa da USP diz: “É preciso desmistificar estes rankings. Ensino superior não é um campenonato”. Finalmente a terceira de, Will Bare Hall, gerente do departamento de recrutamento de estudantes da London Schol of Economics and Political Scences de Londres: “A forma como são feitos, em geral, favorece as universidades maiores, com mais cursos, menos especializadas”.

As próprias avaliações estão sob fogo, olhem esta citação:

Thomson is also under fire …Thomson is also under fire from researchers who want greater transparency over how citation metrics are calculated and the data sets used. In a hard-hitting editorial published in Journal of Cell Biology in December, Mike Rossner, head of Rockefeller University Press, and colleagues say their analyses of databases supplied by Thomson yielded different values for metrics from those published by the company (M. Rossner et al. J. Cell Biol. 179, 1091–1092; 2007).

Uma análise do World Univerities Ranking do The Times diz:

A comparison between the institutions that do well in citations and those that perform well in peer review shows that this criterion tends to favour institutions in the US and, to a lesser extent, other English speaking countries. Researchers in countries such as France, Germany, Switzerland, Italy and Spain, and in Latin America and India, were either absent or performed poorly in terms of citations received.

Isto quer dizer que a sua qualidade é menor? É uma indicação de poder econômico? Ou uma indicação de popularidade? Tratei deste problema junto com o da publicação livre, que estão associados, em uma palestra na CAPES e repetida em Paris XIII onde tratei da enorme dificuldade das publicações livres serem aceitas por sua qualidade intrínseca e não por ser publicadas por grandes casas editoras. Chamo isto da síndrome ISI, que está matando não só as publicações nacionais como muitos eventos importantes para o intercâmbio mas, claro, não isi-ados. Ai você pode comprar um produto deles para saber se seu artigo é bom. Mais ou menos o que a Enron e sua auditora fizeram, a avaliação era: “é uma ótima companhia”…

Este ARTIGO do grupo de pesquisa da UFMG demonstra que, utilizando-se metodologia cientificamente correta e com suporte estatístico, os grupos de pesquisa em computação do Brasil são equivalentes aos bons grupos do exterior.

Conclusão: precisamos auditar estes avaliadores e classificadores de Universidades, em minha opinião continuam criando um modelo para privilegiar os grupos dos países centrais e nos manter com a ideia de sermos colônias. Economicamente já demonstramos nossa competência, porque eles devem ficar com a Presidência do FMI se estão quebrados? Porque não o Brasil ou a China? Porque continuamos a aceitar que estas Universidades centrais são de melhor qualidade? Está na hora de fazermos um estudo aprofundado dos índices utilizados e de seus componentes sociológicos. Esta não é uma tarefa só para estatísticos, computeiros ou outros da área das exatas, precisamos de um trabalho multidisciplinar com sociólogos, cientistas políticos e pessoal das exatas. Está na hora de demonstrar que estes modelos de avaliação tem um enorme componente ideológico. Não estou dizendo que é conspiração da CIA ou de assemelhados mas que as pessoas que os criam querem mostrar que seu modelo é o certo.