Avaliação da CAPES, Vestibular e QUALIS

Logo da CAPESEstava pensando sobre a avaliação realizada pela CAPES dos programas de pós-graduação. Tenho escrito bastante sobre o assunto, afinal a pesquisa e o ensino em Computação é minha atividade essencial. Um dos textos publicados foi sobre Individualismo ou o QUALIS e a Avaliação onde me preocupava com o problema da utilização do QUALIS para avaliações de pessoas, o que é dito como uso inadequado pela CAPES. Mas agora estava pensando sobre o que acontece, então me surgiu a analogia com o vestibular. Este exame foi criado para selecionar os candidatos para a Universidade. Qual seu real objetivo? No início era evidente: avaliar o real conhecimento dos candidatos. Quando a competição começou a aumentar surgiram os cursinhos, segui um dos primeiros aqui em Porto Alegre. Como funcionavam estes cursinhos? Eram aulas ministradas por professores bem conhecidos no secundário ou mesmo nas universidades que ministravam aulas revisando e explicando os fundamentos e os conteúdos das disciplinas. Começavam com o primeiro ano do secundário, seguiam para o segundo e terceiro. Era de fato um condensado do secundário tirando as dúvidas e  procurando aumentar a compreensão dos candidatos. O exame vestibular era textual, com questões que deveriam ser respondidas com textos e cálculos, um verdadeiro exame. Ai surgiu um problema: com o aumento dos candidatos o modelo não escalava! O vestibular passou a ser composto por questões de cruzinha. Nesta época eu participava tanto da Comissão de Vestibular quanto do CPD da UFRGS, conheci bem o problema nos dois sistemas: fiz o vestibular com questões textuais e participei do processo do vestibular com múltiplas provas de escolha simples ou múltipla. Ai os cursinhos degeneraram, passaram a ser treinamentos sobre a melhor forma de responder as questões. O treinamento são verdadeiras gincanas. As aulas, de um ponto de vista tradicional, são sessões de teatro ou de circo. Certamente a qualidade do processo de seleção piorou, ou se degradou. 

 Com a avaliação dos programas de pós-graduação se passou o mesmo. Também participei de toda a evolução. No início era feita uma avaliação detalhada de cada programa, uma comissão visitava o programa, entrevistava professores e escolhia alunos ao acaso para entrevistas individuais. As bibliotecas, salas de aula, equipamentos eram analisados. Havia um julgamento. Ai houve um aumento gigantesco de cursos de pós-graduação (mais tarde farei uma análise comparativa com outros países) e o sistema, novamente, não escalava! Já vimos isto antes… Conclusão: é preciso achar uma forma de avaliar os programas sem gastar muito. Foi, então, criada a obsessão pela métrica das publicações. E ai surgiu a distorção. Em um texto anterior escrevi:

Há uns meses avaliei um artigo internacional e, como sempre faço, realizei uma busca na Web para encontrar as demais publicações do autor. Hoje existe uma enorme pressão para avaliar os pesquisadores por suas publicações e, muitas vezes, pela quantidade delas. Esta pressão leva muitas pessoas a uma atitude que chamo de “mass publication process” onde o mesmo conteúdo é maquiado para parecer diferente e é publicado várias vezes. Por isto um revisor responsável precisa verificar o grau de originalidade de um artigo antes de emitir um parecer conclusivo. Fiquei impressionado pela quantidade de publicações encontradas daquele autor nos últimos dois ou três anos! Analisando com mais cuidado descobri que em apenas uma conferência ele tinha 7 publicações registradas no DBLP, 6 em outra e 5 em uma terceira. Ao analisar os artigos deu para ver que, agregados os de cada conferência, dariam um  artigo adequado e denso. Como os artigos foram estrategicamente distribuídos para vários workshops associados e para a conferência principal acabaram sendo aceitos. Será que este pesquisador é melhor por ter 18 artigos nestas conferências, além de mais umas 12 variações sobre o mesmo tema, do que seria se tivesse publicado dois ou três artigos densos em vez de 30 pontuais tratando, maquiadamente, do mesmo assunto?

Uma justificativa foi que era preciso achar uma métrica objetiva para realizar a avaliação, isto é, fugir da responsabilidade do julgamento. Mas neste caso nenhuma métrica é objetiva, os dados escolhidos são subjetivos e ideológicos. Hoje há uma visão de que a única cois que vale são publicações. Agora me surgiu uma ideia: não seria melhor colocar uma montanha de dados para um algoritmo de ‘superhuman’ DeepMind AI e verificar os resultados? A menos que a resposta fosse 42… Como vemos há uma tendência a perdermos o foco de qualquer coisa e procurar a solução mais fácil e barata. Aliás, há a famosa frase sobre os caminhos:

“Entrai pela porta estreita, porque larga é a porta, e espaçoso, o caminho que conduz à perdição, e muitos são os que entram por ela; e porque estreita é a porta, e apertado, o caminho que leva à vida, e poucos há que a encontrem”.

É isto que realmente ocorre, achar a qualidade é essencial, achar um método que escala é fácil mas de menor qualidade. Esta qualidade desejada se consegue trabalhando em bons problemas e com grupos consistentes. A escolha destes problemas reais é essencial, a criação de grupos hierárquicos para trabalhar com estes problemas é essencial. Um assunto que precisa ser discutido é a diversidade cultural e de perfis de trabalho na pós-graduação. Atualmente está aceito que a diversidade nos grupos sociais e acadêmicos é um dos melhores fatores para aumentar a eficiência e a criatividade. Culturas, gêneros e opiniões diferentes favorecem o convívio e abrem novas possibilidades para o tratamento dos temas de trabalho. Pergunto: “Por que isto não acontece nas pós-graduações?”. O consenso é que só devem participar dos programas professores-pesquisadores com um número alto de publicações em journals com alto fator de impacto. Mas um grupo criativo é algo bem diferente. Os coordenadores de programas de pós-graduação expurgam ótimos professores (que poderiam ministrar ótimas aulas) para aumentar os índices CAPES. Isto é uma exclusão. Aqueles que são dotados para a implementação também são excluídos, sobram apenas os publicadores. Com este comportamento perdemos muitas pessoas que seriam importantes para a formação de nossos alunos e para o desenvolvimento dos projetos. Isto sem contar com a criatividade oriunda da diversidade de perfis. O ponto central não é a qualidade e criatividade do grupo, mas sua adequação à bibliometria avaliativa. Se quisermos qualidade real será preciso uma profunda mudança em nossos critérios.

Resumindo: precisamos de bons problemas, grupos com diversidade e qualidade, hierarquia na pesquisa e avaliação por julgamento. Mas como este dito anônimo retrata:

As Universidades e os cemitérios são refratários às mudanças, os que ali estão não querem se mover.

A parte disto considero que estamos dando a mensagem errada para os jovens, tanto alunos quanto pesquisadores. O importante não é a contagem de artigos, mas a pesquisa de qualidade. Entendo que dependemos do dinheiro da CAPES e que devemos nos preocupar com a avaliação, é o caso de fazer o que quem paga quer (não vou considerar profissões assim…). Mas a avaliação deveria ser consequência de uma boa pesquisa e não obtida por regras.

 

CNPq cria modalidade de Doutorado Acadêmico Industrial

CNPq

A proposta é que o doutorando precisa, além de produção científica e defesa da tese, gerar no final um produto que possa ser aplicado no setor produtivo. Nas atividades de pré-doutorado um projeto deverá ser elaborado em colaboração com o setor industrial

Uma iniciativa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Universidade Federal do ABC (UFABC) vai favorecer estudantes que queiram desenvolver projetos de interesse do setor industrial: trata-se do Doutorado Acadêmico Industrial.

O Doutorado Acadêmico industrial é uma modalidade de ingresso nos cursos de doutorado existentes na UFABC. Nestes, os alunos desenvolverão suas pesquisas concomitantemente em laboratórios e centros de pesquisa de empresas e indústrias privadas ou públicas.

A proposta é que o doutorando precisa, além de produção científica e defesa da tese, gerar no final um produto que possa ser aplicado no setor produtivo. Nas atividades de pré-doutorado um projeto deverá ser elaborado em colaboração com o setor industrial.

O aluno será matriculado em um dos programas de pós-graduação da UFABC, onde desenvolverá sua tese como aluno regular desse programa, tendo sua orientação compartilhada entre um orientador acadêmico e um supervisor industrial.

Ao concluir o doutorado, o diploma gerado é idêntico ao dos alunos ingressantes pelos processos seletivos regulares dos programas de pós-graduação da universidade.

CNPq

O QUALIS não deve ser usado para a avaliação de pesquisadores – a solução

 

 CAPESA CAPES vem afirmando continuamente através de seus representantes que o QUALIS deve ser usado exclusivamente para a avaliação de programas de pós-graduação, não para a avaliação individual de pesquisadores. Mas os programas de pós-graduação, avaliados pela CAPES, continuam fazendo isto. O pior é que faculdades que sequer têm pesquisa usam este critério para a seleção de seus professores. Há, ainda, quem faz a alocação de espaço físico baseado em QUALIS de pesquisadores… Finalmente achei a solução!

É preciso a CAPES tenha a coragem de assumir a sua responsabilidade pois o QUALIS é sua produção e, portanto, ela tem o Direito Autoral sobre este produto. Vejam o seguinte texto do ECAD:

Direito autoral é um conjunto de prerrogativas conferidas por lei à pessoa física ou jurídica criadora da obra intelectual, para que ela possa gozar dos benefícios morais e patrimoniais resultantes da exploração de suas criações. O direito autoral está regulamentado pela Lei de Direitos Autorais (Lei 9.610/98) e protege as relações entre o criador e quem utiliza suas criações artísticas, literárias ou científicas, tais como textos, livros, pinturas, esculturas, músicas, fotografias etc. Os direitos autorais são divididos, para efeitos legais, em direitos morais e patrimoniais.

Os direitos morais asseguram a autoria da criação ao autor da obra intelectual, no caso de obras protegidas por direito de autor. Já os direitos patrimoniais são aqueles que se referem principalmente à utilização econômica da obra intelectual. É direito exclusivo do autor utilizar sua obra criativa da maneira que quiser, bem como permitir que terceiros a utilizem, total ou parcialmente.

Ao contrário dos direitos morais, que são intransferíveis e irrenunciáveis, os direitos patrimoniais podem ser transferidos ou cedidos a outras pessoas, às quais o autor concede direito de representação ou mesmo de utilização de suas criações. Caso a obra intelectual seja utilizada sem prévia autorização, o responsável pelo uso desautorizado estará violando normas de direito autoral, e sua conduta poderá gerar um processo judicial.

A obra intelectual não necessita estar registrada para ter seus direitos protegidos. O registro, no entanto, serve como início de prova da autoria e, em alguns casos, para demonstrar quem a declarou primeiro publicamente.

Texto completo no ECAD

Encontramos no site da CAPES, na area da Computação, o seguinte texto:

É importante observar que os critérios adotados pela Coordenação de Área para avaliação de publicações em periódicos e em anais de conferências destinam-se à análise de programas de pós-graduação e são inadequados para avaliação individual de pesquisadores.

A solução é simples: basta a CAPES proibir o uso de seu produto para outros usos que não a avaliação de programas de pós-graduação. Ela tem este direito pela lei. 

Frase a ser publicada:

“O QUALIS, propriedade intelectual da CAPES, destina-se exclusivamente à avaliação de programas de pós-graduação. Qualquer outra utilização como critério exclusivo de avaliação não é autorizada.”


 

Presidente da Capes defende debate amplo sobre o sistema de pós-graduação brasileira

CAPES Os desafios orçamentários atuais afetam o futuro da expansão da pesquisa acadêmica no país. Além disso, para Abílio Baeta Neves, as universidades precisam voltar a ser protagonistas na discussão sobre qual o sistema mais adequado para o avanço acadêmico

É inegável o papel estratégico da Capes para o sistema acadêmico brasileiro. A instituição é responsável pela concessão de aproximadamente 100 mil bolsas ao ano, além de avaliar a qualidade da oferta dos cursos de pós-graduação ofertados pelas universidades. Papel tão central no fomento à especialização coloca a Capes em uma posição privilegiada para mapear os desafios da especialização acadêmica. No primeiro painel da 69ª Reunião Anual da SBPC, “Os Desafios da Pós-Graduação”, esse olhar crítico sobre o presente e futuro da pós foi apresentado pelo presidente da Capes, Abílio Baeta Neves.

….

Mariana Mazza – especial para o Jornal da Ciência

Leia mais

Apresentação no CSBC 2017: Avaliação da qualidade de programas de pós-graduação

 

A comunidade tem perguntado sobre o caminho que estamos trilhando para construir uma pós-graduação de excelência. Encontramos opiniões divergentes, alguns acreditam que se obtém qualidade pelos altos níveis de exigência, outros por estimular o trabalho individual dos alunos. Uns pensam que a pós-graduação é uma forma de crescimento social e encaram os critérios altos como elitistas. Atualmente alguns programas de PG estão reduzindo o número de créditos com o racional que o importante é o trabalho de dissertação ou de tese. Há, ainda, a discussão sobre se vale a pena o investimento no mestrado e se o doutorado deve ser o fim último da PG, sendo o mestrado algo considerado como um prêmio de consolação para quem não consegue obter o doutorado. Certamente estamos em um período turbulento, onde poucas certezas existem. As perguntas que não querem calar são: Teremos realmente universidades de primeira linha? O que é uma universidade primeira linha? É uma universidade com prêmios Nobel? É uma universidade para onde os pesquisadores top querem trabalhar em seus sabáticos? É uma Universidade para onde os melhores alunos do mundo aplicam como forma de ter seu futuro assegurado? Este é o tema central da Avaliação da Qualidade tratada neste texto: Como avaliar a qualidade de um programa de pós-graduação, que critérios devem ser utilizados? 

2017 CSBC Avaliação

 

 

As Universidades se esqueceram que são IES – Instituições de Ensino Superior

UniversidadeHoje as Universidades avaliam seus professores quase que exclusivamente por suas atividades de pesquisa e por suas publicações. Tenho escrito sobre a avaliação na pós-graduação, mas agora vou começar a tratar um pouco da avaliação dos professores na graduação e na missão das Universidades. Acredito que a atual forma de avaliação é uma decorrência do modelo de Universidade Humboldtiana, mas isto fica para um próximo texto.

É preciso entender o que é uma Universidade. Há bastante tempo publiquei uma crônica sobre “Deem Tempo para a Universidade Pensar ou os modelos de Universidade” onde já tratava do assunto. Recentemente voltei ao mesmo assunto, mas o tema é recorrente. Vou copiar parte daquele texto.

A university is an institution of higher education and research, which grants academic degrees at all levels (bachelor, master, and doctorate) in a variety of subjects. … The word university is derived from the Latin Universitas Magistrorum et Scholarium, roughly meaning “community of masters and scholars“.Wikipedia

[A Universidade é uma instituição de ensino superior e de pesquisa que concede graus acadêmicos em todos os níveis (graduação, mestrado e doutorado) em uma gama de temas. … A palavra universidade é derivada do latim Universitas Magistrorum et Scholarium, que significa “comunidade de mestres e acadêmicos”.]

O cientista Carl Sagan (falecido), para os obcecados por bibliometria anexo ao final seus dados, escreve em seu livro “O Mundo Assombrado pelos Demônios” onde trata da ciência e das crendices e pseudo-ciência escreve:

Na Universidade de Chicago, também tive a sorte de participar de um programa de educação geral planejado por Robert M. Hutchins, em que a ciência era apresentada como parte integrante da magnífica tapeçaria do conhecimento humano. Considerava-se impensável que alguém desejasse ser físico sem conhecer Platão, Aristóteles, Bach, Shakespeare, Gibbon, Malinowski e Freud _ entre muitos outros. Numa aula de introdução à ciência, a visão de Ptolomeu de que o Sol gira ao redor da Terra era apresentada de forma tão convincente que alguns estudantes se flagravam reavaliando seu compromisso com a teoria de Copérnico. No currículo de Hutchins, o status dos professores não tinha quase nada a ver com a sua pesquisa; inflexivelmente ao contrario do padrão moderno da universidade norte-americana , os professores eram avaliados pelo seu ensino, pela sua capacidade de informar e inspirar a próxima geração. Nessa atmosfera inebriante, consegui preencher algumas das muitas lacunas na minha educação. Grande parte daquilo que era profunda- mente misterioso, e não apenas na ciência, tornou-se mais claro. E também testemunhei em primeira mão a alegria que sentem aqueles que têm o privilégio de revelar um pouco do funcionamento do Universo. Sempre fui grato aos meus mentores dos anos 50, e tentei me certificar de que cada um deles soubesse do meu apreço. (ISBN 85-7164-606-6, P. 15)

Esta é uma indicação clara entre um pesquisador e um Cientista. As nossas Universidades se esqueceram que são Instituições de Ensino e que a pesquisa é uma forma de qualificar seu Ensino. Certamente em tópicos precisos, fundamentais ou tecnológicos podemos gerar contribuições excelentes, mas somos Professores. Um assunto para meditação.

Em um artigo na Folha de São Paulo Adalberto Fazzio e Sidney Jard Da Silva sobre a “Universidade do Século 21” aparece esta citação de Max Weber:

No início do século passado, o renomado sociólogo alemão Max Weber observou que somente por acaso se poderia encontrar em um mesmo homem as vocações de cientista e professor. Apenas em situações fortuitas teríamos a felicidade de entrarmos em uma sala de aula e depararmos com o acadêmico igualmente “vocacionado” para o ensino e para a pesquisa”.

Eu havia tratado deste assunto em um texto de 2010 “Carreiras nas Universidades“, acho que está na hora de rediscutirmo o tema.

Afinal qual é a missão de uma Universidade? Tentem esta consulta no Google sobre sua Universidade preferida: “missão <nome da universidade>”, verão que muitas não apresentam claramente sua missão. Listo, a seguir três que encontrei:

UFMG

Gerar e difundir conhecimentos científicos, tecnológicos e culturais, destacando-se como instituição de referência nacional, formando  indivíduos críticos e éticos, com uma sólida base científica e humanística, comprometidos com  intervenções transformadoras na sociedade e com o desenvolvimento socioeconômico regional e nacional.

PUC Rio

A Pontifícia Universidade Católica do Rio de Janeiro é uma instituição comunitária de Educação Superior, de acordo com Portaria 679, de 12/11/2014, da Secretaria de Regulação e Supervisão da Educação Superior, filantrópica e sem fins lucrativos, que visa produzir e propagar o saber a partir das atividades de ensino, pesquisa e extensão, tendo por base o pluralismo e debates democráticos, objetivando, sobretudo, a reflexão, o crescimento e enriquecimento da sociedade.

Missão da UFSCar

Missão da UFSCar: Produzir e tornar acessível o conhecimento. Como afirmado no PDI (2005) – PDI apresentado segundo o formato SPIEnS/MEC para o período de 5 anos – não é incomum confundir-se a missão da universidade pública com as suas atividades-fim: o ensino, a pesquisa e a extensão. São estas três atividades que, de forma indissociada, dão concretude à missão da universidade de produzir e tornar acessível o conhecimento. Nesta conceituação sintética o tornar acessível envolve tanto a formação dos alunos como a interação com os diferentes segmentos da sociedade para o compartilhamento e (re)construção do conhecimento.

Afinal parece que a real missão é a formação de alunos sendo que a interação humboldtiana da pesquisa com o ensino tem por objetivo a Formação de Recursos Humanos. Grande parte de nossa crise como nação é esta falta de formação em grande escala de recursos humanos de alta qualidade. Será que esquecemos da nossa missão?


Query Source Papers Citations Cites_Year Cites_Paper h_index g_index
Carl Sagan Google Scholar 987 26420 184.76 26.77 72 152

A Mente Organizada {Daniel J. Levitin} 2014

 


Capa de A Mente Organizada

Poderia a boa e velha organização ser o segredo fundamental para se navegar no mar de informações do mundo moderno? Enquanto notícias, textos, contas e aplicativos invadem nosso cotidiano, espera-se que tomemos rapidamente decisões cada vez maiores. Em capítulos instigantes sobre temas que vão desde a gaveta bagunçada da cozinha até cuidados com a saúde, David Levitin apresenta avanços recentes nos estudos sobre o cérebro e mostra métodos que podemos aplicar no dia a dia para adquirir uma sensação de controle sobre a maneira como organizamos nossos lares, nossos ambientes de trabalho e nossas vidas. Google

Este livro é uma leitura obrigatória para todos os que trabalham e vivem no  mundo moderno hiper-ligado. Aconselho principalmente para os estudantes de mestrado e doutorado, o autor é um neurocientista com h-index de 43. O livro trata da necessidade de organização mental para tratar o fluxo gigantesco de informação atualmente disponível. A parte inicial discute a classificação e identificação de conceitos, é uma contribuição muito importante para entender os conceitos de Modelagem Conceitual e Ontologias. A seguir analisa formas de comportamento e sua correspondência com funções cerebrais. Uma parte importante é a apresentação clara da necessidade de termos um espírito crítico e como transmitir isto para nosso filhos. O livro orienta a forma de nos organizarmos, não como banal auto-ajuda mas de uma forma cientificamente embasada. O livro é auto-contido , mas um conhecimento básico de fisiologia torna a sua leitura muito mais produtiva. Mesmo sem este conhecimento a aplicação na vida real dos conhecimentos adquiridos com esta leitura fará uma grande diferença em sua produtividade.