Visibilidade da pesquisa

Fui convidado para apresentar uma palestra e participar de uma mesa redonda no VIII Workshop do Programa de Pós-graduação em Ciência da Computação da UNESP Em Presidente Prudente-SP. O evento foi muito produtivo gerando discussões interessantes sobre a visibilidade da pós-graduação. Procurei apresentar minha visão sobre a visibilidade da Pesquisa: hoje perdemos a visibilidade por parte da população, estamos demasiadamente preocupados em mostrar nossa produção em termos do Índice Restrito da CAPES. Vocês acham que a população, que nos paga as pesquisas, sabe o que é isso? O mundo mudou, redes sociais são essenciais para a divulgação de nosso trabalho. Precisamos mostrar a importância social do que fazemos de forma que seja possível a sua compreensão pelo público geral. A partir disso é possível relacionar a parte científica com as pesquisas desenvolvidas. As publicações são a consequência de uma pesquisa de qualidade, não o resultado da pesquisa. Então resolvi compartilhar a apresentação para meditação dos colegas da CC.

visibilidade

A qualidade não é da publicação mas da pesquisa – Conferências x Periódicos na ACM

O Prof.Celso Alberto Saibel Santos do Departamento de Informática da Universidade Federal do Espírito Santo acabou de postar na lista da SBC um comentário sobre a discussão de publicar em conferências ou periódicos (journals). A séria ACM criou um “jeitinho brasileiro” para que a contagem de pontos seja adequada. Eu acho que isso é um subterfúgio, o certo é lutar pela análise da qualidade do trabalho e não sobre a forma de publicação. Os critérios definidos no texto da ACM seria uma forma de qualificar a conferência como de qualidade igual a de um periódico, ponto. A solução foi criar um periódico fantasma para fins bibliométricos…


Introducing Proceedings of the ACM

What is PACM?

Proceedings of the ACM on X (PACM) is a new journal series with first issues planned for 2017. This series is suitable for those ACM SIG-sponsored conferences that adapt their review processes to be comparable to those of journals. It has been launched in recognition of the fact that conference-centric publishing disadvantages the CS community with respect to other scientific disciplines when competing with researchers from other disciplines for top science awards and career progression, and the fact that top ACM conferences have demonstrated high quality and high impact on the field.

Leia o artigo completo

Artigo: Como usar o h-index em grupos diferentes

AutoresRoberto Da Silva, Fahad Kalil, Jose Palazzo Moreira De Oliveira, Alexandre Souto Martinez
 
Physica A: Statistical Mechanics and its Applications, Volume 391, Edição 5, Páginas 2119-2128, Editora North-Holland  Artigo

 

Abstract

Many discussions have enlarged the literature in Bibliometrics since the Hirsch proposal, the so called h-index. Ranking papers according to their citations, this index quantifies a researcher only by its greatest possible number of papers that are cited at least h times. A closed formula for h-index distribution that can be applied for distinct databases is not yet known. In fact, to obtain such distribution, the knowledge of citation distribution of the authors and its specificities are required. Instead of dealing with researchers randomly chosen, here we address different groups based on distinct databases. The first group is composed of physicists and biologists, with data extracted from Institute of Scientific Information (ISI). The second group is composed of computer scientists, in which data were extracted from Google-Scholar system. In this paper, we obtain a general formula for the h-index probability …
 
 

Citações, h-index e fraude

Sempre lutei contra a utilização de um simples índice quantitativo para avaliar coisas sérias como a qualidade de um trabalho científico, de um programa de pós-graduação ou de um pesquisador. Certamente as citações são indicadores importantes, o mesmo vale para índices quantitativos como o famoso h-index e suas variações. Certamente a falta de compromisso em realizar uma avaliação real da qualidade de um trabalho, isto é: assumir a responsabilidade de julgar, leva a supervalorização destes índices. A situação chegou a tal ponto que, acreditem, foi criada uma rede criminosa de compra de citações. Leiam a mensagem que acabo de receber!

h-index e fraude

Let CiteScore™ metrics guide you to the right journals.

Don’t speculate — validate.

The CiteScore 2017 values are here! Establishing a new standard for measuring serial citation impact, CiteScore™ metrics are freely available for more than 23,350 titles — 12,000 more titles than the leading competitor.

Powered by Scopus, CiteScore metrics are a comprehensivecurrent, transparent and free set of metrics that measure serial citation impact over a 3-year period.

CiteScore metrics from Scopus are:

  • Comprehensive
  • Transparent
  • Current and free
Use this page to find a source and view associated metrics. Use qualitative as well as quantitative metrics when presenting your research impact. Always use more than one quantitative metric. Learn more about CiteScore.
Explore CiteScore 2017 metrics  >

Avaliação da CAPES, Vestibular e QUALIS

Logo da CAPESEstava pensando sobre a avaliação realizada pela CAPES dos programas de pós-graduação. Tenho escrito bastante sobre o assunto, afinal a pesquisa e o ensino em Computação é minha atividade essencial. Um dos textos publicados foi sobre Individualismo ou o QUALIS e a Avaliação onde me preocupava com o problema da utilização do QUALIS para avaliações de pessoas, o que é dito como uso inadequado pela CAPES. Mas agora estava pensando sobre o que acontece, então me surgiu a analogia com o vestibular. Este exame foi criado para selecionar os candidatos para a Universidade. Qual seu real objetivo? No início era evidente: avaliar o real conhecimento dos candidatos. Quando a competição começou a aumentar surgiram os cursinhos, segui um dos primeiros aqui em Porto Alegre. Como funcionavam estes cursinhos? Eram aulas ministradas por professores bem conhecidos no secundário ou mesmo nas universidades que ministravam aulas revisando e explicando os fundamentos e os conteúdos das disciplinas. Começavam com o primeiro ano do secundário, seguiam para o segundo e terceiro. Era de fato um condensado do secundário tirando as dúvidas e  procurando aumentar a compreensão dos candidatos. O exame vestibular era textual, com questões que deveriam ser respondidas com textos e cálculos, um verdadeiro exame. Ai surgiu um problema: com o aumento dos candidatos o modelo não escalava! O vestibular passou a ser composto por questões de cruzinha. Nesta época eu participava tanto da Comissão de Vestibular quanto do CPD da UFRGS, conheci bem o problema nos dois sistemas: fiz o vestibular com questões textuais e participei do processo do vestibular com múltiplas provas de escolha simples ou múltipla. Ai os cursinhos degeneraram, passaram a ser treinamentos sobre a melhor forma de responder as questões. O treinamento são verdadeiras gincanas. As aulas, de um ponto de vista tradicional, são sessões de teatro ou de circo. Certamente a qualidade do processo de seleção piorou, ou se degradou. 

 Com a avaliação dos programas de pós-graduação se passou o mesmo. Também participei de toda a evolução. No início era feita uma avaliação detalhada de cada programa, uma comissão visitava o programa, entrevistava professores e escolhia alunos ao acaso para entrevistas individuais. As bibliotecas, salas de aula, equipamentos eram analisados. Havia um julgamento. Ai houve um aumento gigantesco de cursos de pós-graduação (mais tarde farei uma análise comparativa com outros países) e o sistema, novamente, não escalava! Já vimos isto antes… Conclusão: é preciso achar uma forma de avaliar os programas sem gastar muito. Foi, então, criada a obsessão pela métrica das publicações. E ai surgiu a distorção. Em um texto anterior escrevi:

Há uns meses avaliei um artigo internacional e, como sempre faço, realizei uma busca na Web para encontrar as demais publicações do autor. Hoje existe uma enorme pressão para avaliar os pesquisadores por suas publicações e, muitas vezes, pela quantidade delas. Esta pressão leva muitas pessoas a uma atitude que chamo de “mass publication process” onde o mesmo conteúdo é maquiado para parecer diferente e é publicado várias vezes. Por isto um revisor responsável precisa verificar o grau de originalidade de um artigo antes de emitir um parecer conclusivo. Fiquei impressionado pela quantidade de publicações encontradas daquele autor nos últimos dois ou três anos! Analisando com mais cuidado descobri que em apenas uma conferência ele tinha 7 publicações registradas no DBLP, 6 em outra e 5 em uma terceira. Ao analisar os artigos deu para ver que, agregados os de cada conferência, dariam um  artigo adequado e denso. Como os artigos foram estrategicamente distribuídos para vários workshops associados e para a conferência principal acabaram sendo aceitos. Será que este pesquisador é melhor por ter 18 artigos nestas conferências, além de mais umas 12 variações sobre o mesmo tema, do que seria se tivesse publicado dois ou três artigos densos em vez de 30 pontuais tratando, maquiadamente, do mesmo assunto?

Uma justificativa foi que era preciso achar uma métrica objetiva para realizar a avaliação, isto é, fugir da responsabilidade do julgamento. Mas neste caso nenhuma métrica é objetiva, os dados escolhidos são subjetivos e ideológicos. Hoje há uma visão de que a única cois que vale são publicações. Agora me surgiu uma ideia: não seria melhor colocar uma montanha de dados para um algoritmo de ‘superhuman’ DeepMind AI e verificar os resultados? A menos que a resposta fosse 42… Como vemos há uma tendência a perdermos o foco de qualquer coisa e procurar a solução mais fácil e barata. Aliás, há a famosa frase sobre os caminhos:

“Entrai pela porta estreita, porque larga é a porta, e espaçoso, o caminho que conduz à perdição, e muitos são os que entram por ela; e porque estreita é a porta, e apertado, o caminho que leva à vida, e poucos há que a encontrem”.

É isto que realmente ocorre, achar a qualidade é essencial, achar um método que escala é fácil mas de menor qualidade. Esta qualidade desejada se consegue trabalhando em bons problemas e com grupos consistentes. A escolha destes problemas reais é essencial, a criação de grupos hierárquicos para trabalhar com estes problemas é essencial. Um assunto que precisa ser discutido é a diversidade cultural e de perfis de trabalho na pós-graduação. Atualmente está aceito que a diversidade nos grupos sociais e acadêmicos é um dos melhores fatores para aumentar a eficiência e a criatividade. Culturas, gêneros e opiniões diferentes favorecem o convívio e abrem novas possibilidades para o tratamento dos temas de trabalho. Pergunto: “Por que isto não acontece nas pós-graduações?”. O consenso é que só devem participar dos programas professores-pesquisadores com um número alto de publicações em journals com alto fator de impacto. Mas um grupo criativo é algo bem diferente. Os coordenadores de programas de pós-graduação expurgam ótimos professores (que poderiam ministrar ótimas aulas) para aumentar os índices CAPES. Isto é uma exclusão. Aqueles que são dotados para a implementação também são excluídos, sobram apenas os publicadores. Com este comportamento perdemos muitas pessoas que seriam importantes para a formação de nossos alunos e para o desenvolvimento dos projetos. Isto sem contar com a criatividade oriunda da diversidade de perfis. O ponto central não é a qualidade e criatividade do grupo, mas sua adequação à bibliometria avaliativa. Se quisermos qualidade real será preciso uma profunda mudança em nossos critérios.

Resumindo: precisamos de bons problemas, grupos com diversidade e qualidade, hierarquia na pesquisa e avaliação por julgamento. Mas como este dito anônimo retrata:

As Universidades e os cemitérios são refratários às mudanças, os que ali estão não querem se mover.

A parte disto considero que estamos dando a mensagem errada para os jovens, tanto alunos quanto pesquisadores. O importante não é a contagem de artigos, mas a pesquisa de qualidade. Entendo que dependemos do dinheiro da CAPES e que devemos nos preocupar com a avaliação, é o caso de fazer o que quem paga quer (não vou considerar profissões assim…). Mas a avaliação deveria ser consequência de uma boa pesquisa e não obtida por regras.

 

Conferências: ACM SAC, QUALIS e Utilidade

Atualmente está ocorrendo uma discussão e a emissão de opiniões dos avaliadores nacionais da qualidade das publicações sobre algumas conferências e journals. O problema surge quando foi definido um critério bibliométrico pela CAPES para a avaliação de meios de apresentação de pesquisas. Há anos venho escrevendo que os índices de avaliação de publicações são importantes AUXILIARES na avaliação da qualidade da pesquisa. Quando estava na vice-presidência da Câmara de Pós-gradução da UFRGS implantamos a necessidade de recredenciamento dos orientadores a cada cinco anos com base, naquela época novo, currículo Lattes: qualidade É importante. Este ano a Comissão de Computação da CAPES retirou do documento de área, que é o referencial mais conhecido, os limiares da indexação e os transferiu para outro documento denominado “Considerações sobre Qualis Periódicos – 2016” apesar de tratar de Periódicos e de Conferências.

Recentemente alguns detentores de Prêmios Nobel afirmam o que venho defendendo: o importante é a qualidade da pesquisa não os índices. Mas a discussão atual foca um outro aspecto: apesar de de ser definido um critério, dito objetivo de avaliação e rankeamento de conferências e journals há pessoas (muitas as mesmas que defendem ardentemente o QUALIS atual) que se sentem desconfortáveis com este critério. Qual o critério? A estratificação da qualidade em níveis calculados pelo h-index ou JCR. Anteriormente as Comissões Especiais da SBC fizeram um rankeamento das conferências e os avaliadores da CAPES afirmaram que esta classificação estava enviesada (biased) pelas pessoas que haviam feito a classificação. Na Comissão Especial de Banco de Dados fizemos um trabalho exaustivo e muito sério para receber esta crítica, o mesmo deve ter se passado nas demais Comissões. Então foi criado o método “impessoal” da estratificação por percentagens de indicadores bibliométricos. É claro que há uma ideologia atrás da escolha deste critério único, eu acredito que as avaliações das Comissões Especiais da SBC eram muito mais interessante: por exemplo, um WS organizado por pesquisadores top de uma área pode ser A1 por sua excelente qualidade, no h-index não pode aparecer.

O que me deixa chocado é que agora pessoas ficam descontentes com a classificação e, mais um exemplo, dizem que o Simpósio ACM SAC é uma (perdão, mas estou apenas repetindo a palavra) “porcaria” apesar do alto h-index. Então que voltemos para as classificações da Comunidade, das Comissões Especiais da SBC e não pela opinião de poucos. E o pior, opinião emocional pois não tem suporte em dados. Um dos critérios exigidos para a classificação bibliométrica de conferências é a taxa de aceitação. Olhem a taxa de aceitação deste simpósio além da classificação A1 pela CAPES.

Não estou analisando a dita “qualidade” intrínseca do evento (aliás o que é isto mesmo?) mas sua utilidade. Quem o organiza não é um grupo predador, é a ACM, e está na trigésima terceira realização! Qual a sua utilidade? É a reunião anual de pesquisadores de diferentes áreas para uma produtiva troca de ideias permitindo o desenvolvimento de pesquisas multi-orientadas. A seguir mostro outras duas conferências, em que participei, com o mesmo objetivo: fazer uma reunião anual de pesquisadores de várias áreas, uma da ACM e outra da IFIP, duas sociedades sérias. A ACM Student Research Competition do SAC é suportada pela Microsoft, isto é algo de baixa qualidade? Predador? Caça niqueis? É claro que não! A participação em eventos de grande escopo evita o famoso problema da “bolha social” onde não há diversidade de opiniões e, como sabemos bem, em muitas conferências apenas os participantes do grupo conseguem publicar. Minha posição é: sejamos revolucionários e tenhamos coragem de entender que há múltiplas dimensões para avaliar a utilidade de uma conferência. Não podemos ficar presos e prejudicados por uma avaliação unidimensional. 

ACM 85 IFIP 84
ACM SAC 2018