Publicações, avaliação e multidisciplinaridade

Atualmente fala-se muito sobre diversidade, na academia discute-se a necessidade de uma formação  ampla e contemplando diferentes dimensões. Por outro lado a avaliação dos programas de pós-graduação e dos pesquisadores continua ou torna-se mais concentrada: é o conhecido problema da bolha social. Este é um problema muito bem conhecido em sistemas de recomendação, um grupo de pessoas reforça sistematicamente suas preferências e exclui tudo o que é estranho. O mesmo se passa atualmente com nações que criam o ‘civilisation state‘ negando um modelo de civilização global. Um ‘civilisation state‘ é uma nação que afirma representar não apenas um território histórico ou uma língua ou grupo étnico específico, mas uma civilização distinta baseada em sua história e inerente superioridade. 

Retornado para o problema da avaliação; a maior parte dos programas não aceita a produção de seus pesquisadores em outras áreas de conhecimento. Por muita pressão aceitam um certo número de publicações, mas sempre com a avaliação de sua área!  Ora, será que, por exemplo, a área de Ciência da Computação é melhor habilitada para avaliar um artigo de Genética? O argumento é que a avaliação é feita sobre o conteúdo de Ciência da Computação no artigo de Genética. Isso é apenas, em minha visão, um exemplo de ‘civilisation state‘ em que o grupo acredita que por seu histórico, sua competência é melhor qualificado para avaliar a contribuição – nesse caso monocultural – na sua área. Usei o exemplo da CC pois é minha área, mas isso acontece em todas as áreas que acompanho. Esse fato é limitador da abertura do pensamento e da multidisciplinaridade e da consequente inovação resultante. 

Minha proposta para quebrar este modelo ultrapassado: devemos aceitar uma percentagem de publicações, digamos 30%, de qualquer área complementar na pesquisa por sua avaliação na sua área fundamental. Este é um primeiro passo para construir pontes entre as áreas de conhecimento e para desmontar os muros que separam os diferentes grupos de pesquisa nas Universidades.

A qualidade não é da publicação mas da pesquisa – Conferências x Periódicos na ACM

O Prof.Celso Alberto Saibel Santos do Departamento de Informática da Universidade Federal do Espírito Santo acabou de postar na lista da SBC um comentário sobre a discussão de publicar em conferências ou periódicos (journals). A séria ACM criou um “jeitinho brasileiro” para que a contagem de pontos seja adequada. Eu acho que isso é um subterfúgio, o certo é lutar pela análise da qualidade do trabalho e não sobre a forma de publicação. Os critérios definidos no texto da ACM seria uma forma de qualificar a conferência como de qualidade igual a de um periódico, ponto. A solução foi criar um periódico fantasma para fins bibliométricos…


Introducing Proceedings of the ACM

What is PACM?

Proceedings of the ACM on X (PACM) is a new journal series with first issues planned for 2017. This series is suitable for those ACM SIG-sponsored conferences that adapt their review processes to be comparable to those of journals. It has been launched in recognition of the fact that conference-centric publishing disadvantages the CS community with respect to other scientific disciplines when competing with researchers from other disciplines for top science awards and career progression, and the fact that top ACM conferences have demonstrated high quality and high impact on the field.

Leia o artigo completo

Let CiteScore™ metrics guide you to the right journals.

Don’t speculate — validate.

The CiteScore 2017 values are here! Establishing a new standard for measuring serial citation impact, CiteScore™ metrics are freely available for more than 23,350 titles — 12,000 more titles than the leading competitor.

Powered by Scopus, CiteScore metrics are a comprehensivecurrent, transparent and free set of metrics that measure serial citation impact over a 3-year period.

CiteScore metrics from Scopus are:

  • Comprehensive
  • Transparent
  • Current and free
Use this page to find a source and view associated metrics. Use qualitative as well as quantitative metrics when presenting your research impact. Always use more than one quantitative metric. Learn more about CiteScore.
Explore CiteScore 2017 metrics  >

A mentira do gasto excessivo em ensino superior no Brasil

LivrosEstamos cansados de ouvir e de ler que o problema do Brasil é o gasto excessivo no ensino superior. Isto não é verdade, em uma palestra sobre a Universidade do Futuro, aqui na UFRGS, foi mostrado este documento da OECD, portanto acima de suspeitas de partidarismo, Public spending on education DOI:10.1787/f99b45d0-en. Aqui está bem clara a distribuição dos recursos públicos em educação:  0,959% do PIB em ensino terciário (superior) e do primário até o não terciário (fundamental e médio) são aplicados 4,061%. Ou seja aplicamos 4,2 vezes mais recursos no ensino fundamental e médio. Somos o quinto país da análise que mais gasta com o ensino pré terciário e apenas o 20º no ensino superior. Está na hora de realizarmos estudos mais profundos sobre qual é a real razão dos problemas do nosso ensino. Este é um exemplo claro da era da pós-verdade: usam afirmações que apoiem suas ideias sem buscar a verdade nos dados! (ver tabela ao final)

Para mim o problema está bem caracterizado:

  • Modelo de ensino centrado em aulas, número de horas de aulas, tanto para o modelo de negócio quanto para avaliar a cobertura do curso.
  • Falta de tempo dos alunos para desenvolverem estudo complementar ou desenvolver trabalhos fora das aulas. É a visão de que se aprende na aula e não que a aula é a apresentação do tema e a motivação para o estudo.

As causas deste problema são:

  • Incapacidade em entender que o projeto de ensino deve ser o desenvolvimento da capacidade de auto estudo e a capacidade de crítica e de reflexão. Daí decorre a deformação de avaliação de cursos por horas e conteúdos e cobrança e pagamento por horas-aula. Hoje está em andamento uma absurda discussão sobre quantos minutos deve ter uma hora-aula…
  • A falta de entendimento que um conteúdo básico universal é essencial, não adianta um amplo espectro de conteúdo quando o essencial de Português e Matemática não são dominados.

Dedicação completa de alunos ao estudo.

  • Bolsas de permanência
  • Avaliação real do desempenho
  • Seleção dos melhores alunos

Mudança nos critérios de avaliação

  • Acabar com as provas “decoreba”
  • Avaliação de atividades individuais dos alunos
  • Projetos sobre problemas complexos
  • Participação proativa dos alunos

Tópicos relacionados

Avaliação da CAPES, Vestibular e QUALIS

Logo da CAPESEstava pensando sobre a avaliação realizada pela CAPES dos programas de pós-graduação. Tenho escrito bastante sobre o assunto, afinal a pesquisa e o ensino em Computação é minha atividade essencial. Um dos textos publicados foi sobre Individualismo ou o QUALIS e a Avaliação onde me preocupava com o problema da utilização do QUALIS para avaliações de pessoas, o que é dito como uso inadequado pela CAPES. Mas agora estava pensando sobre o que acontece, então me surgiu a analogia com o vestibular. Este exame foi criado para selecionar os candidatos para a Universidade. Qual seu real objetivo? No início era evidente: avaliar o real conhecimento dos candidatos. Quando a competição começou a aumentar surgiram os cursinhos, segui um dos primeiros aqui em Porto Alegre. Como funcionavam estes cursinhos? Eram aulas ministradas por professores bem conhecidos no secundário ou mesmo nas universidades que ministravam aulas revisando e explicando os fundamentos e os conteúdos das disciplinas. Começavam com o primeiro ano do secundário, seguiam para o segundo e terceiro. Era de fato um condensado do secundário tirando as dúvidas e  procurando aumentar a compreensão dos candidatos. O exame vestibular era textual, com questões que deveriam ser respondidas com textos e cálculos, um verdadeiro exame. Ai surgiu um problema: com o aumento dos candidatos o modelo não escalava! O vestibular passou a ser composto por questões de cruzinha. Nesta época eu participava tanto da Comissão de Vestibular quanto do CPD da UFRGS, conheci bem o problema nos dois sistemas: fiz o vestibular com questões textuais e participei do processo do vestibular com múltiplas provas de escolha simples ou múltipla. Ai os cursinhos degeneraram, passaram a ser treinamentos sobre a melhor forma de responder as questões. O treinamento são verdadeiras gincanas. As aulas, de um ponto de vista tradicional, são sessões de teatro ou de circo. Certamente a qualidade do processo de seleção piorou, ou se degradou. 

 Com a avaliação dos programas de pós-graduação se passou o mesmo. Também participei de toda a evolução. No início era feita uma avaliação detalhada de cada programa, uma comissão visitava o programa, entrevistava professores e escolhia alunos ao acaso para entrevistas individuais. As bibliotecas, salas de aula, equipamentos eram analisados. Havia um julgamento. Ai houve um aumento gigantesco de cursos de pós-graduação (mais tarde farei uma análise comparativa com outros países) e o sistema, novamente, não escalava! Já vimos isto antes… Conclusão: é preciso achar uma forma de avaliar os programas sem gastar muito. Foi, então, criada a obsessão pela métrica das publicações. E ai surgiu a distorção. Em um texto anterior escrevi:

Há uns meses avaliei um artigo internacional e, como sempre faço, realizei uma busca na Web para encontrar as demais publicações do autor. Hoje existe uma enorme pressão para avaliar os pesquisadores por suas publicações e, muitas vezes, pela quantidade delas. Esta pressão leva muitas pessoas a uma atitude que chamo de “mass publication process” onde o mesmo conteúdo é maquiado para parecer diferente e é publicado várias vezes. Por isto um revisor responsável precisa verificar o grau de originalidade de um artigo antes de emitir um parecer conclusivo. Fiquei impressionado pela quantidade de publicações encontradas daquele autor nos últimos dois ou três anos! Analisando com mais cuidado descobri que em apenas uma conferência ele tinha 7 publicações registradas no DBLP, 6 em outra e 5 em uma terceira. Ao analisar os artigos deu para ver que, agregados os de cada conferência, dariam um  artigo adequado e denso. Como os artigos foram estrategicamente distribuídos para vários workshops associados e para a conferência principal acabaram sendo aceitos. Será que este pesquisador é melhor por ter 18 artigos nestas conferências, além de mais umas 12 variações sobre o mesmo tema, do que seria se tivesse publicado dois ou três artigos densos em vez de 30 pontuais tratando, maquiadamente, do mesmo assunto?

Uma justificativa foi que era preciso achar uma métrica objetiva para realizar a avaliação, isto é, fugir da responsabilidade do julgamento. Mas neste caso nenhuma métrica é objetiva, os dados escolhidos são subjetivos e ideológicos. Hoje há uma visão de que a única cois que vale são publicações. Agora me surgiu uma ideia: não seria melhor colocar uma montanha de dados para um algoritmo de ‘superhuman’ DeepMind AI e verificar os resultados? A menos que a resposta fosse 42… Como vemos há uma tendência a perdermos o foco de qualquer coisa e procurar a solução mais fácil e barata. Aliás, há a famosa frase sobre os caminhos:

“Entrai pela porta estreita, porque larga é a porta, e espaçoso, o caminho que conduz à perdição, e muitos são os que entram por ela; e porque estreita é a porta, e apertado, o caminho que leva à vida, e poucos há que a encontrem”.

É isto que realmente ocorre, achar a qualidade é essencial, achar um método que escala é fácil mas de menor qualidade. Esta qualidade desejada se consegue trabalhando em bons problemas e com grupos consistentes. A escolha destes problemas reais é essencial, a criação de grupos hierárquicos para trabalhar com estes problemas é essencial. Um assunto que precisa ser discutido é a diversidade cultural e de perfis de trabalho na pós-graduação. Atualmente está aceito que a diversidade nos grupos sociais e acadêmicos é um dos melhores fatores para aumentar a eficiência e a criatividade. Culturas, gêneros e opiniões diferentes favorecem o convívio e abrem novas possibilidades para o tratamento dos temas de trabalho. Pergunto: “Por que isto não acontece nas pós-graduações?”. O consenso é que só devem participar dos programas professores-pesquisadores com um número alto de publicações em journals com alto fator de impacto. Mas um grupo criativo é algo bem diferente. Os coordenadores de programas de pós-graduação expurgam ótimos professores (que poderiam ministrar ótimas aulas) para aumentar os índices CAPES. Isto é uma exclusão. Aqueles que são dotados para a implementação também são excluídos, sobram apenas os publicadores. Com este comportamento perdemos muitas pessoas que seriam importantes para a formação de nossos alunos e para o desenvolvimento dos projetos. Isto sem contar com a criatividade oriunda da diversidade de perfis. O ponto central não é a qualidade e criatividade do grupo, mas sua adequação à bibliometria avaliativa. Se quisermos qualidade real será preciso uma profunda mudança em nossos critérios.

Resumindo: precisamos de bons problemas, grupos com diversidade e qualidade, hierarquia na pesquisa e avaliação por julgamento. Mas como este dito anônimo retrata:

As Universidades e os cemitérios são refratários às mudanças, os que ali estão não querem se mover.

A parte disto considero que estamos dando a mensagem errada para os jovens, tanto alunos quanto pesquisadores. O importante não é a contagem de artigos, mas a pesquisa de qualidade. Entendo que dependemos do dinheiro da CAPES e que devemos nos preocupar com a avaliação, é o caso de fazer o que quem paga quer (não vou considerar profissões assim…). Mas a avaliação deveria ser consequência de uma boa pesquisa e não obtida por regras.

 

Sobre os programas de pós-graduação em Computação – Carta de Búzios 2007


Pesquisa e desenvolvimentoHá exatos dez anos, entre os dias 30 de novembro e 2 de dezembro de 2007, reuniu-se em Búzios um grupo de 19 pesquisadores, membros dos comitês da CAPES e do CNPq, da SBC – Sociedade Brasileira de Computação e da ABC – Academia Brasileira de Ciências. O objetivo da reunião foi analisar a evolução da área de Computação no Brasil, com vistas a um planejamento a curto, médio e longo prazo. Os participantes foram:

Alberto Laender
Ana Teresa de Castro Martins
Carlos José Pereira de Lucena
Clarisse Sieckenius de Souza
Claudia Bauzer Medeiros
Edmundo de Souza e Silva
Henrique Pacca Loureiro Luna
Jayme Luiz Szwarcfiter
José Carlos Maldonado
José Palazzo M. de Oliveira
José Roberto Boisson de Marca
Luis Fernando G. Soares
Marco Antonio Casanova
Nelson Fonseca
Nivio Ziviani
Paulo Cesar Masiero
Paulo Cunha
Philippe Navaux
Ricardo Anido
Teresa Bernarda Ludermir

Na época foram feitas algumas recomendações. É claro que passados dez anos algumas coisas evoluíram, mas ainda há muito a ser feito. Acredito que precisamos retomar a discussão e passar a considerar critérios múltiplos de avaliação com mais intensidade. Apesar da CAPES insistir constantemente que o uso do QUALIS é inadequado para a avaliação monodimensional dos pesquisadores, e ainda pior por uma janela de quatro anos de suas publicações, esta avaliação continua sendo corrente nos programas. O objetivo do QUALIS não é a avaliação dos programas mas a análise dos mesmos para qualificar a contribuição para o país. Em recente palestra (2017) do Presidente do CNPq na ABC ele deixou claro que na dimensão de publicações estamos muito bem, infelizmente nas dimensões de inovação e de tecnologia desenvolvida ainda falta muito a ser conquistado, então estas dimensões devem ser valorizadas. Outra dimensão importante  para a qualificação de um programa é a formação de recursos humanos, esta dimensão deve ser considerada na vida de um pesquisador. Deixo a vocês a leitura do documento e a verificação do que a comunidade realizou nestes 10 anos…


RECOMENDAÇÕES SOBRE AVALIAÇÃO E POSICIONAMENTO DA ÁREA DE COMPUTAÇÃO

A Computação é hoje onipresente e essencial para o desenvolvimento econômico e social do País. Cabe a uma instituição de ensino e pesquisa adiantar-se às necessidades futuras da sociedade e preparar adequadamente as próximas gerações para suplantar os desafios daí advindos. Uma visão clara da evolução da tecnologia, uma percepção adequada das necessidades da sociedade, a contínua adaptação da estrutura curricular e a motivação de jovens talentos são condições necessárias para levar a cabo esta missão. Estas afirmações adquirem uma maior relevância em áreas com alto impacto social e evolução acelerada, como é o caso de Computação.

Com este pano de fundo e dentro das atividades constantes de planejamento estratégico da área, entre os dias 30 de novembro e 2 de dezembro de 2007, reuniu-se em Búzios um grupo de 19 pesquisadores, membros dos comitês da CAPES, do CNPq, SBC e IEEE, com o objetivo de analisar a evolução da área de Computação no Brasil, com vistas a um planejamento a curto, médio e longo prazo. Esta reunião havia sido programada desde o início do ano de 2007.

Os principais tópicos abordados foram: os trabalhos dos comitês do CNPq e CAPES no último triênio; os estudos sobre a produção em ciência da computação, em andamento, para dar subsídios ao processo de avaliação (especialmente aquelas conduzidas na UFMG, na UNICAMP e no IEEE); o aperfeiçoamento do QUALIS em vigor, com especial atenção para a importância das conferências para a área; e a inserção da Computação na classificação das áreas da CAPES e do CNPq.

Um tema que permeou todas essas discussões foi a necessidade de avaliar a inserção internacional da área de Computação, através de comparações com programas de excelência na América do Norte e Europa. Pesquisadores da  UFMG e da UNICAMP apresentaram um exercício de análise de desempenho da área com este objetivo, utilizando algoritmos e programas de mineração de dados em grandes bibliotecas digitais mundiais e dados sobre formação de doutores, inclusive os da CAPES. O exercício foi estendido, em parte, a áreas tais como Física, Biologia, Engenharia IV e Matemática. A análise confirmou que a comparação entre áreas baseada em bibliometria é um problema de grande complexidade e pode levar a conclusões bastante distorcidas.

Os participantes propõem três recomendações gerais, dirigidas à SBC e aos atuais e futuros comitês de avaliação e assessoramento da CAPES e do CNPq. A primeira recomendação é de curto prazo e urgente e as outras duas são de médio e longo prazo.

Recomendação 1: Revisão dos indicadores da produção dos programas de pós-graduação e da metodologia de avaliação

Os participantes sugerem que o próximo comitê de área da CAPES revise, com urgência, a definição dos indicadores da produção dos programas de pós-graduação e, por conseguinte, o próprio documento de área.

A revisão do documento de área deve partir de uma análise comparativa vertical para avaliar a inserção internacional dos programas de pós-graduação da área, em parte já realizado, conforme mencionado. Em particular, os índices medindo a produção bibliográfica e o WebQUALIS da área devem: (1) incorporar periódicos de áreas afins, à semelhança de outras áreas, como Engenharia IV; (2) incorporar conferências, reforçando a importância fundamental dos anais de conferências como meio de divulgação dos avanços da área, sem a limitação de conter apenas aquelas observadas no triênio.

Após consolidar o novo documento de área, os participantes sugerem que o próximo comitê avalie se a atual implementação do sistema utilizado pela CAPES permite especificar os indicadores definidos no documento e, se for o caso, solicitem modificações no sistema.

Recomendação 2: Criação de um esforço permanente de desenvolvimento e aprimoramento de ferramentas e metodologias para avaliação do desempenho e do impacto da área

Os participantes sugerem a criação, no contexto da SBC, de um esforço permanente de desenvolvimento e aprimoramento de ferramentas e metodologias para a avaliação do desempenho dos programas de pós-graduação e da contribuição da área para o crescimento econômico e bem estar social do País. Ressalte-se que o esforço não se destina a classificar os programas de pós-graduação, que é atribuição da CAPES.

Quanto à avaliação do desempenho dos programas, os participantes sugerem que a SBC coloque à disposição dos coordenadores de pós-graduação recomendações que promovam uma melhoria na qualidade dos dados levantados pelos programas, especialmente dados padronizados sobre os veículos de publicação da área (inclusive conferências).

Quanto à avaliação do impacto da área, os participantes sugerem que a SBC promova a consolidação e complemente as pesquisas e estudos já realizados, principalmente pelo MCT, para determinar a necessidade atual e projetada de profissionais da área.

Recomendação 3: Análise do posicionamento da área de Computação no contexto das grandes áreas

Os participantes sugerem que o próximo comitê de área da CAPES e o Comitê Assessor de Ciência da Computação do CNPq analisem em profundidade sobre qual deve ser o posicionamento da Computação no contexto das grandes áreas adotadas pela CAPES e pelo CNPq, criando uma caracterização mais precisa que fortaleça a área.

A análise deverá avaliar inicialmente se Computação deve ser tratada como uma grande área ou não; caso a decisão seja não tratá-la, a análise deverá indicar se Computação deve pertencer à grande área de Ciências Exatas e da Terra ou à grande área das Engenharias. Por fim, independentemente do resultado, a análise deverá avaliar a adequação de subdividir a área de Computação em duas de tal forma que uma subárea acomode os programas atualmente classificados como de Computação e a outra subárea inclua programas com um forte viés de Computação, mas que atualmente são classificados como multidisciplinares.

Conferências: ACM SAC, QUALIS e Utilidade

Atualmente está ocorrendo uma discussão e a emissão de opiniões dos avaliadores nacionais da qualidade das publicações sobre algumas conferências e journals. O problema surge quando foi definido um critério bibliométrico pela CAPES para a avaliação de meios de apresentação de pesquisas. Há anos venho escrevendo que os índices de avaliação de publicações são importantes AUXILIARES na avaliação da qualidade da pesquisa. Quando estava na vice-presidência da Câmara de Pós-gradução da UFRGS implantamos a necessidade de recredenciamento dos orientadores a cada cinco anos com base, naquela época novo, currículo Lattes: qualidade É importante. Este ano a Comissão de Computação da CAPES retirou do documento de área, que é o referencial mais conhecido, os limiares da indexação e os transferiu para outro documento denominado “Considerações sobre Qualis Periódicos – 2016” apesar de tratar de Periódicos e de Conferências.

Recentemente alguns detentores de Prêmios Nobel afirmam o que venho defendendo: o importante é a qualidade da pesquisa não os índices. Mas a discussão atual foca um outro aspecto: apesar de de ser definido um critério, dito objetivo de avaliação e rankeamento de conferências e journals há pessoas (muitas as mesmas que defendem ardentemente o QUALIS atual) que se sentem desconfortáveis com este critério. Qual o critério? A estratificação da qualidade em níveis calculados pelo h-index ou JCR. Anteriormente as Comissões Especiais da SBC fizeram um rankeamento das conferências e os avaliadores da CAPES afirmaram que esta classificação estava enviesada (biased) pelas pessoas que haviam feito a classificação. Na Comissão Especial de Banco de Dados fizemos um trabalho exaustivo e muito sério para receber esta crítica, o mesmo deve ter se passado nas demais Comissões. Então foi criado o método “impessoal” da estratificação por percentagens de indicadores bibliométricos. É claro que há uma ideologia atrás da escolha deste critério único, eu acredito que as avaliações das Comissões Especiais da SBC eram muito mais interessante: por exemplo, um WS organizado por pesquisadores top de uma área pode ser A1 por sua excelente qualidade, no h-index não pode aparecer.

O que me deixa chocado é que agora pessoas ficam descontentes com a classificação e, mais um exemplo, dizem que o Simpósio ACM SAC é uma (perdão, mas estou apenas repetindo a palavra) “porcaria” apesar do alto h-index. Então que voltemos para as classificações da Comunidade, das Comissões Especiais da SBC e não pela opinião de poucos. E o pior, opinião emocional pois não tem suporte em dados. Um dos critérios exigidos para a classificação bibliométrica de conferências é a taxa de aceitação. Olhem a taxa de aceitação deste simpósio além da classificação A1 pela CAPES.

Não estou analisando a dita “qualidade” intrínseca do evento (aliás o que é isto mesmo?) mas sua utilidade. Quem o organiza não é um grupo predador, é a ACM, e está na trigésima terceira realização! Qual a sua utilidade? É a reunião anual de pesquisadores de diferentes áreas para uma produtiva troca de ideias permitindo o desenvolvimento de pesquisas multi-orientadas. A seguir mostro outras duas conferências, em que participei, com o mesmo objetivo: fazer uma reunião anual de pesquisadores de várias áreas, uma da ACM e outra da IFIP, duas sociedades sérias. A ACM Student Research Competition do SAC é suportada pela Microsoft, isto é algo de baixa qualidade? Predador? Caça niqueis? É claro que não! A participação em eventos de grande escopo evita o famoso problema da “bolha social” onde não há diversidade de opiniões e, como sabemos bem, em muitas conferências apenas os participantes do grupo conseguem publicar. Minha posição é: sejamos revolucionários e tenhamos coragem de entender que há múltiplas dimensões para avaliar a utilidade de uma conferência. Não podemos ficar presos e prejudicados por uma avaliação unidimensional. 

ACM 85 IFIP 84
ACM SAC 2018