Crise nas publicações científicas

JournalEste é meu relato sobre o Seminário 12452Perspectives Workshop: Publication Culture in Computing Research. A reunião foi realizada de 6 a 9 de novembro de 2012 em Dagstuhl, centro de eventos do Leibniz Center for Informatics. Este é um centro dedicado a realizar reuniões de pesquisadores em computação. Há duas classes de reuniões: os Dagstuhl Seminars sobre temas específicos de pesquisa e os Dagstuhl Perspectives Workshops reunindo pesquisadores seniores e destinados ao estudo e ao esboço de recomendações sobre a área da computação. Neste caso o tema foi a cultura da comunidade de computação em matéria de publicações. Este tema tem sido uma preocupação da comunidade tendo sido realizado no Brasil um evento, patrocinado pela CAPES, com o título de “A Capes e os novos paradigmas da comunicação científica”. Eu já havia abordado o assunto na crônicaSomos diferentes?” quando tratei da realidade existente na comunidade de computação de valorizar as publicações em conferências. Aqui vou fazer uma interpretação pessoal deste workshop.

De uma forma geral a reunião foi conduzida com a apresentação dos postion papers seguidos de discussões e mesmo com animadas discussões durante as apresentações. Todas as apresentações foram limitadas de 10 a 15 minutos. Um fato interessante a ser analisado é a composição da participação: US 11, GB 4, DE 3, CA 2, CH 2, NL 2, ES 1, BR 1. Ficou evidente que o mundo está mudando e que deve haver uma preocupação com a globalização das discussões, a presença de um único membro dos BRIC fez os participantes se perguntarem sobre a composição do grupo. Esta situação foi discutida espontaneamente, inclusive com a demonstração de um interesse na realização de conferências importantes no Brasil, o que vem acontecendo. Os representantes da ACM mostraram o esforço na ampliação da internacionalização da organização. A China foi um tema muito discutido com o aumento significativo de sua participação, mas com algumas considerações sobre a qualidade do processo de avaliação de algumas de suas conferências. Não havia nenhum representante da região da Ásia. Quero aqui deixar bem explícito a necessidade de estimular a participação de brasileiros em todos os eventos internacionais possíveis: entrem em contato com os organizadores, mostrem as nossas competências, sugiram nossa participação. Atualmente somos muito bem recebidos e temos sido um centro de atenção, precisamos valorizar a nossa competente comunidade científica.

Ficou bem claro que as participações estavam divididas em duas correntes principais e uma, muito pequena, conservadora. A participação maior estava preocupada com formas de tratar o problema do modelo atual não escalar para o grande número de eventos e publicações. Esta corrente é a conhecida posição dita “pragmática” o importante são soluções práticas para o problema de uma sobrecarga de trabalho de revisões, grande número de rejeições e, consequentemente, de novas resubmissões. A segunda corrente procurou pensar sobre os fundamentos do problema que levam a esta situação. Finalmente, uma muito pequena corrente, conservadora, achava que a comunidade de computação deveria “evoluir” para o modelo usado por outras comunidades de publicações em journals como a forma principal de divulgação do conhecimento sendo as conferências uma forma de encontros sociais e de formação de redes de cooperação. Em princípio cada pesquisador participaria de uma grande conferência anual. Eu entendo que as pessoas normalmente tem seu foco em soluções em vez de em problemas: o desenvolvimento é mais rápido quando a análise do problema é tratada implicitamente pela sua inclusão no projeto da solução. Além disto, problemas são inconvenientemente informais e heterogêneos enquanto que as soluções podem ser atrativamente formais e homogêneas. O reconhecimento de que o problema está localizado no ambiente em lugar de estar localizado no sistema a ser desenvolvido concentra o foco da atenção no problema e não na solução! Mas apesar destas duas formas de tratar o assunto acredito que certa conclusão foi atingida. Vejamos como interpreto a ideia geral mais ou menos aceita nas discussões e nas reuniões informais, pelo menos a visão geral que consigo descrever. É claro que cada participante terá a sua visão particular que, naturalmente, reforçará suas crenças. Um documento final será publicado, mas como nas reuniões de diplomacia mundial, este documento deverá conter apenas aqueles itens consensuais. Quando o mesmo for publicado comentarei o mesmo.

De forma geral eu diria que as conferências estão mortas, os journals também. Chocante? Vai ser difícil chegar a este modelo, mas ficou claro que o modelo atual está no fim do seu fôlego. Vou começar com a parte conceitual: Como chegamos neste estado? Em princípio foi deixado claro que a pressão burocrática por números e bibliometria obriga aos jovens pesquisadores e àqueles procurando tenure (no modelo anglo-saxão) a ter um grande número de publicações indexadas. Nesta linha ficou claro que o modelo deveria ser o da avaliação da qualidade intrínseca do trabalho, mas ficou claro, também, que mudar a cultura geral seria muito difícil. Foi praticamente unânime a percepção que o índice ISI não é adequado para a área de computação, sua cobertura é limitada e os resultados são inadequados. Dos trinta (ou algo assim) mais citados em computação somente uns 5 eram conhecidos pelos pesquisadores reunidos. A maior parte dos outros eram de áreas correlatas que foram consideradas computação.

Qual é a consequência? Um artigo é submetido, não é aceito. Muitas vezes as revisões são sumárias ou quase inexistentes. Próximo passo: melhorar o que for possível e resubmeter para outra conferência. Um efeito colateral: muitas submissões para journals são feitas com artigos em fase inicial de elaboração com a esperança de receber melhores avaliações e, assim, poder melhorar a publicação. Neste ponto surge o principal problema do sistema de revisões: como melhorar a qualidade das avaliações, tanto em profundidade como em cooperação? Um ponto discutido foi a hipercriticalidade dos avaliadores. Por um lado há uma sobrecarga de avaliações e por outro há uma percepção de que um revisor começa procurando os problemas do artigo e não seus pontos positivos. Uma conferência é considerada boa se tem uma forte taxa de rejeição. Isto vai contra a ideia de que uma conferência serve para estabelecer contatos, mostrar para os iniciantes as novidades na pesquisa e permitir comentários sobre trabalhos em andamento.

Quanto às publicações tradicionais, os journals, a grande discussão foi sobre os custos envolvidos e os interesses econômicos prevalecendo sobre a qualidade. Havia representação de casas editoras bem conhecidas que mostraram uma evolução nos modelos de publicação. Foi feita, também, a apresentação do modelo liberal da ACM de direitos de publicação. A seguir surgiu a possibilidade de publicações no modelo AOI e a aparição de publicações piratas e de outras que cobram entre US$ 600,00 e US$ 1.000,00 para um artigo ser tornado de acesso livre. Grande discussão sobre se o papel do revisor de uma casa editora deve ser pago por seu trabalho ou se esta revisão está incluída em suas responsabilidades e salário. Fica claro, portanto, que neste modelo de exigência de publicações tanto as conferências quanto os journals não tem futuro.

O documento final deverá apresentar linhas gerais sobre como tratar o problema, mas sem ser normativo ou propor modelos de solução. Então vou apresentar a seguir a minha visão de como deve evoluir o modelo de publicações. Esta visão foi desenvolvida nas seções plenárias e em reuniões de pequeno grupo. Não digo que esta visão é geral, mas sim que é defendida por um grupo significativo de pesquisadores. Logo a seguir apresentarei a minha visão de um modelo atual e evolutivo de publicações. A solução deve atender aos seguintes requisitos: aumentar a qualidade das revisões, permitir o acesso de novos pesquisadores, garantir a função das conferências em permitir os contatos entre pesquisadores e a criação e desenvolvimento de redes de cooperação, garantir a publicação de artigos consolidados em journals com qualidade e custo acessível. Para tanto há pelo menos uma solução compatível com a nossa cultura e com o uso intensivo da tecnologia da informação.

As conferências continuam existindo com artigos completos, artigos curtos, workshops e apresentação de pôsteres. As submissões podem ser feitas para cada uma destas alternativas de forma específica, mas os artigos submetidos podem ser redirecionados para o tipo de publicação mais adequado. Inclusive seria possível sugerir que artigos completos sejam, também, apresentados como pôsteres devido ao interesse de uma discussão mais longa sobre o tema. A ideia é de colocar cada contribuição na forma de apresentação mais adequada e permitir que trabalhos mais iniciais possam ser difundidos e mais amplamente discutidos. É importante que os comentários sejam mantidos junto com os artigos. Isto permitiria que posteriores submissões de versões ampliadas ou consolidadas pudessem ser avaliadas com base nas fases anteriores de evolução. As avaliações podem, opcionalmente, ser assinadas pelos revisores aumentando assim a transparência e estimulando o aumento da qualidade destas revisões. Este modelo permite um aumento significativo das aceitações das submissões, alguém acredita que em uma boa conferência 80% das submissões sejam tão ruins que não devam se aceitas? Da mesma forma um artigo pode evoluir para uma publicação em journal, quando a pesquisa tiver mais dados e validação experimental, por exemplo. A “carreira” total da publicação, isto é sua história, seria mantida e as avaliações poderiam ser reconhecidas. Eventualmente alguém que tenha trabalhado com empenho e apresentado sugestões de qualidade pode ser “promovido” a coautor.Posteriormente vou aprofundar a apresentação deste modelo, uma versão inicial foi publicada em Uma Proposta para Editoração, Indexação e Busca de Documentos Científicos em um Processo de Avaliação Aberta

Este modelo mostra o motivo do título deste texto: Crise nas publicações científicas. O modelo atual não escala, mas não faz sentido voltarmos para o antigo modelo de publicações estáveis em journals e as conferências sendo apenas locais de reuniões sociais para a construção de redes de relacionamento de pesquisa. O modelo velho está morto mas o novo ainda não nasceu.