Em 1969, eu cabulei a escola para assistir a aterrissagem da Lua em casa. Cinquenta anos depois, luto para pensar em um evento que justificaria a evasão hoje. Não é por falta de avanços impressionantes em pesquisa, mas sim pela frequência deles: se as crianças negligenciassem sua escola toda vez que a televisão relatasse outro marco científico que minha geração dificilmente ousaria contemplar, elas acabariam sem nenhuma educação.

No entanto, há um crescente rumor de preocupação com o rigor e a reprodutibilidade das pesquisas publicadas. Problemas de análise excessiva e currículos inchados são bem conhecidos. Incentivos financeiros e de carreira mantêm os pesquisadores em uma esteira, produzindo papers.

Não podemos saber quantos dos cerca de 1,6 milhão de documentos adicionados ao banco de dados da Web of Science são defeituosos, mas podemos concordar que nosso foco tem que mudar de quantidade para qualidade se quisermos nos proteger contra o trabalho de má qualidade. 

Como?

Como cientista-chefe da Austrália, sou encarregado de aconselhar nossos funcionários do governo e defender a melhor ciência nacional e global. No final do ano passado, organizei uma mesa redonda de alto nível em Canberra para discutir as abordagens que foram julgadas e como as melhores delas poderiam ser convertidas em compromissos. Reunimos mais de uma dúzia de vice-reitores, chefes de agências de financiamento, vice-reitores, cientistas-chefes, pesquisadores seniores e especialistas em publicações, inclusive Philip Campbell, ex-editor-chefe da Nature. Nós falamos honestamente sobre tópicos difíceis.

Eu saí com várias idéias sobre como saltar das boas intenções para uma pesquisa melhor.

Mais do que tudo, devemos abandonar a suposição de que um sistema de aprendizado passivo funciona. Tive a sorte de aprender com um grande cientista, o neurocientista Steve Redman, da Universidade Nacional da Austrália, em Canberra. Ele nos jogava em águas profundas para nos ensinar a nadar. Mas dificilmente nos afogávamos. Ficamos imersos em um ambiente em que os trabalhos demoravam e as perguntas e a autorreflexão eram encorajadas. Redman deu-me margem de manobra e introduções para obter os conhecimentos de que eu precisava, incentivando-me a fazer cursos de graduação, passar semanas no laboratório de um colega e aprender o essencial com os técnicos. Naquela “piscina”, desenvolvi uma profunda compreensão do que significa ser cientista, sem nenhum treinamento especializado do sistema científico.

As instituições devem fornecer instruções explícitas em integridade de pesquisa, gerenciamento de dados e expectativas profissionais.

Não é assim hoje. Não podemos mais confiar em um modelo que pressupõe tempo e recursos que nossos mentores não possuem. As instituições devem fornecer instruções explícitas em integridade de pesquisa, gerenciamento de dados e expectativas profissionais. A formação já é obrigatória em algumas jurisdições e aplicações. Por exemplo, nos Estados Unidos, bolsas de treinamento geralmente exigem cursos de conduta responsável em pesquisa. As pessoas que trabalham com animais na Austrália devem completar um curso de manejo de animais. No entanto, todo esse treinamento varia amplamente em qualidade e é frequentemente visto como um exercício pro forma. Para garantir que o treinamento seja um tempo bem gasto, os programas devem ser acreditados, práticos e respeitados.

As instituições também devem ser obrigadas a treinar supervisores de PhD em orientação e em papéis de líderes na criação de uma cultura de pesquisa saudável. Além disso, os supervisores e mentores devem ser julgados não pela contagem, mas por declarações de impacto sobre os projetos e progressão na carreira de pelo menos dois estudantes de doutorado; idealmente, pelo menos uma mulher e um homem. Não conheço instituições que atualmente exijam tal prática.

Em seguida, as instituições devem atender aos crescentes pedidos para abandonar a contagem de papers e métricas similares para avaliar os pesquisadores. Uma abordagem alternativa, a Regra dos Cinco, demonstra um compromisso claro com a qualidade: os candidatos apresentam seus cinco melhores artigos nos últimos cinco anos, acompanhados de uma descrição da pesquisa, seu impacto e sua contribuição individual. Os números exatos são imateriais: o que importa é o foco na qualidade. Um punhado de instituições exigiu que os revisores considerassem contribuições individuais em vez de listas de publicações, e a mudança não foi fácil. Os revisores devem ser orientados em relação índices-H e listas de citações dos indivíduos pesquisados no Google , por exemplo. Perseverança e auto-reflexão são essenciais.

Os financiadores devem assumir a liderança para impulsionar essas mudanças. Apenas os candidatos que concluíram um programa de treinamento de integridade credenciado devem ser elegíveis para subsídios. Agências como o Conselho Nacional de Saúde e Pesquisa Médica da Austrália já adotaram a Regra de Cinco para alguns programas. Eles devem ir além e garantir que as avaliações dêem importância à contribuição de um candidato para práticas profissionais – como orientação e revisão por pares.

As revistas precisam passar de distribuidores de conhecimento para guardiãs do conhecimento. Guardiões não publicam e esquecem.

As revistas precisam passar de distribuidores de conhecimento para guardiãs do conhecimento. Guardiões não publicam e esquecem. Eles garantem que os dados permaneçam acessíveis e priorizam as preocupações sobre a qualidade da pesquisa. Isso inclui investigações imediatas quando se suspeita que a pesquisa publicada é falha. Um artigo retratado não deve desaparecer. Deve ser claramente marcado como ‘RETRACTED’ nos sites dos periódicos e alguns esforços devem ser feitos para notificar os leitores e citadores sobre o assunto. Essas normas foram codificadas pelo Comitê de Ética da Publicação e pelo Center for Open Science. A adoção dessas normas ficam restritas aos editores e, como resultado, as retratações se propagam incessantemente. Análises descobriram que muitos artigos recebem mais citações após a retratação do que antes.

As pessoas respondem aos incentivos. A mudança virá apenas quando os financiamentos e promoções estiverem condicionados às melhores práticas. Se isso não acontecer, ainda estaremos falando sobre esse assunto durante os próximos desembarques na Lua.