Grandes modelos de linguagem detectam erros metodológicos que a revisão por pares humana falha em ensaios clínicos

O que aconteceu

A revisão por pares é o principal controle de qualidade da pesquisa publicada, mas os erros metodológicos podem não ser detectados. Em um experimento anterior com erros inseridos em três relatos de ensaios clínicos randomizados, revisores humanos não treinados obtiveram um escore médio de detecção de maiores erros de 27%. Aqui, testamos se 15 grandes modelos de linguagem (LLMs), incluindo quatro modelos de peso aberto, detectam os mesmos erros. Os escores de detecção de erros maiores variaram de 53% a 96%. Para reduzir o risco de memorização, repetimos o teste em três ensaios clínicos publicados em 2026. Os escores variaram de 51% a 99% e de 66% a 87% para os modelos de peso aberto. Notadamente, as LLMs ainda sinalizavam 2% a 29% dos tipos de erro nos relatórios de controle sem erros inseridos, na maioria das vezes conclusões não apoiadas pelos resultados e pelas razões em que os pacientes rastreados não foram incluídos. Nos 12 modelos, o tempo médio de revisão variou de 1,4 a 16,3 minutos. O Opus 5,5 obteve o maior escore de detecção de erros maiores (99%), enquanto GPT-6,1 Sol e GPT-6 Luna ofereceram alternativas custo-efetivas com escores de 92% e 87%, respectivamente. Em conjunto, esses testes fornecem um benchmark para modelos de revisão especializados e sugerem que confiar apenas na revisão por pares humana pode deixar erros metodológicos evitáveis não detectados.