Reportando Qualidade dos Estudos de Randomização Mendeliana Baseado em STROBE-MR: Uma Investigação Alimentada por Modelos de Língua Grande

PreprintNível 3 · Ciência emergentemedRxiv24 out 20260 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

A randomização mendeliana (RM) tem sido amplamente utilizada para investigar relações causais entre exposições e desfechos. No entanto, também foram levantadas preocupações sobre a qualidade do relato de estudos de RM. O STROBE-MR foi desenvolvido como uma diretriz de notificação para estudos de RM, mas as avaliações de conformidade com o STROBE-MR em estudos de RM publicados permanecem limitadas e dependem amplamente de revisão manual. Com o rápido desenvolvimento de modelos de linguagem de grande porte (MLMs), agora é possível automatizar a avaliação de conformidade STROBE-MR. Desenvolvemos um pipeline utilizando o modelo GPT-5-mini da OpenAI para avaliação automatizada da qualidade dos relatórios de RM. O desempenho do modelo foi avaliado em um conjunto anotado de 46 artigos elegíveis para RM. Aplicou-se o pipeline em mais de 13.000 artigos de RM publicados entre 2005 e 2025 para avaliar o cumprimento da diretriz STROBE-MR e explorar padrões de notificação em itens, seções e períodos de tempo STROBE-MR. Completo cumprimento exigido para comunicar todos os componentes aplicáveis de um item; uma análise de sensibilidade utilizou um critério de conformidade parcial que requer pelo menos um componente aplicável.

O que encontraram

Nosso gasoduto baseado em LLM concordou com o consenso humano em 89,0\% das avaliações STROBE-MR. Em média, 22 dos 43 itens (51,2\%) atenderam ao critério completo de conformidade, com variação substancial das taxas de relato entre os itens e seções STROBE-MR. Os itens menos relatados foram encontrados nas seções "Métodos", "Resultados" e "Outras Informações". O número de itens relatados permaneceu estável ao longo do tempo, com discretas diminuições após 2021. A análise de sensibilidade mostrou que os padrões de tendência temporal diferiram entre conformidade completa e parcial, particularmente nas seções Métodos, Discussão e Outras Informações.

Por que isso importa

Este estudo demonstra o potencial das LLMs para automatizar a avaliação da qualidade do relato em estudos de RM. Nossos resultados sugerem que a qualidade dos relatórios ainda precisa ser melhorada, e mais esforços são necessários para promover o uso do STROBE-MR. Nossos achados também sugerem potenciais refinamentos da diretriz STROBE-MR para apoiar uma aplicação mais consistente.

Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.