Relatando Lacunas e Desafios em Ensaios Randomizados de IA Gerativa para Uso Médico: Perspectivas de uma Revisão Sistemática

O que aconteceu

A IA Generativa (GenAI) está a ser rapidamente implantada na medicina, e a evidência da sua segurança clínica e eficácia depende da notificação transparente de ensaios clínicos controlados randomizados (RCTs). A extensão CONSORT-AI (Consolidated Standards of Reporting Trials-AI) é um parâmetro de referência para a comunicação de ensaios de IA, mas foi elaborada para IA convencional e a sua aplicabilidade à GenAI não foi examinada. Este estudo teve como objetivo avaliar a adesão do item ao CONSORT-AI entre os ECRs que avaliam a GenAI para fins médicos e distinguir as deficiências atribuíveis à não adesão daquelas atribuíveis a itens que não correspondem à forma como as intervenções do GenAI são especificadas ou entregues. PubMed, CENTRAL (Cochrane Central Register of Controlled Trials) e Embase foram pesquisados por ECRs de língua inglesa, revisados por pares, publicados de 2022 a 3 de abril de 2026, complementados por busca por citações atrasadas e antecipadas, nas quais pacientes, profissionais de saúde ou leigos receberam intervenção da GenAI para fins médicos; não-GenAI, relatórios não médicos, não randomizados e não revisados por pares foram excluídos. Dois revisores rastrearam independentemente estudos, extraíram dados e classificaram itens do CONSORT-AI conforme relatado, parcialmente relatado, não relatado ou não aplicável utilizando questões de sinalização, com discordâncias resolvidas por um terceiro revisor (Cohen κ=0,81 e prevalência ajustada, viés ajustado κ=0,84). O risco de viés não foi avaliado, pois o objetivo era relatar adesão. A adesão foi a proporção de relatos classificados como "referidos" por item; a adesão ao nível do item foi comparada em 9 características, utilizando-se os testes exato de Fisher e Freeman-Halton (2-sided α=,05). Dos 16.485 registros recuperados, 74 relatos de 73 ECR (24.150 participantes; mediana 100, IQR 50,0-247,0) foram incluídos. Os grandes modelos de linguagem (LML) foram responsáveis por 98,6% (73/74) das intervenções, sendo 60,8% (45/74) dos modelos familiares GPT. O nível de adesão aos relatórios de itens variou de 0% (0/72) a 98,6% (73/74). Alta adesão ocorreu em metadados gerais e itens de especificação de saída (intervalo 59-73, 79,7%-98,6%). Por outro lado, o relato foi ruim para os domínios de entrada e execução técnica, elegibilidade dos dados de entrada (3/73, 4,1%), aquisição/selecção de entrada (9/74, 12,2%), versão do algoritmo (17/74, 23,0%), integração da configuração experimental (21/74, 28,4%), interação humano-AI (25/74, 33,8%), erro de desempenho (27/74, 36,5%) e acesso aberto/código (31/74, 41,9%). O tratamento da qualidade de entrada (Item 5[iii]) não foi notificado (0/72). Apenas 9 dos 74 (12,2%) relatórios citaram explicitamente CONSORT-AI. Ao citar os relatos, observou-se maior compliance para interação e compartilhamento de dados, persistindo grandes lacunas técnicas, independentemente da citação. Esta revisão fornece a primeira auditoria empírica distinguindo a não adesão geral de descompassos estruturais onde itens determinísticos CONSORT-AI não capturam a mecânica GenAI. Diferentemente das avaliações tradicionais de IA, ela revela que os principais impulsores-sistema de reprodutibilidade, configurações de inferência e modalidades de acesso são omitidos dos padrões atuais. Esses achados empíricos destacam lacunas críticas de notificação em ensaios clínicos de GenAI e identificam domínios para uma extensão adaptada aos padrões atuais de notificação, embora as evidências sejam limitadas pelo uso de questões de sinalização não validadas. Estabelecer diretrizes de ensaios específicos da GenAI garantirá que as decisões clínicas, as aprovações regulatórias e as salvaguardas de segurança do paciente sejam fundamentadas em evidências reprodutíveis e confiáveis.