Eficácia Pedagógica de Dados Sintéticos Gerados por LLM versus Registros Clínicos do Mundo Real: Ensaio de Não-Inferioridade Randomizado Controlado

O que aconteceu

Casos clínicos revisados por especialistas gerados por grandes modelos de linguagem (LMLs) podem complementar recursos de casos na educação médica, mas seu desempenho educacional de curto prazo em relação aos materiais didáticos derivados de casos reais permanece incerto. Comparamos o desempenho imediato do teste pós-treinamento após o ensino com os dois tipos de materiais de caso e avaliamos a não inferioridade com uma margem pré-especificada. Realizou-se um estudo prospectivo, paralelo, randomizado, não inferioridade. Através da plataforma online Wenjuanxing, os participantes foram randomizados 1:1 para aprender com casos de ensino reais compilados por clínicos e revisados por especialistas ou casos clínicos gerados por IA produzidos por Gemini 3.0 Pro de casos reais totalmente desidentificados e revisados por três especialistas em cirurgia geral com patente de professor completo. O desfecho primário foi o escore total em um teste pós-treinamento imediato independente de 10 itens (0-10 pontos), com uma margem de não inferioridade pré-especificada de -0,5 pontos. Os desfechos secundários incluíram o escore de desempenho em fase de treinamento, índice de eficiência de aprendizagem, avaliação de esforço mental de um único item, realismo de caso e julgamento de fonte de caso.

O que encontraram

A total of 403 participants were randomized, of whom 386 were included in the modified intention-to-treat analysis: 192 in the real-case group and 194 in the AI-generated case group. The mean post-training test score was 4.95 (SD, 3.35) in the real-case group and 4.61 (SD, 3.35) in the AI-generated case group. The mean difference (AI-generated minus real-case group) was -0.335 points (95% CI, -1.006 to 0.337). Because the lower bound of the confidence interval was below the prespecified non-inferiority margin of -0.5 points, non-inferiority was not demonstrated (one-sided P = 0.314). No significant between-group differences were observed in the training-phase performance score, learning efficiency index, or single-item mental effort rating. AI-generated cases received lower realism ratings for Level 3 cases. The proportion of participants with at least one high-confidence completely incorrect response was 1.6% in the real-case group and 2.1% in the AI-generated case group.

Trecho mantido em inglês: a tradução automática não passou na conferência de números.

Por que isso importa

Neste cenário de caso-aprendizagem on-line baseado em texto de curto prazo, não foi observada diferença estatisticamente significativa entre os grupos no desempenho imediato do teste pós-treinamento; no entanto, não foi demonstrada a não inferioridade dos casos clínicos gerados por IA em relação aos materiais didáticos derivados de casos reais.