Aprendizagem baseada em problemas suportada por IA com andaimes para estagiários médicos: Avaliação Controlada Randomizada Exploratória Retrospectivamente Registrada com Seguimento de Viabilidade Voluntária

O que aconteceu

High-quality problem-based learning (PBL) during internship is resource-intensive and difficult to scale without consistent facilitation. Although generative AI is increasingly used in health professions education, many applications remain on-demand answer tools that may not reproduce core PBL processes. This study aimed to develop and evaluate the Multiagent PBL Environment for Clinical Reasoning (MAPLE-CR), an AI-supported environment that uses generative AI as a process-oriented scaffold rather than an answer-delivery aid. The system supports cognitive mechanisms through reasoning prompts, social-interactional mechanisms through simulated tutor and peer roles, and regulatory mechanisms through structured workflows and feedback loops. We separately evaluated implementation and repeated-use feasibility, including learner experience, short-term outcomes versus self-study, and preliminary framework-aligned process evidence. We conducted a 2-stage study. In an exploratory randomized evaluation (N=52; intervention: n=26; control: n=26), interns completed parallel pretests and posttests around a standardized case. The intervention group engaged in asynchronous, scaffolded PBL in MAPLE-CR, whereas controls completed case-matched self-study using materials derived from the same case and learning objectives. We summarized transcript-derived process dimensions and postsession learner experience in the intervention group. In a voluntary follow-up, 18 participants completed 1 MAPLE-CR case per week for 4 additional weeks to examine repeated use feasibility and patterns across novel cases.

Trecho mantido em inglês: a tradução automática não passou na conferência de números.

O que encontraram

Os escores basais pré-teste foram comparáveis entre os grupos (P=,56). O grupo intervenção obteve maiores escores pós-teste do que os controles (diferença mediana de Hodges-Lehmann 8,25 pontos, IC 95% 6,60-11,60; Cliff δ=0,506, IC 95% 0,21-0,76; P=0,001) e maiores ganhos de escore (diferença mediana 6,60 pontos, IC 95% 1,60-14,95; P=0,01). Em uma escala de 0 a 5, os escores médios foram maiores para acurácia do conhecimento (4,4) e raciocínio clínico (CR, 3,7), enquanto a participação ativa média foi de 2,1 e as dimensões orientadas para interação foram mais variáveis. As médias para 12 itens do questionário com palavras positivas variaram de 4,19 a 4,62, suportando alta satisfação, envolvimento, percepção de apoio e autoeficácia; respostas abertas contextualizaram pontos fortes e necessidades de melhoria. No seguimento voluntário (n=18), o uso semanal de casos cruzados foi factível; os ganhos médios intra-sessão variaram de 13,4 a 20,0 pontos em 5 tentativas, com aumentos acentuados na RC e escores agregados das tentativas 1 a 2 mas trajetórias estatisticamente incertas posteriores.

Por que isso importa

MAPLE-CR foi viável e mostrou alta aceitabilidade do aprendiz. Seu uso foi associado a maiores ganhos de conhecimento em RC de curto prazo do que o auto-estudo caso-matched, enquanto as análises de transcrição forneceram evidências preliminares de processo alinhado ao quadro. Entretanto, a análise de sensibilidade post hoc não estabeleceu suficiência de poder prospectiva, e o intervalo de confiança não pôde excluir menores efeitos educacionais significativos. Esses achados sugerem que a AI-suportada, orientada para o processo PBL pode fornecer um suplemento formativo escalável para a prática de RC quando a capacidade facilitadora e o agendamento de pequenos grupos são limitados, mas o estudo não isolou efeitos específicos de andaimes. Pesquisas adicionais devem confirmar esses achados utilizando ensaios maiores, prospectivamente alimentados, com comparadores ativos mais fortes e medidas de resultado de longo prazo.