Repensando a Educação da Asma Pediátrica através da Geração e Simplificação de Modelos de Linguagem Grande: Estudo duplo-cego aleatório

Ensaio clínico randomizadoNível 2 · Nova evidênciaJournal of medical Internet research26 ago 20260 citações

O que aconteceu

Modelos de linguagem grandes (MLMs) são cada vez mais utilizados para gerar materiais de educação em saúde, mas ainda questionam se conteúdos gerados por LLM podem equilibrar a precisão profissional com a acessibilidade pública e quais desafios éticos podem surgir durante a implantação. Este estudo teve como objetivo avaliar materiais educativos de asma pediátrica chinesa gerados por LLMs, comparando respostas geradas por IA (AI-GRs) com respostas publicadas por especialistas (PEARs) sobre escores totais, intenção de adoção entre profissionais de saúde, utilidade percebida entre familiares e efeito de respostas simplificadas por IA (AI-RSs), bem como avaliar a capacidade dos participantes em identificar corretamente a fonte de materiais. Neste estudo de avaliação randomizado, duplo-cego, os participantes (profissionais médicos e familiares de pacientes) foram distribuídos aleatoriamente (1:1:1) para avaliar PEARs, IA-GRs ou IA-RSs. Cada participante avaliou 5 itens selecionados aleatoriamente a partir de seu conjunto atribuído, utilizando uma escala Likert de 19 itens, de 5 pontos, baseada no modelo de adoção de informações. Os desfechos secundários incluíram escores específicos de dimensão, acurácia de identificação da fonte e índices de legibilidade.

O que encontraram

Os IA-GRs apresentaram escores totais médios numericamente maiores no questionário de 19 itens do que os PEARs entre ambos os profissionais médicos (76,17, DP 12,59 vs 72,97, DP 14,88; P=,53 ajustado por Holm) e famílias de pacientes pediátricos (68,77, DP 16,47 vs 64,18, DP 15,76; Holm-ajustado P=,15). Os escores médios correspondentes para as respostas simplificadas por IA foram 72,98 (DP 12,64) e 65,47 (DP 16,52), respectivamente, sem diferenças estatisticamente significativas em relação aos PEARs após ajuste de Holm (ambos ajustados P>,99). Não foram detectadas diferenças estatisticamente significativas entre os grupos LLM e PEAR em nenhuma das 4 dimensões do questionário após o ajuste de Holm. A interação material grupo-população também não foi estatisticamente significativa (F2,513=0,116; P=,89; η2<0,001 parcial). Quanto à identificação da fonte, 80,6% (141/175) dos participantes atribuídos aos PEARs identificaram o material como humano-autor, enquanto apenas 7,3% (25/344) daqueles atribuídos aos grupos LLM identificaram o material como LLM-gerado.

Por que isso importa

Este estudo de avaliação randomizado, duplo-cego, fornece evidências preliminares de nível participante quanto à qualidade percebida e aceitação da educação em asma pediátrica assistida por LLM entre profissionais médicos e famílias de pacientes pediátricos em condições controladas. A simplificação adicional da linguagem não melhorou a aceitação nessa amostra predominantemente altamente educada, e a forte tendência de atribuir materiais aos autores humanos destaca a importância da transparência da fonte. A revisão profissional e as avaliações dedicadas da acurácia factual, segurança clínica, compreensão e resultados comportamentais permanecem necessárias antes da implementação prática.

Tradução automática do resumo original, publicado em Journal of medical Internet research sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.