Interpretando resultados auto-relatados após oficinas de escrita assistida por IA: uma análise de sensibilidade agregada das reivindicações educacionais

O que aconteceu

Oficinas de escrita de inteligência artificial são cada vez mais utilizadas na educação em saúde-professões, mas auto-relatos imediatos podem ser interpretados como evidência de aprendizagem ou competência ética além do que medem. Este estudo aplicou um quadro de interpretação de dados agregados a uma avaliação de instituição única publicada de uma oficina de redação acadêmica assistida por IA. Contagens públicas e resumos de itens foram classificados por constructo, resumidos com intervalos binomiais de modelo de trabalho para os entrevistados observados, e reanalisados com intervalos completos de identificação de listas cadastradas que atribuíram cada questionário não respondente primeiro ao não positivo e, em seguida, à categoria positiva. Entre 64 respondentes, 54 relataram melhor compreensão, ou 84,4 por cento, com um intervalo de trabalho-modelo de 73,6 por cento a 91,3 por cento. A confiança e a melhoria ética percebida foram relatadas por 45 entrevistados, ou seja, 70,3%, com intervalos de 58,2 por cento a 80,1%. Em 80 registantes, a não resposta irrestrita produziu intervalos de identificação de 67,5% a 87,5% para melhoria percebida e de 56,2% a 76,2% para melhoria ética e de confiança. Os índices de parto positivos foram comuns. No entanto, essas medidas não avaliaram conhecimento objetivo, qualidade de escrita, verificação da fonte, tomada de decisão ética ou prática sustentada. As provas suportam apenas descrições limitadas da experiência do entrevistado; as alegações de eficácia requerem uma avaliação objetiva associada e um seguimento tardio.