Validade condicional na avaliação L2 mediada pela LLM: revisão sistemática baseada em argumentos e metanálise

Revisão sistemáticaNível 1 · Evidência consolidadaFrontiers in research metrics and analytics11 set 20260 citações

O que aconteceu

Modelos de linguagem grandes (LMLs) são cada vez mais usados para pontuação e feedback na avaliação de segunda língua (L2), mas a validade das interpretações resultantes permanece contestada. Esta revisão avaliou quando a avaliação mediada pela LLM é psicometricamente defensável e educacionalmente por meio de um referencial de validade baseado em argumentos voltado para representação de construtos, confiabilidade e reprodutibilidade, equidade e washback. Após o PRISMA 2020, buscamos sistematicamente nove bases de dados e repositórios para estudos empíricos publicados de janeiro de 2022 a dezembro de 2025. Cinquenta e dois estudos atenderam aos critérios de inclusão. A síntese quantitativa utilizou modelos de efeitos aleatórios REML onde os efeitos eram suficientemente comparáveis; correlações de Pearson, correlações de classificação, ICC/κ/QWK e outros índices psicométricos foram retidos em escalas apropriadas. Os resultados do Washback foram sintetizados utilizando-se o g de Hedges. Os achados corroboram uma interpretação de validade dependente do contexto e não uma afirmação universal sobre a capacidade de avaliação da LLM. As evidências atuais suportam aplicações formativas e supervisionadas cuidadosamente, mas não justificam a pontuação autônoma de altas apostas ou amplas reivindicações de validade de construto, equidade e generalização.

O que encontraram

A auditoria a nível da fonte mostrou que as provas de Pearson eram escassas. Três estudos L2 verificados por fonte revelaram correspondência moderada do escore humano-LML (r = 0,66, IC 95% [0,53, 0,75]) com heterogeneidade substancial (I 2 = 70,8%). As evidências foram mais fortes em contextos guiados por rubricos, estruturalmente restritos e supervisionados por humanos, enquanto a representação do construto, a equidade, a reprodutibilidade operacional e a generalização permaneceram subdesenvolvidos. Em 14 estudos, o feedback formativo mediado pelo LLM produziu um efeito positivo pequeno a moderado sobre a qualidade da revisão e os resultados da escrita de curto prazo (g = 0,42, IC 95% [0,27; 0,57]), embora a heterogeneidade tenha sido substancial (I 2 = 69,8%) e as preocupações com a transferência cognitiva, a agência de aprendizagem e a reprodutibilidade persistiram.

Tradução automática do resumo original, publicado em Frontiers in research metrics and analytics sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.