Melhoria da Orientação de Prática Clínica Apreciação por Especialistas Humanos e Agentes de IA usando Orientação Estruturada: Revisão Sistemática, Meta-Análise e Estudo de Validação
Saúde PúblicaO que aconteceu
As diretrizes de prática clínica de reabilitação (PGC) têm aumentado rapidamente, mas a qualidade metodológica inconsistente limita sua implementação. Embora a Avaliação das Diretrizes para Pesquisa e Avaliação II (AGREE II) e os Itens Relatos para Diretrizes Práticas em Saúde (RIGHT) forneçam quadros de avaliação padronizados, sua aplicação é demorada. Agentes de IA baseados em grandes modelos de linguagem (LLM) podem oferecer uma alternativa escalável com confiabilidade incerta. Avaliamos a qualidade metodológica e de relato dos PGCs de reabilitação e determinamos se a orientação estruturada melhora a concordância de agentes humanos especialistas-AI. Revisamos sistematicamente os CPGs de reabilitação em inglês e chinês da Embase, Scopus, PubMed, China National Knowledge Infrastructure, Wanfang Data, National Institute for Health and Care Excellence, Scottish Intercollegiate Guidelines Network e Guidelines International Network até junho de 2026. A qualidade metodológica e do relato foi avaliada utilizando-se o ACORDE II e o checklist Direito. Os fatores associados à qualidade da diretriz foram examinados por meio de análise de regressão e subgrupo. Dois agentes de IA foram comparados com consenso humano com e sem um caderno estruturado de avaliação de diretrizes, seguido de validação externa utilizando 6 reconstrução ligamentar cruzado anterior GPCs. PROSPERO CRD420251270676; https://www.crd.york.ac.uk/PROSPERO/view/CRD420251270676.
O que encontraram
Incluímos 227 CPG (163 em inglês, 64 em chinês). Após a introdução de um caderno estruturado de avaliação de diretrizes, a concordância entre especialistas humanos melhorou acentuadamente os coeficientes de correlação intraclasse (ICCs) aumentaram de -0,09 para 0,66 para 0,84-0,92 em todos os domínios do AGREE II. A qualidade geral da diretriz permaneceu baixa, com 35,9% (DP 18,8%) aplicabilidade e 52% (DP 17,2%) envolvimento das partes interessadas. As diretrizes em língua inglesa superaram as diretrizes em língua chinesa em escopo e finalidade (média 74,64, DP 15,4 vs média 68,88, DP 13,9; P=,004) e aplicabilidade (média 39,14, DP 18,6 vs média 27,54, DP 16,7; P<,001). Regressão logística retroativa revelou revisão externa como característica do processo associado (razão de chances 20,39; IC 95% 4,66-89,27; P<,001). As avaliações da direita mostraram confiabilidade consistente (ICC=0,80-0,88). O relato foi maior para informações básicas (70,5%) e menor para financiamento, declaração e gestão de interesses (44,1%). A meta-análise das taxas de relato do direito mostrou menor relato entre as diretrizes em língua chinesa do que em língua inglesa (diferença de risco [RD] -0,07, IC 95% -0,13 a -0,02, intervalo de predição de 95% [PI] -0,39 a 0,24) e entre as diretrizes publicadas antes vs. após a liberação do direito (ID -0,19, IC 95% -0,26 a -0,13, IP 95% -0,56 a 0,17). Sem orientação adicional, a concordância agente-humano foi moderada (ICC=0,608-0,629). O caderno melhorou a concordância para ambos os modelos, com DeepSeek-R1 aumentando de 0,613 para 0,709 e o1-mini de 0,629 para 0,687. Na validação além da reabilitação, DeepSeek-R1 manteve concordância estável (ICC=0,711) e completou avaliações em 5,44 minutos em comparação com 11,18 minutos para humanos.
Por que isso importa
Os CPGs de reabilitação, especialmente os CPGs em língua chinesa, continuam a mostrar deficiências na aplicabilidade e no envolvimento das partes interessadas. A avaliação baseada na LLM sem orientações estruturadas proporciona um acordo insuficiente. A orientação estruturada melhorou o acordo agente-humano, apoiando a avaliação das orientações assistidas por IA sob supervisão humana. Embora seja necessária maior validação em especialidades clínicas adicionais, os agentes de IA podem servir como auxiliares eficientes na avaliação de diretrizes em vez de substituir humanos. A síntese futura requer integração humana-AI orientada por princípios estruturados e definidos por especialistas.
Tradução automática do resumo original, publicado em Journal of medical Internet research sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.
O estudo original
Improvement of Clinical Practice Guideline Appraisal by Human Experts and AI Agents by Using Structured Guidance: Systematic Review, Meta-Analysis, and Validation Study
Xingrun Mao, Junhao Wang, Zezhang Wang, Yuwei Zhang, Shiyu Qiu, Jingyu Ye, Shiyan He, Chongyang Wang, Yong Xia, Chengqi He et al.
Descritores MeSH
- Artificial Intelligence
- Practice Guidelines as Topic
- Large Language Models
- Humans
- Reproducibility of Results