
Equipes diagnósticas de LLM multiagentes melhoram a memória diferencial em casos curados e revertem em notas reais de emergência: uma inversão de nível de etiqueta sem uma diferença de segurança julgada por clínicos
PreprintMedicina e TecnologiaPré-publicação. Ainda não revisada por pares; não deve orientar conduta.
O que aconteceu
Antecedentes. Os pipelines do modelo multi-agente da linguagem grande (LLM) são propostos para o suporte diagnóstico, mas quando ajudam ou prejudicam é desconhecido: as avaliações usam relatórios de casos curados, raramente incluem controles orçament-matched, ou a independência da perspectiva isolada. Métodos. Comparamos uma única chamada direta (Ax1), cinco personas especialistas vozeadas em um contexto (P), e os mesmos cinco papéis funcionam como agentes isolados, mutuamente cegos, integrados por um moderador (MDT), com cinco repetições por caso, em 87 casos de conferência clinicopatológica (CCP), 406 casos MedCaseReasoning, 364 encontros de emergência-departamento e uma coorte de replicação protocolo-congelada 392-vinheta, pontuada por um juiz da LLM validado contra clínicos cegos, com uma classificação de segurança cega de três médicos dos pares discordantes. Achados. Em vinhetas com curadoria, a equipe moderada melhorou os objetivos de evocação pré-especificados, não a precisão de topo-1 (CPC +5,5, MedCaseReasoning +3,0, replicação +3,3 pontos no topo-3; p = 0,0079, 0,0079, 0,0013); um fatorial atribuiu o ganho à geração independente mais síntese moderada, não personas. Em 364 notas de emergência reais (marcas: diagnósticos de trabalho dos clínicos, nível de 46% de sintomas), a direção revertida (top-3 -6,4 pontos, p = 0,0022), ampliada com resultados objetivos e replicada em uma segunda família de peso aberto. Uma dose-resposta de cinco corpos é consistente com a cura de entrada que conduz o sinal (pos hoc; corpos diferem em proveniência e granularidade). Um contrato de saída sintoma-permissiva fechou o fim da amplitude da inversão, mas não seu fim de ordenação, e médicos cegos julgaram os erros de nenhuma estratégia mais perigosos (68% laços; um nulo alimentado apenas para grandes efeitos). Interpretação. Os oleodutos multi-agentes são condicionais à entrada: eles melhoram a memória de lista diferencial (não a precisão de topo-1) em entradas com curadoria e baixo desempenho em texto de emergência não curado - uma inversão de nível de etiqueta sem uma diferença de segurança clínico-julgada. A seleção de estratégias deve ser fundamental na família de insumos e modelos, observável antes da execução do modelo, como hipótese de roteamento; os ganhos de benchmark curado não devem ser extrapolados para cuidados de linha de frente.
Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.
O estudo original
Multi-agent LLM diagnostic teams improve differential recall on curated cases and reverse on real emergency notes: a label-level reversal without a clinician-judged safety difference