Um modelo reprodutível de grande linguagem decomposta Pipeline para Abstração Estruturada de Relatórios de Neuroimagem Multimodal: Desenvolvimento e Validação Independente em 1.669 Encontros de Departamento de Emergência para Tonturas e Vertigens
PreprintNeurologiaPré-publicação. Ainda não revisada por pares; não deve orientar conduta.
O que aconteceu
Para desenvolver e validar de forma independente um pipeline de linguagem grande decomposto, específico da modalidade, que abstraia variáveis estruturadas a partir dos relatórios de neuroimagem de texto livre de um trabalho multimodal, e para validar o conjunto de dados estruturados resultantes para reutilização em pesquisa a jusante. Um oleoduto congelado (temperatura 0) extraindo 22 variáveis em toda a cabeça da TC, angiotomografia, perfusão da TC e cérebro de RM foi aplicado em 1.669 encontros de DE para tontura ou vertigem; 11 variáveis foram pré-especificadas como primárias (Tier 1). A reprodutibilidade usou três corridas de mesma sessão e uma repetição de nove semanas; três modelos de fronteira (Claude Sonnet 4.6, GPT-5.4, Gemini 3.5 Flash) mediram a concordância entre modelos (Kappa de Cohen/Fleiss). A precisão foi avaliada em uma coorte independente de 200 encontros (150 aleatórios, 50 enriquecidos para achados raros); 100 foram duplamente lidos por dois revisores cegos com discordâncias julgadas. Um gasoduto LLM decomposto produziu abstração multimodal reprodutível, portátil-modelo, estável e precisa. Como o desenho e validação do esquema são custos iniciais, tais gasodutos escalam para coortes de pesquisa maiores.
O que encontraram
A reprodutibilidade teste-reteste foi alta (Tier 1 Fleiss' kappa = 0,993; 99,8% exato) e estável nove semanas depois (kappa = 0,992); concordância intermodelo foi kappa = 0,962. Contra a referência adjudicada, a precisão de nível 1 foi de 0,971 a 0,988 entre os modelos (kappa de Cohen 0,959 a 0,982), comparável à concordância inter-revisor (kappa = 0,932). A precisão foi de 0,980 a 0,983 em encontros aleatórios e 0,955 a 0,977 em encontros enriquecidos (acordo em achados de flagagem de modelo, não sensibilidade).
Por que isso importa
As taxas de erro quantificadas por campo suportam a reutilização deste conjunto de dados com revisão específica de campo, e tais gasodutos oferecem um caminho prático para conjuntos de dados de pesquisa reprodutíveis em larga escala.
Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.
O estudo original
A Reproducible Decomposed Large Language Model Pipeline for Structured Abstraction of Multimodal Neuroimaging Reports: Development and Independent Validation in 1,669 Emergency Department Encounters for Dizziness and Vertigo
Jai G. Shahani, Abdul Rahman Ousta, Shaul Shaulov, Yasir El‐Sherif