Benchmarking LLM-based Information Extraction Tools for Medical Documents

PreprintNível 3 · Ciência emergentemedRxiv26 out 20261 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

Os documentos médicos são um recurso crucial para a pesquisa médica em todo o mundo. Embora existam dados de saúde valiosos, eles são largamente inacessíveis computacionalmente como cópias impressas de texto não estruturado. Além disso, a prevalência persistente de máquinas de fax em ambientes médicos contribui para uma maior degradação da qualidade dos documentos. A extração manual de dados desses documentos é demorada e intensiva em recursos. No entanto, modelos de linguagem grandes (LLMs) têm mostrado recentemente grande promessa para digitalização automatizada e extração de informação (IE), melhorando muito em termos de precisão em tecnologias anteriores. Aqui objetivamos pesquisar o panorama de ferramentas de EI baseadas em LLM no que diz respeito à sua aplicabilidade a documentos biomédicos e analisá-los sistematicamente em documentos sintéticos com extrações de referência pareadas. Colocamos foco especial em ferramentas e modelos executáveis localmente que se adequam a configurações restritas à privacidade e recursos. Foram revisadas as ferramentas de EI baseadas em LLM na literatura e avaliadas quanto à sua adequação para uso em pesquisas biomédicas. Encontramos apenas uma dessas ferramentas (NuExtract2) para satisfazer nossos critérios de seleção e compará-la com modelos de fundação LLM solicitados a realizar extrações. Criamos 200 relatórios de testes moleculares simulados com dados de referência pareados usando uma abordagem de geração de procedimentos sob medida e avaliamos o desempenho das ferramentas em diferentes estratégias de alerta, modalidades de entrada e qualidades documentais.

O que encontraram

O desempenho do modelo foi muito sensível às modalidades de entrada e qualidade. O melhor desempenho global foi observado para o GPT proprietário 4,1-mini, com pontuação de F1 de 79,2% média entre os níveis de qualidade e modalidades. O melhor modelo de pesos abertos foi Mistral-pequeno 3,1 com pontuação média de F1 de 76,2%. O modelo NuExtract2 foi o único capaz de rodar em computadores portáteis regulares, mas não teve bom desempenho. Surpreendentemente, nós encontramos a escolha de um tiro sobre prompts zero-shot para ter apenas um pequeno tamanho de efeito no desempenho da extração na maioria dos casos.

Por que isso importa

Os LLMs colocam o processamento automático de documentos médicos altamente complexos em configurações sensíveis a recursos e à privacidade ao alcance, mas ainda requerem supervisão humana. Disponibilidade: Código-fonte e dados estão disponíveis no GitHub e no Zenodo, respectivamente.

Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.