O contexto do banco de dados rico melhora algoritmos de fenotipagem EHR gerados por LLM

PreprintNível 3 · Ciência emergentemedRxiv28 out 20260 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

Avaliar a geração do modelo de linguagem grande (MLM) da fenotipagem do diabetes tipo 2 (T2DM) SQL e o efeito do contexto de implementação do banco de dados. Oito sistemas baseados em LLM, acessíveis ao público, geraram SQL sob prompts progressivamente mais ricos usando dados sintéticos e da Universidade da Carolina do Norte (UNC) Health eletronic health record (EHR), ambos baseados no modelo Observational Medical Outcomes Partnership (OMOP). As saídas foram comparadas com o fenótipo de referência T2DM Eletronic Medical Records e Genomics (eMERGE) utilizando a execução SQL, F1, valor preditivo positivo (PPV) e memória. O contexto do banco de dados Richer foi associado a uma execução e memória SQL mais consistentes, enquanto os rankings dos modelos variaram entre conjuntos de dados.

O que encontraram

Menos de 55% das saídas sintéticas de contexto limitado e nenhuma saída UNC EHR executada sem modificação. Os codebooks detalhados (L3) aumentaram a execução para 81,3% em OMOP sintético e 100% em UNC EHR; adicionar linhas de amostra (L4) aumentou a execução sintética para 100%. A evocação de contexto limitado foi tão baixa quanto 0,01, enquanto as saídas de contexto alto alcançaram a evocação [≥]0,99 na L4 sintética e >0,90 na UNC L3, embora o VPP da UNC permanecesse substancialmente inferior ao recordatório. Nos níveis de contexto mais elevados disponíveis, o Beta F1 variou de 0,72-0,99 em OMOP sintético e 0,57-0,68 em UNC EHR; todos os modelos de UNC excederam o diagnóstico-código basal (F1=0,54). O melhor intérprete sintético caiu de F1=0,99 para 0,64 na UNC EHR.

Por que isso importa

Os LLMs podem gerar fenotipagem de T2DM clinicamente significativa SQL quando fornecidos com contexto de banco de dados suficiente, mas o VPP limitado em dados do mundo real reforça a necessidade de validação local.

Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.