Benchmarking Pergunte a Eolas-uma ferramenta de IA médica para aconselhamento antimicrobiano disponível em hospitais do Reino Unido

O que aconteceu

A seleção do antimicrobiano mais adequado para tratar uma infecção requer cuidadosa consideração de múltiplos fluxos de informação clínica e é frequentemente apoiada por diretrizes localmente adaptadas. Recentemente, ferramentas de inteligência artificial (IA) têm mostrado forte potencial como assistentes de apoio à decisão clínica. Neste estudo, avaliamos sistematicamente Ask Eolas, uma ferramenta de orientação antimicrobiana baseada em diretrizes locais IA, que foi disponibilizada em vários hospitais do Reino Unido. Em primeiro lugar, Ask Eolas foi testado em 1.040 consultas clínicas simuladas. Essas consultas foram geradas com base no conteúdo das diretrizes e validadas por revisão clínica. Utilizamos uma abordagem de modelo de linguagem grande (MLM)-como juiz e revisões de dez clínicos para avaliar as respostas de Ask Eolas. Além disso, as entradas relacionadas à infecção foram extraídas do benchmark HealthBench e utilizadas para uma segunda avaliação. Pergunte a Eolas demonstrou consistentemente bom desempenho em várias consultas diretas, mas lutou em cenários clínicos complexos, incluindo gerar algumas respostas que foram consideradas potencialmente inseguras. A utilidade do HealthBench foi limitada pelas diferenças entre as respostas padrão-ouro e as esperadas em hospitais específicos do Reino Unido. Esses achados destacam tanto a utilidade quanto as limitações de Ask Eolas. É necessário desenvolver padrões de desempenho e parâmetros de referência para as ferramentas de aconselhamento baseadas em IA, incluindo as adaptadas a contextos locais específicos, para apoiar a implantação clínica segura.