Um modelo de decisão apenas como juiz de baixo custo de IA médica responde

PreprintNível 3 · Ciência emergentemedRxiv2 nov 20260 citações

Pré-publicação. Ainda não revisada por pares; não deve orientar conduta.

O que aconteceu

Testando e implementando sistemas de IA médica em escala já resulta em mais saídas do que os clínicos podem revisar, e o uso de modelos de linguagem grande (LMLs) como juízes está crescendo rapidamente. Modelos apenas de decisão, modelos baratos e rápidos que retornam probabilidades estruturadas em vez de texto, oferecem uma opção potencialmente escalável para esse objetivo. Em uma avaliação pré-registrada da OSF, testamos o TypeSafe Jev 1.13 como juiz em tarefas de cinco benchmarks clínicos validados: classificação rubric (HealthBench), erros clínicos plantados (When Rubrics Fail), risco em documentos clínicos escritos por IA (MedVAL), avaliações e falhas de aconselhamento (ConunselBench) e preferências médicas entre respostas (Real-POCQi). Comparadores foram o acordo dos avaliadores especialistas, OpenAI Decisions, GPT-6 Luna, uma equipe híbrida proposta combinando modelos de decisão e um LLM barato e, como comparadores de fronteira, GPT-6.1 Sol e Claude Opus 5.5. O principal resultado foi o simples acordo com o rótulo do perito.

O que encontraram

O teste foi composto por 25.091 unidades e 213.913 chamadas do modelo. A concordância de Jev com rótulos de especialistas foi de 64,7% em seis tarefas. Em 3.614 unidades pareadas obteve média de 66,1%, contra 65,0% para Opus e 60,7% para Sol, sendo não inferior a ambas em quatro de seis tarefas. Jev julgou toda a piscina em 17 minutos por US$ 1,46; por julgamento, custou 1/34 do preço de Sol e 1/152 do Opus. Um ponto de corte predefinido manteve sua taxa de falso alarme nas respostas de erros plantados frescos e, em simulação, revisando as respostas menos seguras de Jev, encontrou primeiramente 1,4 vezes os erros de uma auditoria aleatória. Ainda assim, as omissões foram difíceis para ambos: na mesma taxa de alarme falso, Jev perdeu 55,6% das omissões plantadas e Opus 48,1%, e Opus pegou 8,8 pontos mais erros plantados no geral.

Por que isso importa

Ao longo de mais de 200.000 chamadas de modelo, um modelo somente de decisão foi não inferior a dois juízes de fronteira na maioria das tarefas em uma pequena fração de seu custo e tempo, enquanto relatava quão seguro era de cada chamada. Com pontos de corte locais e supervisão especializada de omissões e documentos clínicos, o julgamento de cada saída de um sistema de IA médica implantado torna-se mais acessível.

Tradução automática do resumo original, publicado em medRxiv sob licença CC BY. Os números são conferidos contra o original; siglas e termos técnicos podem variar.