Precisão e calibração de confiança de modelos de linguagem de grande porte em questões de neurologia

O que aconteceu

Modelos de linguagem grandes (MLMs) são cada vez mais avaliados para tarefas clínicas, mas o uso seguro requer estimativas confiáveis de incerteza, bem como alta precisão. Foram testados oito LLMs de uso geral em 100 questões de múltipla escolha validadas do tipo neurologia board e comparados três sinais de confiança: confiança autorreferida, confiança implícita por crítica de uma instância de modelo independente e confiança baseada em consistência por amostragem repetida. A precisão variou de 45% (Llama 3.1 8B) a 92% (Gemini 3 Flash/Pro), mas a confiança foi geralmente superestimada, particularmente em modelos de menor precisão. A confiança baseada em consistência proporcionou a melhor discriminação entre as respostas corretas e incorretas (AUROC combinado 0,74), superando o autorrelato, embora as diferenças de calibração entre os métodos não tenham sido significativas. A calibração deve, portanto, ser relatada juntamente com a acurácia quando os MMII clínicos são avaliados.