BanglaDiaHallu: Alucinações de grandes modelos de linguagem e o efeito da geração de recuperação baseada em diretrizes aumentadas em Bangla diabetes questão respondendo

O que aconteceu

Modelos de linguagem grandes (LMLs) são cada vez mais consultados para aconselhamento em saúde, mas podem produzir declarações fluentes que são falsas ou não suportadas, conhecidas como alucinações, e este risco é mal caracterizado em línguas de baixo recurso, como Bangla. Medimos alucinações de LLMs de peso aberto localmente implantáveis na questão de diabetes de Bangla respondendo e testamos se a geração aumentada de recuperação (RAG) baseada em Bangladesh National Guideline on Diabetes Mellitus as reduz. Quarenta perguntas de pacientes, abrangendo seis subdomínios clínicos, foram respondidas duas vezes, sob indicação de disparo zero, por Qwen3.5-9B, TigerLLM-9B, Qwen3.6-35B-A3B e Gemma-4-26B-A4B, e por BanglaDiaRAG, que adiciona recuperação híbrida densa (BGE-M3) e esparsa (BM25) de uma base de conhecimento de diretrizes Bangla revisada por médico para Qwen3.5-9B. Dois médicos avaliaram as 400 respostas desidentificadas por consenso para acurácia médica, completude, segurança, legibilidade e confiabilidade em escala 0-1, e as respostas com acurácia abaixo de 0,70 foram classificadas como alucinadas. As taxas de alucinação foram de 2,5% para Gemma-4-26B-A4B, 3,8% para TigerLLM-9B, 22,5% para Qwen3,6-35B-A3B e 77,5% para Qwen3,5-9B. O aterramento da orientação reduziu a taxa de Qwen3,5-9B para 11,3% (diferença -66,3 pontos percentuais; IC 95% -76,3 para -55,0) e elevou cada critério em 0,24 para 0,38 pontos (Holm ajustado p < 0,001). O BanglaDiaRAG superou o Qwen3.6-35B-A3B em todos os cinco critérios e igualou ou ultrapassou o TigerLLM-9B, mas permaneceu abaixo do Gemma-4-26B-A4B em segurança, legibilidade e confiabilidade, e seus erros residuais foram específicos, confiantes e potencialmente prejudiciais. O aterramento de diretrizes pode transformar um modelo de propósito geral fraco em um assistente de diabetes Bangla muito mais seguro, mas a escolha do modelo base importava tanto quanto a recuperação e nenhuma configuração estava livre de alucinações, então a supervisão clínica permanece essencial antes do uso voltado para o paciente.