Avaliação da incerteza para detecção de perda de desempenho e guia de diferimento após transferência de modelo entre sistemas hospitalares

O que aconteceu

Os modelos de predição clínica costumam apresentar pior desempenho após a transferência entre os sistemas hospitalares, mas a deterioração torna-se aparente apenas quando os resultados são conhecidos. Investigamos se as medidas de incerteza disponíveis no momento da previsão alertam para perda de desempenho e podem ajudar a identificar previsões individuais que requerem revisão. Três arquiteturas de rede neural foram treinadas em MIMIC-IV para predição de mortalidade intra-hospitalar e avaliadas em EICU-CRD. As medidas incluíram entropia preditiva, informações mútuas da evasão de Monte Carlo e conjuntos profundos, e densidade de representação. Após a transferência, o AUROC caiu de 0,86-0,87 para 0,76-0,77 e a calibração piorou, enquanto a entropia e a informação mútua foram menores. Nenhuma das medidas indicou de forma fiável o desempenho reduzido. O desvio de 20% com a maior entropia reduziu a taxa de erro restante de 17,5-20,1% para 6,3-8,0%; os pacientes diferidos incluíram 91-99% dos alarmes falsos, mas apenas 2-7% dos óbitos perdidos, que apresentaram baixa incerteza. Por conseguinte, a incerteza apoiou a revisão selectiva, mas não revelou perdas de desempenho.