Triagem de aprendizagem profunda de imagens otoscópicas para referência otorrinolaringológica: desenvolvimento, validação e implantação do NHREF OtoScan

O que aconteceu

Middle and external ear disease is common and largely treatable, but accurate otoscopic interpretation requires training that is scarce outside specialist ENT services. Published deep learning models for otoscopy report high accuracy, yet most are optimised for closed set classification rather than the referral decision a non specialist actually makes, report uncalibrated probabilities, and do not report the near duplicate controls that video derived otoscopic datasets demand. We developed, validated and deployed a screening aid framed around referral rather than diagnosis. We merged 4,763 otoscopic images from 16 folders across three public datasets into 12 clinically meaningful classes. Every image was passed through a single field of view normalisation function (crop to the illuminated field, square, resize to 224 px, mask to one fixed circle) shared identically by training and inference, to remove the framing cue that otherwise identifies the source dataset. Because one source is video derived, images were grouped by cosine similarity of generic ImageNet features (threshold 0.93, joined transitively) and whole groups assigned to a single split, giving 3,326 training, 719 validation and 718 test images. A MobileNetV2 backbone initialised from ImageNet was fine tuned from block9expand. Probabilities were averaged over the eight dihedral transforms of each image and temperature scaled. The referral score was one minus the probability of a normal ear, and its threshold was set on the validation abnormal ears as the highest value still meeting a target sensitivity of 97%, applied with an inclusive comparison. Model selection, calibration and threshold were frozen before the test split was scored once.

Trecho mantido em inglês: a tradução automática não passou na conferência de números.

O que encontraram

Nos 718 exames realizados, a sensibilidade ao encaminhamento foi de 97,0% (IC 95% 95,1 a 98,2) e a especificidade de 75,6% (IC 95% 69,4 a 80,8), com AUROC 0,974 para anormal versus normal; um cluster bootstrap sobre os 363 grupos de similaridade no teste split amplia esses intervalos para 93,8 99,6% e 66,0 83,4%, respectivamente. De 501 orelhas anormais, 15 não foram encaminhadas, sendo 11 miringosclerose e nenhuma colesteatoma. A macro F1 de 12 classes foi 0,686, a acurácia equilibrada 68,3% e a acurácia 85,0% (86,2% com subtipos crônicos fundidos). A escala de temperatura (T = 1,2) reduziu o erro de calibração esperado de 0,0498 para 0,0430. Uma bandeira de baixa confiança disparada em 4,0% das imagens de teste, separando 87,2% de precisão em casos não marcados de 31,0% em casos marcados. O recordatório foi consistentemente maior no maior conjunto de dados fonte e caiu sobre os outros dois, por exemplo, otite média aguda 95,5% na fonte A versus 50,0% na fonte B.

Por que isso importa

Um modelo compacto e calibrado executado em hardware de CPU comum alcançou a sensibilidade de referência pré especificada de 97% com modos de falha clinicamente interpretáveis. O gap estratificado fonte, e uma divisão perceptivo-auditiva mais precoce que inflava escores até que fosse corrigido, indicam que a precisão do título neste campo é fortemente dependente do controle de vazamentos e estilo de aquisição. O sistema é implantado com revisão especializada obrigatória, um retroteste diário e retreinamento de aprovação, para que o desempenho prospectivo em equipamentos locais seja medido em vez de assumido. É um software de pesquisa e não um dispositivo médico.