Post-hoc confidence estimation for image-level selective prediction in semantic segmentation using deep neural networks

Abstract

O avanço do aprendizado profundo consolidou a segmentação semântica como técnica crucial na análise de imagens médicas, permitindo a delimitação precisa de estruturas anatômicas e a extração de regiões de interesse para diagnóstico e planejamento terapêutico. Contudo, a variabilidade dos dados, a complexidade dos contornos e a presença de ruídos impõem desafios à confiabilidade das predições, especialmente em contextos críticos, onde o erro deve ser minimizado.Nesse cenário, a predição seletiva torna-se uma estratégia eficaz, uma vez que possibilita a redução de erros por meio da abstenção de predições quando a confiança sobre a predição do modelo é insuficiente, aumentando assim a segurança dos resultados. Diante disso, este trabalho propõe a formulação de uma predição seletiva em nível de imagem para a segmentação semântica, permitindo que modelos já treinados e fixos se abstenham de gerar segmentações quando estimadores de confiaça apontam valores abaixo do aceitável. Para isso, fundamentamos a abordagem na métrica Dice, amplamente utilizada na avaliação de segmentações médicas, e apresentamos o estimador de confiança Soft Dice Confidence (SDC), cuja formulação também se baseia nessa métrica. Os experimentos realizados em diversos cenários demonstram que o SDC, em geral, supera outros estimadores de confiança post-hoc propostos na literatura. Além disso, o SDC se configura como uma solução prática para qualquer modelo, pois depende apenas do acesso às predições precomputadas, e revela-se eficaz na melhoria dos sistemas de predição seletiva em segmentação semântica. Essa abordagem é particularmente relevante para aplicações críticas em imagens médicas, uma vez que contribui para a redução dos riscos e o aumento da confiabilidade das predições.

Abstract: The advancement of deep learning has established semantic segmentation as a crucial technique in medical image analysis, enabling the precise delineation of anatomical structures and the extraction of regions of interest for diagnosis and therapeutic planning. However, data variability, contour complexity, and the presence of noise pose significant challenges to prediction reliability, particularly in critical contexts where errors must be minimized. In this scenario, selective prediction emerges as an effective strategy by reducing errors through the abstention from predictions when the model's confidence is insufficient, thereby enhancing the safety of the results. In light of these challenges, this work proposes the formulation of image-level selective prediction for semantic segmentation, allowing pre-trained and fixed models to refrain from generating segmentations when confidence estimators indicate values below an acceptable threshold. To achieve this, our approach is based on the Dice metric, widely used in the evaluation of medical segmentations, and we introduce the Soft Dice Confidence (SDC) confidence estimator, which is also grounded in this metric. Experiments conducted in various scenarios demonstrate that the SDC generally outperforms other post-hoc confidence estimators proposed in the literature. Moreover, the SDC represents a practical solution for any model, as it relies solely on access to precomputed predictions, and it proves effective in enhancing selective prediction systems in semantic segmentation. This approach is particularly relevant for critical applications in medical imaging, as it contributes to reducing risks and increasing the reliability of predictions.