Analysis of the impact of training techniques on the selective classification performance of deep neural networks

Abstract

Artificial intelligence has rapidly advanced in recent years, with deep learning standing out as one of the most impactful developments. Deep learning is the sub area of machine learning that uses neural networks of several layers to learn from data to predict desired outputs. Its appli- cations span a wide range of domains, including high-stakes areas such as autonomous driving, medical diagnosis, and disaster response. In such critical contexts, it is essential that the model can abstain itself from making uncertain predictions, taking the correct course of action such as to delegate the task to a professional. In the field of classification problems, this approach is formalized as selective classification and it has gained some attention in recent research. One observed issue is that certain state-of-the-art classification models do not present as good con- fidence estimation as expected, granting incorrect samples higher confidence than correct ones. The full nature of this pathology is still unknown, but few works have shown that a possible source is the use of certain training techniques. In this work, the effects on selective classi- fication performance of using Label Smoothing, MixUp and CutMix techniques on training are investigated. Measures of selective classification performance of 104 ImageNet pretrained models were made, as well as subsequent analysis by training eight classification models on the CIFAR-100 dataset while applying the techniques in a controlled manner. The degradation of the selective classification metric was clearly highlighted, and an explanation was proposed based on the alteration of the model’s probability estimation. Experiments with synthetic data drawn from known Gaussian distributions were conducted to measure the ability of models to converge to the true optimal posterior probabilities, and it was shown that all three techniques prevent the probabilistic model to converge to the optimal. In conclusion, evidences of the negative effects on selective classification performance by using Label Smoothing, MixUp and CutMix were acquired, and a possible explanation with empirical support was provided.

A inteligência artificial avançou rapidamente nos últimos anos, com o aprendizado profundo (deep learning) se destacando como um dos desenvolvimentos mais impactantes. O aprendi- zado profundo é uma subárea do aprendizado de máquina (machine learning) que utiliza redes neurais com múltiplas camadas para aprender a partir de dados e prever saídas desejadas. Suas aplicações abrangem uma ampla gama de domínios, incluindo áreas de alto risco como veículos autônomos, diagnóstico médico e resposta a desastres. Nesses contextos críticos, é essencial que o modelo seja capaz de se abster de fazer previsões incertas, adotando a ação mais ade- quada, como delegar a tarefa a um profissional. No campo do problema de classificação, essa abordagem é estruturada como classificação seletiva, e tem recebido certa atenção em pesquisas recentes. Um problema observado é que certos modelos de classificação de estado-da-arte não apresentam uma estimativa de confiança tão boa quanto o esperado, atribuindo maior confiança a amostras incorretas do que corretas. A completa natureza dessa patologia ainda é desconhe- cida, mas alguns trabalhos mostraram que uma possível origem está no uso de certas técnicas de treinamento. Neste trabalho, os efeitos do uso das técnicas Label Smoothing, MixUp e CutMix no desempenho da classificação seletiva são investigados. Foram feitas medições de desempe- nho de classificação seletiva em 104 modelos pré-treinados no conjunto de dados ImageNet, assim como uma análise subsequente com o treinamento de oito modelos de classificação no conjunto de dados CIFAR-100, aplicando-se as técnicas de maneira controlada. A degradação da métrica de classificação seletiva foi claramente evidenciada, e uma explicação foi proposta com base na alteração da estimativa de probabilidade feita pelo modelo. Experimentos com da- dos sintéticos provenientes de distribuições gaussianas conhecidas foram conduzidos para me- dir a capacidade dos modelos de convergir às probabilidades posteriores ótimas. Os resultados mostraram que as três técnicas impedem o modelo probabilístico de atingir essa convergência ideal. Em conclusão, foram obtidas evidências dos efeitos negativos no desempenho da clas- sificação seletiva ao se utilizar Label Smoothing, MixUp e CutMix, e uma possível explicação com suporte empírico foi apresentada.