A multilabel approach to machine learning-based bearing fault diagnosis using the CWRU dataset

Abstract

Nos ambientes industriais, a operação confiável de máquinas rotativas é extremamente importante para diversos processos. Qualquer falha não detectada pode levar a paradas de máquinas, perdas financeiras e riscos à segurança. Os rolamentos são um dos componentes mais comuns e também a causa mais frequente de falhas em máquinas rotativas. Portanto, dada a sua importância, a detecção e o diagnóstico precoce de falhas em rolamentos têm sido amplamente estudados no contexto da manutenção preditiva. Este trabalho propõe uma nova abordagem para modelar o problema do diagnóstico de falhas em rolamentos utilizando aprendizado de máquina, empregando o conjunto de dados de falhas em rolamentos da Case Western Reserve University (CWRU). Apesar do conjunto de dados ser considerado uma referência padrão para testar novos algoritmos, a divisão típica do conjunto de dados sofre de vazamento de dados, conforme mostrado por Hendriks et al. (2022) e Abburi et al. (2023), levando a artigos reportarem resultados excessivamente otimistas. Embora a divisão proposta por eles mitigue significativamente esse problema, ela não o elimina completamente. Além disso, a tarefa de classificação multiclasse proposta por eles ainda pode levar a um cenário irrealista, ao excluir a possibilidade de mais de um tipo de falha ocorrer ao mesmo tempo ou em diferentes localizações. Conforme defendido neste trabalho, uma formulação multirrótulo (detectando a presença de cada tipo de falha em cada localização) pode resolver ambos os problemas, levando a um cenário mais próximo da realidade. Além disso, essa abordagem mitiga o pesado desequilíbrio de classes no conjunto de dados da CWRU, onde casos de falha aparecem com muito mais frequência do que casos saudáveis, embora o oposto seja mais provável na prática. Uma formulação multirrótulo também permite uma avaliação mais precisa utilizando métricas independentes de prevalência para classificação binária, como a curva ROC. Finalmente, este trabalho propõe uma divisão mais realista do conjunto de dados, que permite maior diversidade no conjunto de treinamento, mantendo a divisão livre de vazamento de dados. Os resultados mostram que essa nova divisão pode melhorar significativamente o desempenho, ao mesmo tempo em que possibilita uma análise de erro mais detalhada. Como aplicação da nossa abordagem, é realizada uma análise comparativa utilizando vários modelos de aprendizado profundo do estado da arte aplicados a representações de sinais 1D e 2D nos domínios do tempo e/ou frequência.

Abstract: In today's industrial environments, the reliable operation of rotating machinery is extremely important for various processes. Any unnoticed failure can lead to machine downtime, financial loss, and safety hazards. Rolling bearings are one of the most common components and also the most frequent cause of failure in rotating machinery. Therefore, given their importance, the early detection and diagnosis of rolling bearing faults have been widely studied in the context of predictive maintenance. This work proposes a novel approach for modeling the problem of rolling bearing fault diagnosis with machine learning using the Case Western Reserve University (CWRU) bearing fault dataset. Although the dataset is considered a standard reference for testing new algorithms, the typical dataset division suffers from data leakage, as shown by Hendriks et al. (2022) and Abburi et al. (2023), leading to papers reporting over-optimistic results. While their proposed division significantly mitigates this issue, it does not eliminate it entirely. Moreover, their proposed multi-class classification task can still lead to an unrealistic scenario by excluding the possibility of more than one fault type occurring at the same or different locations. As advocated in this paper, a multi-label formulation (detecting the presence of each type of fault for each location) can solve both issues, leading to a scenario closer to reality. Additionally, this approach mitigates the heavy class imbalance of the CWRU dataset, where faulty cases appear much more frequently than healthy cases, even though the opposite is more likely to occur in practice. A multi-label formulation also enables a more precise evaluation using prevalence-independent metrics for binary classification, such as the ROC curve. Finally, this paper proposes a more realistic dataset division that allows for more diversity in the training dataset while keeping the division free from data leakage. The results show that this new division can significantly improve performance while enabling a fine-grained error analysis. As an application of our approach, a comparative benchmark is performed using several state-of-the-art deep learning models applied to 1D and 2D signal representations in time and/or frequency domains.