Evaluation of adhesion failures in composite laminated plates using deep learning-based object detection in shearography images

Abstract

Materiais compósitos são ostensivamente utilizados em campo para reparos em tubulações na indústria do petróleo e gás e a avaliação da qualidade dessa aplicação é feita por ensaios não destrutivos como a shearografia. A alta subjetividade presente na detecção e avaliação de imagens de shearografia dificulta a automação desse método em campo, algo necessário na indústria do petróleo e gás principalmente porque os locais de inspeção são de difícil acesso ou perigosos. A inteligência artificial pode auxiliar nessa tarefa, mais específico na forma de detectores de objetos baseados em aprendizado profundo, que por sua vez é uma subárea de aprendizado de máquina. Esses detectores são capazes de identificar a partir de observações as características necessárias para detectar a localização do defeito na imagem e classificá-lo quanto ao seu formato. O conjunto de dados de imagens de shearografia para essa tarefa foi criado a partir de defeitos artificiais que emularam falhas de adesão entre placas metálicas e a primeira camada de compósitos de fibra de vidro por meio de almofadas de politetrafluoretileno de diferentes formatos preenchidas com ar. Um modelo de detecção de objetos base foi treinado utilizando o detector RetinaNet com uma Residual Neural Network - 50 (ResNet-50) como backbone. Esse modelo alcançou uma média de precisões médias de 0,772, onde a melhor precisão média esteve relacionada a detecção de defeitos quadrados, com 0,901, e a pior relacionada a defeitos semicirculares, com 0,681. De forma suplementar, foi desenvolvido um método não-supervisionado para classificar a imagem de uma franja em útil ou não e adicioná-la ao conjunto de dados como exemplo positivo ou negativo, respectivamente. Esse método, chamado de Automatic Useful Fringe Pattern Classification (AUTO-UFP), busca poupar o trabalho oneroso que é feito comumente de forma manual. Ao comparar o conjunto de dados criado automaticamente e aquele criado de forma manual, o F-Score obtido foi de 0,901, o que mostra alta similaridade entre essas duas abordagens. O modelo treinado com esse conjunto de dados obtido automaticamente obteve 0,06% de perda na média das precisões médias em relação ao resultado do modelo-base. Ainda, ocorreu a convergência muito mais rápida quando o detector foi treinado com o dataset automático, o que aponta que o AUTO-UFP é também uma forma de preprocessamento de imagens que mantém apenas padrões de franja com características mais úteis ao detector. Esses resultados confirmam a capacidade do uso de aprendizado profundo em conjunto com a shearografia e são um primeiro passo em direção a automação desse ensaio não destrutivo e abrindo espaço para novos desenvolvimentos.

Abstract: Composite materials are extensively used for pipeline repairs in the oil and gas industry, and their quality assessment is done by nondestructive testing such as shearography. The high subjectivity present in the detection and evaluation of shearography images makes it difficult to automate this method in the field, which is highly desirable in such industry mainly because several inspection sites are dangerous or difficult to access. Artificial intelligence in the form of object detectors based on deep learning can help in this task since they can learn the features needed to detect the location of the defect or defects in the image and classify them regarding their shape at the same time. The dataset of shearography images for this task was created from artificial defects that emulated a lack of adhesion with different shapes and sizes. These defects were positioned between metal plates and the first layer of glass fiber composites employing polytetrafluoroethylene cushions filled with air. A base object detection model was trained using the RetinaNet detector with a Residual Neural Network-50 (Resnet-50) as the backbone. This baseline model achieved a mean average precision of 0.772. The best average precision is related to square defects detection, with 0.901, and the worst is related to semi-circular defects, with 0.681. Additionally, an unsupervised method was developed to classify the usefulness of fringe patterns and add the image to the dataset. This method aims to save the expensive work of labeling images, which is often done manually. When comparing the automatically created dataset and the manually created one, the F-Score obtained was 0.901, which shows a high similarity between these approaches. The model trained with this automatically created dataset had a 0.06% loss in mean average precision regarding the base model result. Also, much faster convergence occurred when the detector was trained with the automatic dataset, which points out that AUTO-UFP is also a form of image preprocessing that maintains only fringe patterns with features that are more useful to the detector. These results confirm the capability of using deep learning in conjunction with shearography and are a first step towards the automation of this nondestructive test while opening space for further developments.