Detecção de caminho navegável em estradas de baixa qualidade

Abstract

Identificar um caminho navegável é uma função importante em um sistema de navegação visual, podendo ter diferentes aplicações práticas, como: veículos autônomos, sistemas de assistência ao motorista ou localização e mapeamento. Para essa tarefa há dois objetivos principais que são: encontrar o caminho à frente do veículo e identificar obstáculos nesse caminho. Isso pode ser alcançado por diferentes tipos de sensores, sejam de visão ativa (lasers) ou visão passiva (câmeras). Alguns desafios devem ser considerados: ambiente em constante alteração, mudanças de iluminação, alterações no tipo de terreno, presença de diferentes obstáculos, buracos ou poças de água no caminho. Além disso, é possível observar pelo estado da arte que a grande maioria dos trabalhos tem como cenário estradas de países desenvolvidos, Europa ou América do Norte, apresentando poucos danos e variações na superfície da estrada. Esse trabalho tem como objetivo utilizar visão passiva, com base em imagens, para a identificação de um caminho navegável, considerando variações na superfície do terreno como tipo de pavimento e danos. Esta tese propõe o uso de técnicas específicas de Visão Computacional e Aprendizado de Máquina para a resolução desses problemas. Como resultados deste trabalho foram geradas duas revisões sistemáticas da literatura, uma com foco na detecção de caminho e outra com foco na detecção de obstáculos. Uma base de imagens para testes e validação também foi criada para os experimentos, com mais de 60 mil frames. Utilizando imagens dessa nova base, foram criados três novos Ground Truth (GT), sendo dois GTs para abordagens de classificação de imagens como: tipos de superfície e qualidade da superfície, e o último GT para abordagem de segmentação de imagem, com foco na segmentação da estrada e das características da estrada. Também foram feitas anotações em imagens de outras bases, principalmente para um GT com foco na detecção dos objetos com informações de movimento e profundidade. Foram consideradas três abordagens experimentais. A primeira visou identificar as características de obstáculos não relacionados à superfície da estrada, como por exemplo: outros veículos e pedestres. Nessa abordagem foram utilizadas informações obtidas por um detector de objetos gerado pela arquitetura de rede neural Mask R-CNN, e com base nos objetos detectados foram extraídos os dados de distância e movimento com a utilização de Visão Estéreo e Optical Flow. Na segunda abordagem com foco na superfície da estrada, foi desenvolvido um classificador de tipos de superfície e qualidade de estrada. Nessa abordagem foi realizado um pré-processamento das imagens, definindo uma Região de Interesse (ROI) e também replicando as imagens com variações de iluminação, de modo a implementar data augmentation para melhoria dos resultados. Em seguida, foi utilizada uma estrutura de rede neural convolucional (CNN) simples para treinar e classificar as imagens nos rótulos de tipo de superfície e também de qualidade de superfície. A terceira abordagem, também com foco na superfície do caminho, foi a aplicação do GT de segmentação de superfícies em uma arquitetura CNN conhecida (U-NET com ResNet) com parametrização dos pesos de cada classe. Os resultados obtidos mostram que é possível utilizar visão passiva para detecção de caminho em estradas com variações na superfície e com danos.

Abstract: Identifying a navigable path is an important function in a visual navigation system and can have different practical applications, such as: autonomous vehicles, driver assistance systems or location and mapping. There are two main goals for this task: finding the path ahead of the vehicle and identifying obstacles along the way. This can be achieved by different types of sensors, whether they are active vision (lasers) or passive vision (cameras). Some challenges must be considered: changing environment, changes in lighting, changes in the type of terrain, presence of different obstacles, potholes or water puddles on the road. In addition, it is possible to observe from the state of the art that the vast majority of the works are on the roads of developed countries, Europe or North America, with little variation in the road surface and with little damage to the road surface. This work aims to use passive vision, based on images, for the identification of a navigable path, considering variations in the road surface such as type of pavement and damage. This thesis proposes the use of specific techniques of Computer Vision and Machine Learning to solve these problems. As a result of this work, two systematic literature reviews were generated, one focusing on path detection and the other focusing on obstacle detection. An image dataset for testing and validation was also created for the experiments, with more than 60 thousand frames. Using images from this new dataset, three new Ground Truth (GT) were created, two GTs for image classification approaches such as: surface types and surface quality, and the last GT for image segmentation approach, focusing on road segmentation and the road features. Annotations were also made in images from other datasets, mainly for a GT with a focus on detecting objects with movement and depth information. Three main approaches were carried out in experiments. The first one aimed to identify the features of obstacles not related to the road surface, such as: other vehicles and pedestrians. In this approach, information obtained by an object detector generated by the Mask R-CNN neural network architecture was used, and based on the detected objects, distance and movement data were extracted using Stereo Vision and Optical Flow. In the second approach focusing on the road surface, a classifier for surface types and road quality was developed. In this approach, pre-processing of the images was performed, defining a Region of Interest (ROI) and also replicating the images with different lighting variations, such as data augmentation, then a simple convolutional neural network (CNN) structure was used to train and classify the images on the surface type and surface quality labels. The third approach, also focusing on the road surface, was the application of the surface segmentation GT in a known CNN architecture (U-NET with ResNet) with parameterization of the weights of each class. The obtained results show that it is possible to use passive vision for road detection on roads with variations in the surface and with damage.