Segmentação e identificação de cultivo e espécies invasivas em imagens aéreas utilizando redes neurais convolucionais

Abstract

É notório o aumento do uso de Redes Neurais Convolucionais em diversas aplicações. Estas Redes vêm sendo usadas em larga escala para identificação, classificação e segmentação de objetos em imagens, o que é aplicado em áreas como agricultura, carros autônomos, em sistemas de vigilância, entre outros. Neste trabalho, nove modelos estado-da-arte de Redes Neurais Convolucionais são aplicados na tarefa de segmentação semântica dos pixels de uma imagem RGB (canais de entrada pertencentes ao espectro de luz visível) aérea de um talhão de uma cultura agrícola de cana-de-açúcar captada por um Veículo Aéreo Não Tripulado (VANT). A principal investigação feita no trabalho é verificar se tais imagens proveêm informações suficientes para as Redes Neurais segmentarem de forma satisfatória, bem como qual dos modelos treinados gera os melhores resultados. Os pixels das imagens são classificados entre as classes: planta, solo, espécie invasiva e fundo. Os resultados são apresentados e comparados quantitativamente e qualitativamente. Os mapas de segmentação gerados nas saídas dos modelos, em que as classes são explicitamente separadas podem ser utilizados posteriormente em aplicações práticas de Agriultura de Precisão, como monitoramento local de plantas invasoras, se tornando peça chave na melhoria da produção agrícola. Apesar da dificuldade de se criar um conjunto de dados robusto e realizar o \textit{ground truth} das imagens, mostra-se que a técnica gera bons resultados, atingindo valores de \textit{F1-Score} de 96\% e \textit{mean} IoU de 82\%. Estes resultados são melhores do que os resultados relatados anteriormente na literatura, mesmo aqueles que usam espaços de cores especiais e faixas de espectro de luz aprimoradas.<br>

Abstract: Increased use of Convolutional Neural Networks in several applications is noticeable. These networks have been used in large scale for identification, classification and segmentation of objects in images, which is applied in areas such as agriculture, autonomous cars, surveillance systems, among others. In this work, nine state-of-the-art models of Convolutional Neural Networks are applied in the task of semantic segmentation of the pixels of an aerial RBG (visible light input channels) image of a field of an agricultural sugarcane crop captured by an Unmanned Aerial Vehicle. The main investigation made in the work is to verify if those images give enough information for the Neural Networks to segment satisfactorily, as well, which model provides the best performance. The pixels of the images are classified among the classes: plant, soil, invasive species and background. The results are presented and compared quantitatively and qualitatively. The segmentation maps generated in the outputs of the models, where the classes are explicitly separated, can be used later in practical applications of Precision Agriculture, such as local monitoring of invasive plants, becoming a key factor in the improvement of agricultural production. Despite the difficulty of creating a robust data set and elaborating the ground truth of the images, it is shown that the technique generates good results, achieving 96\% F1-Score values and 82\% mean IoU values. These results are better than results previously reported in the literature, even those using special color-spaces and enhanced light spectrum ranges.