Simultaneous tracking and mapping of dynamic instances in industrial environments: a multiple-robot perception system for navigation in dynamic scenarios

Abstract

A navegação eficiente em ambientes industriais dinâmicos representa um desafio significativo para robôs móveis autônomos devido à natureza imprevisível dos elementos circundantes. Esta tese aborda esse desafio ao propor um sistema abrangente para Localização e Mapeamento Simultâneos (SLAM) de instâncias dinâmicas, facilitando a navegação robusta para múltiplos robôs dentro de tais ambientes. No cerne deste sistema está o desenvolvimento de uma ferramenta inovadora para geração automática de conjuntos de dados utilizando simulação robótica, possibilitando a aquisição de dados diversos e representativos. Aproveitando esta ferramenta, Redes Neurais Convolucionais (CNNs) podem ser treinadas para tarefas industriais específicas. Neste contexto, este trabalho visa o objetivo de desenvolver uma CNN para detecção e segmentação de objetos móveis a partir de dados de um sensor LiDAR 3D a ser embarcada em robôs móveis. Além disso, desenvolver um algoritmo centralizado para agregação das predições de múltiplos robôs e realizar rastreamento e mapeamento globais das instâncias dinâmicas. O primeiro objetivo é resolvido através da combinação de uma rede piramidal de características de ponto-chave (Keypoint FPN) e uma rede totalmente convolucional (FCN), usando o mesmo codificador para as múltiplas tarefas da rede. O algoritmo centralizado é desenvolvido utilizando a estrutura de comunicação do Sistema Operacional Robótico 2 (ROS2) e um script em linguagem Python para sincronização dos dados, rastreamento de objetos e construção de mapas de ocupação a partir de múltiplas fontes de sensores. A eficácia do sistema proposto é avaliada extensivamente, tanto em cenários simulados quanto através da integração com um segmento do conjunto de dados r2b da NVIDIA, estabelecendo uma base robusta para futura avaliação em ambientes do mundo real para validar ainda mais sua versatilidade e adaptabilidade. Esta pesquisa contribui com uma solução holística para aprimorar as capacidades de navegação em ambientes industriais dinâmicos, apresentando resultados promissores em ambientes simulados e estabelecendo as bases para implantações futuras em aplicações práticas.

Abstract: Efficient navigation in dynamic industrial environments poses a significant challenge for autonomous mobile robots due to the unpredictable nature of surrounding elements. This thesis addresses this challenge by proposing a comprehensive system for Simultaneous Localization and Mapping (SLAM) of dynamic instances, facilitating robust navigation for multiple robots within such environments. At the core of this system is the development of an innovative tool for automatic dataset generation using robotic simulation, enabling the acquisition of diverse and representative data. Leveraging this tool, Convolutional Neural Networks (CNNs) can be trained for specific industrial tasks. In this context, this work aims to develop a CNN for detection and segmentation of moving objects from 3D LiDAR sensor data to be embedded in mobile robots. Additionally, to develop a centralized algorithm for aggregating predictions from multiple robots and perform global tracking and mapping of dynamic instances. The first objective is achieved through the combination of a Keypoint Feature Pyramid Network (Keypoint FPN) and a Fully Convolutional Network (FCN), using the same encoder for the multiple tasks of the network. The centralized algorithm is developed using the communication structure of the Robot Operating System 2 (ROS2) and a Python script for data synchronization, object tracking, and occupancy map construction from multiple sensor sources. The effectiveness of the proposed system is extensively evaluated, both in simulated scenarios and through integration with a segment of the NVIDIA r2b dataset, establishing a robust foundation for future evaluation in real-world environments to further validate its versatility and adaptability. This research contributes a holistic solution to enhance navigation capabilities in dynamic industrial environments, presenting promising results in simulated environments and laying the groundwork for future deployments in practical applications.