Generative adversarial imitation learning with bird?s-eye view input generation for autonomous driving on urban environments

Abstract

Veículos autônomos representam a próxima fronteira da robótica, envolvendo tarefas complexas de percepção e controle. Esta dissertação investiga algoritmos de aprendizado por imitação para treinar um agente a conduzir um veículo em ambientes urbanos usando sensores como câmeras frontais e um planejador de trajetos baseado no Sistema Global de Navegação por Satélite (GNSS). A arquitetura hierárquica de Aprendizagem por Imitação Adversarial Generativa (hGAIL) é proposta como uma solução completa para a navegação de veículos autônomos, mapeando diretamente percepções sensoriais para ações de baixo nível enquanto aprende uma representação de nível médio do ambiente. Ela é composta por uma arquitetura com dois módulos principais: a Rede Adversarial Generativa Condicional (CGAN) cria uma representação de Visão Aérea (BEV) a partir de imagens da câmera frontal, e a Aprendizagem por Imitação Adversarial Generativa (GAIL) aprende a controlar o veículo com base nas previsões do primeiro módulo. O agente é capaz de aprender a partir de demonstrações de especialistas, tornando-o adequado para tarefas onde os sinais de recompensa são difíceis de definir. Os resultados relatados mostraram que o GAIL, usando exclusivamente câmeras (sem BEV), não consegue sequer aprender a tarefa, enquanto o hGAIL, após treinamento exclusivo em uma cidade, conseguiu navegar autonomamente com sucesso em 98% das intersecções de uma nova cidade que não foi utilizada na fase de treinamento.

Abstract: Autonomous vehicles represent the next frontier of robotics, involving intricate tasks of perception and control. This dissertation investigates imitation learning algorithms to train an agent to drive a vehicle in urban environments using sensors like forward-facing cameras and a Global Navigation Satellite System (GNSS) based path planner. The hierarchical Generative Adversarial Imitation Learning (hGAIL) architecture is proposed as an end-to-end solution for autonomous vehicle navigation, directly mapping sensory perceptions to low-level actions while learning a mid-level representation of the environment. It comprises an architecture with two main modules: the Conditional Generative Adversarial Network (CGAN) generates a Bird's-Eye View (BEV) representation from frontal camera images, and the Generative Adversarial Imitation Learning (GAIL) learns to control the vehicle based on the predictions from the first module. The agent is able to learn from expert demonstrations, making it suitable for tasks where reward signals are difficult to define. The reported results have shown that GAIL exclusively from cameras (without BEV) fails to even learn the task, while hGAIL, after training exclusively on one city, was able to autonomously navigate successfully in 98% of the intersections of a new city not used in training phase.