Aprendizado Por Imitação Adversária Para Condução de Veículos Autônomos

Abstract

Em Imitation Learning (IL), temos o Behavioral Cloning (BC), onde o agente tenta aprender políticas ótimas clonando as ações fornecidas por um especialista. Entretanto, esta abordagem tende a gerar ações enviesadas, que podem, inclusive, levar a erros em cascata. Como alternativa, surge o Generative Adversarial Imitation Learning (GAIL), onde duas redes neurais adversarias disputam entre si. A geradora (G) tenta produzir trajetórias o mais parecidas possíveis com as do especialista, enquanto a discriminadora (D) é treinada para diferenciar trajetórias do especialista daquelas criadas por G. Com isso, as ações tendem a ser menos enviesadas. O propósito deste trabalho é treinar agentes no simulador realista CARLA utilizando tanto BC quanto GAIL e observar as diferenças. Ainda, no caso do segundo algoritmo, o objetivo é treina-lo utilizando ambas birdview e imagem das câmeras, a fim de notar a diferença. Os resultados mostram que o treinamento utilizando GAIL com birdview se mostrou mais eficiente e robusto, além de menos suscetível a erros em cascata.