Aprendizagem por imitação para condução autônoma de veículos

Abstract

Aprendizado por Imitação (Imitation Learning - IL) é um método de Aprendizado de Máquina (Machine Learning - ML) que busca a política ótima para tomadas de decisão baseando-se em demonstrações dadas por um especialista. Tratando-se de IL, tem- se a Clonagem Comportamental (Behavioral Cloning - BC ), método de aprendizado supervisionado que, treinado por pares estado-ação, visa tomar as decisões que mais se assemelham às fornecidas. Entretanto, como a BC busca imitar o especialista, pode-se gerar ações enviesadas, tendendo a comportamentos determinados pelo especialista usado para gerar o conjunto de treinamento. Uma abordagem de IL que ajuda no quesito robustez, é a Generative Adversarial Imitation Learning (GAIL). GAIL possui duas redes: a geradora (G) e a discriminadora (D). O objetivo de G é gerar comportamentos similares aos gerados pelo especialista, através de um treinamento interativo com o ambiente, e que usa o sinal de recompensa gerado por D sem acessar diretamente as demonstrações do especialista. O objetivo do projeto é pesquisar, analisar e aplicar os métodos supracitados no ambiente de simulação CarRacing-v0 visando a condução autônoma de veículos.