Aprendizado por Imitação Regularizado por Discordância para Veículos Autônomos

Abstract

Uma das abordagens propostas para condução autônoma é o Aprendizado por Imitação (Imitation Learning - IL). Este método consiste em fornecer trajetórias de condução ótimas como um banco de dados de exemplos, os quais são gerados por um motorista especialista. Os exemplos são utilizados para o treinamento da política que será aplicada ao agente. Dentro das técnicas englobadas pelo aprendizado por imitação, enconta-se a Clonagem Comportamental (Behavioral Cloning - BC ), Assim como já descrito no IL, esta técnica utiliza dos exemplos do especialista também chamados de pares de estado-ação para o aprendizado do agente, entretanto, seu objetivo é reproduzir as ações do especialista. Provém desse método a possibilidade de que a distribuição dos estados observados durante a execução pode diferir dos estados observados durante o treinamento, gerando pequenas diferenças na resposta. Esses erros causam divergências nas trajetórias em relação aos dados do especialista. Ao longo do tempo, os erros são ampliados à medida que a política encontra estados cada vez mais distantes de sua distribuição de treinamento, esse fenômeno é denominado Covariate Shift. O objetivo do projeto é pesquisar, analisar e aplicar o método DRIL (Disagreement-Regularized Imitation Learning) para reduzir o efeito desse fenômeno e melhorar a generalização da política. Será utilizado o ambiente de simulação Carla.