Cinemática Inversa de Manipuladores Robóticos Baseada em Aprendizado por Reforço e Redes Neurais

Abstract

Quando um ser humano abre uma porta, o cérebro calcula as posições de cada uma das articulações do braço, para que a mão seja levada à maçaneta. Este processo chama-se cinemática inversa, e, quando trata-se de manipuladores robóticos, este é associado ao calculo das posições de cada uma das juntas atuadas do mecanismo para que o elo de interesse seja levado à uma posição desejada. O cálculo das posições das juntas atuadas do mecanismo de um manipulador robótico, para satisfazer a cinemática inversa de forma analítica, pode facilmente tornar-se uma tarefa complexa: é comum deparar-se com equações não lineares, múltiplas soluções ou até casos em que as combinações das posiçoes de juntas encontradas são fisicamente impossíveis de serem replicadas pelo manipulador. Este trabalho apresenta uma solução baseada em Q-Learning e redes neurais. A combinação de Q-Learning, técnica de inteligência artificial e aprendizado de máquina, com o apoio de redes neurais, dá origem ao algoritmo Deep Q-Learning, implementado neste trabalho.

When a human being opens a door, the brain calculates the positions of each one of its arm’s articulations, so the hand of interest can be moved to the door handle. This process is called inverse kinematic, and, when it’s associated with robotic manipulators, the process is related to the position calculation for each one of the actuated manipulator joints, so the link of interest is placed on the desired position. The calculation of the manipulator’s actuated joints positions, to satisfy the inverse kinematic analytically, can easily turn into a complex task: It usually takes non linear equations to solve, multiple solutions or even cases where the calculated positions are phisically impossible to be replicated by the manipulator. This paper presents a solution based on Q-Learning and neural networks. The combination of Q-Learning, artificial intelligence and machine learning technique, powered by neural networks, gives origin to the Deep Q-Learning algorithm, implemented on this paper.