Object tracking using a camera gimbal mechanism

Abstract

Este trabalho apresenta um sistema de detecção e rastreamento de objetos no campo de visão da câmera acoplado a um mecanismo robótica com três graus de liberdade denominada Gimbal. O processo de detecção de objetos em tempo real usa uma ferramenta de visão computacional chamada YOLO e se comunica entre periféricos com um sistema operacional robótico (ROS) em uma aeronave pilotada remotamente (RPA) usando um computador de bordo para processar os dados.

O sistema de controle é projetado usando os conceitos matemáticos de cinemática direta e inversa do Gimbal para estimar a posição do ângulo e manter o objeto centralizado na resolução da imagem. Para comparar a matemática de controle cinemático inverso, dois controladores lineares Proporcional-Integral foram ajustados para agir com base no sinal de erro da posição do pixel para cada eixo.

Para o estudo, foi utilizado um ambiente de simulação robótica no software Gazebo para testar e ajustar os controladores realizando alguns experimentos antes de utilizá-lo na vida real, reduzindo a probabilidade de falha ou danos ao hardware. O hardware utilizado para o teste é um conjunto de componentes fornecidos por uma única empresa, facilitando a conexão entre aeronave, câmera, Gimbal e computador de bordo.

Os resultados das simulações e experimentos práticos validam a teoria e permitem que a estrutura rastreie o objeto mantendo-o no campo de visão da câmera enquanto o RPA se move para inspecionar todo o equipamento.

This work presents a system development for detecting and tracking objects on the camera's field of view coupled to a mechanism of three degrees of freedom called Gimbal. The computer vision technique, You Only Look Once (YOLO), detects an object on image in execution time and communicates between peripherals at Robotic Operating System (ROS) on a remotely piloted aircraft (RPA) processing the data and controling the Gimbal's joint using an on-board computer.

The control system is designed using Gimbal's forward and inverse kinematics mathematical concepts to estimate the angle position maintaining the object centered on image resolution. In order to compare control techniques, a Proportional-Integral linear controllers have been designed to act based on error signal from pixel position to each axis independently.

To refine the algorithm it was used a robotic simulation environment from Gazebo software to test and tune controllers and perform some experiments before starting the practical tests, reducing the probability of failure or damaging the hardware. The hardware used was a set of components provided from only one company, facilitating the connection between aircraft, camera, Gimbal and on-board computer.

The results of simulation and practical experiments validate the theory and allows the mechanism to track the object maintaining it on camera's field of view while the RPA is in motion to inspect the interest area.