Controle de posição de uma esfera levitante por meio de visão computacional e aprendizado por reforço

Abstract

A necessidade de aperfeiçoamento dos métodos tradicionais de autotuning, como o método de Ziegler-Nichols, é destacada dada a presença de limitações destas ferramentas em sistemas dinâmicos, não lineares e em ambientes sujeitos a constantes mudanças. Tais métodos convencionais muitas vezes exigem um conhecimento aprofundado da planta e podem não ser eficazes diante de incertezas, necessitando de ajustes manuais frequentes. Este trabalho se propõe a controlar a posição de uma esfera - cuja posição é adquirida utilizando visão computacional - em um tubo utilizando um controlador PID e aprendizado por reforço com Q-Learning como uma solução para o autotuning de seus ganhos. Esta abordagem combina inteligência artificial com controle de processos, oferecendo uma estratégia adaptativa e flexível que supera as limitações dos métodos convencionais. O uso da visão computacional é essencial devido à sua capacidade de fornecer informações em tempo real sobre a posição da esfera. A câmera RGB utilizada no sistema captura imagens que permitem a retroalimentação, sendo mais efetiva do que outras soluções tais como sensores ultrassônicos. O uso em conjunto com aprendizado de máquina permite ajustar dinamicamente o controle em resposta à mudanças nas condições ambientais e comportamento da esfera. Tal incorporação no ajuste dinâmico dos ganhos do controlador PID representa um salto significativo em direção à automação inteligente, já aplicado na indústria. Ele permite que o sistema aprenda e adapte-se continuamente ao ambiente, otimizando seus próprios parâmetros de controle, fornecendo ao sistema a capacidade de se ajustar a novos contextos de forma autônoma, além de proporcionar uma resposta adaptativa a perturbações, promovendo a estabilidade do sistema. Assim, a combinação da visão computacional e do aprendizado por reforço não apenas oferece uma abordagem avançada para o controle do sistema, mas também estabelece um modelo para a aplicação dessas tecnologias em sistemas complexos e dinâmicos em diversos campos, desde automação industrial até pesquisa científica. Através de experimentos práticos mostrou-se que o algoritmo Q-Learning foi capaz de encontrar ganhos para o controlador que corrigiram uma dinâmica oscilatória do sistema em apenas 8 minutos (considerando as etapas de aprendizado e correção)

The need for the refinement of traditional autotuning methods, such as the Ziegler-Nichols method, is highlighted given the presence of limitations of these tools in dynamic, nonlinear systems and in environments subject to constant changes. Such conventional methods often require an in-depth knowledge of the plant and may not be effective in the face of uncertainties, necessitating frequent manual adjustments. This paper proposes to control the position of a sphere - whose position is acquired using computer vision - in a tube using a PID controller and reinforcement learning with Q-Learning as a solution for autotuning its gains. This approach combines artificial intelligence with process control, offering an adaptive and flexible strategy that overcomes the limitations of conventional methods. The use of computer vision is essential due to its ability to provide real-time information about the sphere’s position. The RGB camera used in the system captures images that allow feedback, being more effective than other solutions such as ultrasonic sensors. The use in conjunction with machine learning allows for dynamically adjusting control in response to changes in environmental conditions and the behavior of the sphere. Such incorporation into the dynamic adjustment of the PID controller’s gains represents a significant leap towards intelligent automation, already applied in the industry. It allows the system to learn and continuously adapt to the environment, optimizing its own control parameters, providing the system with the ability to adjust to new contexts autonomously, as well as offering an adaptive response to disturbances, promoting system stability. Thus, the combination of computer vision and reinforcement learning not only offers an advanced approach for system control but also establishes a model for the application of these technologies in complex and dynamic systems across various fields, from industrial automation to scientific research. By using pratical experiments, it was found that the Q-Learning algorithm was able to find gains for the controller that corrected an oscillatory dynamic of the system in just 8 minutes (considering the learning and correction phases).