Implementando Monte Carlo Counterfactual Regret Minimization e Selfplay para Heads Up No-Limit Leduc Poker: Uma Abordagem de Experimentos Incrementais

Abstract

Este trabalho apresenta o desenvolvimento de uma Inteligência Artificial (IA) para jogar Heads Up No-Limit Leduc Poker, utilizando uma abordagem de Aprendizado por Reforço com foco no Monte Carlo Counterfactual Regret Minimization (MCCFR). O objetivo da pesquisa foi criar uma IA capaz de competir efetivamente em um ambiente de jogo com informação imperfeita, simulando cenários reais de jogo. O método adotado envolveu uma progressão de experimentos, começando com jogos simples como Pedra, Papel e Tesoura, avançando para o Kuhn Poker, e finalmente implementando a IA no contexto mais complexo do Heads Up No-Limit Leduc Poker. Durante estas etapas, o algoritmo de IA foi continuamente refinado e testado contra a IA DeepStack, uma referência em jogos de poker, para avaliar sua eficácia e ajustar estratégias. Os resultados indicaram uma evolução positiva na capacidade da IA de maximizar ganhos e minimizar perdas, aproximando-se do equilíbrio de Nash. Além disso, uma interface web interativa desenvolvida possibilita jogos entre humanos e a IA, servindo como ferramenta de aprendizado e pesquisa. O estudo reconhece limitações, como a dependência do volume de iterações para o sucesso do algoritmo e sugere melhorias e expansões futuras, incluindo técnicas de redução de variância e adaptação para o poker em escala maior.

This study focuses on the application of Reinforcement Learning techniques in Artificial Intelligence (AI) to play Heads Up No-Limit Leduc Poker, emphasizing the use of Monte Carlo Counterfactual Regret Minimization (MCCFR). The research aims to integrate game theory and machine learning concepts to develop an AI capable of tackling challenges in scenarios with imperfect information. The incremental approach led to experiments from the simple game of Rock, Paper, Scissors, advancing to Kuhn Poker, and culminating in Heads Up No-Limit Leduc Poker. In these stages, the AI was refined and tested, achieving strategies close to Nash equilibrium. The model's validation was conducted through simulations against the professional AI DeepStack, highlighting significant advances in the AI's ability to optimize gains and reduce losses. Furthermore, a developed interactive web interface enables games between humans and AI, serving as a tool for learning and research. The study acknowledges limitations, such as the dependence on the volume of iterations for the algorithm's success, and suggests future improvements and expansions, including variance reduction techniques and adaptation for poker on a larger scale.