Gerador de Testes para Verificação Funcional de Memória Compartilhada Baseado em Deep Q-learning Networks

Abstract

Este trabalho propõem um módulo diretor para geração de testes pseudo-aleatórios utilizados para verificação funcional de memória compartilhada coerente baseado em técnicas de Aprendizado por Reforço, mais especificamente, no algoritmo de Deep Q-Learning Networks (DQN). Através de uma proposição de ações baseada no comportamento de outro gerador reportado na literatura que representa o estado da arte no tema e otimizações ao algoritmo DQN original também reportadas internacionalmente, foi atingido um resultado satisfatório nos experimentos realizados. Para projetos de 32 cores, a cobertura acumulada ao final dos testes realizados foi maior do que a atingida pelos seus pares. Além disso, a partir de uma alteração no processo de treinamento da Rede Neural, foi possível fazer com que o agente aprendesse uma política de tomada de decisão muito similar ao comportamento que outro gerador reportado tem por construção.

This work proposes a director module for pseudo random test generation used for functional verification of coherent shared memory based on Reinforcement Learning techniques, more specifically, on the Deep Q-Learning Networks (DQN) algorithm. Through the proposition of actions based on the behavior of another generator reported on the literature that represents the state of art on the subject and the use of optimizations to the original DQN algorithm also reported internationally, it was attained a satisfactory result on the realized experiments. For designs of 32 cores, the final cumulative coverage of the generated tests was bigger that the ones obtained by its peers. Besides that, through an alteration proposed on the training procedure for the Neural Network, it was made possible to the agent to learn a decision making policy that resembles the behavior that other reported generator has by construction.