MusicalGestures: Reconhecimento Gestual utilizando Visão Computacional e Inteligência Artificial aplicado à Composição Musical

Abstract

O avanço das tecnologias de reconhecimento de gestos e visão computacional tem permitido o desenvolvimento de interfaces musicais inovadoras que oferecem novas formas de interação entre músicos e instrumentos. Este trabalho propõe uma interface musical baseada no reconhecimento de gestos em tempo real, através da detecção das mãos e um modelo de aprendizado de máquina treinado para classificar os gestos. A interface traduz os gestos reconhecidos em notas musicais. Ao final do trabalho uma demonstração prática do sistema foi realizada para validar qualitativamente sua capacidade de traduzir movimentos gestuais em notas musicais e usabilidade em tempo real. Os resultados obtidos destacam o potencial e possíveis melhorias da interface como ferramenta interativa para performances musicais tanto para pessoas com conhecimento musical prévio ou não, oferecendo novas possibilidades de criação e expressão artística.