Reconhecimento e Geração de Áudio de Sinais de Libras utilizando Visão Computacional e Redes Neurais Convolucionais

Abstract

A Língua Brasileira de Sinais (LIBRAS) é utilizada por mais de 2 milhões de indivíduos, tornando-se cada vez mais essencial desenvolver tecnologias que auxiliem na inclusão dos surdos e deficientes auditivos na comunicação com o restante da comunidade. O presente trabalho apresenta um modelo computacional que utiliza visão computacional e redes neurais para tradução em tempo real de algumas letras do alfabeto em LIBRAS, integrado com um sintetizador de voz. Foram desenvolvidas e analisadas redes neurais CNN, FFCNN e VGG16, que apresentaram excelentes resultados, com acurácias acima de 99,3%. A rede FFCNN destacou-se com a maior acurácia, alcançando 99,9%. Todo o desenvolvimento foi realizado em plataforma em nuvem, permitindo a execução em máquinas de baixa performance.

Brazilian Sign Language (LIBRAS) is used by over 2 million individuals, making it incre asingly essential to develop technologies that aid in the inclusion of the deaf and hard of hearing in communication with the rest of the community. This work presents a computa tional model that utilizes computer vision and neural networks for real-time translation of some letters of the alphabet in LIBRAS, integrated with a voice synthesizer. CNN, FFCNN, and VGG16 neural networks were developed and analyzed, showing excellent results with accuracies above 99.3%. The FFCNN network stood out with the highest accuracy, reaching 99.9%. All development was conducted on a cloud platform, enabling execution on low-performance machines.