Assistente virtual para coordenador de curso: aplicação de LLMs à gestão de perguntas frequentes em um curso de graduação

Abstract

Este trabalho propõe o desenvolvimento e avaliação de um assistente virtual baseado em Inteligência Artificial (IA) para auxiliar na gestão acadêmica do curso de Engenharia de Controle e Automação da UFSC Blumenau. A arquitetura do sistema integra técnicas de Retrieval Augmented Generation (RAG) e modelos de linguagem de grande escala (LLMs), combinando busca semântica com embeddings vetoriais e análise léxica para recuperação de informações. A avaliação comparativa dos modelos revelou que o Llama-3.1-8B-Instruct obteve uma acurácia média de 0,31 e demonstrou maior estabilidade operacional (desvio padrão = 0,30) em comparação com o Mistral-7B-Instruct-v0.3, que apresentou acurácia média de 0,30 e desvio padrão = 0,31, embora ambos tenham alcançado mediana de 0,25. Adicionalmente, o Mistral destacou-se pelo escore máximo absoluto de 1,00. As análises qualitativas confirmaram a adequação contextual das respostas fornecidas pelo sistema. A abordagem híbrida de busca, aliada a um processo de reranqueamento multidimensional, mostrou-se promissora para aplicações acadêmicas, apesar das limitações metodológicas identificadas. Conclui-se que o sistema desenvolvido representa uma ferramenta relevante para a otimização dos processos educacionais, com potencial para expansão por meio de protocolos de avaliação mais abrangentes e atualizações automatizadas da base de conhecimento.

This study proposes the development and evaluation of an AI-based virtual assistant to support academic management in the Control and Automation Engineering course at UFSC Blumenau. The system architecture integrates Retrieval Augmented Generation (RAG) techniques and large language models (LLMs), combining semantic search with vector embeddings and lexical analysis for information retrieval. A comparative evaluation of the models revealed that the Llama-3.1-8B-Instruct achieved a mean accuracy of 0.31 and demonstrated greater operational stability (SD = 0.30) compared to the Mistral-7B-Instruct-v0.3, which obtained a mean accuracy of 0.30 and SD = 0.31, although both models exhibited a median of 0.25. Additionally, Mistral-7B-Instruct-v0.3 stood out with an absolute maximum score of 1.00. Qualitative analyses confirmed the contextual adequacy of the system’s responses. The hybrid search approach, combined with a multidimensional reranking process, proved promising for academic applications despite identified methodological limitations. The developed system is thus considered a valuable tool for optimizing educational processes, with potential for expansion through more comprehensive evaluation protocols and automated updates to the knowledge base.