Avaliação da ocorrência de alucinações em LLMs e RAG como técnica de mitigação, no contexto de datasheets de microcontroladores

Abstract

A integração de Grandes Modelos de Linguagem (LLMs) como assistentes de busca de informação pode encontrar problemas em cenários que exigem precisão factual, onde os modelos pode ser limitados pelo fenômeno das alucinações ao processar informações técnicas, como as presentes em datasheets. Este trabalho investiga a ocorrência de alucinações em diferentes LLMs (Gemini, Llama, GPT-OSS, Mistral e Phi) na extração de especificações de microcontroladores e avalia a eficácia da Geração Aumentada por Recuperação (RAG) como técnica de mitigação de alucinações.Por meio de um benchmark contemplando 456 dispositivos e 54.720 inferências, a metodologia avalia o desempenho paramétrico original dos modelos, com respostas ancoradas via RAG, e analisa também o impacto de instruções de prompt restritivas. Os resultados indicam que, sem RAG, os modelos apresentaram taxas de alucinação de até 52,8% (modelo Phi 4). A arquitetura RAG demonstrou-se eficaz, promovendo redução média de 15,1% nas alucinações e aumento de 8,0% na fidelidade, com o modelo Llama 4 17B atingindo o melhor equilíbrio (74,5% de acertos). Observou-se, contudo, um significativo trade-off entre confiabilidade e utilidade: o uso de prompts restritivos junto ao RAG gerou conservadorismo, elevando drasticamente as abstenções. Já as análises qualitativas revelaram que maiores índices de acerto estão correlacionados a respostas mais curtas. Apesar das janelas de contexto dos modelos atuais serem grandes, falhas em cadeias de raciocínio (CoT) e o fenômeno Lost in the Middle causam degradação na geração de respostas em um cenário técnico. Evidenciou-se também que o sucesso do RAG depende criticamente da etapa de parsing. O uso de chunks desestruturados e sem alinhamento sintático provoca descontinuidade lógica, forçando o LLM a preencher lacunas com conhecimento paramétrico e induzindo alucinações. Conclui-se que, para além do aprimoramento de ferramentas de processamento, há um prognóstico de que futuros datasheets e documentações técnicas adotem uma forma de escrita amigável à leitura por modelos de linguagem. Essa nova abordagem pode minimizar ambiguidades de indexação e extração, prevenindo falhas de recuperação contextual e reduzindo substancialmente a propensão dos modelos a alucinações.

Abstract: The integration of Large Language Models (LLMs) as information retrieval assistants can encounter issues in scenarios requiring factual precision, where models may be limited by the hallucination phenomenon when processing technical information, such as that present in datasheets. This work investigates the occurrence of hallucinations in different LLMs (Gemini, Llama, GPT-OSS, Mistral, and Phi) in extracting microcon troller specifications and evaluates the effectiveness of Retrieval-Augmented Generation (RAG) as a hallucination mitigation technique. Through a benchmark with 456 devices and 54,720 inferences, the methodology evaluates the original parametric performance of the models, with responses grounded via RAG, and also analyzes the impact of restrictive prompt instructions. The results indicate that, without RAG, models exhibited hallucination rates of up to 52.8% (Phi 4 model). The RAG architecture proved effective, promoting an average reduction of 15.1% in hallucinations and an 8.0% increase in faithfulness, with the Llama 4 17B model achieving the best balance (74.5% accuracy). However, a significant trade-off between reliability and utility was observed: the use of restrictive prompts alongside RAG generated conservatism, drastically increasing abstentions. Qualitative analyses, revealed that higher accuracy rates correlate with shorter responses. Despite the large context windows of current models, failures in chain-of-thought (CoT) reasoning and the Lost in the Middle phenomenon cause degradation in response generation within a technical scenario. It was also demonstrated that the success of RAG critically depends on the parsing stage.The use of unstructured chunks lacking syntactic alignment causes logical discontinuity,forcing the LLM to fill gaps with parametric knowledge and inducing hallucinations. It is concluded that, beyond the improvement of processing tools, there is a prospect that future datasheets and technical documentations will adopt a form of writing that is friendly to reading by language models. This new approach can minimize indexing and extraction ambiguities, preventing contextual retrieval failures and substantially reducing the models propensity for hallucinations.