Avaliação comparativa de modelos de linguagem na extração de informações em documentos investigativos de improbidade administrativa: uma análise com e sem recuperação de contexto via rag

Abstract

O avanço da digitalização de documentos jurídicos a administrativos tem ampliado o volume de informações produzidas por orgãos públicos e instituições do sistema de justiça. No contexto da improbidade administrativa, esses documentos contêm dados relevantes para atividades de fiscalização, auditoria e transparência pública. Entretanto, a extração automática dessas informações ainda é desafiadora devido a linguagem técnica, extensão e falta de padronização documental. Nesse cenário, os modelos de linguagem de grande porte (Large Language Models) apresentam potencial para realizar tarefas de compreensão textual e extração de informações em documentos não estruturados. Esse trabalho realiza uma análise comparativa dos modelos LLaMa, Gemma e Qwen na extração de informações de documentos relacionados à improbidade administrativa, considerando cenários com uso e sem uso de Retrieval-Augmented Generation (RAG).

O avanço da digitalização de documentos jurídicos a administrativos tem ampliado o volume de informações produzidas por orgãos públicos e instituições do sistema de justiça. No contexto da improbidade administrativa, esses documentos contêm dados relevantes para atividades de fiscalização, auditoria e transparência pública. Entretanto, a extração automática dessas informações ainda é desafiadora devido a linguagem técnica, extensão e falta de padronização documental. Nesse cenário, os modelos de linguagem de grande porte (Large Language Models) apresentam potencial para realizar tarefas de compreensão textual e extração de informações em documentos não estruturados. Esse trabalho realiza uma análise comparativa dos modelos LLaMa, Gemma e Qwen na extração de informações de documentos relacionados à improbidade administrativa, considerando cenários com uso e sem uso de Retrieval-Augmented Generation (RAG).