EXTRAÇÃO DE INFORMAÇÃO EM CONTRATOS PÚBLICOS: avaliação de modelo de linguagem de larga escala

Abstract

Esta pesquisa tem por objetivo avaliar o grau de êxito de um modelo de linguagem de larga escala na extração de informações em contratos públicos, visando analisar a capacidade desses modelos de interpretar, organizar e estruturar dados complexos provenientes de documentos

administrativos. O trabalho aplica uma metodologia descritiva com abordagem quali- quantitativa. A amostra compreende 100 contratos do Departamento de Logística em Saúde

(DLOG) do Ministério da Saúde, referentes ao ano de 2024. Utilizou-se o modelo Gemini 2.5 Pro, guiado por um prompt estruturado, para extrair nove variáveis predefinidas (como número, data, objeto, fornecedor, CNPJ e valor). Paralelamente, uma análise qualitativa mensurou a qualidade textual (OCR) dos arquivos. Os resultados quantitativos indicam um êxito excepcional: oito dos nove campos alcançaram 100% de acurácia, com o campo textual 'Objeto' atingindo 91,13% de média. A eficiência também se mostrou elevada, com um tempo médio de processamento de 19,53 segundos por contrato. A principal conclusão é a resiliência do modelo, cuja performance de extração demonstrou ser largamente independente da qualidade textual (OCR) dos documentos. O estudo evidencia que a tecnologia está madura para superar a análise por amostragem, viabilizando a análise censitária.