Extração de relacionamentos entre entidades através de documentos não estruturados usando RAG e LLMs

Abstract

A extração de relacionamentos entre entidades a partir de documentos longos e não estruturados permanece um desafio central para a Recuperação de Informa- ções e o Processamento de Linguagem Natural, particularmente em coleções jurídicoadministrativas. Em pipelines convencionais de Recuperação Aumentada por Geração (Retrieval-Augmented Generation â RAG), os vínculos semânticos entre entidades, como empresas e seus sócios, frequentemente se perdem quando a recuperação e a inferência seguem um fluxo linear em nível de arquivo; denomina-se essa falha fragmentação contextual. Este trabalho desenvolve e avalia uma arquitetura de orquestração de inferência baseada em Micro-Prompt Chaining, que decompõe a extração de relacionamentos â em especial a reconstrução da relação empresaâ sócio â em inferências dependentes, com recuperação restrita ao escopo de cada entidade, restrição de esquema e validação estrutural via Pydantic. Foram avaliados LLMs de pesos abertos (incluindo Llama 3.3 e DeepSeek-R1) em dois corpora em português brasileiro: (i) um corpus confidencial anotado de arquivos do Ministério Público brasileiro; (ii) um corpus sintético reproduzível. A avaliação utiliza a métrica de Acurácia Global por Arquivo (Global Document Accuracy â GDA), que considera um arquivo correto somente quando todas as empresas, todos os sócios e todos os vínculos empresaâ sócio são extraídos corretamente, sem omissões ou entidades espúrias. No corpus do Ministério Público, a GDA aumentou de 40% para 60% em documentos com uma empresa (+20 p.p.) e de 20% para 32% em documentos com múltiplas empresas (+12 p.p.) com a arquitetura proposta. No corpus sintético, a GDA máxima atingiu 100% em ambos os cenários (ante 97% e 88% no baseline linear). Modelos de porte médio sob Micro-Prompt Chaining superaram modelos maiores sob extração linear no corpus real, evidenciando que a orquestração de inferência pode superar a mera escala de parâmetros na reconstrução auditável de relacionamentos entre entidades. Os experimentos abrangeram 573 execuções variando parâmetros de segmentação, recuperação e modificadores de prompt, além de 32 execuções adicionais para ablação do modelo de embeddings. Nesse estudo, a melhor configuração de cada modelo, corpus e metodologia foi reexecutada com o codificador multilíngue paraphrase-multilingual-mpnet em lugar do all-mpnet-base-v2 (treinado predominantemente em inglês). O embedder em inglês igualou ou superou o multilíngue em 27 das 32 combinações de modelo, corpus, cenário e metodologia; nas cinco restantes, o ganho multilíngue não excedeu +2 p.p. de GDA. Isso sugere que, nesta tarefa, um codificador semanticamente mais robusto foi mais determinante para a recuperação do que a cobertura multilíngue do modelo. Os resultados indicam que o encadeamento de prompts com saída estruturada reduz significativamente erros de associação empresaâ sócio, especialmente em documentoscom múltiplas empresas concorrentes.

Abstract: Extracting relationships between entities from long, unstructured documents remains a central challenge for Information Retrieval and Natural Language Processing, particularly in legal-administrative collections. In conventional Retrieval-Augmented Generation (RAG) pipelines, the semantic links between entities, such as companies and their partners, are often lost when retrieval and inference follow a linear, file-level flow; this failure is called contextual fragmentation. This work develops and evaluates an inference-orchestration architecture based on Micro-Prompt Chaining. It decomposes relationship extraction â in particular the reconstruction of the companyâ partner relation â into dependent inferences, with retrieval restricted to the scope of each entity, schema constraints, and structural validation through Pydantic. Open-weight LLMs (including Llama 3.3 and DeepSeek-R1) were evaluated on two Brazilian Portuguese corpora: (i) a confidential annotated corpus of files from the Brazilian Public Prosecutorâ s Office; (ii) a reproducible synthetic corpus. Evaluation uses Global Document Accuracy (GDA), which counts a file as correct only when every company, every partner, and every companyâ partner link is extracted correctly, with no omissions or spurious entities. On the Public Prosecutorâ s Office corpus, GDA rose from 40% to 60% for singlecompany documents (+20 p.p.) and from 20% to 32% for multi-company documents (+12 p.p.) with the proposed architecture. On the synthetic corpus, maximum GDA reached 100% in both scenarios (against 97% and 88% for the linear baseline). Mediumsized models under Micro-Prompt Chaining outperformed larger models under linear extraction on the real corpus, showing that inference orchestration can outweigh mere parameter scale in the auditable reconstruction of relationships between entities. The experiments comprised 573 runs varying segmentation, retrieval, and promptmodifier parameters, plus 32 additional runs for an embedding-model ablation. In that study, the best configuration of each model, corpus, and methodology was rerun with the multilingual encoder paraphrase-multilingual-mpnet-base-v2 in place of all-mpnet-base-v2 (trained predominantly on English). The English embedder matched or surpassed the multilingual one in 27 of the 32 combinations of model, corpus, scenario, and methodology; in the remaining five, the multilingual gain did not exceed +2 p.p. of GDA. This suggests that, for this task, a semantically stronger encoder mattered more for retrieval than the modelâ s multilingual coverage. The results indicate that prompt chaining with structured output significantly reduces companyâ partner association errors, especially in documents that mention several competing companies.