Avaliação de modelos de NER para reconhecimento de nomes e cargos em processos judiciais

Abstract

O presente trabalho apresenta o desenvolvimento e avaliação de modelos de Reconhecimento e Classificação de Entidades Nomeadas (NERC) voltados à identificação de cargos políticos em documentos textuais. Inicialmente, foi realizada a conversão de arquivos brutos para o formato Markdown, otimizando a estrutura dos dados para anotação e processamento. Em seguida, foram treinados dois modelos utilizando a biblioteca spaCy: um modelo do zero, com um novo conjunto de dados anotado com cargos políticos, e um modelo baseado no re-treinamento do modelo pré-existente em português, com a adição das novas entidades. A avaliação dos modelos foi conduzida por meio da métrica F1-score e de outras abordagens comparativas encontradas na literatura. Os resultados demonstram a viabilidade do uso de modelos personalizados com corpus especializado para tarefas específicas de NERC.

This work presents the development and evaluation of Named Entity Recognition and Classi- fication (NERC) models aimed at identifying political office titles in textual documents. The initial step involved converting raw text files into Markdown format to optimize data struc- ture for annotation and processing. Two models were then trained using the spaCy library: one built from scratch with a newly annotated dataset containing political roles, and another re- trained from an existing Portuguese-language model with added entity labels. The performance of both models was assessed using the F1-score metric and other comparative techniques from the state of the art. The results confirm the feasibility of using customized models trained on specialized corpora for targeted NERC tasks