Ensinando o computador a ler 549 livros: preparando uma biblioteca para treinamento de uma inteligência artificial.

Abstract

Este trabalho integra o projeto Metaphoriq, que investiga as metáforas com que historiadores e outros autores falam do tempo e do passado, a partir do mapeamento realizado por Javier Fernández Sebastián em Key Metaphors for History, e busca desenvolver métodos computacionais para identicá-las automaticamente em grandes conjuntos de textos. O plano de atividades da bolsista, vinculado ao plano original [título cadastrado no termo de outorga], concentrou-se na engenharia do corpus: a preparação do material que o sistema deverá ler. Na primeira etapa, a curadoria do corpus de livros, o catálogo inicial de 626 títulos foi conferido item a item, com a inclusão de oito obras faltantes, a remoção de um arquivo inutilizável e a exclusão de 84 títulos sem versão digital conável, resultando em 549 livros (6,13 GB), sem erros de metadados, sincronizados em repositório de dados de pesquisa. Na segunda etapa, a extração de texto a partir dos PDFs, o pipeline (Marker para PDFs digitais e Surya OCR para escaneados) foi validado com 15/15 testes automáticos, mas o teste de execução em máquina convencional não concluiu a extração de um artigo de 16 páginas em dez minutos, com consumo de cerca de 74% da memória. O diagnóstico apontou a necessidade de GPU com ao menos 4 GB de VRAM, registrado em nota técnica que estimou tempos e requisitos de hardware. A etapa foi então documentada e transferida para a equipe seguinte, com máquina adequada já identicada. Como resultados, o projeto dispõe de um corpus curado e pronto para extração, um pipeline testado, um diagnóstico de infraestrutura e um guia de leituras e de operação para novos bolsistas. A pesquisa se vincula ao eixo Linguagens, interculturalidade e identidades: compreender as metáforas do passado é compreender como uma sociedade se representa no tempo.