Recuperação de informação em documentos baseada em consultas de linguagem natural utilizando Machine Learning

Abstract

O projeto desenvolvido trata da recuperação de arquivos e da extração de texto baseado em uma pergunta de texto natural. Para realizar tal desafio, conceitos e técnicas da área de Processamento de Linguagem Natural (PLN) foram empregados. O projeto surgiu para resolver problemas de estudantes com dificuldade de lidar com vários textos de diversas disciplinas ao mesmo tempo, mas as aplicações são as mais diversas. O ajuste fino, essencial para melhorar o desempenho, foi uma tarefa complexa devido às peculiaridades de cada conjunto de dados. A abordagem escolhida, embora desafiadora devido a recursos computacionais limitados, resultou em modelos mais generalistas. Ao concluir o projeto, foi adquirido um entendimento abrangente do processamento de linguagem natural, bem como fundamentos teóricos e conceitos relevantes em áreas correlatas. Apesar dos desafios, este trabalho demonstrou que o ajuste fino em múltiplos conjuntos de dados pode levar a melhorias significativas no desempenho dos modelos de PLN em tarefas de questionamento, proporcionando resultados superiores a várias abordagens relacionadas.

The developed project focuses on file retrieval and text extraction based on natural language queries, utilizing concepts and techniques from the field of Natural Language Processing (NLP). Its primary aim was to assist students in handling multiple texts from diverse subjects simultaneously, although its applications extend beyond education. Fine-tuning, crucial for enhancing performance, proved to be a complex task due to the unique aspects of each dataset. The selected approach, despite challenges arising from limited computational resources, resulted in the creation of more generalized models. Upon completion, the project yielded a comprehensive understanding of natural language processing, encompassing theoretical foundations and pertinent concepts from related areas. In spite of the encountered difficulties, this work showcased that fine-tuning across multiple datasets could substantially enhance the performance of NLP models in question-answering tasks, surpassing several related approaches.