Análise do uso de feedback de relevância no Sistema de Integração Lattes-Qualis (SILQ)

Abstract

Os indicadores da qualidade de produções científicas vinculadas a Programas de Pós-Graduação são gerados através da qualificação dos veículos onde essas produções foram publicadas. O SILQ surgiu em 2015 com o objetivo de integrar o Lattes, uma plataforma para cadastro de pesquisadores, com o Qualis, um conjunto de procedimentos da CAPES para classificação da produção intelectual. O objetivo do SILQ é realizar o matching automático dos veículos qualificados no Qualis com os veículos cadastrados no currículo Lattes de pesquisadores, a fim de automatizar o processo de geração de indicadores das produções contidas nesses currículos. Tal ferramenta foi disponibilizada pública e gratuitamente, porém carece de atualizações dos dados Qualis mais recentes, mudanças de arquitetura e de usabilidade, e, em especial, inclusão de controles que permitam ao usuário sugerir matchings ao sistema, técnica denominada feedback de relevância e amplamente utilizada no contexto de IR. O objetivo do uso desta técnica no SILQ é diminuir os falsos positivos retornados pelo sistema, bem como aumentar a precisão dos resultados de maneira geral. Tais modificações foram realizadas por este trabalho, dando origem a uma nova versão do SILQ, junto com a proposta e avaliação experimental de dois novos algoritmos que utilizam as informações de feedback de relevância para melhorar a precisão do sistema. Conforme os experimentos realizados, ambos os algoritmos propostos foram capazes de melhorar a taxa de acerto do sistema, ou seja, aumentar o número de publicações corretamente avaliadas.

The quality indicators of scientific publications linked to graduate programs are measured through the qualification of the vehicles where they were published. SILQ emerged in 2015 with the purpose of integrating the Lattes platform, a register system for researchers, with Qualis, a set of procedures by CAPES for qualification of intelectual production. The SILQ's goal is to match vehicles registered on Qualis with vehicles registered on the Lattes curriculum of researchers, in order to automate the process of generating quality indicators of scientific production from these curriculums. Such tool was provided publicly and for free but lacks of the most recent Qualis data update, architectural and usability changes and, especially, inclusion of controls allowing the user to suggest matchings to the system, a technique named relevance feedback and widely used in Information Retrieval (IR) context. The purpose to use this technique on SILQ is to lower the false positive values returned by the system and to improve de overall precision. Theses changes were made by this work, generating a new SILQ version, alongside with the proposal and experimental evaluation of two new algorithms that use these feedback information to improve the system precison. According to the experiments, both algorithms were capable to improve the success rate of the system maximizing the number of publications correctly assessed.