Pré-processamento de tweets visando melhorar resultados de NERD

Abstract

O enriquecimento semântico das postagens em mídias sociais pode trazer diversos benefícios em aplicações. Todavia, as técnicas e ferramentas de extração de informação atualmente presentes na literatura não trabalham adequadamente com dados provenientes dessas fontes, os quais estão sujeitos a ruídos diversos. Este trabalho propõe um método para filtragem de tweets baseado em normalização léxica visando diminuir ruídos e obter melhores resultados nas tarefas de reconhecimento e desambiguação de entidades nomeadas (NERD). Para realizar tal proposta, este trabalho apresenta uma revisão do estado-da-arte sobre o reconhecimento e desambiguação de entidades nomeadas com foco em mídias sociais, bem como revisa propostas para uma etapa preliminar de filtragem de tweets. De modo a verificar a qualidade do método proposto, foram realizados experimentos com a ferramenta FOX e observou-se um aumento de 5% no número de entidades nomeadas reconhecidas após a normalização léxica dos tweets.

The semantic enrichment of posts in social media can bring several benefits in applications. However, the information extraction techniques and tools currently available in the literature are not prepared to work with data from these sources, which are very affected by noises. This work proposes a method for filtering tweets based on lexical normalization to reduce noise and obtain better results in the recognition and naming entity disambiguation (NERD) tasks. To accomplish this, this paper presents a state-of-the-art review of the recognition and disambiguation of social media-focused entities, as well as reviews proposals for a preliminary tweeting filtering step. In order to verify the quality of the proposed method, experiments were performed with the FOX tool and a 5% increase in the number of named entities recognized after the lexical normalization of the tweets was observed.