CrawlEX: uma ferramenta para extração de dados na web configurável através de exemplos

Abstract

Com o grande avanço da internet ao longo dos anos, é natural que tenhamos uma enorme quantidade de dados disponível na rede. Esses dados, podem nos informar coisas completamente diferentes, como o que foi falado no último discurso do Presidente da República ou, a coordenada geográfica de um local que estamos interessados em visitar. Dependendo do perfil de interesse de um usuário ou até mesmo de uma empresa, é muito importante ter esses dados em mãos para que se possa analisá-los e, eventualmente, tomar algum tipo de ação. Porém, na grande maioria das vezes, é inviável que esses dados sejam coletados manualmente, pois demandam tempo e esforço, logo, faz-se necessário que a coletada seja feita de maneira automática, permitindo ao interessado apenas fazer a análise daquilo que efetivamente já foi coletado. Além disso, para que a configuração de uma coleta de um website seja feita de forma automática, é necessário que o usuário tenha habilidade em programação, sendo assim, um empecilho para muitas pessoas. Nesse contexto, o presente trabalho apresenta uma ferramenta para navegação e extração de artigos disponíveis na internet, onde um web crawler pode ser configurado por um usuário comum, sem conhecimentos em programação, apenas por fornecer exemplos de artigos das páginas as quais tem interesse. É apresentado os experimentos feitos pelo autor e usuários leigos, e depois analisados os seus resultados.