Caching deltabase: reduzindo o tempo de resposta em bigdata queries e orquestração em HPC

Abstract

Sendo a monitoração de arquivos de log imprescindível no desenvolvimento e reparo de uma aplicação, é também de suma importância obter uma interpretação clara e direta ao analisar os arquivos. Muitas vezes, por conta do aumento de dados gerados por segundo nos atuais sistemas e pela dispersibilidade que a computação em nuvem pode causar nesses arquivos, essa ação pode ficar bastante complicada, tendo que analisar o arquivo diversas vezes até encontrar o erro reportado. Essa tarefa pode levar bastante tempo, dependendo da quantidade de arquivos, dados e componentes disponíveis no sistema. Neste estudo, foram utilizadas as ferramentas de gerenciamento de logs da Elastic Stack: Elasticsearch, Filebeat e Kibana para a filtragem, o gerenciamento, centralização e a visualização dos logs. Os testes foram realizados na plataforma de Big Data HPCC Systems da LexisNexis. Com a criação de dashboards interativos, a visualização dos logs e a procura por erros foram facilitadas, podendo ser de grande ajuda na hora de achar soluções para os erros reportados.