Automação de Processo de Extração, Transformação e Carga Utilizando Google Cloud Platform

Abstract

O presente trabalho de conclusão de curso aborda a automação do processo de ETL (Extração, Transformação e Carregamento) e a criação de um pequeno Data Warehouse em uma empresa de jornalismo digital, utilizando a plataforma Google Cloud Platform (GCP) como base tecnológica. O objetivo deste projeto é melhorar a eficiência na gestão e análise de dados provenientes da fonte de dados Chartbeat, visando aprimorar a tomada de decisões e o desempenho operacional da empresa. Empresas de jornalismo digital estão constantemente buscando maneiras de otimizar a visibilidade de seu conteúdo online, alcançar um público mais amplo e, ao mesmo tempo, manter a qualidade editorial. Nesse contexto, o SEO (Search Engine Optimization) desempenha um papel crucial, ajudando a melhorar o ranking nos mecanismos de busca e a atrair mais tráfego orgânico. No en- tanto, para otimizar o SEO de forma eficaz, é essencial contar com dados precisos. A fonte de dados Chartbeat é fundamental para esse processo, fornecendo informações sobre o desempenho do conteúdo, incluindo métricas como visitas, tempo de permanência e engajamento dos leitores. A automação do processo de ETL é a peça-chave que permite a extração desses dados, sua transformação e a carga em um Data Warehouse, onde podem ser armazenados e analisados de maneira eficiente, em ações práticas de Business Intelli- gence. A importância da modelagem de dados e da definição de processos de ETL eficazes são abordadas em profundidade, enfatizando a necessidade de garantir a integridade e qualidade dos dados armazenados no Data Warehouse. A estruturação adequada dos da- dos é fundamental para facilitar a extração de insights valiosos e a geração de relatórios significativos, permitindo que a empresa tome decisões baseadas em dados sólidos.

This work presents the automation of the ETL (Extraction, Transformation, and Loading) process and the creation of a Data Warehouse in a digital journalism company, using the Google Cloud Platform (GCP) as a technological base. The objective of this project is to improve efficiency in the management and analysis of data from the Chartbeat data source, aiming to improve decision-making and the company’s operational performance. Digital journalism companies are constantly looking for ways to optimize the visibility of their content online and reach a wider audience while maintaining editorial quality. In this context, SEO (Search Engine Optimization) plays a crucial role, helping to improve search engine rankings and attract more organic traffic. However, to optimize SEO effectively, it is essential to have accurate data. The Chartbeat data source is fundamental to this process, providing information about content performance, including metrics such as visits, visiting time, and reader engagement. The automation of the ETL process is the key element that allows the extraction of this data, its transformation, and loading into a Data Warehouse, where it can be stored and analyzed efficiently, in practical Business Intelligence actions. The importance of data modeling and defining effective ETL processes are covered in depth, emphasizing the need to ensure the integrity and quality of data stored in the Data Warehouse. Properly structuring data is essential to facilitate the extraction of valuable insights and the generation of meaningful reports, allowing the company to make decisions based on solid data.