MODELAGEM DA ARQUITETURA DE UM DATA LAKE PARA ANÁLISE DE DADOS HETEROGÊNEOS NO FORMATO JSON

Abstract

Este trabalho propõe a modelagem de um data lake para a análise de dados heterogê- neos no formato JSON. Reconhecendo o desafio imposto pela variedade de formatos de dados, especialmente JSON com esquemas distintos, provenientes de sistemas com interfaces e modelos de dados distintos, o projeto visa conceber uma arquitetu- ra de dados escalável e unificada. O objetivo geral é possibilitar a análise de dados do domínio da logística, transformando dados brutos em insights estratégicos. Para isso, o método de pesquisa adotou uma abordagem exploratória e descritiva, focada na pesquisa bibliográfica do estado da arte na engenharia de dados e na aplicação de melhores práticas de engenharia de dados em ambiente de nuvem, utilizando a plataforma de nuvem pública Google Cloud. Como resultado, foi implementada uma arquitetura de data lake otimizada utilizando a arquitetura medallion (Bronze, Silver, Gold) sobre serviços serverless da Google Cloud Platform, integrando dados de um sistema ERP (Mabang) e de uma plataforma de rastreamento (17track). Dois casos de uso demonstraram a aplicabilidade prática: um dashboard de Business Intelligence e consultas em linguagem natural via modelos de linguagem de grande escala.

This work proposes the modeling of a data lake for the analysis of heterogeneous J- SON data. Recognizing the challenge posed by the variety of data formats, especially JSON with distinct schemas from systems with different interfaces and data models, the project aims to design a scalable and unified data architecture. The general objective is to enable data analysis in the logistics domain, transforming raw data into strategic in- sights. The research method adopted an exploratory and descriptive approach, focused on bibliographic research of the state of the art in data engineering and the application of best practices in cloud computing environments, using the Google Cloud public cloud platform. As a result, an optimized data lake architecture was implemented using the medallion architecture (Bronze, Silver, Gold) on Google Cloud Platform serverless ser- vices, integrating data from an ERP system (Mabang) and a tracking platform (17track). Two use cases demonstrated practical applicability: a Business Intelligence dashboard and natural language queries via large language models.