Modelo data-driven para análise informacional dinâmica em conjuntos de dados utilizando medidas de informação baseadas em Gini

Abstract

A consolidação dos dados como ativo importante para o avanço científico e para a transformação tecnológica e econômica intensificou os desafios relacionados à degradação contínua de modelos de Machine Learning, bem como aos elevados custos computacionais associados à atualização permanente de sistemas inteligentes. Nesse cenário, ainda é difícil compreender, de forma sistemática, como a informação contida em conjuntos de dados evolui ao longo do tempo e em que momento novas observações deixam de acrescentar conteúdo informacional relevante. Do mesmo modo, ambientes dinâmicos são suscetíveis ao concept drift, o que contribui para a degradação progressiva dos modelos. Considerando esses aspectos, o objetivo desta pesquisa é desenvolver um modelo para avaliar, de forma dinâmica, a informação presente em conjuntos de dados, utilizando medidas baseadas em Gini para mensurar sua evolução informacional ao longo do tempo. O modelo proposto permite acompanhar incrementalmente essa evolução, evidenciando como o conteúdo informacional se transforma à medida que novos dados são incorporados. Ao comparar as medidas de informação baseadas em Gini, a pesquisa demonstrou que elas capturam propriedades distintas e complementares da estrutura dos dados em um contexto dinâmico. O coeficiente de Gini se mostrou mais adequado para caracterizar a saturação informacional, enquanto o índice de Gini se destacou pela capacidade de evidenciar o concept drift. A curva de aprendizagem informacional, por sua vez, funcionou como elemento integrador, permitindo uma interpretação contínua e comparativa do valor informacional dos conjuntos de dados analisados. A distinção empírica observada entre o comportamento do coeficiente de Gini e do índice de Gini reforça que essas medidas informacionais capturam aspectos complementares da dinâmica evolutiva dos dados.

Abstract: Data has become a key asset for scientific progress and for technological and economic transformation, and this shift amplifies challenges such as the continuous degradation of Machine Learning models and the high computational costs of constantly updating intelligent systems. In this context, it is still difficult to understand, in a systematic way, how the information contained in data sets evolves over time and at which point new observations stop adding relevant informational content. Likewise, dynamic environments are also susceptible to concept drift, which further contributes to the progressive degradation of models. In response to these issues, this study proposes a model to dynamically evaluate the information present in data sets, using Gini-based measures to quantify its informational evolution over time. The proposed model monitors this evolution incrementally and makes explicit how the informational content changes as the dataset grows. By comparing Gini-based information measures, the study shows that they capture distinct and complementary properties of data structure in a dynamic setting. The Gini coefficient proves more suitable for characterizing informational saturation, whereas the Gini index stands out for its ability to reveal concept drift. The informational learning curve, in turn, acts as an integrating element, enabling a continuous and comparative interpretation of the informational value of the datasets under analysis. The empirical differences observed between the behavior of the Gini coefficient and the Gini index suggest that these informational measures capture complementary aspects of the evolving dynamics of data.