Seleção de atributos para classificação de séries temporais multivariadas desbalanceadas em ambientes de grandes volumes de dados

Abstract

Instituições financeiras e seguradoras utilizam cada vez mais grandes bases históricas para apoiar processos de tomada de decisão preditiva. Em tarefas de previsão do comportamento de clientes, modelar como os indivíduos evoluem ao longo do tempo é relevante para antecipar decisões futuras, identificar oportunidades de negócio e apoiar estratégias de recomendação mais direcionadas. Em seguros automotivos, essa tarefa é desafiadora devido ao caráter dinâmico do comportamento dos clientes e ao uso de dados volumosos, heterogêneos e altamente desbalanceados, compostos por variáveis de diferentes naturezas estatísticas. Esta dissertação propõe uma metodologia para a seleção de atributos em séries temporais multivariadas e avalia seu desempenho quando aplicada à previsão de adesão a seguros automotivos. A metodologia proposta integra pré-processamento, representação temporal por transformações convolucionais unidimensionais, seleção hierárquica de atributos, construção de sequências temporais e modelagem preditiva baseada em redes Long Short-Term Memory (LSTM). Essas transformações extraem atributos que representam padrões temporais e subsidiam a etapa de seleção. O HIERVAR, método que realiza a seleção hierárquica de atributos extraídos por transformações convolucionais, combinando uma etapa inicial de seleção com uma filtragem baseada em análise de variância (ANOVA) com uma etapa multivariada baseada em regressão de ridge, é utilizado como referência. Duas estratégias híbridas são propostas: Hierarchical Lasso Dual Feature Selection (HL-DFS) e Hierarchical Elastic Net Dual Feature Selection (HEN-DFS). Ambas combinam critérios univariados e multivariados para lidar com variáveis de entrada heterogêneas, incluindo atributos contínuos, binários e categóricos. Os experimentos utilizam uma base corporativa anonimizada, formada por observações mensais de clientes ao longo de 36 meses. As estratégias propostas são comparadas ao HIERVAR e a cenários sem seleção de atributos, considerando desempenho preditivo, redução de dimensionalidade, preservação da capacidade preditiva, composição dos subconjuntos selecionados e aplicabilidade em ambientes empresariais com grande volume de dados. Os resultados demonstram que HL-DFS e HEN-DFS reduzem substancialmente o espaço de entrada, mantendo desempenho preditivo comparável ao dos cenários sem seleção de atributos. Entre os cenários de representação temporal avaliados, aqueles associados ao E-Rocket destacaram-se pela obtenção de subconjuntos reduzidos de atributos codificados. A menor quantidade de atributos facilita a análise dos subconjuntos selecionados e favorece a aplicação dos modelos temporais em bases corporativas heterogêneas, desbalanceadas e de grande volume, preservando a capacidade preditiva no protocolo experimental adotado.

Abstract: Financial institutions and insurance companies increasingly use large historical datasets to support predictive decision-making processes. In customer behavior prediction tasks, modeling how individuals evolve over time is relevant to anticipating future decisions, identifying business opportunities, and supporting more targeted recommendation strategies. In automotive insurance, this task is challenging due to the dynamic nature of customer behavior and the use of large, heterogeneous, and highly imbalanced datasets comprising variables with different statistical characteristics. This dissertation proposes a methodology for feature selection in multivariate time series and evaluates its performance when applied to predicting automotive insurance adoption. The proposed methodology integrates preprocessing, temporal representation through one-dimensional convolutional transformations, hierarchical feature selection, temporal sequence construction, and predictive modeling based on Long Short-Term Memory (LSTM) networks. These transformations extract features that represent temporal patterns and support the selection stage. HIERVAR, a method that performs hierarchical selection of features extracted through convolutional transformations by combining an initial selection stage with filtering based on analysis of variance (ANOVA) with a multivariate step based on ridge regression, is used as a reference method. Two hybrid strategies are proposed: Hierarchical Lasso Dual Feature Selection (HL-DFS) and Hierarchical Elastic Net Dual Feature Selection (HEN-DFS). Both combine univariate and multivariate criteria to handle heterogeneous input variables, including continuous, binary, and categorical features. The experiments use an anonymized corporate dataset comprising monthly customer observations over 36 months. The proposed strategies are compared with HIERVAR and scenarios without feature selection, considering predictive performance, dimensionality reduction, preservation of predictive capability, the composition of the selected subsets, and applicability in corporate environments with large volumes of data. The results demonstrate that HL-DFS and HEN-DFS substantially reduce the input feature space while maintaining predictive performance comparable to that of scenarios without feature selection. Among the temporal representation scenarios evaluated, those associated with E-Rocket stood out for yielding compact subsets of encoded features. The smaller number of features facilitates the analysis of the selected subsets and supports the application of temporal models to large, heterogeneous, and imbalanced corporate datasets while preserving predictive capability under the adopted experimental protocol.