AI-driven forecasting models for financial markets: integrating natural language processing, deep learning, and technical analysis

Abstract

Este estudo inicia com uma revisão sistemática utilizando a metodologia Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) e uma revisão bibliométrica utilizando a metodologia Report Impact Articles (RIA). Com base nos achados da revisão, o estudo propõe um modelo preditivo de ensemble para prever retornos e tendências de preços de ações, com foco em um estudo de caso de 2015 a 2020 usando ações do índice Standard & Poor?s 500. A metodologia combina dados de mercado, indicadores macroeconômicos, análise de sentimento de notícias e análise técnica, integrando ferramentas de Processamento de Linguagem Natural (NLP), como GPT-4 e FinBERT. Para melhorar a qualidade dos dados de entrada, foram aplicadas três técnicas de pré-processamento?manual, Análise de Componentes Principais (PCA) e Autoencoder Variacional (VAE)?antes de empregar a rede Long Short-Term Memory (LSTM) para a previsão. A abordagem proposta alcançou uma acurácia de até 54%, com o método VAE mostrando superioridade notável sobre os demais ao aprimorar a redução de ruído e fornecer resultados preditivos mais consistentes. Apesar da precisão moderada, os resultados destacam o valor do pré-processamento sofisticado em modelos de previsão financeira, aumentando a robustez e a estabilidade preditiva.

Abstract: This study begins with a systematic review using the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) methodology and a bibliometric review using the Report Impact Articles (RIA) methodology. Based on the review findings, the study proposes an ensemble predictive model for forecasting returns and price trends of stocks, focusing on a case study from 2015 to 2020 using Standard & Poor?s 500 stocks. The methodology combines market data, macroeconomic indicators, news sentiment analysis, and technical analysis, integrating Natural Language Processing (NLP) tools (GPT-4 and FinBERT). To improve input quality, three preprocessing techniques?manual, Principal Component Analysis (PCA), and Variational Autoencoder (VAE)?were applied before employing the Long Short-Term Memory (LSTM) network model for prediction. The proposed approach reached an accuracy of up to 54%, with the VAE method showing noticeable superiority over others by enhancing noise reduction and yielding more consistent predictive results. Despite moderate accuracy, the findings underscore the value of sophisticated preprocessing in financial forecasting models, enhancing robustness and predictive stability.