Três ensaios sobre o modelo bayesiano aditivo de regressões em árvores

Abstract

O presente trabalho investiga a capacidade preditiva do modelo bayesiano aditivo de regressões em árvores (BART) num cenário de elevada dimensionalidade, comum na análise econômica moderna. O objetivo central é avaliar se esta técnica de aprendizagem estatística supera os modelos econométricos tradicionais e outros algoritmos de aprendizado de máquina na previsão de indicadores fundamentais da economia brasileira ? como o IBC-Br (atividade econômica), o IPCA (inflação) e a taxa SELIC ? além de avaliar a sua capacidade de estimar efeitos de tratamento heterogêneos com objetivo de investigar se um incentivo financeiro resulta em uma melhora efetiva na proficiência dos estudantes dos anos iniciais e finais do ensino fundamental, medida pelo Sistema de Avaliação da Educação Básica (SAEB) e testar a sua eficácia na identificação de características para previsão de retornos de ativos financeiros. A motivação do estudo reside na crescente disponibilidade de grandes bases de dados, que impõem desafios aos modelos clássicos, como a ``maldição da dimensionalidade'' e o risco de excesso de ajuste. O modelo BART é apresentado como uma solução robusta, pois utiliza uma soma de árvores de regressão combinada com uma distribuição a priori de regularização, permitindo capturar relações não-lineares e interações complexas entre variáveis sem comprometer a parcimônia do modelo. No primeiro ensaio a metodologia consiste na utilização de uma base de dados composta por 94 variáveis macroeconômicas e indicadores internacionais. Para o segundo ensaio, com a base de dados que envolve 24 variáveis coletadas a partir do Censo Escolar e os resultados da escolas de anos iniciais e finais do Brasil no SAEB o modelo \textit{LongBet}, uma abordagem de florestas causais bayesianas que permite lidar com a adoção escalonada do tratamento e a heterogeneidade dos efeitos sem depender da suposição rigorosa de tendências paralelas. Para a análise financeira, foram consideradas 95 características de ativos. O desempenho do BART foi comparado com modelos de referência, incluindo o autorregressivo de primeira ordem, modelos de regularização linear (LASSO e \textit{Ridge}) e o algoritmo de \textit{gradient boosting} XGBoost, e no caso do segundo ensaio o modelo de Diferenças-em-Diferenças. A avaliação da precisão das previsões foi realizada através da raiz do erro quadrático médio (RMSE) e do teste \textit{model confidence set} (MCS). Os resultados demonstram que o modelo BART apresenta um desempenho superior ou altamente competitivo em diversos horizontes de previsão. Os resultados indicam que o modelo \textit{LongBet} é eficaz na identificação de tendências de melhoria na proficiência ao longo do tempo, sugerindo que a exposição contínua ao tratamento potencializa o desempenho escolar. E destaca-se a sua eficiência na seleção de variáveis: mesmo na versão com menos árvores (BART20), o modelo foi capaz de filtrar redundâncias e identificar preditores críticos, como fatores de momento e volatilidade no mercado financeiro. Além da precisão estatística, o estudo conclui que o BART oferece uma vantagem operacional significativa devido ao seu baixo custo computacional e facilidade de implementação, tornando-o uma ferramenta valiosa para a tomada de decisão em política monetária, avaliação de políticas públicas e gestão de investimentos.

Abstract: This study investigates the predictive power of the Bayesian Additive Regression Trees (BART) model in a high-dimensional setting, which is common in modern economic analysis. The central objective is to assess whether this statistical learning technique outperforms traditional econometric models and other machine learning algorithms in forecasting key indicators of the Brazilian economy-such as the IBC-Br (economic activity), the IPCA (inflation), and the SELIC rate ? as well as assessing its ability to estimate heterogeneous treatment effects to investigate whether a financial incentive results in an effective improvement in the proficiency of students in the early and late years of elementary school, as measured by the Basic Education Assessment System (SAEB), and to test its effectiveness in identifying characteristics for forecasting returns on financial assets. The motivation for this study lies in the growing availability of large datasets, which pose challenges to classical models, such as the ``curse of dimensionality'' and the risk of overfitting. The BART model is presented as a robust solution, as it uses a sum of regression trees combined with an a priori regularization distribution, allowing it to capture nonlinear relationships and complex interactions between variables without compromising the model's parsimony. In the first test, the methodology consists of using a database composed of 94 macroeconomic variables and international indicators. For the second test, using a dataset comprising 24 variables collected from the School Census and the SAEB results for Brazilian schools in the early and final years, the LongBet model ?a Bayesian causal forest approach ? was employed. This model allows for handling the staggered adoption of treatment and the heterogeneity of effects without relying on the strict assumption of parallel trends. For the financial analysis, 95 asset characteristics were considered. The performance of BART was compared with benchmark models, including the first-order autoregressive model, linear regularization models (LASSO and Ridge), and the XGBoost gradient boosting algorithm, and in the case of the second test, the Differences-in-Differences model. The accuracy of the forecasts was evaluated using the root mean square error (RMSE) and the \textit model confidence set) (MCS) test. The results demonstrate that the BART model exhibits superior or highly competitive performance across various forecast horizons. The results indicate that the LongBet model is effective in identifying trends of improvement in proficiency over time, suggesting that continuous exposure to the treatment enhances academic performance. Its efficiency in variable selection is noteworthy: even in the version with fewer trees (BART20), the model was able to filter out redundancies and identify critical predictors, such as momentum and volatility factors in the financial market. In addition to statistical accuracy, the study concludes that BART offers a significant operational advantage due to its low computational cost and ease of implementation, making it a valuable tool for monetary policy decision-making, public policy evaluation, and investment management.