Uso de algoritmos de machine learning para prever a evasão escolar no ensino superior: um estudo no Instituto Federal de Santa Catarina

Abstract

Conseguir prever a evasão escolar em instituições públicas de ensino superior é importante para formular ações que ajudem o estudante em seu desenvolvimento educacional. Para isso, as técnicas de Machine Learning (ML) podem colaborar com as instituições a prever a evasão. Este trabalho tem como objetivo propor um modelo usando algoritmos de Machine Learning para prever a evasão escolar no Instituto Federal de Santa Catarina (IFSC). Para isso, foram analisados os fatores que impactam na evasão nas instituições de ensino superior por meio da literatura existente, gerada uma planilha com as características importantes, após isso, foram utilizados os algoritmos Decision Tree, usados como baseline, Artificial Neural Network e XGBoost para desenvolver um modelo de previsão da evasão escolar do IFSC e conseguir analisar os anos de 2017, 2018 e 2019 que representam os dados antes da pandemia da Covid-19 e os anos 2020 e 2021 com os dados durante a pandemia. Os dois modelos (XGBoost e MLP) se mostraram melhores que o baseline das duas bases analisadas, porém o modelo XGBoost se mostrou superior. No DataFrame antes da pandemia, o algoritmo XGBoost obteve o F1-Score de 97,53%, já no algoritmo MLP o F1-Score foi de 93,83%. No df_durante_pandemia, o algoritmo XGBoost apresentou F1_score igual a 90,32%. Já o algoritmo MLP obteve 80% de F1_Score. Outra análise importante foi em relação à importância das variáveis, já que, para o DataFrame com os dados de antes da pandemia, a variável que apresentou maior relevância foi a de número de disciplinas concluídas, seguida de forma de ingresso, média geral do discente, renda familiar per capita e campus. Outrossim, para o DataFrame com os dados durante pandemia, a variável mais importante foi a idade do discente, seguida de forma de ingresso, curso do discente, naturalidade do discente e média geral do discente. Sendo assim, é possível verificar que a forma de ingresso é a segunda variável mais importante, tanto antes da pandemia como durante a pandemia, e a média geral do discente encontra-se entre as cinco principais variáveis nos dois DataFrames. A partir da avaliação do modelo criado, por ter trazido os melhores resultados, o algoritmo XGBoost foi selecionado para criar um modelo ajustado. Dessa forma, foram testados novos hiperparâmetros e retiradas três variáveis que não apresentaram significância estatística. Foi mostrado que o modelo ajustado não alterou o resultado do Dataframe antes da pandemia, porém para o DataFrame durante a pandemia obteve melhores resultados.

Abstract: Being able to predict school dropout in public higher education institutions is important to formulate actions that help students in their educational development. For this, Machine Learning (ML) techniques can collaborate with institutions to predict dropout. This work aims to propose a model using Machine Learning algorithms to predict school dropout at Instituto Federal de Santa Catarina (IFSC). For this, the factors that impact dropout in higher education institutions were analyzed through the existing literature, generated a spreadsheet with the important characteristics, after that, the Decision Tree algorithms were used, used as baseline, Artificial Neural Network and XGBoost to develop an IFSC dropout prediction model and be able to analyze the years 2017, 2018 and 2019 that represent data before the Covid-19 pandemic and the years 2020 and 2021 with data during the pandemic. The two models (XGBoost and MLP) were better than the baseline of the two analyzed bases, but the XGBoost model was superior. In the DataFrame before the pandemic, the XGBoost algorithm obtained an F1-Score of 97.53%, while in the MLP algorithm the F1-Score was 93.83%. In df_during_pandemia, the XGBoost algorithm presented F1_score equal to 90.32%. The MLP algorithm obtained 80% of F1_Score. Another important analysis was in relation to the importance of the variables, since, for the DataFrame with data from before the pandemic, the variable that showed the greatest relevance was the number of courses completed, followed by the form of admission, overall student average, per capita household income and campus. Furthermore, for the DataFrame with the data during the pandemic, the most important variable was the student's age, followed by the form of admission, the student's course, the student's place of birth and the student's general average. Therefore, it is possible to verify that the form of admission is the second most important variable, both before the pandemic and during the pandemic, and the general average of the student is among the five main variables in the two DataFrames. From the evaluation of the created model, for having brought the best results, the XGBoost algorithm was selected to create an adjusted model. Thus, new hyperparameters were tested and three variables that did not show statistical significance were removed. It was shown that the adjusted model did not change the result of the Dataframe before the pandemic, but for the DataFrame during the pandemic it obtained better results.