FICARE: um framework inteligente de coleta e análise de dados para mitigar a reprovação e a evasão na educação superior a distância

Abstract

A utilização da Inteligência Artificial (IA) na Educação tem se tornado cada vez mais frequente e alcançado diferentes níveis e modalidades educacionais. Na Educação Superior ofertada na modalidade de Educação a Distância (EaD) a disponibilidade de dados em formato digital é naturalmente facilitada pela intensa utilização dos Ambientes Virtuais de Aprendizagem (AVA) e Sistemas de Informações Acadêmicas, o que favorece a aplicação da IA sobre estes dados. A capacidade da IA aprender e reconhecer padrões em grandes quantidades de dados pode direcionar ações institucionais visando o êxito dos acadêmicos. Uma especial aplicação destas ferramentas está no enfrentamento de desfechos negativos como reprovação e da evasão acadêmicas. O objetivo desta pesquisa foi desenvolver, aplicar e avaliar um framework metodológico que orienta a coleta e a análise de dados acadêmicos por meio de técnicas da IA visando mitigar estes riscos acadêmicos. O framework proposto, intitulado Framework Inteligente de Coleta e Análise de dados para mitigar a Reprovação e a Evasão na Educação Superior a Distância (FICARE) reúne estratégias baseadas em fundamentos educacionais e computacionais para coletar dados acadêmicos e implementar técnicas de mineração de dados e de mineração de textos. Os modelos preditivos propostos baseiam-se em algoritmos de aprendizagem de máquina supervisionados para predizer alunos em risco de reprovação em disciplinas e de evasão dos cursos. As análises textuais propostas baseiam-se em técnicas de Modelagem de Tópicos e Análise de Sentimentos para processar as respostas abertas dos acadêmicos e identificar as valências de suas avaliações sobre determinados elementos que integram o modelo de EaD da instituição, bem como os possíveis fatores associados aos riscos citados. Por meio de um estudo de caso, o framework foi aplicado em uma IES pública brasileira e seus resultados preditivos avaliados. Foram utilizados dados coletados de 4675 acadêmicos matriculados em 22 cursos de graduação e pós-graduação ofertados em 50 polos na modalidade de EaD, nos anos de 2018, 2020 e 2023. Os algoritmos de aprendizado de máquina supervisionado implementados em Python foram capazes de realizar a predição da reprovação e da evasão com resultados satisfatórios, com configurações que alcançaram acurácia de 94,37%, precisão de 94,36%, revocação de 80,95%, especificidade de 99,56%, g-means de 87,65%, f-measure de 74,18% e índice Kappa de 70,51%. Por fim, restou comprovado que abordagens centradas em dados podem fornecer às instituições informações capazes de mitigar as reprovações e evasões acadêmicas, favorecendo o sucesso acadêmico.

Abstract: The use of Artificial Intelligence (AI) in Education has become increasingly frequent, reaching various levels and modalities of education. In Higher Education offered through Distance Education (DE), the availability of digital data is naturally facilitated by the extensive use of Virtual Learning Environments (VLE) and Academic Information Systems, promoting the application of AI to this data. AI's ability to learn and recognize patterns in large data sets can guide institutional actions aimed at student success. A specific application of these tools is in addressing negative outcomes such as academic failure and dropout. This research aimed to develop, apply, and evaluate a methodological framework that guides the collection and analysis of academic data using AI techniques to mitigate these academic risks. The proposed framework, titled Framework Inteligente de Coleta e Análise de dados para mitigar a Reprovação e a Evasão na Educação Superior a Distância (FICARE), offers strategies based on educational and computational foundations for collecting academic data and implementing data mining and text mining techniques. The proposed predictive models are based on supervised machine learning algorithms to predict students at risk of course failure and dropout. The proposed text analyses are based on Topic Modeling and Sentiment Analysis techniques to process students' open-ended responses and identify the valences of their evaluations regarding specific elements that compose the institution's DE model, as well as possible factors associated with the mentioned risks. Through a case study, the framework was applied in a Brazilian public institution of higher education, and its predictive results were evaluated. Data were collected from 4,675 students enrolled in 22 undergraduate and graduate courses offered at 50 DE centers, covering the years 2018, 2020, and 2023. Supervised machine learning algorithms implemented in Python were able to predict failure and dropout with satisfactory results, achieving configurations that yielded 94.37% accuracy, 94.36% precision, 80.95% recall, 99.56% specificity, 87.65% G-means, 74.18% F-measure, and a Kappa index of 70.51%. Finally, it was demonstrated that data-centered approaches can provide institutions with information capable of mitigating academic failure and dropout, thus promoting academic success.