A method to predict at-risk students in introductory computing courses based on motivation

Abstract

Apesar de ser um problema relatado há muito tempo, o alto índice de evasão e reprovações em cursos de computação continua sendo um problema para a área. Nesse contexto, as disciplinas introdutórias de programação estão entre as que mais reprovam, gerando os maiores índices de evasão nos primeiros semestres do curso. Diversos estudos descrevem estratégias para tentar melhorar o ensino de programação e reter mais alunos, assim como outros estudos tentam identificar fatores que estão relacionados com o sucesso ou retenção dos estudantes. Uma das estratégias para intervir no processo de ensino-aprendizagem é identificar previamente os estudantes em risco. Apesar de existir uma forte relação entre a motivação e o resultado dos estudantes, poucos trabalhos utilizam a motivação como um fator para identificar estudantes em risco. Esse trabalho apresenta e avalia um método para identificar características que permitam prever com antecedência estudantes em risco em disciplinas introdutórias de Computação, baseado em quatro componentes principais: fatores pré-universitários, motivação inicial, motivação ao longo da disciplina e percepção do professor. Além disso, é proposto um instrumento para avaliar fatores educacionais que impactam na motivação. O método é baseado em questionários, cujos resultados de validação da confiabilidade e validade, por meio do coeficiente alpha de Cronbach, coeficiente ômega e análise fatorial, mostraram-se satisfatórios. A partir do método criado, nomeado de EMMECS, foram realizados estudos de caso com 173 estudantes de diferentes cursos na área de computação em quatro diferentes universidades no sul do Brasil. Foram então realizadas diversas simulações de predição, utilizando dez diferentes algoritmos de classificação e diferentes configurações de datasets. Como resultado, os melhores cenários, utilizando os algoritmos support vector machine e Adaboost M1, identificou, em média, mais de 80% dos estudantes que seriam reprovados, desde a primeira semana de aula. Os resultados mostram então que o método proposto é eficaz comparado com trabalhos correlatos e tem como vantagens o fato de ser independente de conteúdo programático, de avaliações específicas, de interação com sistemas de aprendizagem e de permitir a identificação semanal, com bons resultados desde as primeiras semanas.<br>

Abstract: Despite being a problem reported in a long time, the high rate of dropout and failure in computing courses remains a problem for the area. In this context, the introductory programming courses are among the worst, generating the highest rates of dropout in the first semesters of the program. Several studies describe pedagogical strategies that try to improve teaching programming and retain more students. Other studies try to identify factors that are related to the success or retention of students. One of the strategies to support the teaching-learning process is to identify students at risk in advance. Although there is a strong relationship between the motivation and the students? outcome, few works use the motivation as a factor to identify students at risk. This work presents and evaluates a method to identify features that allow predicting at-risk students in introductory computing courses, based on four main components: pre-university factors, initial motivation, motivation through the course, and professor perception. In addition, it is proposed an instrument to assess educational factors that impact on motivation. The method is based on questionnaires, and the results were validated regarding reliability and validity by the Cronbach's alpha coefficient, omega coefficient, and factor analysis, which we proved to be satisfactory. Using the method created, named EMMECS, case studies with 173 students from different courses in computer science in four different universities in southern Brazil were conducted. We carried out several simulations of prediction, using ten different classification algorithms and different datasets. As a result, the best-case scenarios, using support vector machine and AdaBoostM1 algorithms, we identified on average more than 80% of students that would fail, since the first week of the study. The results show that the proposed method is effective compared with related works and it has as advantages its independence of programmatic content, specific assessments, grades, and interaction with learning systems. Furthermore, the method allows the weekly prediction, with good results since the first few weeks.