Avaliação de aprendizagem de conceitos de machine learning nos anos finais do ensino fundamental e ensino médio

Abstract

Tratando-se de computação, uma das principais áreas hoje é o Machine Learning (ML), ou aprendizagem de máquina, um campo de estudos em que algoritmos dão ao computador a habilidade de aprender com dados e se tornou parte da nossa vida cotidiana, impactando nossa sociedade. Para desmistificar o Machine Learning é importante introduzir conceitos e práticas já na Educação Básica, com o intuito de preparar os estudantes aos desafios do Século XXI. Nesse contexto, especialmente a avaliação da aprendizagem do ensino de ML é importante para acompanhar o progresso de aprendizagem do aluno, mas o ensino de competências de Machine Learning atualmente não é incluído na Educação Básica. A maioria das Unidades Instrucionais têm sido propostas como unidades extracurriculares, e não há modelos comumente adotados de como avaliar a aprendizagem de competências de Machine Learning na Educação Básica. Assim, o presente trabalho visa responder a pergunta de pesquisa: Como avaliar a aprendizagem de competências de Machine Learning dos alunos nos Anos Finais do Ensino Fundamental e do Ensino Médio? Desta forma o objetivo deste trabalho é desenvolver um modelo de avaliação da aprendizagem de competência de Machine Learning nos Anos Finais do Ensino Fundamental e do Ensino Médio. O desenvolvimento inclui tanto a revisão sistemática de literatura quanto a definição sistemática de um modelo de avaliação com base no desempenho do aluno voltadas ao ensino de Machine Learning aplicado à classificação de imagens usando o ambiente visual Google Teachable Machine. O modelo é instanciado por uma rubrica e avaliada estatisticamente em relação à sua confiabilidade e validade convergente, utilizando o Coeficiente Ômega e a Correlação Policórica. Com base nos dados de um total de 108 estudantes, coletados em 5 aplicações do ensino de ML, resultados da avaliação preliminar de confiabilidade e validade convergente indicam que a rubrica de avaliação do desempenho de aprendizagem de Machine Learning na Educação Básica está próximo de apresentar confiabilidade e validade convergente. Disponibilizando esse modelo de avaliação, espera-se facilitar a avaliação da aprendizagem de conceitos de Machine Learning, fornecendo suporte ao ensino de Machine Learning na Educação Básica.

Abstract: When it comes to computing, one of the main areas today is Machine Learning (ML), a field of study in which algorithms give computers the ability to learn from data. ML has become part of our everyday life, impacting our society, and, thus in order to demystify Machine Learning it is important to introduce concepts and practices already in K-12, in order to prepare students for challenges of the 21st century. In this context, especially the assessment of the students' learning is important. But as the teaching of Machine Learning is currently not yet included in K-12 curricula, there are no commonly adopted models of how to assess the learning of Machine Learning in K-12. Therefore, the present work aims to answer the research question: How to assess the learning of the application of basic Machine Learning concepts by middle and high school students? The objective of this work is to develop a model for assessing the students' learning of Machine Learning at these educational stages. This includes a systematic literature review and the systematic definition of an assessment model with regard to student performance in the context of teaching image classification using Google Teachable Machine. The approach is instantiated by a rubric and statistically evaluated with respect to reliability and convergent validity, using the Omega Coefficient and the Polychoric Correlation. Based on data from a total of 108 students, collected in 5 applications in practice, results of the preliminary evaluation indicate that the rubric is close to presenting reliability and convergent validity. The result of this research, creating a performance-based assessment model, is expected to facilitate the assessment of the learning of Machine Learning concepts, in order to provide feedback and guide the students' learning process, thus, providing support forthe teaching of Machine Learning in K-12.