Aplicação das técnicas de processamento de linguagem natural Cosine Similarity e Word Mover's Distance na automatização da correção de questões discursivas no sistema tutor inteligente Mazk.

Abstract

A avaliação dos alunos por meio de questões discursivas é uma das formas mais tradicionais do sistema de ensino, mas sua correção não é uma tarefa trivial. Em turmas com um número elevado de alunos essa tarefa ocupa boa parte do tempo de trabalho do professor. Este problema se agrava quando falamos de um Sistema Tutor Inteligente (STI) onde o número de alunos pode crescer consideravelmente e, automaticamente, o número de questões discursivas para correção cresce a cada exercício proposto para a turma. Realizando estudos na área de Processamento de Linguagem Natural (PLN) e utilizando as medidas de similaridade Cosine similarity e Word Mover’s Distance, foi proposta uma solução para a criação de um sistema de correção automática de questões discursivas. Foram realizados testes para avaliar a eficiência de cada uma das medidas de similaridade e a Cosine Similarity se destacou, sendo assim escolhida para integrar a solução implementada no STI MAZK. Nos testes realizados, dentro do STI, o sistema de correção automática do MAZK obteve um erro relativo de 15% e uma acurácia de 88,7%, resultados interessantes e animadores, mas os testes também mostraram algumas deficiências que precisam ser avaliadas para melhoria dos seus resultados e para uma futura implantação definitiva.