Análise da qualidade da avaliação automatizada de criatividade de aplicativos App Inventor com Modelos Grandes de Linguagens (LLMs - Large Language Models)

Abstract

O século XXI requer novas habilidades, como a criatividade, que são cada vez mais valorizadas para um desenvolvimento pessoal e no mercado de trabalho. Assim, a importância do incentivo da criatividade na educação básica é cada vez mais reconhecida. Uma das formas de desenvolver essa habilidade é o ensino de computação por meio de desenvolvimento de aplicativos móveis. Atualmente já existem diversas iniciativas voltadas a esse fim, porém observa-se em geral a falta de modelos para avaliar a criatividade de forma válida e eficiente, que possam ser facilmente aplicados na prática. Uma alternativa para automatizar a avaliação da aprendizagem de criatividade pode ser o uso de Large Language Models (LLMs), que, entre outras tarefas, também podem avaliar a criatividade de apps. Porém, atualmente ainda não existem estudos avaliando a qualidade das avaliações de criatividade de apps pelos LLMs. Assim, visa-se neste trabalho comparar a qualidade da avaliação automatizada de criatividade de aplicativos App Inventor com LLMs com avaliações feitas por juízes humanos e o modelo automatizado Creassessment. Assim espera-se obter conhecimento sobre a possibilidade em utilizar LLMs para esta tarefa apoiando a aprendizagem de criatividade como parte do ensino da computação em escolas no Brasil.