Desenvolvimento de um modelo de inteligência artificial para auxiliar as redações dos alunos do ensino médio para preparação para o Enem

Abstract

A criação de bons textos dissertativos-argumentativos demandam do escritor empenho e prática, além de feedbacks para o aprimoramento pessoal. A nota da redação do Exame Nacional do Ensino Médio (Enem) possui um peso significativo na pontuação total do candidato, sendo um dos fatores para ingresso em uma Instituição de Ensino Superior (IES). No entanto, muitos estudantes da rede pública de ensino não são preparados de forma satisfatória devido ao baixo número de professores especializados para correção e orientação. Este trabalho tem como objetivo explorar a aplicação de modelos de Inteligência Artificial (IA) na avaliação de redações do Enem, utilizando técnicas de Processamento de Linguagem Natural (PLN) e Large Language Models (LLM) por meio de diferentes estratégias de engenharia de prompt, sem a construção ou o treinamento de um modelo próprio. Para isso, foram conduzidos experimentos utilizando estratégias zero-shot, one-shot e few-shot aplicadas aos modelos Llama 3.2 3B e Llama 3.2-vision 11B, avaliando sua capacidade de atribuir notas e gerar justificativas alinhadas aos critérios do Enem. Os resultados mostraram que os modelos compreendem adequadamente a estrutura argumentativa, porém apresentam dificuldade em calibrar as notas, com tendência à superestimação de textos fracos e à subavaliação de textos de excelência. Também foi observada predominância de comentários neutros, indicando limitação na correspondência entre análises qualitativas e quantitativas. Embora o trabalho não implemente fine-tuning, a opção por focar exclusivamente em engenharia de prompt decorre de restrições de tempo, viabilidade técnica e recursos computacionais, constituindo uma etapa exploratória necessária antes do treinamento supervisionado. Apesar dessas limitações, os experimentos demonstraram o potencial dos LLMs como ferramenta complementar na avaliação de redações. Como trabalho futuro, destaca-se a realização de fine-tuning específico para o domínio das redações do Enem, visando aprimorar a calibração avaliativa.

The creation of good argumentative-essay texts demands dedication and practice from the writer, as well as feedback for personal improvement. The essay score of the National High School Exam (Enem) has significant weight in the candidate’s total score, being one of the determining factors for admission to a Higher Education Institution. However, many students in the public school system are not adequately prepared due to the low number of specialized teachers for correction and guidance. This work aims to explore the application of Artificial Intelligence (AI) models in evaluating Enem essays by employing Natural Language Processing (NLP) techniques and Large Language Models (LLM) through different prompt-engineering strategies, without constructing or training a custom model. To this end, experiments were conducted using zero-shot, one-shot, and few-shot strategies applied to the Llama 3.2 3B and Llama 3.2-vision 11B models, assessing their ability to assign scores and generate justifications aligned with Enem’s official criteria. The results showed that although the models adequately understand argumentative structure, they struggle to calibrate scores, tending to overestimate weak essays and underestimate high-quality ones. A predominance of neutral comments was also observed, indicating a limited correspondence between qualitative and quantitative analyses. Although the work does not implement fine-tuning, the decision to focus exclusively on prompt engineering stems from constraints related to time, technical feasibility, and computational resources, serving as an exploratory step prior to supervised training. Despite these limitations, the experiments demonstrated the potential of LLMs as complementary tools for essay evaluation. As future work, we highlight the implementation of domain-specific fine-tuning for Enem essays to improve evaluative calibration.