An exploratory study of brazilian undergraduate students' engagement with ChatGPT's automated writing evaluation

Abstract

Este estudo exploratório investiga como estudantes de graduação brasileiros interagem com o feedback do ChatGPT e o incorporam durante uma tarefa de produção textual em inglês como segunda língua (L2), além de examinar como suas percepções sobre a ferramenta evoluem antes e depois da tarefa de feedback. Guiado por duas perguntas de pesquisa, o estudo analisa (1) como estudantes integram o feedback do ChatGPT em suas produções escritas em L2 e (2) como suas percepções sobre o ChatGPT como uma ferramenta de Avaliação Automatizada da Escrita (AWE, na sigla em inglês) mudam após a interação com o sistema. Adotando um desenho quase-experimental, transversal, e com pós-teste apenas, o estudo contou com sete estudantes de graduação (N = 7) de diferentes cursos de graduação da Universidade Federal de Santa Catarina (UFSC), todos com proficiência intermediária em inglês (nível B1-B2 do CEFR). A coleta de dados consistiu em uma redação manuscrita inicial em sala de aula, um questionário pré-tarefa, uma sessão de treinamento de uma hora e meia sobre o uso do ChatGPT (abordando funcionalidades, estratégias de formulação de prompts e considerações éticas), uma tarefa de revisão utilizando o feedback do ChatGPT e um questionário pós-tarefa. A incorporação do feedback foi analisada por meio da comparação entre as duas versões das redações e da revisão das interações dos participantes com o ChatGPT, enquanto os questionários pré- e pós-tarefa forneceram insights sobre mudanças nas percepções dos participantes. Três perfis distintos de incorporação de feedback emergiram: o Grupo A (N = 2) caracterizou-se pela incorporação integral, substituindo completamente seus rascunhos originais por textos gerados pelo ChatGPT; o Grupo B (N = 3) utilizou estratégias de assistência à escrita, adotando sugestões de forma seletiva para refinar seus textos; e o Grupo C (N = 2) fez uma incorporação parcial, integrando trechos específicos ao texto original. As percepções sobre o ChatGPT variaram entre os grupos e pareceram ser influenciadas por experiências prévias, pela sessão de treinamento e por fatores internos como reações emocionais e viés de desejabilidade social. Enquanto os membros do Grupo A mantiveram suas crenças inalteradas, mesmo com ações que as contradiziam, o Grupo B demonstrou crescente interesse e um aparente engajamento crítico com a ferramenta, e o Grupo C relatou perda de confiança na ferramenta devido a problemas de coerência e precisão. Esses dados destacam a importância de promover o letramento em IA em todos os níveis educacionais, enfatizando não apenas habilidades técnicas, mas também a consciência ética, a avaliação crítica de conteúdos gerados por IA e os riscos da desinformação. O estudo reforça a responsabilidade compartilhada entre educadores, instituições e formuladores de políticas na preparação dos estudantes para um engajamento crítico e responsável com ferramentas de IA, e incentiva novas pesquisas interdisciplinares sobre a interação humano-IA em contextos de aprendizagem de línguas.

Abstract: This exploratory study investigates how Brazilian undergraduate students interact with and incorporate ChatGPT's feedback during an English as a Second Language (L2) writing assignment, as well as how their perceptions of the tool evolve before and after the feedback task. Guided by two research questions, the study explores (1) how students integrate ChatGPT's feedback into their L2 writing and (2) how their perceptions of ChatGPT as an Automated Writing Evaluation (AWE) tool change after engaging with the system. Adopting a cross-sectional, quasi-experimental, posttest-only design, the study involved seven undergraduate students (N = 7) from various programs at the Universidade Federal de Santa Catarina (UFSC), all with intermediate English proficiency (B1-B2 CEFR level). Data collection included an initial in-class handwritten essay, a pre-task questionnaire, a one and a half hour training session on ChatGPT (covering functionalities, prompt-writing strategies, and ethical considerations), a revision task using ChatGPT?s feedback, and a post-task questionnaire. Feedback incorporation was analyzed by comparing the first and second essay versions and reviewing participants' interactions with ChatGPT, while pre- and post-task questionnaires provided insight into changes in participants' perceptions. Three distinct profiles of feedback incorporation emerged: Group A (N = 2) was characterized by integral incorporatioN - participants replaced their original drafts entirely by ChatGPT-generated text; Group B (N = 3) employed writing assistance strategies and selectively adopted suggestions to refine their writing; and Group C (N = 2) employed a partial incorporation, integrating specific excerpts into their original texts. Perceptions of ChatGPT varied across groups and appeared to be influenced by prior experience, the training session, and internal factors such as emotional reactions and social desirability bias. While Group A's stated beliefs remained unchanged despite actions that contradicted them, Group B demonstrated increasing interest and an apparent critical engagement with the tool, and Group C reported diminished trust in the tool due to issues with coherence and accuracy. These findings highlight the importance of fostering comprehensive AI literacy at all levels of education, emphasizing not only technical skills but also ethical awareness, critical evaluation of AI-generated content, and the risks of misinformation. The study reinforces the shared responsibility among educators, institutions, and policymakers in preparing students for critical and responsible engagement with AI tools, and it encourages further interdisciplinary research on human-AI interaction in language learning contexts.