Developing an L2 pronunciation assessment rubric for classroom use in Brazil: teachers? insights on criteria, performance levels, and usability

Abstract

Avaliar a pronúncia de aprendizes de língua inglesa como segunda língua, em contextos formais de ensino, pode ser desafiador para professores devido a lacunas em sua formação docente, ao tempo limitado para lidar com os componentes fonético-fonológicos da língua e às dificuldades em definir o que e como avaliar o progresso dessa habilidade linguística. Ainda assim, quando orientada por uma perspectiva formativa, a avaliação da pronúncia possui um papel importante ao fornecer informações sobre o desenvolvimento da produção oral de estudantes, as quais são capazes de orientar decisões pedagógicas mais sensíveis às necessidades identificadas ao longo do processo de ensino-aprendizagem. Nesse contexto, ao descreverem com clareza os critérios e os níveis de desenvolvimento esperados em cada momento da aprendizagem da pronúncia, rubricas podem contribuir para tornar a avaliação dessa habilidade mais transparente e confiável. Diante disso, este estudo visou desenvolver uma rubrica de avaliação formativa da pronúncia em segunda língua voltada à sala de aula e analisar as percepções de professores brasileiros de inglês em exercício sobre esse instrumento de modo a aprimorá-lo. A pesquisa adotou uma abordagem de métodos mistos e contou com a participação de 13 professores brasileiros de inglês em exercício. Os dados foram coletados por meio de três questionários destinados a investigar: (1) características sociodemográficas e experiências acadêmico profissionais; (2) formação docente em avaliação de línguas e práticas de avaliação da pronúncia; e (3) percepções sobre a versão preliminar da rubrica, utilizada pelos participantes para avaliar três amostras de produção oral de aprendizes brasileiros, bem como para analisar a rubrica quanto aos seus critérios, níveis de desempenho e usabilidade, considerando a realidade educacional brasileira. Os dados quantitativos e qualitativos foram analisados por meio de estatística descritiva e análise de conteúdo, respectivamente. Segundo as sugestões dos professores, diversos aspectos da rubrica poderiam ser melhorados. Por exemplo, o número de níveis de desempenho da rubrica foi ampliado de quatro para seis e alguns descritores foram reformulados. De modo geral, a rubrica mostrou-se útil para apoiar a avaliação formativa da pronúncia e contribuiu para ampliar a conscientização dos professores acerca de aspectos específicos dessa habilidade. Além disso, os participantes tiveram uma visão positiva sobre o seu potencial de uso em sala de aula, apesar de destacarem limitações relacionadas ao tempo necessário para sua aplicação e à compreensão do instrumento por parte dos estudantes. Por fim, o estudo contribui para a área de desenvolvimento de rubricas e para a compreensão das necessidades de professores brasileiros de inglês em exercício no que se refere à avaliação da pronúncia em sala de aula.

Abstract: Assessing the pronunciation of learners of English as a second language in formal teaching contexts can be challenging for teachers due to limitations in their teacher education, restricted time to address the phonetic-phonological components of the language, and difficulties in defining what and how to assess students? linguistic development. Nevertheless, from a formative perspective, pronunciation assessment can provide meaningful information about students? oral production learning, which can inform more sensitive pedagogical decisions throughout the teaching-learning process. In this context, as rubrics clearly describe the criteria and performance levels of each stage of pronunciation development, they may contribute to a more transparent and reliable assessment of this ability. Therefore, the present study aimed to develop a second language pronunciation rubric designed for formative classroom assessment and to investigate Brazilian in-service English teachers? perceptions of this instrument in order to improve it. The study involved 13 Brazilian in-service English teachers and adopted a mixed methods approach. Data were collected through three instruments: (1) a background questionnaire, (2) an assessment survey designed to understand teachers? professional preparation in language assessment and their classroom pronunciation assessment practices, and (3) a rubric survey, in which teachers used the preliminary version of the rubric to assess selected speech samples and evaluated the instrument in relation to its criteria, performance levels, and usability within the Brazilian educational context. Quantitative and qualitative data were analyzed through descriptive statistics and content analysis, respectively. According to Brazilian English teachers? suggestions, several aspects of the rubric could be improved. For instance, the number of performance levels was expanded from four to six, and some level descriptors were reformulated. The findings reveal that the rubric was useful in supporting the formative assessment of pronunciation and contributed to increasing teachers? awareness of specific features of this ability. In addition, participants had a positive view of the rubric?s potential for classroom use, although they highlighted limitations related to the time required for its implementation and students? ability to understand the instrument. Finally, the study contributes to the field of rubric development and to understanding the needs of in-service Brazilian English teachers regarding pronunciation assessment in the classroom.