Avaliação da qualidade de legendas interlinguais manuais e pós-editadas a partir do Modelo FAR e percepção de qualidade da audiência: um estudo empírico-experimental

Abstract

Situada nos Estudos da Tradução Audiovisual (TAV) e baseada na proposta metodológica de triangulação de dados, esta pesquisa apresenta um experimento empírico realizado com estudantes de Letras da Universidade Federal de Santa Catarina (UFSC). O estudo tem como objetivo geral investigar a qualidade e a percepção da qualidade de legendas interlinguais automáticas pós-editadas e manuais no par linguístico inglês-português brasileiro (EN/PT-BR) com o uso do Modelo FAR de avaliação de qualidade proposto por Pedersen (2017). Como objetivos específicos, tem-se: (i) analisar a qualidade das legendas manuais e pós-editadas com base na aplicação do Modelo FAR; (ii) analisar a percepção de qualidade da audiência sobre as legendas manuais e pós-editadas em termos de aspectos técnicos e linguísticos; e (iii) analisar se há relação entre os resultados da avaliação da qualidade das legendas manuais e pós-editadas a partir da aplicação do Modelo FAR e os resultados da percepção de qualidade da audiência. Para a execução do experimento, foram coletados dados de 14 alunos de cursos de Letras da UFSC, que foram subdivididos em dois grupos com sete participantes cada: o grupo controle (GC), que ficou responsável por assistir ao trailer legendado do filme Lady Chatterleyâ s Lover com legendas traduzidas manualmente por um legendador profissional; e o grupo experimental (GE), que assistiu ao mesmo trailer, porém com legendas pós-editadas por outro legendador. Ambos os profissionais seguiram o Guia de Estilo da Netflix. Para a realização da coleta, quatro instrumentos foram utilizados e aplicados individualmente via Google Meet: um questionário prospectivo de levantamento de perfil; uma escala Likert de cinco pontos; um protocolo verbal retrospectivo guiado; e um Questionário - Modelo FAR. A análise dos dados foi pautada por viés qualitativo e quantitativo. Os dados provenientes do questionário prospectivo e dos protocolos verbais retrospectivos guiados foram analisados qualitativamente e triangulados aos dados quali-quantitativos da avaliação da qualidade das legendas com base no Modelo FAR e do Questionário - Modelo FAR e aos dados quantitativos da escala Likert. A análise realizada a partir dos dados coletados por meio dos instrumentos sugere que as legendas pós-editadas apresentam uma qualidade semelhante à s legendas traduzidas manualmente em termos de equivalência funcional, aceitabilidade e leiturabilidade com base na aplicação do Modelo FAR de avaliação de qualidade. Essa análise pode ser embasada, também, com as reações satisfatórias dos participantes no que se refere à qualidade de legendas pós-editadas, expressas por meio dos protocolos verbais retrospectivos guiados. Além disso, os resultados sugerem a viabilidade da padronização da transcrição dos dados provenientes dos protocolos a partir das normas de transcrição do Projeto da Norma Urbana Linguística Culta (Projeto Nurc).

Abstract: This research, which falls within the field of Audiovisual Translation Studies (AVT) and is based on data triangulation method, presents an empirical study conducted with undergraduate Language students at Federal University of Santa Catarina (UFSC). Our objective is to investigate the quality and perceived quality of post-edited automatic interlingual subtitles and manually translated subtitles in the English/Brazilian Portuguese (EN/PT-BR) language pair using the FAR Model proposed by Pedersen (2017). Our specific objectives are: (i) to analyze the quality of manually translated subtitles and post-edited subtitles based on the FAR Model application proposed by Pedersen (2017); (ii) to analyze the audienceâ s perception of quality regarding manually translated subtitles and post-edited subtitles in terms of technical and linguistic aspects; and (iii) to examine whether there is a relationship between the results of the quality assessment of manually translated subtitles and post-edited subtitles through the FAR Model application and the results related to the audienceâ s perception of quality. For the experiment, we collected data from 14 undergraduate Language students at UFSC, who were subdivided into two groups of seven participants: the control group (CG), which watched the movie trailer of Lady Chatterleyâ s Lover with subtitles manually translated by a professional subtitler; and the experimental group (EG), which watched the same trailer with subtitles post-edited by another professional subtitler. Both professionals followed the Brazilian Portuguese Timed Text Style Guide â Netflix. Data were collected via Google Meet, and four instruments were used for it: a prospective questionnaire to profile the participants, a five-point Likert scale, a guided think-aloud protocol, and a FAR Model Questionnaire. In addition, data analysis was conducted with both qualitative and quantitative approaches. The data from the prospective questionnaire and the guided think-aloud protocols were qualitatively analyzed and triangulated with the qualitative and quantitative data from the subtitle quality assessment based on the FAR Model and the FAR Model Questionnaire, as well as with the quantitative data collected through the Likert scale. Data analysis suggests that post-edited subtitles present a level of quality similar compared to manually translated subtitles in terms of functional equivalence, acceptability, and readability according to the FAR Model application. This finding is also supported by the participants' satisfactory perceptions regarding the quality of post-edited subtitles, as expressed through the guided think-aloud protocols. Furthermore, the results suggest the feasibility of standardization of data derived from the guided think-aloud protocols according to the transcription norms of the Cultured Linguistic Urban Norm Project (NURC Project).