An investigation of an ASR-based mobile application and its effects on speech intelligibility

Abstract

Existem atualmente diversos aplicativos móveis que utilizam tecnologias de Reconhecimento Automático de Fala (RAF) para fornecer retorno individualizado e imediato à fala de estudantes de segunda língua. Todavia, ainda não se sabe se estes aplicativos podem ajudá-los a se tornarem falantes mais inteligíveis. Este estudo buscou investigar o uso e os efeitos do uso de um aplicativo móvel baseado no RAF na inteligibilidade da fala de aprendizes de inglês. Além disso, o estudo buscou investigar o uso autorregulado do aplicativo e as percepções dos participantes a respeito dele. Os participantes da pesquisa foram 13 estudantes de uma escola pública de educação básica (Colégio de Aplicação ? UFSC), os quais utilizaram o aplicativo ELSA Speak para completar 38 lições cujo foco era a instrução das vogais /i/ e /?/ da língua inglesa. Eles receberam instruções sobre como utilizar o aplicativo, mas puderam escolher quando, onde e como o utilizariam. Para medir a inteligibilidade antes e depois do uso do aplicativo, eles gravaram sentenças curtas contendo palavras-alvo com os sons /i/ e /?/, as quais foram transcritas ortograficamente por 13 ouvintes nativos e não-nativos da língua inglesa. Os resultados dos testes de inteligibilidade revelaram diferenças significativas entre os pré e os pós-teste em termos de inteligibilidade geral e inteligibilidade das palavras-alvo, sendo que os participantes com menor nível inicial de inteligibilidade tiveram os maiores ganhos. Embora os participantes tenham sido instruídos a completar as lições durante o período de um mês, alguns não conseguiram cumprir este prazo e tiveram um uso inconsistente do aplicativo, provavelmente porque não estavam motivados para continuar seu uso. Em geral, os participantes tiveram percepções positivas sobre o aplicativo e acreditam que ele foi capaz de reconhecer sua fala e dar feedback apropriado, embora alguns tenham relatado momentos em que enfrentaram dificuldades para ter sua fala reconhecida. Eles apreciaram a possibilidade de aprender sem se sentirem julgados pelos colegas, e de poderem escolher quando aprender, mas acreditam que a falta de um professor e a falta de organização para utilizar o aplicativo foram as maiores desvantagens envolvidas na sua experiência com a aprendizagem móvel. Este estudo traz implicações relevantes para a instrução de pronúncia em segunda língua à medida que fornece dados empíricos sobre as potencialidades e limitações da instrução de pronúncia baseada em RAF e da aprendizagem de línguas assistida por dispositivos móveis.

Abstract: Nowadays, numerous commercially available mobile applications employ Automatic Speech Recognition (ASR) technologies to provide immediate and individualized feedback on the pronunciation of L2 learners. However, it is still unknown whether these applications can help learners become more intelligible speakers. This study investigated the effects of an ASR-based mobile application on the speech intelligibility of Brazilian learners of English. It also sought to investigate the self-regulated use of the application and the participants? perceptions of it. The participants were 13 students from a Brazilian public school, who used an application named ELSA Speak to complete 38 lessons focused on the instruction of the English vowels /i/ and /?/. They received instructions on how they were expected to study with the application, but were allowed to choose when, where and how they used it. To measure their intelligibility before and after the instruction, they recorded short sentences containing /i/ and /?/ target words, which were then orthographically transcribed by native and non-native listeners. The results from the intelligibility tests revealed significant differences between the pre and posttests for overall and target-word intelligibility, with participants with lower levels of intelligibility in the pre-tests having more gains than those with higher levels. Although the participants were asked to complete the lessons in one month, a few of them failed to do so, likely due to a lack of motivation to maintain the use of the application. Overall, the participants had positive perceptions of the application and believed that it was able to recognize their speech and provide appropriate feedback, even though they reported instances in which they struggled to be recognized. They appreciated the possibility of learning without the judgement of others and of choosing when to learn, but believed that the lack of a teacher and their lack of organization were major disadvantages in this type of learning. This study has relevant implications for L2 pronunciation instruction as it provides empirical data on the potentials and limitations of ASR-based instruction and Mobile Assisted Language Learning.