Design and use of test in the EFL classroom: item analysis for informed decisions

Abstract

Abstract : This Dissertation reports on a documental and empirical study of testitems in EFL classroom testing situations on a specific institution. Thereare affects and effects of classroom testing in educational settings for allthe participants involved, in this case, the institution, the teachers and thestudents. Approaches to language testing are put in contrast to test itemformats, as proposed by teachers in the tests they design themselves. Byreporting the content analysis of test items, and their outcomes onstudents production and teachers? given feedback, and through furtherinformation collected from teachers via semi-structured interviews, basedon their conception of classroom testing, test items, and feedback, andusing assessment literacy as a best practices framework for proposingtests, the objective of the present work is to analyse how teachers use testsin their classrooms. This methodology has been developed to concernpre-test, test, and post-test stages, and based on evidence from the corpusanalyses of collected tests, proposed and corrected by teachers andperformed by students, triangulated with the data collected from theinterviews with the participant teachers. Findings from the data analysisshow that teachers, in some cases, are unable to justify the test items theypropose according to the literature in the area. It is suggested that there isa need for a less codified terminology of language approaches to testingand their outcomes when put into practice, in order for teachers toconsciously propose coherent tests for the courses they lecture inaccordance to language approaches.<br>

Esta Dissertação apresenta um estudo documental e empírico sobre itens de teste na sala de aula de inglês como língua estrangeira. Testes em sala de aula afetam todos os participantes envolvidos, neste caso, a instituição, o professor, e os alunos. Abordagens para testes de línguas são colocados em contraste com os formatos de itens de teste propostos pelos professores para suas aulas. Ao reportar a análise do conteúdo dos itens de teste e seus consequentes resultados nas produções dos alunos e comentários dos professores, e usando letramento de avaliação como estrutura para boas práticas para os testes propostos, o objetivo deste trabalho é analisar como os professores usam testes em suas salas de aula. Esta metodologia foi desenvolvida para abranger as fases de pré-teste, teste, e pós-teste, e baseado na evidência da análise de corpus dos testes coletados, propostos e corrigidos pelos professores e respondidos por alunos, triangulado com os dados coletados nas entrevistas com os professores. Os resultados das análises dos dados mostram que os professores em alguns casos não são capazes de justificar suas escolhas nos itens de teste que eles propõem de acordo com a literatura na área. É sugerido que há uma necessidade de uma terminologia menos codificada para abordagens para testes de língua e instrução de linguagem, de modo que os professores sejam capazes de conscientemente propor testes coerentes com os cursos que eles ensinam.