Impacto do funcionamento diferencial do item (DIF) em testes com itens dicotômicos: um estudo de simulação

Abstract

O Funcionamento Diferencial do Item Differential Item Functioning (DIF) ocorre quando um item, em uma mesma escala, se comporta de maneira diferente entre dois ou mais grupos de indivíduos com mesmo nível de habilidade. Ou seja, esses grupos têm desempenhos diferenciados ao responderem ao mesmo item. O objetivo do presente estudo foi verificar o impacto no processo de equalização ao inserir itens com DIF. A importância de realizar a análise de DIF nos diferentes grupos de indivíduos se justifica para que as proficiências estimadas sejam fidedignas e os resultados possam ser adequadamente equalizados. Foram simulados no software R, versão 3.5.2, dois grupos (referência e focal) com características de uma avaliação em larga escala. O grupo referência foi submetido a um teste com 45 itens novos e o grupo focal a um teste parcialmente diferente com 45 itens (itens comuns com o teste do grupo referência). Para equalização dos parâmetros dos itens e das proficiências dos indivíduos, utilizou-se a Teoria de Resposta ao Item (TRI) com auxílio do software Bilog-MG. Na literatura, existem diferentes métodos para identificar o DIF e alguns autores recomendam a utilização de mais de um método no processo de análise de DIF, visto que cada método apresenta sua limitação. Para identificar itens comuns com DIF, foi adotada a metodologia utilizada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), que consiste em comparar as proporções esperadas de acertos ao item nos pontos de quadratura para cada grupo compreendida no intervalo P5 (percentil 5) e o P95 (percentil 95), quando a diferença máxima entre os grupos for maior ou igual a 0,15 o item é classificado com DIF. Nos cenários simulados, foram avaliados o número de itens comuns e os diferentes incrementos adicionados no parâmetro de dificuldade com o intuito de gerar DIF uniforme. Os resultados mostraram que o número de itens comuns auxilia no processo de identificação dos itens com DIF uniforme, pois quanto mais itens de ligação no processo de equalização, menor será o impacto sofrido por itens que apresentam algum tipo de viés. Os itens identificados com DIF trazem informações importantes para os sistemas educacionais, pois podem diagnosticar deficiências curriculares, índices de discriminação racial, características econômicas ou diversidades culturais. Contudo, com base nos resultados, recomenda-se a inserção de outros métodos de identificação, pois a atual metodologia mostrou-se sensível a itens que apresentam diferenças elevadas nas proporções de acerto esperadas entre o grupo focal e o grupo de referência, quando associadas a um número menor de itens comuns.

Abstract: Differential Item Functioning (DIF) - occurs when an item on the same scale behaves differently between two or more groups of individuals with the same skill level. That is, these groups perform differently when responding to the same item. The objective of the present study was to verify the impact on the equalization process when inserting items with DIF. The importance of performing the DIF analysis in the different groups of individuals is justified so that the estimated proficiencies are reliable and the results can be adequately equalized. Two groups (reference and focal) with characteristics of a large scale evaluation were simulated in software R, version 3.5.2. The reference group was subjected to a test with 45 new items and the focus group to a partially different test with 45 items (common items with the reference group test). For the equalization of the parameters of the items and the proficiencies of the individuals, the Theory of Response to the Item (TRI) was used with the help of the software Bilog-MG. In the literature, there are different methods to identify DIF and some authors recommend the use of more than one method in the DIF analysis process, since each method presents its limitation. To identify common items with DIF, the methodology used by the National Institute of Educational Studies and Research Anísio Teixeira (INEP) was adopted, which consists of comparing the expected proportions of correct answers to the item in the quadrature points for each group included in the P5 interval (percentile 5) and P95 (95th percentile), when the maximum difference between groups is greater than or equal to 0.15 the item is classified as DIF. In the simulated scenarios, the number of common items and the different increments added in the difficulty parameter were evaluated in order to generate uniform DIF. The results showed that the number of common items assists in the process of identifying items with uniform DIF, since the more binding items in the equalization process, the smaller the impact of items with some kind of bias. Items identified with DIF bring important information to educational systems, as they can diagnose curriculum deficiencies, racial discrimination indices, economic characteristics or cultural diversities. However, based on the results, it is recommended to insert other methods of identification, since the current methodology was sensitive to items that present high differences in the expected proportion of accuracy between the focal group and the reference group, when associated with fewer common items.