An investigation of enhancement of ability evaluation by using a nested logit model for multiple-choice items

Abstract

Los items de elección múltiple se han usado ampliamente en tests psicológicos y educativos. Este estudio investiga si los items de elec- ción múltiple tiene ventajas sobre los items dicotómicos o sobre la evalua- ción de rasgo latente. Un modelo de respuesta al item, con un modelo logit anidado, logístico 2-parámetros (2PL-NKM), fue usado para ajustar los da- tos de elección múltiple. Los estudios de simulación y empíricos indicaron que la precisión y la estabilidad de la estimación de capacidad mejoró usan- do el modelo de elección múltiple en contraposición al modelo dicotómico, debido a la mayor información incluida en los items distractores de la elec- ción múltiple. Pero la precisión y la capacidad de estimación mostró peque- ñas diferencias en items de cuatro elecciones, cinco y seis elecciones. Ade- más, el modelo 2PL-NLM puede extraer más información respondientes de bajo nivel que de los de alto nivel, debido a que tienen conductas de elec- ción con más distractores. En el estudio empírico, los respondientes en di- ferentes niveles de rasgo fueron atraídos por diferentes distractrores del Test de Vocabulario chino en el primer grado, usando trazos cambiantes en la probabilidad de distractor a partir de 2PL-NLM. Esto sugiere que las respuestas de los estudiantes a diferentes niveles puede reflejar un proceso evolutivo de vocabulario en los estudiantes

Multiple-choice items are wildly used in psychological and edu- cational test. The present study investigated that if a multiple-choice item have an advantage over a dichotomous item on ability or latent trait evalua- tion. An item response model, 2-parameter logistic nested logit model (2PL-NLM), was used to fit the multiple-choice data. Both simulation study and empirical study indicated that the accuracy and the stability of ability estimation were enhanced by using multiple-choice model rather than dichotomous model, because more information was included in mul- tiple-choice items’ distractors. But the accuracy of ability estimation showed little differences in four-choice items, five-choice items and six- choice items. Moreover, 2PL-NLM could extract more information from low-level respondents than from high-level ones, because they had more distractor chosen behaviors. In the empirical study, respondents at differ- ent trait levels would be attracted by different distractors from the Chinese Vocabulary Test for Grade 1 by using the changing traces of distractor probabilities calculated from 2PL-NLM. It is suggested that the responses of students at different levels could reflect the students’ vocabulary devel- opment process.