La calidad en el proceso de corrección de las pruebas de acceso a la universidad: variabilidad y factores

Abstract

The educational system in Spain is undergoing a reorganisation. At present, high-school graduates who want to enrol at a public university must take a set of examinations Pruebas de Acceso a la Universidad (PAU). This paper is related to one of the main educational measurement issues associated with the examinations: reliability ofgrading. It summarises an experiment designed and conducted to evaluate the quality of grading in four subjects: Philosophy, Biology, Mathematics and Catalan Literature. Elementary summaries, such a cross-tabulations ofoperational and experimental grades, provide a clear evidence of between raters differences. A statistically more profound way of summarising the quality ofgrading is in terms of the variance due to ability, severity and inconsistency (Longford, 1994). The study demonstrates the feasibility ofan on-going scheme ofpartial duplica te grading which would be solely used for quality control and for understanding the inconsistencies occurring in the grading process.

El informe que presentamos resume una investigación realizada en 1997 en el marco de un proyecto más ampliode seguimientoy mejora de las Pruebas de Acceso a la Universidad (PAU) iniciado dos añosantesen Catalunya. El objetivo concreto del presente trabajo es el estudio de la calidad de la corrección en cuatro asignaturas que constituyen sendas pruebas en lasPAU:Filosofía, Biología, Matemáticas I y Literatura Catalana. El estudio confirma las diferencias existentes entre correctores, siendo mayor la magnitud de dichas diferencias en las asignaturas de Filosofía y de Literatura catalana, así como la necesidad de introducir mejoras en el sistema de elaboración y corrección de las pruebas. Al mismo tiempo, desde el punto de vista metodológico, el estudio poneen evidencia las limitaciones de algunos indicadores clásicos de la calidad, confirmando la idoneidad del modelo de descomposición de la varianza(Longford, 1994) ya especificado por los autores en un estudio anterior. El interés de este tipo de estudios en un momento de transición del sistema PAU-COU al sistemaPAU-LOGSEes innegable: aportan información útil en la toma de decisiones.