Formative assessment, work regulation, organization, engagement, tracking and attendance in Spanish Universities

Abstract

The Assessment Systems Scale, a 34-­‐item questionnaire, was proven a robust, reliable and

valid instrument to evaluate assessment procedures at the university level. However, the

sample used to validate it was rather small, and proper validation of instruments requires

testing on multiple independent samples. The current study evaluated the reliability and the

validity of a reduced version, 23 items, of the instrument, as well as its interactions. Study 1

examined the validity and reliability of the reduced version of the Assessment System Scale

in a large sample of Spanish university students. 3.428 students and 52 teachers from 17

different universities across Spain agreed to participate. Results showed a 3-­‐factor

structure and high internal consistency (α = .835). In Study 2 descriptive and inferential

statistics showed that formative assessment significantly linked students’ work regulation

and organization, engagement, tracking and attendance. Students who participated in

formative assessment understood how necessary was class attendance, because it

favoured engagement and, as a consequence, better regulation and content integration

throughout the teaching-­‐learning process. A significant relationship was found between

peer review and more effective feedback to improve task understanding. Moreover, the

definition of clear assessment criteria correlated positively with individual or group work

registration. Different levels of self-­‐regulated work was found depending on the students’

university degree. It seems necessary to implement formative assessment systems with

tools and procedures that ensure an alternative to more traditional methodological

approaches.

La Escala del Sistema de Evaluación, un cuestionario de 34 items, ha sido probada como un

instrumento robusto, fiable y válido para analizar los procedimientos de evaluación a nivel

universitario. No obstante, la muestra empleada para validarla fue ciertamente pequeña y

una adecuada validación de un instrumento requiere que sea probado en múltiples

muestras independientes. Los estudios que se presentan evaluaron la fiabilidad y la validez

de la versión reducida de solo 32 items, así como sus interacciones. El estudio 1 determinó la

validez y la fiabilidad de la versión reducida de la Escala del Sistema de Evaluación en el

contexto de una muestra amplia de estudiantes universitarios. 3428 estudiantes y 52

profesores de 17 universidades diferentes de la geografía española accedieron a participar.

Los resultados mostraron una estructura de 3 factores y una alta consistencia interna (α =

.835). En el estudio 2 estadísticas descriptivas e inferenciales mostraron que la evaluación

formativa estableció conexiones significativas entre la organización y regulación del

trabajo, el compromiso, el seguimiento y la asistencia. Los estudiantes que participaron en

sistemas de evaluación formativa comprendieron cómo de necesaria es la asistencia a clase,

porque favorece un mayor compromiso y, como consecuencia, una mejor regulación y

monitorización del contenido a lo largo del proceso de enseñanza-­‐aprendizaje. Se encontró

una relación significativa entre la evaluación entre iguales y un feedback más efectivo para

la mejora en la comprensión de las tareas. Además, la delimitación de criterios claros de

evaluación correlacionó positivamente con el registro de trabajo individual o en grupo. Se

encontró un nivel de autorregulación del trabajo diferente en función de la titulación

estudiada. Se concluye que para la aplicación de sistemas de evaluación formativa es

preciso utilizar procedimientos útiles y sistemáticos que verdaderamente garanticen una

alternativa a sistemas metodológicos más tradicionales.