Assessment in Collaborative Learning : a Mediation Analysis Approach

Abstract

En el aprendizaje colaborativo, evaluar el proceso implica dinámicas de trabajo en equipo, y evaluar el producto se centra en la precisión y calidad del resultado final. La evaluación juega un papel crucial, ya que define y mide la eficacia de las actividades grupales para garantizar que se cumplan los objetivos de aprendizaje. El análisis de mediación es una técnica importante para comprender mejor las relaciones entre variables, diseñada específicamente para probar hipótesis sobre posibles efectos causales en diversas áreas. Sin embargo, muchas iniciativas de investigación se han interrumpido prematuramente debido a las restricciones de datos de Baron-Kenny. Esta investigación toma un estudio de caso de aprendizaje en línea de la Universidad Abierta de Portugal para determinar si la selección de grupo y la frecuencia de interacción afectan la evaluación individual y cómo. La contribución radica en la aplicación del análisis cuantitativo de mediación causal a la evaluación del aprendizaje colaborativo. Se propone el índice de mediación Lambda para mejorar el análisis de mediación al permitir una categorización rápida y flexible en mediación total, parcial o nula. Utilizando los registros de la plataforma Moodle y los resultados de los estudiantes, fue posible encontrar una influencia significativa de la dinámica de grupo en el rendimiento académico, destacando la aplicación práctica de esta metodología mejorada en un contexto educativo. Estos hallazgos nos aseguran la relevancia y aplicabilidad de esta investigación en entornos educativos del mundo real.

In collaborative learning, evaluating the process involves teamwork dynamics, and assessing the product focuses on the accuracy and quality of the final output. Assessment plays a crucial role, as it defines and measures the effectiveness of group activities to ensure that learning objectives are met. Mediation analysis is an important technique to better understand relationships between variables, specifically designed to test hypotheses about potential causal effects in various areas. However, many research initiatives have been discontinued prematurely due to the Baron-Kenny data restrictions. This research takes a case study of online learning from the Portuguese Open University to determine if and how group selection and interaction frequency affect individual assessment. The contribution lies in applying quantitative causal mediation analysis to collaborative learning assessment. The Lambda Mediation Ratio is proposed to enhance mediation analysis by enabling quick and flexible categorization into full, partial, or no mediation. Using Moodle platform logs and student outcomes, it was possible to find a significant influence of group dynamics on academic performance, highlighting the practical application of this improved methodology in an educational context. These findings reassure us of the relevance and applicability of this research in real-world educational settings.

L'analyse de médiation est une technique cruciale pour mieux comprendre les relations entre les variables. Cependant, de nombreuses initiatives de recherche ont été interrompues prématurément en raison des restrictions de données de Baron-Kenny. Cet article propose le Ratio de Médiation Lambda pour améliorer l'analyse de médiation, permettant une catégorisation rapide et plus flexible en médiation complète, partielle ou sans médiation. Une étude éducative expérimentale utilisant les logs de la plateforme Moodle et les résultats des étudiants démontre l'influence significative de la dynamique de groupe sur la performance académique, soulignant l'application pratique de cette méthodologie améliorée dans les contextes éducatifs.