A framework and case studies for data-driven evaluation of competencies and capabilities across contexts

Abstract

A medida que avanza el siglo XXI, las metodologías de evaluación evolucionan de la evaluación de contenido tradicional a marcos dinámicos basados en competencias. La integración de tecnologías digitales en los entornos de evaluación, como software interactivo de aula, comunidades de aprendizaje en línea, plataformas de contratación profesional y sistemas de recomendación de expertos, impulsa esta transformación. Esta evolución hacia la evaluación mediada por tecnología requiere herramientas que no solo involucren, sino que también midan efectivamente diversas competencias.

El objetivo principal de esta tesis fue realizar múltiples estudios de caso en diversos entornos para construir un marco que pudiera generalizarse en varios entornos mediados por la tecnología.

En primer lugar, esta tesis examinó diversos entornos mediados por la tecnología que podían generar conjuntos de datos ricos a través de la interacción de los usuarios y donde los datos podían usarse para realizar una evaluación basada en datos de diferentes competencias. La encuesta reveló cuatro entornos multimedia clave que incluían sitios para compartir y consumir contenido, videojuegos, aprendizaje en línea y redes sociales que cumplían con el objetivo principal.

El siguiente paso de la tesis fue realizar varios estudios de caso con el fin de explorar diversos entornos, métodos, fuentes de datos y competencias. El primer estudio de caso llevó a cabo una evaluación de habilidades geométricas. El objetivo era adaptar, evaluar y comparar varios algoritmos de trazado de conocimiento en datos de un juego basado en geometría. Los hallazgos indicaron que el algoritmo Elo modelaba más precisamente los niveles de conocimiento real de los estudiantes.

El segundo estudio de caso profundizó en identificar la experiencia en ciencia de datos en una plataforma de preguntas y respuestas Reddit. La metodología se basó en la codificación manual de los comentarios por dos especialistas en ciencia de datos. El estudio de caso implementó un método semi-supervisado y demostró la capacidad del modelo para distinguir entre comentarios de expertos, no expertos y fuera de alcance. El modelo aprovechó los datos de actividad del usuario, incorporando NLP, datos de crowdsourcing y características específicas del usuario.

El tercer estudio de caso examinó las habilidades fotográficas impulsadas por el hecho de que hoy en día las plataformas para compartir fotos son cada vez más prevalentes. Usando datos multimodales de perfiles de usuarios, metadatos de fotos y atributos de crowdsourcing, el estudio aplicó técnicas de aprendizaje automático para evaluar si los usuarios podían clasificarse con precisión como fotógrafos profesionales basándose en sus ocupaciones declaradas y varias características.

El paso final de la tesis fue la propuesta de un marco. Este se generalizó en varios contextos, entornos, tipos de datos y competencias, con el objetivo de deducir estas últimas de los primeros. Este proceso involucró un análisis exhaustivo de las metodologías de los estudios de caso y la literatura científica más amplia. Utilizó diagnósticos basados en computadora para mejorar su capacidad de interpretar conjuntos de datos complejos de manera efectiva. La efectividad de este marco se validó a través de estudios de caso en diferentes entornos, cada uno seleccionado por sus características únicas.

Finalmente, la tesis esbozó varias conclusiones. Primero, en entornos multimedia, es urgente contar con marcos flexibles basados en datos para evaluar diversas competencias. Segundo, la incorporación de juegos y el trazado de conocimientos es fundamental para mejorar las metodologías educativas. Tercero, el aprendizaje informal en comunidades virtuales se ha vuelto una vía significativa para adquirir experiencia, aprovechando las plataformas digitales para el intercambio de conocimientos y el desarrollo de habilidades. Por último, la evaluación de habilidades subjetivas como la fotografía introduce desafíos únicos debido a la variabilidad en las percepciones individuales de calidad y habilidad.

As the 21st century progresses, assessment methodologies are evolving from traditional, static content evaluation to dynamic, competency-based frameworks. The integration of digital technologies into assessment settings, including interactive classroom software, online learning communities, professional hiring platforms, and expert recommendation systems, catalyses this transformation. This evolution towards technology-mediated assessment necessitates the creation of evaluation tools that not only engage but also effectively measure diverse competencies.

The main objective of this dissertation was to perform multiple case studies in diverse settings in order to build a framework that could generalize across various technology-mediated environments.

Firstly, this dissertation examined diverse technology-mediated environments that could generate rich data sets through the users' interaction and where data could be used to explicitly or implicitly perform a data-driven evaluation of different competencies and capabilities. The survey revealed four key multimedia environments that included sites for content sharing & consumption, video games, online learning and social networks that fulfilled the main goal. Moreover, different methods were used to measure a large array of diverse capabilities such as expertise, language proficiency and soft skills.

The next step of the dissertation was to perform several case studies in order to explore diverse environments, methods, data sources and competencies. The first case study undertook a data-driven evaluation of geometry skills. The objective was to adapt, assess, and compare various knowledge tracing algorithms on data from a geometry-based game. The findings indicated that the Elo algorithm most accurately modelled students' actual knowledge levels.

The second case study delved into identifying data science expertise on a Question&Answer platform Reddit. The methodology was grounded in manual coding of comments by two data science specialists. The case study implemented a semi-supervised method and demonstrated the model’s capability to distinguish between expert, non-expert, and out-of-scope comments. The model leveraged user activity data, incorporating NLP, crowdsourced data, and user-specific features.

The third case study examined photography skills driven by the fact that nowadays social media and photo-sharing platforms were increasingly prevalent. Using multimodal data from user profiles, photo metadata, and crowdsourced attributes, the study applied machine learning techniques to assess whether users could be accurately classified as professional photographers based on their self-reported occupations and various features.

The final step of the dissertation was the framework proposal. It generalised across various contexts, environments, data types, and competencies, aiming to deduce the latter from the former. This process involved a comprehensive analysis of methodologies from the case studies and broader scientific literature to construct the framework. It utilised computer-based diagnostics to enhance its ability to interpret complex datasets effectively. The effectiveness of this framework was validated through case studies in distinct settings, each selected for their unique characteristics.

Finally, the dissertation outlined several conclusions. Firstly, in the context of multimedia environments, it identifies an urgent need for flexible, data-driven frameworks capable of assessing a variety of competencies across different platforms. Secondly, the incorporation of games and knowledge tracing is pivotal in the advancement of educational methodologies. These technologies facilitate a personalised learning journey through dynamic assessment and immediate feedback. Thirdly, this dissertation concludes that informal learning within virtual communities has emerged as a significant avenue for acquiring expertise, leveraging the vast capabilities of digital platforms for knowledge exchange and skill development. Lastly, the assessment of subjective skills like photography introduces unique challenges due to the inherent variability in individual perceptions of quality and skill.