An evidence-based framework for optimizing serious game design in software engineering education

Abstract

Los juegos serios (JS) han ganado una atención creciente en la educación como herramientas diseñadas no solo para el entretenimiento, sino también con fines educativos, proporcionando experiencias de aprendizaje interactivas y atractivas. En el contexto de la educación en Ingeniería de Software (IS), los JS tienen un gran potencial para abordar desafíos como la abstracción de conceptos complejos y la aplicación práctica de conocimientos teóricos. Al integrar mecánicas de juego, los JS crean entornos inmersivos donde los estudiantes pueden perfeccionar tanto habilidades técnicas como de toma de decisiones en entornos controlados pero dinámicos. Sin embargo, a pesar de su potencial, el diseño de JS efectivos en la educación de IS sigue siendo inconsistente, sin un marco estandarizado que guíe la creación de juegos alineados con los objetivos educativos. Esta tesis tiene como objetivo llenar ese vacío mediante el desarrollo y la validación de un nuevo marco para el diseño de JS, junto con la creación de recomendaciones basadas en evidencia para los interesados en JS, específicamente adaptadas a la educación en IS. La hipótesis principal de la investigación es que un marco basado en evidencia, respaldado por la retroalimentación de expertos, puede guiar a los educadores y desarrolladores de juegos en la creación de JS que se alineen mejor con los objetivos educativos, optimicen el uso de recursos y, en última instancia, mejoren los resultados de aprendizaje. Los objetivos de la investigación incluyen: 1) Desarrollar una comprensión integral del uso actual de los JS en la educación de IS, 2) Evaluar el impacto de los JS en los resultados de los estudiantes, considerando la influencia de la experiencia de los instructores con los JS, 3) Contribuir con nuevo conocimiento a la educación en IS mediante las mejores prácticas para el diseño de JS, 4) Desarrollar un marco que estandarice el proceso de diseño de JS y promueva la reutilización de componentes, y automatización. 5) Validar el marco a través de la retroalimentación de expertos y el análisis comparativo con marcos de diseño existentes. La metodología empleada en esta tesis sigue el enfoque de Investigación en Ciencias del Diseño (Design Science Research - DSR), que consta de cuatro fases clave: identificación del problema, desarrollo del artefacto, validación del artefacto y contribución al conocimiento. En la primera fase, se realizó un estudio de mapeo sistemático de los JS existentes en la educación de IS, categorizando los juegos según la Taxonomía de Bloom y los dominios de IS descritos en el Cuerpo de Conocimientos de Ingeniería de Software (SWEBOK). Este estudio también identificó los componentes clave de los JS y sus principales factores de éxito. Dentro de esta primera fase, se llevó a cabo un experimento controlado con estudiantes de pregrado en IS que destacó el impacto de la experiencia de los profesores en la implementación de JS como enfoque de aprendizaje sobre los resultados académicos de los estudiantes (calificaciones, asistencia a exámenes y probabilidad de aprobar). En la segunda fase, se desarrolló un nuevo marco para abordar estas deficiencias. Este marco proporciona un enfoque estructurado para diseñar JS que se alineen con los objetivos educativos y optimicen los resultados de aprendizaje. El marco incluye tres componentes principales: (1) facilitar la reutilización de componentes de JS y la automatización de la generación de contenido, (2) adaptación del contenido del juego para ajustarse a los objetivos educativos y perfiles de jugadores de los estudiantes, y (3) facilitar la colaboración entre educadores y desarrolladores de juegos proporcionando un lenguaje común y herramientas. En la fase de validación, se realizaron revisiones de expertos para evaluar la practicidad y efectividad del marco. Expertos en la educación de IS y el diseño de JS evaluaron el marco, proporcionando retroalimentación crítica que fue incorporada en su refinamiento. Además, se realizó un análisis comparativo, evaluando el marco propuesto frente a otros marcos de diseño de JS en términos de usabilidad, alineación pedagógica y adaptabilidad. Los hallazgos demostraron que el marco era efectivo para guiar el diseño de JS que promovían habilidades cognitivas de orden superior y también era lo suficientemente flexible para adaptarse a varios contextos educativos. Además, el marco actualmente está siendo probado en el diseño de un nuevo juego serio, con resultados iniciales prometedores en aplicaciones del mundo real. Las contribuciones de esta tesis incluyen una comprensión refinada del diseño de JS en la educación de IS, el desarrollo de un marco robusto y adaptable, y pautas prácticas para educadores y desarrolladores. Esta investigación avanza en el campo al proporcionar un enfoque sistemático para el diseño de JS que puede ser utilizado no solo en entornos educativos, sino también en entornos de formación profesional. El trabajo futuro explorará estudios longitudinales para evaluar el impacto a largo plazo de los JS e investigará la integración de tecnologías emergentes como la realidad virtual y la inteligencia artificial en el diseño de JS. De esta manera, esta investigación aborda brechas críticas en el diseño de JS para la educación de IS, ofreciendo una herramienta valiosa para educadores y desarrolladores para crear juegos educativos más efectivos y con mayor impacto.

Serious games (SGs) have gained increasing attention in education as tools designed not solely for entertainment but also for instructional purposes, providing interactive and engaging learning experiences. In the context of Software Engineering (SE) education, SGs hold significant potential for addressing challenges such as the abstraction of complex concepts and the practical application of theoretical knowledge. By integrating game mechanics, SGs create immersive environments where learners can hone both technical skills and decision-making in controlled but dynamic settings. However, despite their promise, the design of effective SGs in SE education remains inconsistent, with no standardized framework to guide the creation of games that align with educational goals. This thesis aims to fill that gap by developing and validating a novel framework for SG design along with crafting evidence-based recommendations for SGs stakeholders specifically tailored to SE education. The main hypothesis of the research is that an evidence-based framework, supported by expert feedback, can guide educators and game developers in creating SGs that better align with educational objectives, optimize resource use, and ultimately improve learning outcomes. The research objectives include: 1) Developing a comprehensive understanding of the current use of SGs in SE education, 2) Assessing the impact of SGs on student outcomes while considering the influence of instructors' experience with SGs, 3) Contributing new knowledge to SE education through best practices for SG design, 4) Developing a framework that standardizes the SG design process while promoting the reuse of components, and automation. 5) Validating the framework through expert feedback and comparative analysis with existing design frameworks. The methodology employed in this thesis follows the Design Science Research (DSR) approach, consisting of four key phases: problem identification, artifact development, artifact validation, and contribution to knowledge. In the first phase, a systematic mapping study of existing SGs in SE education was conducted, categorizing games based on Bloom's Taxonomy and SE domains as outlined in the Software Engineering Body of Knowledge (SWEBOK). This study also charted key components of SGs and their main success factors. Within this first phase, a controlled experiment was conducted with SE undergraduate students and highlighted the impact of teachers’ experience with the implementation of SGs as a learning approach on those students’ academic outcomes (students’ scores, exam attendance, and chance of passing). In the second phase, a new framework was developed to address these deficiencies. This framework provides a structured approach to designing SGs that aligns with educational goals and optimizes learning outcomes. The framework includes three main components: (1) facilitating the reuse of SGs components and automation of some content generation, (2) adaptation of game content to fit educational goals and students’ player profiles, and (3) Facilitating collaboration between educators and game developers by providing common language and tools. In the validation phase, expert reviews were conducted to assess the practicality and effectiveness of the framework. Experts in SE education and SG design evaluated the framework, providing critical feedback that was incorporated into its refinement. Additionally, a comparative analysis was performed, evaluating the proposed framework against other SG design frameworks in terms of usability, pedagogical alignment, and adaptability. The findings demonstrated that the framework was effective in guiding the design of SGs that promote higher-order cognitive skills, and it was also flexible enough to accommodate various educational contexts. Moreover, the framework is currently being tested in the design of a new serious game, with initial results showing promise in real-world applications. The contributions of this thesis include a refined understanding of SG design in SE education, the development of a robust and adaptable framework, and practical guidelines for educators and developers. This research advances the field by providing a systematic approach to SG design that can be utilized not only in educational settings but also in professional training environments. Future work will explore longitudinal studies to assess the long-term impact of SGs and investigate the integration of emerging technologies such as virtual reality and artificial intelligence into SG design. This research thus addresses critical gaps in SG design for SE education, offering a valuable tool for educators and developers to create more effective and impactful educational games.