2020_11_13 «Soporte a la validación de juego serios con SIMVA y TxMon» - Iván Martínez-Ortiz

1. Soporte a la validación de juego
serios con SIMVA y TxMon
Iván Martínez Ortiz
@imartinezortiz
imartinez@fdi.ucm.es
Seminario eMadrid sobre «Analíticas de Aprendizaje y Juegos Serios». 13/11/2020

2. Contexto: Juegos Serios - Serious Games (SG)
● Cualquier juego cuyo objetivo principal no sea únicamente el entretenimiento
● Juegos con propósito educativo: Aprender, Concienciar, Cambiar actitud
● Habitualmente son “cajas negras” que no comunican información al exterior
○ Nota final
○ No hay información sobre el progreso.
● Método de evaluación habitual:
cuestionarios pre-post
Calderón, Alejandro & Ruiz, Mercedes. (2015). A systematic literature review on serious games evaluation: An
application to software project management. Computers & Education. 87. 10.1016/j.compedu.2015.07.011.

3. Contexto: Analíticas
● Learning Analytics (LA)
○ Mejora de la educación basado en datos
○ Mejora del proceso educativo basado en
evidencias
■ evidence-based education
● Game Analytics (GLA)
○ Aplicación de analíticas al desarrollo,
validación e investigación de juegos
○ Telemetría, Métricas de juego
○ Propósitos comerciales
■ monetization, churn, user funnels

4. Contexto: Analíticas
● Game Learning Analytics: LA + GA
○ Recopilar, analizar y visualizar los datos de interacción de los
jugadores con los SGs
○ Evaluar y mejorar los juegos
○ Proporcionar información que ayude a los
profesores
● ¿Cuándo analizar?
○ Después de jugar
○ Durante el juego

5. Trabajo en e-UCM con Juegos Serios y Analíticas
uAdventure: Herramienta de autoría de juegos serios evolucionada de
eAdventure
● Libre, gratuito y de código abierto
● Programado sobre Unity3D (2019 LTS)
● Disponible en https://github.com/e-ucm/uAdventure/
Desarrollo de Juegos Serios en diferentes ámbitos de aplicación:
- Salud
- Educación
- Teatro
- ...

6. First Aid y First Aid redux

7. Qué aprendimos del juego de primeros auxilios ?
● Se pueden validar juegos serios de manera
efectiva
● Con un diseño y juegos validados el
experimento se puede reproducir
● Tuvimos que desplazarnos varias jornadas a la
región de Aragón
○ gran variabilidad entre colegios
● Coordinar el despliegue y validación con un
número elevado de es complejo (340
participantes)
Replicabilidad

8. Qué aprendimos del juego de la Dama Boba ?
● Ámbito de aplicación poco común en el
momento del desarrollo
● Gran aceptación e impacto
● Las analíticas juegan un papel relevante
○ Facilitan y complementan los datos obtenidos en los
cuestionarios
○ Te llevas sorpresas al explorar los datos
● Escalado: Cuanto más grande es el
experimento más complejo es de coordinar
○ ~750 participantes
● Trabajo ingente por parte de los investigadores
○ procesar los pre-post en papel, propenso a errores

9. Qué aprendimos de Downtown Madrid ?
● Downtown Madrid y en “La gran fiesta” tienen
como público objetivo a personas con diversidad
intelectual
○ ¿Cómo evaluar cuando los jugadores no pueden darte
un feedback efectivo?
● Las analíticas juegan un papel principal para
entender el impacto del juego:
○ Game Analytics -> Se puede Jugar ?
○ Game Learning Analytics -> Tiene impacto

10. Qué aprendimos del juego de los 15 objetos?
● La UX para participar en los
experimentos debe ser simple
○ personas mayores de 60 años con poca
experiencia en el uso de ordenadores
● El juego serio debe ser flexible y
configurable externamente
○ => adaptable al diseño experimental.

11. ¿Qué aprendimos con Conectado ?
● Necesitamos herramientas que nos ayuden en la validación
● Para escalar tenemos que poder realizar experimentos en remoto
● Hay que tener un plan B para llevar a cabo los experimentos
○ El equipamiento y conectividad de los colegios es muy variable

12. Validación de Juegos Serios
Juegos Serios: Herramienta efectiva en múltiples ámbitos.
Aun así necesitan tener:
● Evidencia de Efectividad
● Validación del diseño del SG
¿Qué metodologías hay para conseguir esto?:
● Cuestionarios Pre-Post => la más aceptada
● Encuestas
● Análisis de los datos de Interacción (GLA)
Proceso muy complejo: Tiempo, coste, errores humanos...

13. Validación de Juegos Serios: problemas
● Antes de los experimentos:
○ Gestión de los cuestionarios y de los usuarios
○ Proporcionar identificadores (anónimos) únicos a los usuarios
● Durante los experimentos:
○ Asegurarnos que los usuarios realizan la actividad completa:
PreTest-Juego-PostTest
○ Recopilar, correlacionar y almacenar los resultados de cada uno de los jugadores
● Después de los experimentos
○ Transcripción o volcado y análisis de todos los datos del experimento

14. Problemas del Pre-Post: Recolección
En papel:
● Malgasto en impresión y papel. Pérdida de tiempo en la distribución.
● Transcribir las respuestas: Ardua tarea, larga, tediosa, y propensa a errores.
En PC:
● Acceso a internet obligatorio
● Si son offline hay que hacer la recolección, similar a papel.

15. Problemas del Pre-Post
En papel:
● Almacenamiento seguro de grandes cantidades de papel
● Cómo, cuándo y dónde se destruirán
En PC:
● Hacen falta backups por seguridad.
y todo esto se complica más cuando se combinan con los datos de
analíticas de juegos basadas en las interacciones de los usuarios
con los juegos

16. Trabajo en e-UCM con Juegos Serios y Analíticas
BEACONING, RAGE ANALYTICS: Evaluación
de juegos serios mediante el uso de game
learning analytics
xAPI SG profile: Perfil de aplicación la
especificación de xAPI para Juegos serios
● xAPI 2.0 próximamente estándar IEEE
IMPRESS: Improving Engagement of Students in
Software Engineering
● gamificación + juegos + analíticas

17. Problemas Pre-Post: Interconectar los datos.
Cómo relacionamos todos los datos del mismo usuario?
Hay múltiples elementos recogidos:
● Cuestionarios Pre-post
● Datos de interacción (Trazas)
¿Cómo identificamos a los usuarios?
● ¿Nombre o DNI? No sería anónimo
● Identificadores aleatórios Datos Anónimos

19. ¿Qué es Simva?
● Soporte en diseños experimentales para validación de juegos
○ Pretest-juego-postest
○ Creación de los grupos experimentales y cuestionarios
○ Gestión del estado de las fases del experimento
○ Recopilación de GLA durante la fase de juego
● Pasos a seguir
1. Desarrollo del juego
2. Creación de los cuestionarios
3. Generación de los grupos experimentales
○ Sólo se permite la participación si se
dispone un TOKEN

20. Diferentes tipos de estudio

21. Modelo conceptual de SIMVA

22. Breve pincelada de la interacción entre componentes

23. ¿Podemos aprovechar aún más las GLA?
¿Podemos predecir el impacto sólamente
utilizando GLA?
- Es posible => First Aid redux
- Requiere tener el juego validado.
- Es necesario aplicar técnicas de
data science para definir y validar los
modelos de predicción
Permite simplificar despliegue en colegios

24. Nuevos modelos de aplicación de SG basados en GLA

25. T-mon: Monitoring xAPI-SG traces in Python
Experience API Profile
for Serious Games
(xAPI-SG)
T-mon (Traces monitor)
xAPI-SG Processor
Jupyter Notebooks
Default set of analysis
and visualizations
Simplificar el acceso de los expertos en ciencia de datos al análisis de los datos de los juegos

26. T-mon Jupyter Notebooks
Procesamiento de trazas xAPI-SG:
1. local, remota y desde SIMVA
2. Subida de archivo xAPI-SG
3. Ejecutar el análisis!
It allows to configure the data:
- filter players
- filter game parameters (e.g. only data of one level)
and configure the visualizations:
- order data
- view percentage/total
- plot only partial data per graphic, etc.

27. Análisis y visualizaciones por defecto de las trazas xAPI
Completion Progress Choices
InteractionsResults (scores) Results (times)
and more!

28. Análisis y visualizaciones por defecto de las trazas xAPI
Serious game completion
initialized and
completed traces
with object-type
serious-game
Serious game progress
initialized, progressed and
completed traces
with object-type
serious-game,
result.progress and
timestamp
Choices in alternatives
selected traces with
object-type alternative,
result.response and
result.success
Completable progress
progressed traces in any
completable object type,
with result.progress

29. Análisis y visualizaciones por defecto de las trazas xAPI
Interactions
interacted traces with
any object type;
bar chart per item, and
each bar per player
Completable results (scores)
completed trace of any
completable with
result.score
Completable results (max and min times)
difference in timestamp
of initialized and
completed traces of
each completable
Interactions (heatmap)
interacted traces
grouped by item
(object)
and player

30. Proyectos Open-source en GitHub
T-mon disponible en:
https://github.com/e-ucm/t-mon
● Local mode para ejecutar en tu Jupyter local.
● Remote mode para ejecutar en un servidor Jupyter
gestionado => Puedes lanzar la demo en Binder
○ Including launch with binder from GitHub
no installation or configuration required!
El instalador SIMVA disponible en:
https://github.com/e-ucm/simva-infra
● El resto de componentes también se encuentra en
GitHub

31. Una cosa más ...
… si el juego está hecho con uAdventure …
uAdventure genera automáticamente y de forma transparente trazas xAPI para los
juegos
las trazas por defecto de uAdventure se pueden complementar con otras específicas
que añade el creador del juego para mejorar la analítica de aprendizaje
uAdventure

32. Conclusiones
● El proceso de validación de los juegos serios es complejo y propenso a errores
● Las herramientas Simva + Txmon solucionan parte de los problemas
○ Antes de los experimentos:
■ Gestión de los usuarios & cuestionarios
■ Proporcionar identificadores anónimos a los usuarios
○ Durante los experimentos:
■ Recolectar y almacenar todos los datos
■ Relacionar los datos de los diferentes usuarios
■ Proporcionar metadatos adicionales
○ Después de los experimentos:
■ Simplificación de la descarga en compleos de los datos

33. GRACIAS!!
Iván Martínez Ortiz @imartinezortiz
imartinez@fdi.ucm.es