Este documento resume la experiencia de CSEV en aprendizaje analítico aplicado a MOOCs. CSEV desarrolló una herramienta de aprendizaje analítico para mejorar la experiencia de aprendizaje en MOOCs mediante el análisis de datos en tiempo real y la optimización de resultados. La herramienta proporciona cuadros de mando para estudiantes, docentes y la universidad con métricas e informes. CSEV colaboró con expertos internacionales para adaptar esta solución a MOOCs.

1. HACIA UN APRENDIZAJE
ADAPTATIVO: LA EXPERIENCIA
DE CSEV EN LEARNING
ANALYTICS
Daniel Torres & David Gago
Seminario eMadrid , 17 enero 2014

2. “La web es sólo la punta del iceberg y llegarán nuevas
por llegar”.
Tim Berners Lee

3. Movilidad
MOOCs
Abiertos, masivos,
online…
smartphones,
tablets
Gamificación
Flipped
Classroom
Aprendizaje personalizado y adaptativo
Respuesta en tiempo real al desempeño y actividad de cada individuo
n su entorno de aprendizaje, y cuyo resultado es la optimización de los resultados

4. LA IMPORTANCIA
DE MEDIR
“Data constitute a vast neutral resource, which promises to
be for the 21st Century what steam power was for the 18th
and electricity for the 19th and hydrocarbons for the 20th”
Virginia Rometty, CEO IBM
“Most great revolutions in science are preceded by revolutions
in measurement. (…) That tremendous improvement in
measurement is creating new opportunities to manage things
differently”
Erik Brynjolffson, Director del MIT Center for Digital Business
“Today, there´s enough information in the world to give every
person alive 320 times as it as historians think it was stored in
Alexandria´s entire collection- and estimated 1,200 exabites
worth”
K. Cukier, Editor, The Economist

5. LA “EXPLOSIÓN”
DE LOS DATOS
Previsiones de tráfico fijo y móvil 2012-2017
Datos en Petabytes por mes.
81,818
•
81.818 petabytes por mes de tráfico
68,878
de datos fijo en 2017.
• Crecimiento CAGR del 21% entre
57,609
2012 y 2017 del tráfico de datos fijo.
47,987
• 11.157 petabytes por mes de tráfico
39,295
de datos móvil en 2017.
31,339
• Crecimiento CAGR del 66% entre
2012 y 2017 del tráfico de datos
móvil.
11,157
7,437
4,704
2,798
• Tardaríamos 5 millones de años en
1,578
885
ver todo el vídeo que circulará en la
2012
2013
2014
2015
2016
2017
red en 2017.
Internet fijo
Internet móvil
+ datos y + probabilidad de convertir en datos (cifras) cualquier
Fuente: CISCO Visual Network Index e ITU
aspecto de la vida)
5

6. ANALYTICS 3.0
Analytics 1.0
“business
Intelligence”
• Sistemas de información ad hoc
• Data sets limitados: mucho tiempo dedicado a la preparación
de los datos
• Explicación de fenómenos (procesos) pasados, nunca
presentes/futuros
• Objetivo: mejorar los niveles internos de eficiencia
Analytics 2.0
“big data”
•
•
•
•
•
Data sets más voluminosos
Asociado a la explosión de herramientas de internet
Análisis de datos no estructurados
Perfiles laborales muy novedosos: data scientists
Objetivo: ganar ventaja competitiva
Analytics 3.0
“data enriched
offerings”
• Aplicado a todos los sectores/industrias
• Multiplicidad de datos:
grandes/pequeños, estructurados/desestructur
ados: todo bajo un paraguas
• Equipos multidisciplinares
• Capacidad de extrapolar/predecir
• Objetivo: creación de más valor

7. LEARNING
ANALYTICS
Los datos y su
medición
como inputs
claves del s
XXI
Nuevos
contextos
educativos
Learning
Analytics
Nuevas
posibilidades
tecnológicas:
Analytics 3.0

8. “Learning Analytics es la medición, recopilación, análisis y
presentación de datos sobre los alumnos y sus contextos, con el
propósito de entender y optimizar el aprendizaje y los entornos en
que se produce”. George Siemens
 Las técnicas de Learning Analytics se aplican sobre los datos generados en
el contexto de los procesos de aprendizaje.
 Pueden aplicarse sobre experiencias de aprendizaje presencial.
 Es en el marco del aprendizaje online, donde las posibilidades de recoger
datos crecen exponencialmente y puede aprovecharse todo su potencial.

10. Dimensiones para el
estudiante
- Progreso en el curso.
- Comparativas con
compañeros y grupos de
alumnos.
- Logros.
- Aspectos a mejorar.
- Fortalezas.
- Debilidades.
Dimensiones para el
docente
Dimensiones para la
Universidad
- Información sobre
estudiantes: Individual y
agregada.
- Logros conseguidos en el
curso.
- Obstáculos para el progreso
de los alumnos.
- Mejoras del propio curso.
- Procesos de tomas de
decisiones administrativas y
organizativas.
- Mejoras en la transparencia.
- Éxitos.
- Desafíos.

11. Neutralidad de los datos. Los sistemas de
información filtran y categorizan el mundo, generando
modelos simplificados. Riesgo de ignorar aspectos
importantes.
Perpetuación del modelo de evaluación.
Perspectiva ética y privacidad. Actualidad con el
escándalo del espionaje masivo.

12. LA EXPERIENCIA DE CSEV EN
LEARNING ANALYTICS

13. Dos aspectos:
 Orientación estratégica de CSEV hacia el mundo MOOC
Cursos COMA en España: +500.000
participantes en +90
cursos, acumulando +1.000.000 horas
de experiencia de aprendizaje.
Fuente: European MOOC Scoreboard, enero 2014

14. Dos aspectos:
 A día de hoy no existe una herramienta estandarizada para
la realización de analíticas en entornos MOOC (no
soluciones globales)
 Objetivo: Desarrollar una herramienta de LA plenamente
operativa en entornos MOOCs, que permita mejorar la
experiencia de aprendizaje (aprendizaje adaptativo) y, en
último término, se traduzca en un mayor porcentaje de
alumnos que finalizan MOOCs.

15. Participaron:
23 mayo 2013
José de la Peña, socio NeoLabels
•
Dolors Reig, Psicóloga social y editora
•
principal de El caparazón
Erik Duval, Director de Investigación
• de la Unidad de Interacción entre
Ordenadores y Personas de la
Universidad Católica de
Lovaina, Bélgica
Salvador Ros, Universidad Nacional
• de Educación a Distancia, UNED
Tomás Martínez Buero, CEO de
•
Inkubica Labs.

16. OPEN MOOC: Plataforma de código abierto para implementar
MOOCs.
- Analizar datos y proponer mejorar con objeto de generar métricas
válidas para OpenMOOC
- Crear arquitecturas apropiadas para el seguimiento de la
información en OpenMOOC en tiempo real (incluyendo Google
Analytics)
- Mejorar la plataforma OpenMOOC para hacerla compatible con los
requerimientos LA (crear nueva versión)

17. Erik Duval (Universidad de Lovaina).
Experto en Learning analytics de talla mundial. Miembro del
Comité Ejecutivo de la Sociedad para la Investigación de
Learning Analytics (SOLAR)
Ventajas
-
- Equipo experimentado y reconocido
Solución ya disponible (adaptación al ámbito
MOOC)
- Mínimos costes
- CSEV como parte de un ecosistema
innovador
- Visibilidad máxima
CSEV, U. Lovaina, UNED y Deusto ya
están trabajando en una solución LA
para MOOCs.
+ EdX (estudio de posibles mecanismos
de con su herramienta LA)
Miembros de SNOLA

18. Evaluación y
difusión
Diseño back end
Análisis de
BBDD y
preparación
dataset
+ elección de
preliminar de
indicadores y
proposición métricas
Estrategia de captura y
tratamiento de datos y
APIs
Elaboración de
cuadro de
mando
+ sistema de
recomendación
manual y etiquetado
de contenidos

19. EJEMPLO: CUADRO MANDO DE ALUMNO
CONTENIDO DEL CURSO
NOTA
KARMA
MODULO 1
MODULO 2
MODULO 3
MODULO 4
MODULO 5
MODULO 6
PROGRESO DEL CURSO
0%
40%
20%
ACTIVIDAD EN EL FORO
Personal
60%
Media
POSTS
3
16
0
0,01
VOTOS RECIBIDOS
8
0,01
VOTOS EMITIDOS
0
BADGES
0,11
COMENTARIOS
100%
0,03
RESPUESTAS
80%
0,03
0
4
Oro
Plata
EXTRAER INFORME COMPLETO
7
Bronce

20. EJEMPLO: CUADRO MANDO DOCENTE
1.000
ALUMNOS MATRICULADOS
3.982
BADGE DE FINALIZACIÓN
327
PARTICIPAN EN EL FORO
775
CREDENCIALES EMITIDAS
Actividades P2P
5.585
INICIAN EL CURSO
114
CERTIFICADOS EMITIDOS
Enviadas
Posts
7
143
Ranking
Corregidas
13.991
39.875
Actividades Foro
PROGRESO PARTICIPANTES
4000
COMUNIDAD DE APRENDIZAJE
Respuestas
552
1º
2º
3º
4º
3500
5º
3000
Julio Fabián Basoalto
Alfredo Campos García
Adela Rodriguez Izquierdo
Ángeles Sanz Vicario
Silvia Phang Chiong Agreda
Karma
Medallas
106
●0 ●0 ●5
101
●0 ●3 ●7
91
●0 ●1 ●6
91
●0 ●1 ●6
81
●0 ●1 ●3
2500
2000
Beatriz Rodríguez
FACILITADORA
1500
163 ●0 ●3 ●11
1000
500
0
MODULO 1
MODULO 2
MODULO 3
MODULO 4
MODULO 5
EXTRAER INFORME COMPLETO
Jose Luis Ruiz de Munain
CURADOR
91
●0 ●4 ●7

21. EJEMPLO: CUADRO DE MANDO DE LA UNIVERSIDAD
3 Julio 2013
EVOLUCIÓN DE ACCESOS A LA PLATAFORMA
GEOGRAPHICS
CURSOS
DESTACADOS
Visitas totales
1.340.836
Usuarios Únicos
527.381
Usuarios Registrados
Matriculas en cursos
Número de cursos
121.999
182.748
20
DETALLE POR CURSOS
ACTIVOS
CERRADOS
11
9
NUEVOS CURSOS
Aprobados
Solicitados
8
11
CERTIFICADOS
Credenciales
Certificados
2.900
166

22.  Tener listo un primer cuadro de mando preliminar
(recomendación manual) para UNEDCOMA (primer semestre
2014)
 Explorar las posibles sinergias con otras plataformas LA
(de manera particular, con EdX)
 Avanzar en herramientas LA en otros proyectos CSEV: de
aprendizaje masivo (UnX, Colmenia) y otros (ECO)
 Actividades de difusión:
Organización LASI 2014 en Madrid (30 junio-2 julio
2014)

23. ¡MUCHAS
GRACIAS!
www.csev.org @fcsev
Chad Hagen, Nonsensical Infographics
http://www.chadhagen.com/Nonsensical-Infographics

24. ANEXO

25. ¿influye la estructura del curso en el desempeño del
alumno?
Fuente: Santos, J.L.; Duval, E.; Klerkx, J.; Gago, D y L. Rodriguez (2014): “Success, activity and drop-outs in
MOOCs. An exploratory study on UNED COMA courses”, LAK 2014, 24-28 de marzo, Indianápolis, USA

26. ¿Cómo se distribuye temporalmente la carga de trabajo en
el curso?
Fuente: Santos, J.L.; Duval, E.; Klerkx, J.; Gago, D y L. Rodriguez (2014): “Success, activity and drop-outs in
MOOCs. An exploratory study on UNED COMA courses”, LAK 2014, 24-28 de marzo, Indianápolis, USA

27. ¿Disminuye significativamente la actividad del foro para los
alumnos que aprueban el curso?
Fuente: Santos, J.L.; Duval, E.; Klerkx, J.; Gago, D y L. Rodriguez (2014): “Success, activity and drop-outs in
MOOCs. An exploratory study on UNED COMA courses”, LAK 2014, 24-28 de marzo, Indianápolis, USA

28. ¿Existe relación entre actividad y desempeño del estudiante?
Fuente: Santos, J.L.; Duval, E.; Klerkx, J.; Gago, D y L. Rodriguez (2014): “Success, activity and drop-outs in
MOOCs. An exploratory study on UNED COMA courses”, LAK 2014, 24-28 de marzo, Indianápolis, USA

29. ¿Hay hilos en el foro que los estudiantes deben leer?
Fuente: Santos, J.L.; Duval, E.; Klerkx, J.; Gago, D y L. Rodriguez (2014): “Success, activity and drop-outs in
MOOCs. An exploratory study on UNED COMA courses”, LAK 2014, 24-28 de marzo, Indianápolis, USA

30. solar
Red de investigadores, internacionalmente destacados, centrados en
explorar el rol e impacto de las técnicas de LA en la
enseñanza, aprendizaje y formación.
La Misión
Impulsar los más elevados estándares
académicos en la investigación de LA.
Promover el desarrollo de los OERs en el
campo de LA.
Concienciar sobre la importancia de LA a
los responsables de políticas en las
instituciones educativas y gobiernos.
Crear oportunidades para los diversos
actores en el área de LA
(educadores, estudiantes, instituciones, em
presas, etc.)

31. LASI
¿Qué es LASI?
Un instituto de verano intensivo cuyo objetivo es impulsar y acelerar el desarrollo de la
disciplina.
Uno de los eventos más prestigiosos en el campo de LA, que reúne a las mentes más
reputadas de la especialidad
Objetivos
Construir el campo de LA a través de interacciones interdisplinares, identificación de las
necesidades de enseñanza e investigación y la conexión de investigadores individuales.
Desarrollar el conocimiento y las habilidades de doctorandos y académicos.
Formato
Conferencias, grupos de trabajo, tutoriales, talleres, etc, que cuentan con a participación de
investigadores líderes, startups, etc.

32. LASI 2013
¿Dónde? En la Universidad de Stanford.
¿Cuándo? Del 1 al 5 de Julio de 2013.
¿Quién participó? George Siemens, Dragan Gasevic, Erik Duval, Abelardo
Pardo, John Berens...
¿Quién patrocinó?

33. LASI 2014
La oportunidad
Fruto de la colaboración de CSEV con Erik Duval (U. de Lovaina) en proyectos de LA, ha
surgido la oportunidad de celebrar el LASI 2014 en Madrid
¿Por qué?
Continuar impulsando el desarrollo de LA.
Conocer de primera mano los últimos desarrollos en este campo.
Nuevas oportunidades de colaboración con líderes destacados del campo.
Posicionamiento y visibilidad para los Patronos de CSEV en un área prioritaria para la
educación y los proyectos que desarrollan: Miriada X, unX, UNED COMA.