Learning Analytics, evolución y proyecciones

1. Learning Analytics en la Formación Universitaria:
Experiencias y proyecciones
Mar Pérez-Sanagustín
Université Paul Sabatier de Toulouse, Institute de Recherche en Informatique de Toulouse
Pontificia Universidad Católica de Chile
Conferencia LALA, Chile (Online), 12 Marzo 2021

2. 2
… a la abundancia
De la escasez…

3. 3
“Learning Analytics: “colección, análisis y reporte de datos
educativos para entender y mejorar el aprendizaje” (LAK
2011)

4. 4
Scopus, 24 Junio 2019
Un área en crecimiento y
motor de la transformación
de la ES en los próximos años
(Horizon Report, 2019)

5. 5
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Davis 2013 »Topo comoments form garters sucply chain executive conference » https://blogs.gartner.com/matthew-davis/top-10-
moments-from-gartners-supply-chain-executive-conference/
Learning Analytics
Hacia la Predictiva y Prescriptiva

6. 6
Advicing Analytics
Compass de Austin Peay State
University (Jones & McCoy, 2019;
Denley, 2013)
Design Analytics
(Hernández-Leo et al. 2019)
Managerial
Analytics
(Byrnes et al, 2020)
Apoyo a estudiantes,
profesores y gestores
Learning Analytics
Hacia la Predictiva y Prescriptiva

7. 7
Grandes oportunidades…
…grandes desafíos

8. 8
Kyle M. L. Jones & Chase McCoy (2019) Reconsidering data in learning analytics: opportunities
for critical research using a documentation studies framework, Learning,
Media and Technology, 44:1, 52-63, DOI: 10.1080/17439884.2018.1556216
The New York times, Agosto 2020:
https://www.nytimes.com/2020/08/20/world/europe/uk-england-grading-
algorithm.html

9. 9

10. 10
Datificación
Opresiva
Selwyn, N. (2020) "Re-imagining ‘Learning
Analytics’… a case for starting again?."
The Internet and Higher Education (2020): 100745.

11. 11
Deshumanización
del profesorado y del
estudiantado
Keyes O. (2019) Counting the countless.
Real Life, October 2020:
https://reallifemag.com/counting-the-
countless/

12. ¿Puede el LA transformar la Educación
Superior?

13. 13
Adaptada
Impacto
Contexto
Cambio
cultural de LA
para ES

14. Contenidos
14
1. Experiencias en América Latina
2. Lecciones aprendidas
3. Claves y Proyecciones

15. 15

16. 1. Experiencias en América Latina

17. Experiencias LA en América Latina
17
MADUREZ ORGANIZACIONAL
LIDERAZGO
Bottom-up
Conocimiento Experimentación Apropriación
Departamentos
Apropiación
Institucional
Transformación
Institucional
PUC-Chile
(NMP)
PUC-Chile
(CA tool)
Top
Down

18. Experiencia 1
Analítica curricular para la
mejora continua
18
Top
down

19. 19
• 2015 Acreditación International
ABET
• Proceso para recolectar datos
curriculares para la acreditación
Contexto
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Experiencia 1
Analítica Curricular para la Mejora continua

20. 20
Proceso complejo y tedioso, con muchas evidencias que se
organizaban en un Dropbox y sin analítica
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Experiencia 1
Analítica Curricular para la Mejora continua

21. 21
Adaptada
• Actores: Profesores, Estudiantes y
Managers
• Recolección de evidencias del
proceso
• Analíticas del proceso
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Experiencia 1
Analítica Curricular para la Mejora continua

22. 22
M. Pérez-Sanagustín, Université Paul Satabier, IRIT

23. 23
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Experiencia 1
Analítica Curricular para la Mejora continua

24. 24
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Impacto
• Caso del 2015 al 2017
• 63 profesores
• 5 titulaciones
Experiencia 1
Analítica Curricular para la Mejora continua

25. 25
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Experiencia 1
Analítica Curricular para la Mejora continua

26. 26
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Impacto
• Aumento en el número de evidencias
recolectadas
• Herramienta útil para detectar
carencias curriculares
• Evaluaciones más sofisticadas y
aprendizaje más activo
Hilliger, I., Pérez-Sanagustín, M.,, Miranda, C., Celis, S., Baier, J.. (2019Evaluation the Adoption of an Analytics Tool to Support Continuous Curriculum Improvement, ECTEL 2019, in press

27. 27
• Plantear iniciativas de analítica como
una solución a una problemática interna.
• Alinear inciativas de medición
relacionadas con procesos existentes.
• Los sistemas de LA y procesos deben ir de
la mano y tener como fin último mejorar
la educación
Top
down
Experiencia 1
Analítica Curricular para la Mejora continua

28. Experiencia 2
Apoyo a estudiantes para el
aprendizaje en línea
28
Bottom
up

29. 29
• 2015, primeros MOOCs en Coursera
• Reutilización de MOOCs con objetivos
institucionales: Remedicación y BL
• Los estudiantes carecen de habilidades
de autorregulación en entornos en
línea
Contexto
Experiencia 2
Apoyo a estudiantes para el aprendizaje en línea

30. 30
Adaptada
• Actores: Estudiantes
• Analítica de procesos de aprendizaje
para entender la autorregulación y
apoyarla

31. 31
• Estrategias más
relevantes: Goal setting &
Strategic Planning & Time
management
(Kizilcec et al., 2018)
• Análisis de procesos de
autorregulación de los
estudiantes más eficaces
(Maldonado Mahauad et al., 2018)
Experiencia 2
Apoyo a estudiantes para el aprendizaje en línea

32. 32
NoteMyProgress, Pluggin para Chrome & Moodle para apoyar la
autorregulación (Pérez-Álvarez et al., 2018)
Pérez-Álvarez, R., Pérez-Sanagustín, M., & Maldonado-Mahauad, J. J. (2017, September). NoteMyProgress: Supporting learners’ self-regulated strategies in
MOOCs. In European Conference on Technology Enhanced Learning (pp. 517-520). Springer, Cham.
Pérez-Álvarez, R., Maldonado-Mahauad, J. J., Sapunar-Opazo, D., & Pérez-Sanagustín, M. (2017, September). NoteMyProgress: A Tool to Support Learners’
Self-Regulated Learning Strategies in MOOC Environments. In European Conference on Technology Enhanced Learning (pp. 460-466). Springer, Cham.
Experiencia 2
Apoyo a estudiantes para el aprendizaje en línea

33. 33
Experiencia 2
Apoyo a estudiantes para el aprendizaje en línea

34. 34
Impacto
• 3 cursos en Coursera
• 291 estudiantes (91 con NMP; 200 sin NMP)
• 1 curso híbrido
• 244 estudiantes (133 con NMP; 109 sin NMP)
Experiencia 2
Apoyo a estudiantes para el aprendizaje en línea
(Pérez-Sanagustín, 2020; Pérez-Álvarez et al., 2020)

35. 35
M. Pérez-Sanagustín, Université Paul Satabier, IRIT
Impacto
• Usuarios NMP hacen más
evaluaciones & completan más
video-lecciones
• Usuarios NMP con alto perfil de
autorregulación tienen mejor
desempeño.
• Estudiantes con NMP el curso híbrido y
manejan mejor sus tiempos de estudio

36. 36
• Limitarse a analíticas basadas en
la teoría y evidencia empírica
• Adaptar la herramienta a su
contexto de uso
• Limitación: adopción a gran
escala
Bottom
up
Lecciones
aprendidas

37. 2. Lecciones aprendidas

38. Lecciones aprendidas
38
MADUREZ
ORGANIZACIONAL
LIDERAZGO
Bottom-
up
Conocimiento Experimentació
n
Apropriación
Departamentos
Apropiación
Institucional
Transformación
Institucional
PUC-Chile
(NMP)
PUC-Chile
(CA tool)
Top
Down Top
down
Impacto más amplio,
pero requiere
acercamiento a
actores
Bottom
up
Impacto acotado,
pero más cercano a
necesidades de los
actores

39. 39
Buscar el
equilibrio para
hacia la
convergencia
Bottom
up
Top
down

40. 3. Claves y Proyecciones

41. Clave 1: Incluir a más actores en
las iniciativas de AA
41
Hilliger, I., Ortiz-Rojas, M.,... & Pérez-Sanagustín, M. (2020).
Identifying needs for learning analytics adoption in Latin
American universities: A mixed-methods approach. The
Internet and Higher Education, 45, 100726.
• Identificar
necesidades ligadas
al contexto
• Identificar
necesidades
interrelacionadas

42. Claves y Proyecciones
Clave 1: Incluir a más actores en las iniciativas de AA
42
GESTORES
STAKEHOLDERS’ NEEDS FOR LEARNING ANALYTICS ADOPTION
ESTUDIANTES
• Retroalimentación
del profesorado
• Retroalimentación
en momentos
clave
• Datos de
evaluación
sobre la calidad
para la
realización de
intervenciones
• Alertas
significativas
• Retroalimentación
sobre su actividad
pedagógica
PROFESORES

43. 43
• Implicar a actores a
distintos niveles de
liderazgo facilita la
apropiación y
escalabilidad
• Procesos Top-down y
Bottom-up
combinados
Claves y Proyecciones
Clave 2: Liderazgos compartidos y distribuidos
Hilliger, I., Pérez-Sanagustín, M.,... & Broos, T. (2020).
Leadership and Maturity: How Do They Affect Learning
Analytics Adoption in Latin America?. In Adoption of Data
Analytics in Higher Education Learning and Teaching (pp.
305-326). Springer, Cham.

44. 44
Claves y Proyecciones
Clave 3: Sistemas y procesos transformadores
1) Sentido Pertenencia
compartida: Oportunidades
para reforzar la identidad del
profesor y su rol en la
institución
2) Empoderamiento: implicar
al profesor en las decisiones
curriculares a gran escala
3) Conocimiento: Asegurarse
de que los profesores
conocen las políticas del
proceso y las comparten
4) Compromiso: promover
proceso de dedicación
continua del profesorado en
el proceso
Hilliger, I., et al (2020). Design-based research for developing a Curriculum Analytics tool for improving student learning and program quality, Under review
Hilliger, I., Celis, S. & Pérez-Sanagustın, M.. (2020) « Engaged Versus Disengaged Teaching Staff: A Case Study of Continuous Curriculum Improvement in Higher
Education », Higher Education Policy

45. Claves y Proyecciones
Clave 4: Alfabetización sobre LA
45
Hilliger, I., Ortiz-Rojas, M.,... & Pérez-Sanagustín,
M. (2020). Towards learning analytics
adoption: A mixed methods study of data-
related practices and policies in Latin
American Universities. British Journal of
Educational Technology
En LATAM…
1. Se conocen políticas y se tienen
expectativas
2. Dificultades para acceder a ciertos
datos y percepción de la existencia de
políticas relacionadas con la privacidad
Vacío sobre una políticas
comunes para la gestión
de datos y su uso

46. Claves y Proyecciones
Clave 4: Alfabetización sobre LA
46
United Nations Conference on Trade and Development: https://unctad.org/page/data-protection-and-privacy-legislation-worldwide

47. 47
1. Más
casos, más
actores
2. Liderazgos
compartidos
3. Sistemas y
procesos
transformadores
4. Alfabetización
Claves y Proyecciones

48. 48
LA como una acción
política
Selwyn, N. (2020). Re-imagining ‘Learning Analytics’… a case for starting
again?. The Internet and Higher Education, 100745.
Claves y Proyecciones
Nuevas formas de LA

49. 49
• Interesarse por problemas
sociales
• Identificar políticas
subyacentes
• Rediseñar métodos y
sistemas existentes
• Desarrollar nuevas prácticas
y métodos del AA que
promuevan la justicia social
Green, B. (2018). Data science as political action: Grounding
data science in a politics of justice.
https://arxiv.org/pdf/1811.03435.
Claves y Proyecciones
Nuevas formas de LA

50. 50
Hacia una Cultura de LA Humanista:
Responsable, explicable e imparcial
(Ethics Guidelines for Trustworthy AI, 2019)

51. 51
La LA es el futuro que debemos asumir con
responsabilidad

52. Gracias
mar.perez-sanagustin@irit.fr
Referencias en :
https://mperezsanagustin.wordpress.com/