Conferencia impartida el 7 de Septiembre de 2015 en Santander, España. En el marco del evento "Smart University 4.0: la realidad cuántica de la universidad del futuro" de la CRUE.
http://www.uimp.es/agenda-link.html?id_actividad=62JG&anyaca=2015-16
Hablo de la necesidad de seleccionar los datos buenos, para hacer Smart Data y poder mejorar así la educación.
Smart Data para la mejora de la educación y sus procesos de enseñanza aprendizaje
1. Smart Data para la mejora de la
educación y sus procesos de
enseñanza-aprendizaje
Alex Rayón Jerez
alex.rayon@deusto.es, @alrayon
Director General Deusto eCampus, la
universidad online de Deusto
7 de Septiembre, 2015
Santander, España
2. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
2
3. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
3
5. Clarificando conceptos
Drivers of Big Data (II)
5
La sociedad se ha tecnificado, y estamos
cada vez más interconectados
Se habla de las redes sociales
A eso unámosle que el coste computacional
es cada vez menor
Menor coste de producción
Cada vez se están digitalizando más
procesos y actividades de nuestro día a día
Generaremos cada vez más datos
7. Clarificando conceptos
Big Data vs. Business Intelligence (II)
7
No obtiene respuestas
quién posee los datos, sino
quien sabe hacer las
preguntas
Una disciplina que tiene un
objetivo a medio plazo
La herramienta de la
estrategia y de la dirección
Busca dar respuestas a
preguntas concretas y
formuladas a priori
analizando datos
Fuente: http://www.xiskya.com/2012/12/21/una-pregunta-poderosa-por-favor/
9. Clarificando conceptos
Data Science: Scientific Method
9
Fuente: http://kids.britannica.com/elementary/art-183875/The-scientific-method-is-the-process-scientists-follow-to-solve
10. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
10
11. Por qué Smart Data
Del dato al conocimiento
11
El dato por si solo nos aporta poco…
2.000 visitantes únicos en mi tienda online
1.000 nuevos usuarios en mi aplicación
10% nuevos clientes en mi exposición
24 conversiones de las campañas de captación
3.000 € de incremento del tamaño de la
transacción media de ticket de compra
…
Falta contexto → circunstancias
Fecha
Dispositivo/canal
Geolocalización
Tendencia/perspectiva
13. Por qué Smart Data
El Business Analytics en educación
13
Fuente: https://wiki.smu.edu.sg/is101_2012/Week_12_(G3)
14. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
14
16. Impacto en educación
Data-Driven university (II)
16
Fuente: http://misalondon.ca/PDF/special_pres/Data_Quality_Capacity_&_Culture.pdf
17. Impacto en educación
Enfoques
17
● Academic Analytics
○ (Goldstein and Katz, 2005) Prácticas de toma de
decisiones académicas basado en el análisis y
explotación de datos
○ (Campbell and Oblinger, 2007) Maridaje entre los
conjuntos de datos y los métodos estadísticos para
mejorar la toma de decisiones académicas
● Learning Analytics
○ Sus objetivos de mejora están en el aprendizaje
○ Factores que están impulsándolo: cada vez mayor
generación de datos, mayor capacidad
computacional, accountability, perfil de los
estudiantes, mejores formatos de datos, el éxito del
Academic Analytics
18. Impacto en educación
Academic Analytics: aplicaciones
18
● Estudios de mercado
○ Dirigir acciones de marketing hacia perfiles
tradicionalmente matriculados en el pregrado o
postgrado que se quiera reforzar
● Proceso de admisión
○ La Universidad de Baylor, TX, USA, modela el
perfil del estudiante de éxito para disponer de
un sistema de admisión exigente basado en la
evidencia empírica de perfiles que saben
funcionan
19. Impacto en educación
Academic Analytics: aplicaciones (II)
19
● Servicios de inserción
profesional sobre el
perfil competencial
○ Podremos analizar datos
de otros alumni ya
trabajando para que los
alumnos actuales
encuentren mejores
pasantías, localizar
mentores o mejorar el
proceso de intermediación
laboral a través de alumnis
At Universities, a Push for Data-Driven Career Services
20. Impacto en educación
Academic Analytics: aplicaciones (III)
20
Proponer a los estudiantes la
elección de asignaturas según
perfiles de competencias y
Alumnis de éxito
Ayudar a los estudiantes
recién ingresados a encontrar
un camino y estrategia de
estudio
Comparar datos de Alumni
con los estudiantes actuales
en función de roles y
competencias
21. Impacto en educación
Academic Analytics: aplicaciones (IV)
21
Reducción tasa de abandonos
Analizando datos demográficos, estilos de
aprendizaje, motivaciones, rasgos de
personalidad, etc. etc., construiremos un perfil
de éxito y de fracaso
De este modo, podremos optimizar la predicción
del posible éxito o fracaso de un estudiante
Es el modelo que dispone la Universidad de
Northern Arizona, AZ, USA
El objetivo será disponer de un modelo predictivo,
que, además, vaya mejorándose con el resultado
de las intervenciones que se planteen para
reducir la tasa de abandonos
22. Impacto en educación
Learning Analytics: aplicaciones
22
● Evaluación y feedback
○ Dar al estudiante una retroalimentación
inteligente que le permita mejora de manera
continua su desempeño
○ El estudiante podrá entender cómo mejorar su
proceso de resolución de ejercicios, asimilación
de conocimientos, toma de decisiones, etc.
○ Se disponen de métricas de interacción entre
estudiante y plataforma, materiales didácticos,
actividades de aprendizaje y evaluación, etc.
○ Por lo tanto, se podrán hacer análisis muy
exhaustivos
23. Impacto en educación
Learning Analytics: aplicaciones (II)
23
● Sistemas de alerta temprana
○ En la línea del sistema Signals de la Universidad
de Purdue, IN, USA, disponer de un sistema de
predicción del eventual rendimiento de un
estudiante para notificarle, con carácter
preventivo, que debe cambiar ciertas conductas
para mejorar su rendimiento académico
● Clasificación de estudiantes
○ A través de diferentes criterios educativos, se
pueden agrupar estudiantes para organizar
grupos de trabajo, equipos de alto rendimiento,
etc.
24. Impacto en educación
Learning Analytics: aplicaciones (III)
24
● Ofrecer recomendaciones
○ El proyecto RISE de la Open University del Reino
Unido, busca proveer a los estudiantes de un
feedback activo y en tiempo real mientras
estudian
○ De este modo, buscar mejorar la experiencia del
estudiante, y que perciba la cercanía y
tutorización que todo estudiante dispone
● Personalizar el curso al estudiante
○ Se pueden personalizar los materiales
didácticos, actividades de evaluación y
aprendizaje, etc. sobre la base de las
preferencias que hubiera previamente dispuesto
25. Impacto en educación
Learning Analytics: aplicaciones (IV)
25
● Aumentar la reflexión
○ Cuando los estudiantes observan su progreso en
un dashboard, interiorizan más sus resultados, y
pueden reflexionar hacia la mejora continua
● Detectar la emoción/sentimiento de los
estudiantes
○ Si se analiza el comportamiento de los
estudiantes en entornos digitales de aprendizaje,
se puede llegar a modelizar la emoción y
sentimiento de los mismos
● Y muchas otras aplicaciones
26. Impacto en educación
Learning Analytics: aplicaciones (V)
26
● Quizás, la aplicación más interesante
para una universidad sea el análisis de
los datos que los estudiantes y sus
contextos de aprendizaje producen
● Ello, permitiría ayudar en el proceso de
desarrollo y evaluación de competencias
○ Proceso que actualmente es difícil por la
naturaleza aún subjetiva de la evaluación, la
falta de escalabilidad del proceso y la dificultad
de encontrar cómo los estudiantes han
procedido a resolver una determinada actividad
27. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
27
29. Tratamiento y gestión de datos
Esquema general
29
Pasaremos de disponer de datos brutos (que permiten responder al “qué”) al
conocimiento (que responden al “cómo” y “por qué”) a través de su presentación
gráfica
30. Tratamiento y gestión de datos
Data Analytics
30
Analytics, es la ciencia del análisis lógico
En entornos universitarios, permite introducir el
análisis lógico y la toma de decisiones basada en
evidencias y no solamente en la experiencia
Esto permite mejorar el valor añadido de los
servicios
Se compone de los procesos, técnicas y
herramientas que se emplean para
producir y comunicar inteligencia
accionable a partir del análisis de
grandes volúmenes de datos
31. Tratamiento y gestión de datos
Data Analytics (II)
31
Informa de patrones ocultos y relaciones
del proceso de aprendizaje y profesional así
como los factores que determinan el éxito de
un estudiante
Todo ello, analizando la complejidad,
diversidad y abundancia de información
que los entornos de aprendizaje
dinámicos pueden generar
Describen el mundo real, reduciendo su
complejidad a una forma más entendible y
accesible para todas las personas
32. Tratamiento y gestión de datos
Resolución de problemas
32
Problemas
Predictivos
(supervisados)
Descriptivos
(no supervisados)
Clasificación
Regresión
Análisis correlacional
Agrupamiento
Reglas asociación
33. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
33
34. En educación… evaluando competencias
Introducción
34
Competencias
“Measurable or observable knowledge, skills
and behaviors”
35. En educación… evaluando competencias
La dificultad de la evaluación de competencias
(i) Scalability
Even more difficult with distance learning models [Johnson, 2013]
(ii) Subjective nature
Currently, interpreted by the teacher
(iii) Finding latent skills
Hard to find the latent skills behind exercises or questions [Beheshti, 2012]
(iv) Difficulty to assess the procedural aspects
How students arrive at answers
35
36. En educación… evaluando competencias
La dificultad de la evaluación de competencias (II)
Process/Work of the student
36
37. En educación… evaluando competencias
La dificultad de la evaluación de competencias (III)
“In order to create innovative
learning environments, ideas focus
on engagement and feedback”
[OECD, 2013]
“Make sense and intelligent use of the
data provided by ICT in order to
facilitate learning”
[Sutherland, Joubert, Eagle, 2012]
37
38. En educación… evaluando competencias
Objetivos
Objetivo principal
Ofrecer al estudiado de cualquier pregrado o postgrado
servicios de valor añadido de carácter longitudinal antes,
durante y después de haber cursado sus estudios
Objetivos secundarios
Facilitar los procesos de enseñanza-aprendizaje
Potenciar el desarrollo profesional
Mejorar la toma de decisiones académica y los servicios
ofrecidos por la institución
Analizar los datos demográficos, académicos, familiares,
vocacionales, motivacionales, aspiracionales, perfil38
39. En educación… evaluando competencias
Objetivos (II)
39
Integrar los datos brutos de fuentes heterogéneas en
un único modelo de datos multidimensional
Será la entrada al sistema de información sobre el que
analizaremos posteriormente los datos
Creación de un motor de análisis de datos que
permita detectar conocimiento que los datos brutos
no nos pueden ofrecer
Ofrecer una interfaz de usuario (Dashboard) a través
de un dashboard que permita realizar las consultas a
través de las múltiples dimensiones y aplicaciones
que se propongan
40. En educación… evaluando competencias
Soporte evaluación competencias
40
Reto
evaluación
competencias
Learning
Analytics
Rúbricas
enriquecidas
● Naturaleza subjetiva
● Falta de escalabilidad
● Difícil encontrar habilidades
● Difícil evaluar aspectos
procedimentales
● TIC en Educación
● Datos sociales y de uso
● Una promesa para mejorar el
aprendizaje y evaluación
41. En educación… evaluando competencias
Soporte evaluación competencias (II)
Para cada
competencia,
podríamos disponer de
métricas de actividad
para evaluar a través
de las rúbricas
enriquecidas (para un
descriptor e indicador
de una competencia)
41
42. En educación… evaluando competencias
Soporte evaluación competencias (III)
Y así ofrecer al profesorado un panel de mando donde puede consultar las
métricas de actividad de los estudiantes y así poder disponer de las
aplicaciones anteriormente indicadas: alertas tempranas de rendimiento
académico, feedback real-time, etc.
42
43. En educación… evaluando competencias
Soporte evaluación competencias (IV)
La visualización de métricas de
aprendizaje y de desarrollo de
competencias permite entender el
procedimiento y toma de decisiones que
sigue un estudiante
El dashboard, es una herramienta muy
buena de:
Exploración
Confirmación
Presentación
43
44. En educación… evaluando competencias
Soporte evaluación competencias (V)
En todo ello, resulta especialmente
importante definir nuevas métricas más
allá de las calificaciones tradicionales
El objetivo es permitir disponer de un feedback
más enriquecido → además de motivar a los
estudiantes, mejorará su aprendizaje
significativo
Por lo tanto, hay que definir relaciones del
tipo:
Objetivo - Indicador - Métrica (OIM)
44
45. En educación… evaluando competencias
Soporte evaluación competencias (VI)
Todo ello, recogiendo datos de entornos con
muchas herramientas digitales de soporte
45
46. En educación… evaluando competencias
Arquitectura de información integrada
Capacidades de una arquitectura de
información integrada [Oracle, 2012]
46
48. En educación… evaluando competencias
Arquitectura: Fuentes de datos
Fuentes internas
CRM, Sistema de Gestión Académica, Plataforma
de Gestión del Aprendizaje, Redes Sociales,
BBDD de Alumni, Hojas de cálculo, etc.
Se procedería a una normalización al modelo de
datos multidimensional que se consensuó
Fuentes externas
Además, los datos internos, se pueden enriquecer
con datos externos, como informes estadísticos,
banco de datos oficiales, etc.
48
49. En educación… evaluando competencias
Arquitectura: Modelos analíticos
Los datos capturados de los procesos de
enseñanza-aprendizaje nos explican qué es
lo que ocurre
Sin embargo, esta fotografía del qué no explica el por
qué pueden ocurrir algunos comportamientos del
estudiante
Y esto, puede ser de mucho valor para el proceso de
desarrollo y evaluación de competencias
Por ello, utilizaremos métodos estadísticos
que nos permitan obtener relaciones,
patrones o descubrir estructuras de
conocimiento para entender el “por qué”
del comportamiento de los estudiantes49
50. En educación… evaluando competencias
Arquitectura: Visualización
Construiremos un dashboard, que permitirá a
usuarios no técnicos la posibilidad de acceder
fácilmente al conocimiento: Visual Analytics
50
51. Tabla de contenidos
Clarificando conceptos
Por qué Smart Data
Impacto en educación
Tratamiento y gestión de datos
En educación… evaluando competencias
Implantación sistema Smart Data
51
53. Implantación sistema Big Data
53
Necesidad1
3
4
5
2 Planificación
Requisitos
Diseño
Construcción
6
Mantenimiento
Gobierno
Procesos
Operaciones
Herramientas
55. Implantación sistema Big Data
Visualización
55
“La visualización es crítica para el análisis
de datos. Aporta una primera línea de
ataque, revelando estructuras intrincadas
en datos que no pueden ser absorbidas de
otro modo. Descubrimos efectos
inimaginables y cuestionamos aquellos que
han sido imaginados.”
William S. Cleveland en Visualizing Data
56. Smart Data para la mejora de la
educación y sus procesos de
enseñanza-aprendizaje
Alex Rayón Jerez
alex.rayon@deusto.es, @alrayon
Director General Deusto eCampus, la
universidad online de Deusto
7 de Septiembre, 2015
Santander, España