1. Ondersteunen van Studie Traject Begeleiding
dmv Learning Dashboards
Sven Charleer
@svencharleer
svencharleer.com
augment.cs.kuleuven.be
Katrien Verbert
Tinne De Laet augment
research group
2. • Focus on the development of learning analytics to support the first year experience
• Identify strategies for integrating institutional support around the data generated by
learning analytics
• Strengthen our existing research into the first year experience and students in transition
and transfer the outputs to learning analytics interventions
• Provide recommendations and resources for the sector
Nottingham Trent University (UK), KU Leuven (Belgium) and Universiteit Leiden (Netherlands).
The ABLE Project is an Erasmus+ KA2 funded project (Project Code: 2015-1-UK01-KA203-013767).
3.
4. STUDENT DRIVEN
TEACHER DRIVEN
MORE REFLECTION
Facilitate collaborative exploration of LA data
Charleer, S., Klerkx, J., Duval, E., De Laet, T., & Verbert, K. (2016, September). Creating Effective Learning
Analytics Dashboards: Lessons Learnt. In European Conference on Technology Enhanced Learning (pp.
42-56). Springer International Publishing.
7. Jane Doe!
STB Dashboard v0.4
Bachelor in
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten
4 jaar
5 jaar
6+
niet
3 jaar
10
%
40
%
30
%
20
%
10
%
% studenten die succesvol slagen
op al deze vakken in september
9
Algemene en Technische Scheikunde
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
% studenten die succesvol slagen
op al deze vakken in september
CSE 23/30 CSE 28/60
CSE 40/60
ijkingstoets tussentijdse toetsen januari juni
"# "# "# "# "# "#ijkingstoets tussentijdse toetsen januari juni onsuccesvolle examens 3e examenperiode
25
%
75
%
$
$
$
$
$
8. 9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten % studenten die succesvol
op al deze vakken in septe
9
Algemene en Technische Scheiku
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
CSE 23/30 CSE 28/60
ijkingstoets tussentijdse toetsen januari juni
25
%
9. 9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten % studenten die succesvol
op al deze vakken in septe
9
Algemene en Technische Scheiku
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
CSE 23/30 CSE 28/60
ijkingstoets tussentijdse toetsen januari juni
25
%
10. 9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten % studenten die succesvol
op al deze vakken in septe
9
Algemene en Technische Scheiku
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
CSE 23/30 CSE 28/60
ijkingstoets tussentijdse toetsen januari juni
25
%
11. 9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten % studenten die succesvol
op al deze vakken in septe
9
Algemene en Technische Scheiku
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
CSE 23/30 CSE 28/60
ijkingstoets tussentijdse toetsen januari juni
25
%
12. Bachelor in
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
oegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
4 jaar
5 jaar
6+
niet
3 jaar
10
%
40
%
30
%
20
%
10
%
% studenten die succesvol slagen
op al deze vakken in september
9
Algemene en Technische Scheikunde
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
% studenten die succesvol slagen
op al deze vakken in september
CSE 23/30 CSE 28/60
CSE 40/60
januari juni
" "# "# "#januari juni onsuccesvolle examens 3e examenperiode
25
%
75
%
$
$
$
$
$
13. Bachelor in
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
oegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
4 jaar
5 jaar
6+
niet
3 jaar
10
%
40
%
30
%
20
%
10
%
% studenten die succesvol slagen
op al deze vakken in september
9
Algemene en Technische Scheikunde
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
% studenten die succesvol slagen
op al deze vakken in september
CSE 23/30 CSE 28/60
CSE 40/60
januari juni
" "# "# "#januari juni onsuccesvolle examens 3e examenperiode
25
%
75
%
$
$
$
$
$
14. Bachelor in
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
oegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
4 jaar
5 jaar
6+
niet
3 jaar
10
%
40
%
30
%
20
%
10
%
% studenten die succesvol slagen
op al deze vakken in september
9
Algemene en Technische Scheikunde
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
% studenten die succesvol slagen
op al deze vakken in september
CSE 23/30 CSE 28/60
CSE 40/60
januari juni
" "# "# "#januari juni onsuccesvolle examens 3e examenperiode
25
%
75
%
$
$
$
$
$
15. Jane Doe!
STB Dashboard v0.4
Bachelor in
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Algemene en Technische Scheikunde
12
Toegepaste Mechanica Deel 1
9
Toegepaste Algebra
18
Wijsbegeerte
12
Analyse Deel 1
15
PENO Deel 1
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
12
Thermodynamica
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
12
IJkingstoets juni
18
IJkingstoets September
+
-
Jouw positie ten opzichte van je medestudenten
4 jaar
5 jaar
6+
niet
3 jaar
10
%
40
%
30
%
20
%
10
%
% studenten die succesvol slagen
op al deze vakken in september
9
Algemene en Technische Scheikunde
9
Toegepaste Algebra
8
Inleiding tot Materiaalkunde
5
Algemene Natuurkunde
7
PENO Deel 2
3
Elektrische Netwerken
3
Analyse Deel 2
5
Methodiek van de Informatica
% studenten die succesvol slagen
op al deze vakken in september
CSE 23/30 CSE 28/60
CSE 40/60
ijkingstoets tussentijdse toetsen januari juni
"# "# "# "# "# "#ijkingstoets tussentijdse toetsen januari juni onsuccesvolle examens 3e examenperiode
25
%
75
%
$
$
$
$
$
20. June dashboard 7
ABLE - Erasmus+ Project
Strategic Partnership: 2015-1-UK01-KA203-013767
0
0
0
0
0
0
0
0
0
0
0
6
1
3
0
1
3
3
9
1
6
14
8
25
21
15
19
19
30
35
16
20
14
23
15
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
The dashboard is clarifying and surveyable.
The shown information regarding my study situation is correct.
The shown position with respect to my fellow students is reliable.
The shown information provides me insight in my study situation.
I would like to have received similar information after the January
examinations.
The visualisation is of added value to the conversation with the study
counsellor.
The module for planning the resits assisted me in constructing a plan for my
resits.
Evaluation dashboard June (N=44)
not at all not somewhat typical very typical not at all
21. June dashboard 7
ABLE - Erasmus+ Project
Strategic Partnership: 2015-1-UK01-KA203-013767
0
0
0
0
0
0
0
0
0
0
0
6
1
3
0
1
3
3
9
1
6
14
8
25
21
15
19
19
30
35
16
20
14
23
15
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
The dashboard is clarifying and surveyable.
The shown information regarding my study situation is correct.
The shown position with respect to my fellow students is reliable.
The shown information provides me insight in my study situation.
I would like to have received similar information after the January
examinations.
The visualisation is of added value to the conversation with the study
counsellor.
The module for planning the resits assisted me in constructing a plan for my
resits.
Evaluation dashboard June (N=44)
not at all not somewhat typical very typical not at all
September dashboard 9
ABLE - Erasmus+ Project
Strategic Partnership: 2015-1-UK01-KA203-013767
0
0
1
0
0
1
1
1
1
2
0
0
4
0
2
0
9
3
9
13
6
30
15
26
31
22
11
16
20
37
15
19
22
24
30
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
The dashboard is clarifying and surveyable.
The shown information regarding my study situation is correct.
The shown position with respect to my fellow students is reliable.
The shown information provides me insight in my study situation.
I would like to have received similar information after the other examination
periods.
The visualisation is of added value to the conversation with the study
counsellor.
I would like to be able to consult the information on my own.
Evaluation dashboard september (N=53)
Strongly Disagree Disagree Neither Agree or Disagree Agree Strongly Agree
22. - Support the dialogue (motivation, fact-
based evidence, narrative thread)
- Personalisation (short/long-term
planning)
- Insights (factual, interpretative, reflective)
23. - New advisors
- Preparation time
- Certainty of message (data
correctness)
- Convincing power
- Frees up time
24. unalterable data does not provide the students
with actionable insights
static approach also means that no one is “in
charge”, allowing for both the student and the
SA to drive the conversation, and make sense
of the data in a collaborative way.
leaves room for personal opinions and tacit
experience
freedom of conversation flow and authorship
27. Ondersteunen van Studie Traject Begeleiding
dmv Learning Dashboards
Sven Charleer
@svencharleer
svencharleer.com
augment.cs.kuleuven.be
Joris Klerkx
Katrien Verbert
Tinne De Laet augment
research group