These are the slides of the invited talk "improving education by learning analytics" for the LAW studiedag 2017 https://www.maastrichtuniversity.nl/nl/events/studiedag-2017.

2. ETHISCHE LEARNING
ANALYTICS:
EEN UTOPIE?”
Tinne De Laet, KU Leuven

3. LEERDOELEN VAN DEZE LEZING
• Je weet wat learning analytics is.
• Je kan drie voorbeelden geven van learning analytics interventies.
• Je kan de aanbevelingen van deze presentatie opzoeken.

4. INHOUD
1. Wie ben ik? Waarom ben ik hier?
2. Wat is learning analytics?
3. Ervaringen en aanbevelingen

5. WIE BEN IK? WAAROM BEN
IK HIER?

6. WIE BEN IK? WAAROM BEN IK
HIER?
vrouw
ingenieur
Hoofd Dienst
Studentenbegeleiding
Ingenieurswetenschap
pen
.
Tinne De
Laet
Tenure
track
docent

7. WIE BEN IK? WAAROM BEN IK
HIER?
Coordinator van STELA Erasmus+
forward-looking cooperation
project
•Forward-looking cooperation project:
562167-EPP-1-2015-1-BE-EPPKA3-PI-
FORWARD
•Successful Transition from secondary to
higher Education using Learning Analytics
•KU Leuven (Belgium), TU Delft (Netherlands),
TU Graz (Austria), Nottingham Trent
University (UK), European Society of
Engineering Education (SEFI)
• http://stela-project.eu/
KU Leuven promoter van ABLE
Erasmus+ strategic partnership
project
•Strategic Partnership: 2015-1-UK01-KA203-
013767
•Achieving Benefits from Learning Analytics
•Nottingham Trent University (UK), KU Leuven
(Belgium),
Leiden University (Netherlands)
• http://www.ableproject.eu/

8. WAT IS LEARNING
ANALYTICS?

11. WHAT IS LEARNING ANALYTICS?
geen universeel aanvaarde definitie
11
“the measurement, collection, analysis and reporting of data about
learners and their contexts, for purposes of understanding and
optimizing learning and the environments in which it occurs” [1]
[1] Learning and Academic Analytics, Siemens, G., 5 August
2011, http://www.learninganalytics.net/?p=131
[2] What is Analytics? Definition and Essential Characteristics, Vol. 1, No. 5. CETIS Analytics Series,
Cooper, A., http://publications.cetis.ac.uk/2012/521
“the process of developing actionable insights through problem
definition and the application of statistical models and analysis against
existing and/or simulated future data” [2]

12. WAT IS LEARNING ANALYTICS?
12
[3] Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012,
https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/
“learning analytics is about
collecting traces that learners
leave behind and using those
traces to improve learning”
[Erik Duval, 3]
† 12 March 2016
geen universeel aanvaarde definitie

13. WAT IS LEARNING ANALYTICS?
Hoe verschilt learning analytics van instutionele data? [4]
High-level figures:
provide an overview for internal and external reports;
used for organisational planning purposes.
Academic analytics:
figures on retention and success, used by the institution to assess performance.
Educational data mining:
searching for patterns in the data.
Learning analytics:
use of data, which may include ‘big data’,
to provide actionable intelligence for learners and teachers.
13
[4] Learning analytics FAQs, Rebecca Ferguson, Slideshare,
http://www.slideshare.net/R3beccaF/learning-analytics-fa-qs
theoretishe
inzichten?
rapportering?

14. WAT IS LEARNING ANALYTICS?
Verschillende niveaus van learning analytics
14Aangepast van http://www.slideshare.net/gsiemens/learning-analytics-educause
niveau begunstigden
course-level learners, teachers, faculties
aggregate learners, teachers, tutors, counsellors, faculties
institutional administrators, funders, marketing
regional administrators, funders, policy makers
national and
international
national and international governments, policy
makers

15. WAT IS LEARNING ANALYTICS?
learning analytics procesmodel
15
[Verbert et al. 2013] Verbert K, Duval E, Klerkx J; Govaerts S, Santos JL (2013) Learning analytics
dashboard applications. American Behavioural Scientist, 10 pages. Published online February 2013, doi:

16. WAT IS LEARNING ANALYTICS?
6 essentiële dimensies
16
[Greller, W., & Drachsler, H. (2012). Translating Learning into Numbers: A Generic Framework for
Learning Analytics. Educational Technology & Society, 15 (3), 42–57.

17. ERVARINGEN &
AANBEVELINGEN

18. DUS ….
data
actionable
inzichten
verbetering
van leren

20. DUS …. DATA
data
actionable
inzichten
verbetering
van leren
• veel data ZOU kunnen beschikbaar zijn
• Wat IS beschikbaar?
• academische performantie (studieresultaten)
• sterke relatie met studiesucces
• overal beschikbaar
• digitale sporen van gedrag
• card swipes, in-class polls, lab attendance
• virtual learning environment (VLE)
• data uit bevragingen
• veel kennis en kunde bij pedagogen & onderwijskundigen
REC 1:
FOCUS
EERST
OP DATA
DIE
BESCHIK
BAAR IS

21. DUS …. DATA
elke instelling
-
academische
resultaten
ABLE@ KU
Leuven
14 opleidingen
12
studieadviseurs
>1000 students
positioneer
studenten
ten opzichte van
medestudenten
impact: hoe deden
geljkaardige
studenten het in het
verleden?
steun voor plannen
van toekomstig
studietraject
name student

22. DUS …. DATA
specifieke
context
-
academic
engagement
ABLE@NTU
>25.000
studenten

23. DUS …. DATA
specifieke context
-
online courses
(MOOCs-SPOCS)
STELA@
TU Delft
>2.000 students
Learning
Tracker
Hoe is mijn
activiteit?
Hoe was de
activiteit van
succesvolle
studenten in
het verleden?

24. DUS …. DATA
data
actionable
inzichten
verbetering
van leren
• combineer data die beschikbaar IS en die actionable inzichten kan genereren
• data van pedagogische wetenschappen en onderwijsonderzoek
• zelfgerapporteerd (“small data”)
• gestandaardiseerde tests
• voorbeeld van feedback op leer- en studeervaardigheden
• data van universitaire databank (academische resultaten)
• data van onderzoek over leer- en studeervaardigheden
REC 1B:
DENK
VERDER
DAN HET
VANZELF
-
SPREKE
NDE

25. DUS …. DATA
Hoe is mijn
concentratie
ten opzichte
van mijn
medestudenten
STELA@KU Leuven
>1.600 studenten

26. DUS …. DATA
Hoe deden
eerdere
studenten het
in hun studie?
STELA@KU Leuven
>1.600 studenten

27. DUS …. ACTIONABLE INZICHTEN
data
actionable
inzichten
verbetering
van leren
REC 2:
FEEDBAC
K MOET
ALTIJD
ACTIONA
BLE
ZIJN
“Meisjes zijn meer succesvol in het hoger
onderwijs
dan jongens”
70%
succesv
60%
succesv
dus
?

29. DUS …. ACTIONABLE INZICHTEN
verhoog activiteit in
opleiding of vak
kies toekomstig studietraject
zorgvuldig
werk aan je leer- en
studeervaardigheden
name student

30. DUS …. ACTIONABLE INZICHTEN
als learning analytics het potentieel heeft om leren te
verbeteren
→ (her)ontwerp de leeractivteiten zodat learning analytics
haar potentieel kan realiseren
data
actionable
inzichten
improve
learning
DENK
AAN
LEARNIN
G
ANALYTIC
S ALS JE
LEER-
ACTIVITEI
TEN
ONTWER

31. DUS …. ACTIONABLE INZICHTEN
Hoe learning analytics in rekening
brengen?
31
scor
e
vak
verschillende weken
traditioneel hoorcollege + oefenzittingen
aantal dagen
actief per week
REC 3:
DENK
AAN
LEARNIN
G
ANALYTIC
S ALS JE
LEER-
ACTIVITEI
TEN
ONTWER
verband
resultaat op vak
-
activiteit op
online
leerplatform
STELA@KU
Leuven

32. DUS …. ACTIONABLE INZICHTEN
geen enkele student
die minder dan 10
modules
raadpleegde
slaagde voor het
vak
meest succesvolle
studenten
vervolledigen
minstens 15
modules
verband
resultaat op vak
-
activiteit op
online
leerplatform
STELA@KU
Leuven
DENK
AAN
LEARNIN
G
ANALYTIC
S ALS JE
LEER-
ACTIVITEI
TEN
ONTWER
vak met flipped teaching & blended learning
Hoe learning analytics in rekening
brengen?

33. DUS …. VERBETERING LEREN REC 4:
GEBRUIK
ALLE
BESCHIK
BARE
EXPERTI
SE
•integreer alle expertise TIJDENS ontwikkeling
•pedagogen, onderwijspsychologen, ..
•computerwetenschappers & ICT experten &
visualizatie-experten
•onderwijzers
•PRACTITIONERS!!! (studieadviseurs, tutoren, monitoren,
onderwijsondersteuners, studentpsychologen, … )
•studenten
•Hoe beschikbare tools en implementaties evalueren?
data
actionable
inzichten
verbetering
van leren

34. DUS …. VERBETERING LEREN
data
actionable
inzichten
verbetering
van leren
•Integreer alle expertise TIJDENS ontwikkeling
•Hoe beschikbare tools en implementaties evalueren?
•Hebben ze leren verbeterd? Hoe kan je de impact meten?
•Is “perceived usefulness” genoeg?
•Is retentie het enige dat van belang is? Welzijn?
Studentsucces?
• schaalbaarheid
MAAK
EEN
CHECKLIJ
ST OM
AANGEBO
DEN
TOOLS
EN
RESOUR
CES
TE

35. DUS …. VERBETERING LEREN
Studenten vinden het goed…. Dus?
Studenten die naar dashboard gingen hebben hogere
studieresultaten?
studentenfeedbac
k op STELA leer-
en
studeervaardighe
den
STELA@KU Leuven
>1600 studenten

36. DUS …. VERBETERING LEREN
impact van
learning tracker
STELA@TU Delft
WaterX
C 1,268 160
MOOC COND. N # PASS PASS RATE
T 1,251 188
12.6%
15.0%
UrbanX
C 771 136
T 746 165
17.6%
22.1%
BusinessX
C 164 46 28.0%
WaterX
C 1,268 160
MOOC COND. N # PASS PASS RATE
T 1,251 188
12.6%
15.0%
UrbanX
C 771 136
T 746 165
17.6%
22.1%
BusinessX
C 164 46
T 160 54
28.0%
33.8%
OVERALL
C 2,203 342
T 2,157 407
15.5%
18.9%
**
learning tracker
verhoogt
aandeel
studenten die
cursus
succesvol
beëindigen!

37. DUS …. VERBETERING LEREN
data
actionable
inzichten
verbetering
van leren
•Integreer alle expertise TIJDENS ontwikkeling
•Hoe beschikbare tools en implementaties evalueren?
•schaalbaarheid
• impact: small scale – big effect = large scale – small effect
• kijk verder dan één vak en dan een online context (MOOCs/SPOCs)
• kies data zorgvuldig
• stimuleer flexibele softwareoplossingen
• open source oplossingen die geïntegreerd kunnen worden in universitaire
systemen
• verkies herbruikbare “blueprints” boven kant-en-klare maar starre
implementatie
REC 6:
FOCUS
OP
SCHAALB
AAR-
HEID

38. DUS …. VERBETERING LEREN
Let op!
Voor impact komt AANVAARDING!
• betrek alle stakeholders
• zorg voor privacy en ethiek
• actionable feedback
• wat wil je doelgroep?
→ stakeholders worden vragende partij!
REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

39. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

40. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

41. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

42. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

43. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

44. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

45. REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

46. NUTTIG DUIDELIJK INVLOED
REC 7:
VOOR
IMPACT
KOMT
AANVAAR
DING

47. ENKELE SLOTBEMERKINGEN
•Ethiek en privacy zijn grote uitdagingen!
• Ethiek: betrek practitioners, experten & doelpubliek
• Privacyregelgeving kan barrière zijn
maar learning analytics kan opportuniteit geven!
→ overzicht van en inzicht in data die al verzameld wordt!
•Wees beducht voor kant-en-klare commerciële oplosisngen!
• er bestaat geen “one size fits all” oplossing
• brengt aanvaarding in gevaar van studenten én personeel
• Wat ligt aan de basis van een aanbeveling?
→ actionable!
→ transparantie!
•Werk samen en experimenteer!
• (Europese) samenwerkingen zijn niet altijd makkelijk maar erg sitmulerend!
• je leert van elkaar en dringt aan op vooruitgang in eigen context
Voorbeelden:
• ABLE: Leiden dringt aan op toegang tot data om studieadviseurs te ondersteunen
• STELA: Graz dringt aan op datagebaseerde feedback naar studenten
“ X% van de studenten met
gelijkaardige studieresultaten
hebben in het verleden …. “
slaagkans

48. STELA@KU Leuven
>1.600 students
ENKELE SLOTBEMERKINGEN
•Ethiek en privacy zijn grote uitdagingen!
• Ethiek: betrek practitioners, experten & doelpubliek
• Privacyregelgeving kan barrière zijn
maar learning analytics kan opportuniteit geven!
→ overzicht van en inzicht in data die al verzameld wordt!
•Wees beducht voor kant-en-klare commerciële oplosisngen!
• er bestaat geen “one size fits all” oplossing
• brengt aanvaarding in gevaar van studenten én personeel
• Wat ligt aan de basis van een aanbeveling?
→ actionable!
→ transparantie!
•Werk samen en experimenteer!
• (Europese) samenwerkingen zijn niet altijd makkelijk maar erg sitmulerend!
• je leert van elkaar en dringt aan op vooruitgang in eigen context
Voorbeelden:
• ABLE: Leiden dringt aan op toegang tot data om studieadviseurs te ondersteunen
• STELA: Graz dringt aan op datagebaseerde feedback naar studenten
WERK
SAMEN &
EXPERIME
NTEER
WIJS OM
COLLEGA’S
EN
BESTUUR
TE
STIMULER

49. AFSLUITER

50. AFSLUITER
Ethische Learning
Analytics
•is geen utopie
•… maar komt niet vanzelf!
Learning Analytics
•heeft GROOT potentieel
•… maar is geen easy-
win!

51. AANBEVELINGEN
REC 1: focus eerst op data die beschikbaar is en denk verder dan het
vanzelfsprekende
REC 2: feedback moet ALTIJD “actionable” zijn
REC 3: denk aan learning analytics als je leeractiviteiten ontwerpt
REC 4: gebruik ALLE beschikbare expertise
REC 5: maak een checklijst om aangeboden tools en resources te
evalueren
REC 6: focus op schaalbaarheid
REC 7: voor impact komt aanvaarding
REC 8: werk samen & experimenteer wijs om collega’s en bestuur te
stimuleren

52. BEDANKT!
•Forward-looking cooperation project:
562167-EPP-1-2015-1-BE-EPPKA3-PI-
FORWARD
•Successful Transition from secondary to
higher Education using Learning Analytics
•KU Leuven (Belgium), TU Delft (Netherlands),
TU Graz (Austria), Nottingham Trent
University (UK), European Society of
Engineering Education (SEFI)
• http://stela-project.eu/
•Strategic Partnership: 2015-1-UK01-KA203-
013767
•Achieving Benefits from Learning Analytics
•Nottingham Trent University (UK), KU Leuven
(Belgium),
Leiden University (Netherlands)
• http://www.ableproject.eu/