Het STELA-project (Successful Transition from secondary to higher Education using Learning Analytics) is een Europees project, gestart in 2015, en heeft als doel de overgang van secundair naar hoger onderwijs te verbeteren door middel van learning analytics. Hiertoe heeft het project een learning-analyticsbenadering ontwikkeld, getest en geëvalueerd, die zich richt op het bieden van formatieve en summatieve feedback aan studenten in de overgang naar het hoger onderwijs. Naast een studentendashboard heeft het project dashboards ontwikkeld voor studieadviseurs en docenten, die gebruikt kunnen worden om counseling en onderwijspraktijken te verbeteren. In deze sessie presenteren we de resultaten, uitkomsten, en geleerde lessen van het project.

1. Onderwijs verbeteren
met learning analytics
Resultaten van het STELA-project
Jan-Paul van Staalduinen, TU Delft
SURF Onderwijsdagen, 6 november 2018

2. Inhoud
1. Wat is learning analytics?
2. Wat is het STELA-project?
3. Een tweetal dashboards
4. Dezelfde dashboards, andere context
5. Conclusies en aanbevelingen

3. Wat is Learning Analytics?
“Learning analytics is
het verzamelen van
digitale sporen die
leerders achterlaten
en die sporen
gebruiken om leren te
verbeteren.”
- Erik Duval (vert., 2012)
Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012,
https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/

4. Het STELA-project (1)
Successful Transition from secondary to higher
Education using Learning Analytics (STELA)
• Focus: Transitie van secundair naar hoger onderwijs
• Doel: Die transitie ondersteunen m.b.v. van learning analytics

5. Het STELA-project (2)
Achterliggende gedachte
dashboards
• Schaalbaar en transferabel
• O.b.v. beschikbare data
• Bruikbare feedback
• Technologie eenvoudig aan te
passen aan omstandigheden
Social-comparison theorie
• Mensen evalueren hun
vaardigheden door zichzelf
met anderen te vergelijken
(als objectieve maatstaven
ontbreken)
• Eerstejaars studenten missen
dit referentiekader nog

6. [!] Feedback moet “bruikbaar” zijn
Attentie!
Mannelijke studenten
hebben 10% minder
kans succesvol te zijn.
Jij bent een man.
Attentie!
Je online activiteit
loopt achter op
schema.
action
?
?
action
?
?


7. Een tweetal dashboards
• Dashboard 1: Learning tracker
• In TU Delft MOOCs
• MOOC: Massive Open Online Course
• Dashboard 2: Leervaardigheden (LASSI)
• In KU Leuven campusonderwijs

8. Dashboard 1: Learning tracker

9. Dashboard 1: Learning tracker
Studenten in MOOCs (33K+)
Students ontvangen een overzicht
van hun voortgang in de MOOC
Eerst in ‘reguliere MOOCs’, daarna in
MOOC speciaal voor transitie SO-HO
Dan Davis, Ioana Jivet, Rene Kizilcec, Guanliang Chen, Claudia Hauff, and Geert-Jan Houben. Follow the Successful
Crowd: Raising MOOC Completion Rates through Social Comparison at Scale, LAK, pp. 454-463, 2017.

10. Impact van de learning tracker
Dan Davis, Ioana Jivet, Rene Kizilcec, Guanliang Chen, Claudia Hauff, and Geert-Jan Houben. Follow the Successful
Crowd: Raising MOOC Completion Rates through Social Comparison at Scale, LAK, pp. 454-463, 2017.
• In ‘reguliere’ MOOCs met deelnemers van alle leeftijden
significant effect te zien:
• Slagingspercentage van 18,9% t.o.v. 15,5% in controlegroep (beiden
2000+ studenten)
• In MOOC voor transitie SO-HO géén effect geobserveerd
• Verklaring nog niet gevonden, maar zit waarschijnlijk in doelgroep

11. Leerpunten n.a.v. dashboard 1
Start met beschikbare data
• Heel veel data kan wellicht in
de toekomst beschikbaar
komen …
• … begin met wat al
beschikbaar is
Context is belangrijk
• Context bepaalt welke data
beschikbaar is en gebruikt kan
worden
• (Commerciële) MOOCs bieden
vrijheden
• Context is ook bepalend voor
de impact van learning
analytics

12. Dashboard 2: Leervaardigheden

13. Dashboard 2: Leervaardigheden
Studenten vullen LASSI-vragenlijst in
Studenten ontvangen persoonlijke
mail met uitnodiging voor dashboard
4000+ studenten in 27 programma’s
in 9 faculteiten @ KU Leuven
Demo: https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)

14. Dashboard 2: Score
Demo: https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
Structuur
Introductie en 5
vaardigheden
Wat?
Uitleg van de
vaardigheid
Score en peers?
Vergelijking met peers in
programma; elke stip is één
student; eigen score in een kader

15. Dashboard 2: Bruikbare feedback
Actie
Tips om aan je
studievaardig-
heden te werken

16. Impact: Bruikbare feedback?
http://blog.associatie.kuleuven.be/tinnedelaet/learning-dashboard-for-actionable-feedback-on-learning-and-studying-skills/
How CLEAR is this info?
stars stars

17. Studenten die ‘doorklikken’
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
 Beter ontwikkelde leervaardigheden

18. Meer intensieve gebruikers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
 Minder ontwikkelde leervaardigheden

19. Leerpunten n.a.v. dashboard 2
Impact is moeilijk te meten
• De impact van learning
analytics is soms moeilijk te
bepalen
• Zeer veel factoren bepalen
prestaties van studenten in
het campusonderwijs
• Ethiek is leidend in ‘live’
onderwijssetting
Woordkeuze doet ertoe
• Ondersteunende tekst bij de
visualisaties moet zorgvuldig
worden geformuleerd
• De formulering moet de juiste
interpretatie weergeven
• En moet bovendien bruikbare
feedback leveren

20. Dezelfde dashboards, andere context

21. Dezelfde dashboards, andere context
• Dashboard 1: Learning tracker
• In een SPOC van KU Leuven, ontwikkeld door TU Graz + TU Delft
• SPOC: Small Private Online Course
• Dashboard 2: Leervaardigheden (LASSI)
• In TU Delft campusonderwijs, geïntegreerd in eigen ICT-landschap, data
verwerkt door KU Leuven

22. Dashboard 1: Learning tracker
Opschalen naar andere MOOCs TU Delft
• Uiteindelijk naar 4 MOOCs, meerdere
runs, 33K studenten
• Eenvoudige transferabel naar andere
MOOCs omdat de technologie hetzelfde is
en schaalbaar is
• Context van de MOOC doet er wel toe
(self-paced versus paced)
Transfer naar KU Leuven (SPOC)
• 2 SPOCS, andere context: studenten
beginnen later; wekelijkse update moeilijk
• Discussie over de juiste ‘metrics’ en
causaliteit tussen SPOC activiteit en
metrics
• Eerste keer MOOC-data gebruiken is een
uitdaging; ook lastig te verkrijgen
• Data door andere universiteit laten
analyseren is zeer uitdagend vanwege
AVG / GDPR – bemoeilijkt internationale
samenwerking
• Impact lastig te bepalen

23. Dashboard 2: Leervaardigheden
Opschalen binnen KU Leuven
• 27 programma’s, > 4000 studenten,
>120 studieadviseurs
• Hoge acceptatiegraad bij alle actoren
(programmacommissie, studenten,
studieadviseurs)
• Geen zorgen over datagebruik voor
dashboard
Transfer naar TU Delft
• Eerst 2 programma’s, later 3
• Data ‘eenvoudig’ te verkrijgen
• Toestemming (ethiek) en acceptatie
relatief eenvoudig
• Integratie van dashboard binnen
ICT-landschap: technisch eenvoudig,
toch zeer ingewikkeld proces
• Lagere respons dan verwacht
• Impact lastig te bepalen

24. Conclusies en aanbevelingen

25. Conclusies en aanbevelingen (1)
Let op ethiek
• Belangrijk, door stakeholders te
betrekken goed te regelen
Gebruik ‘small’ data
• Eenvoudiger voorhanden
• Bevordert schaalbaarheid en
overzetbaarheid
Neem de tijd voor gereed
maken van data
• Tijdrovend en vereist het
“snappen” van de data
• Data van externe bronnen
verkrijgen is niet eenvoudig
Impact is lastig te meten
• Manage verwachtingen

26. Conclusies en aanbevelingen (2)
Modulaire technologie
• Technologie moet toegankelijk en
modulair zijn
• Open source software is handig,
maar integratie met bestaande ICT-
landschappen is cruciaal voor
schaalbaarheid
Context doet er toe
• Dashboards werken niet in alle
settings
(Inter)nationale regelgeving
vormt een uitdaging
• Maakt overzetbaarheid veel
moeilijker i.v.m. beschikbaarheid
data
• Modulariteit cruciaal (aanpassen aan
context)
• Verschillen in AVG / GDPR
bemoeilijkt internationale
samenwerking

27. Hartelijk dank!
Eindrapportage verwacht eind 2018
Meer informatie:
http://stela-project.eu/
Contact:
J.P.vanStaalduinen@tudelft.nl
562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD