Met digitale tools kan hoogwaardige feedback worden hergebruikt en transparante beoordelingscriteria worden toegepast (rubrics) bij het nakijken van schriftelijke producten zoals papers, onderzoeksverslagen en theses. Hierdoor kan zowel tijdsbesparing als kwaliteitsverbetering worden gerealiseerd.

1. Sumit Mehra
Onderwijskundig adviseur & docent
Universiteit Utrecht &
Hogeschool van Amsterdam
Feedback
geven op
papers
Tijdswinst en
kwaliteitsverbetering met
digitale middelen

2. OPBOUW
Inhoud
 Onderwijskundige
achtergrond
 Aanleiding / eerdere ervaring
 Opzet pilots
 Ervaringen & opbrengsten
 Conclusies & toekomstplannen
 Vragen & discussie

3. ACHTERGROND

4. ACHTERGROND

5. ACHTERGROND

6. ACHTERGROND
Maar wat bepaalt het
rendement van het leren?

7. ACHTERGROND
 Hattie
 800
(2009)
meta-analyses
gecombineerd >
53.000 studies

8. ACHTERGROND

9. BELANG FEEDBACK

10. ACHTERGROND
Formatief toetsen

Toetsen stuurt het leerproces





Oefening baart kunst




Geeft de relevantie weer (feed-up)
Stimuleert zelfreflectie
Stimuleert discussie met docent en peers
Motiveert
Geeft inzicht in huidige prestatie niveau (feedback)
Geeft verbeterstrategieën (feedforward)
Bekendheid met toetsvorm
Onderwijs afstemmen

11. ACHTERGROND
Regelmatig (formatief) toetsen en
studenten van kwalitatief goede
feedback voorzien is goed voor
het leerrendement
Maar….

12. AANLEIDING

13. AANLEIDING

14. AANLEIDING

15. AANLEIDING

16. SAMENGEVAT
Feedback geven is nuttig
maar arbeidsintensief en kwaliteit
laat soms te wensen over

17. DIGITALE TOOLS

18. DIGITALE TOOLS
TURNITIN
Grade Mark
• Digitaal nakijken (docent)
Peer Mark
• Peer review (student)
Originality Report
• Plagiaatdetectie

22. DIGITALE TOOLS
STATISTIEKEN

23. DIGITALE TOOLS
demo

24. PILOTS
Projecten
 Psychologie,
 SCALA




UvA (2008)
– 28 pilots
Universiteit Utrecht
Vrije Universiteit
Hogeschool van Utrecht
Hogeschool van
Amsterdam

25. PILOTS
Mogelijke winsten

Herbruikbaarheid commentaar > minder herhaling > lagere
werkdruk (“losse” opmerkingen blijft mogelijk!)

Betere feedback (eenmalig goed uitdenken + consistentie)

Meer bruikbare feedback (leesbaar + overzicht van sterke
en zwakke kanten via Rubric scorekaart)

Betere signalering van & afstemming op veel voorkomende
fouten (statistieken)

Meer structuur voor nieuwe docenten

E-opslag: minder rompslomp en inzicht in verleden (archief)

26. PILOTS
“pre-pilots” bij de HvA

1ste jaars project bij Toegepaste Psychologie
Onderzoeksverslag in 5 deelopdrachten
 Groepsproduct
 5 docenten / 150 studenten


2de jaars project HBO-Rechten
Adviesrapport
 Groepsproduct
 7 docenten / 200 studenten


27. PILOTS
Aanpak

Presentaties MT/examencommissie

Projectteam

Circa 5 werksessies voor ontwikkelen feedback +
rubrics

Trainingsuurtje/ handleiding Turnitin voor docenten

Lopende ondersteuning (coördinator)

Evaluatie (vragenlijsten + panelgesprek)

28. Ervaringen
HBO-Rechten
pilot

29. ERVARINGEN
Opbrengsten HBO-Rechten pilot
 Rubric
met 14 beoordelingscriteria op 5puntschaal (70 individuele niveaubeschrijvingen!)
 43
herbruikbare feedback opmerkingen
(Quickmarks)

30. ERVARINGEN
Ervaringen HBO-Rechten pilot
 Quickmarks
 Taal
 Rubrics
 Nabesprekingen
 Reacties
van studenten

31. ERVARINGEN

32. Ervaringen
Toegepaste
Psychologie
pilot

33. ERVARINGEN
Opbrengsten TP pilot
5
Rubrics met 22 criteria op een 4-puntschaal
 94
herbruikbare feedback opmerkingen
verdeeld in 5 sets (Quickmarks)

34. ERVARINGEN
TP docenten over Quickmarks
“..geeft een goede leidraad om na te kijken”
“ik mis minder”
“nu weet ik zeker dat ik de hele lijn pak en dat
het niet afhankelijk is van mijn aandacht...”
“ik ben meer feedback gaan geven”

35. ERVARINGEN
TP docenten over Quickmarks
“..ik had ietjes tijdswinst”
“het is vooral betere feedback”
“laat ik het zo zeggen, als ik deze
hoeveelheid feedback zou geven
op papier, dan was ik er 2x zo lang
mee bezig”

36. ERVARINGEN
TP docenten over Rubrics
“...ik vind het fijn om het [cijfer]
hard te maken, maar ook om het
overzicht te hebben”

37. ERVARINGEN
TP studenten over TII (n=100)






Vonden het makkelijk om de opdrachten in te
leveren (77% vs 4%)
kregen snel feedback (85% vs 2%),
duidelijke feedback (75% vs 9%) en
Leerzame feedback (87% vs 4%) die ze gemiddeld
het rapportcijfer 7,8 gaven
De studenten beoorde de feedback met een 7,8.
80% van de studenten wilde vaker feedback op
deze manier

38. Conclusie &
toekomstplannen

39. CONCLUSIE
Algemene conclusies

Geringe leercurve

Zowel doceten als studenten zijn enthousiast

Tijdswinst?

Betere beoordelingen & feedback

Zorgt voor een kwaliteitsimpuls
(consensusvorming)
….maar (eenmalige) tijdsinvestering van
docenten is nodig!

40. TOEKOMST
Toekomst plannen

Olievlek werking: steeds meer cursussen gebruiken
TII

Uitwisseling met andere instellingen die er mee
werken (UU, VU, Saxion, etc)

Ook niet-geschreven producten
(video’s, mondelinge presentaties, graphics, etc)

Wetenschappelijk onderzoek (publicaties &
conferenties)

41. DISCUSSIE
Vragen?
Meer informatie, advies of projectbegeleiding:
s.mehra@uu.nl / http://nl.linkedin.com/in/nlsumitmehra