1. Samen aan het werk in sessie 6
Focus op Evaluatie (kwaliteit
leeromgeving)
Ilya Zitter
Versie 31 maart 2014

2. Opening
Programma
Beroepsproces en beroepsproduct

3. Programma
9:30 – 10:00
 Kort dag doornemen
10:00 – 10:30
 Voorbereiden formatieve evaluatie (peer-review)
 Opdracht: welke vragen stel je om kwaliteitscriteria te toetsen?
 Vier groepen: relevantie, consistentie, bruikbaarheid, effectiviteit
 Plenair delen van vragen die je kunt stellen
10:30 – 11:15
 Ronde 1 formatieve evaluatie: Relevantie
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
11:15 – 12:00
 Ronde 2 formatieve evaluatie: Consistentie
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
12:00 – 12:30
 Plenair delen van lessons learned relevantie & consistentie
12:30 – 13:30
 Samen lunchen

4. Programma
13:30 – 14:00
Kennisintermezzo: Praktijkgericht onderzoek
14:00 – 14:45
 Ronde 3 formatieve evaluatie: Bruikbaarheid (verwachte)
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
14:45 – 15:30
 Ronde 4 formatieve evaluatie: Effectiviteit (verwachte)
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
15:30 – 16:00
 Plenair delen van lessons learned bruikbaarheid & effectiviteit
16:00 – 16:30
 Laatste keer terug en vooruitblikken

5. Hele module in vogelvlucht
 Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of
veelvoud) voor eigen onderwijspraktijk centraal
 In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie
ondersteund met HUbl
 In sessies 2, 4 en 6 face-to-face
 Sessie 2 - kennismaken met ontwerpproces + focus op
analyse: simulatie hele ontwerpproces; analyseren van een
goed voorbeeld, competentiegericht onderwijs in het hbo,
gelaagdheid van een leeromgeving
 Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een
leeromgeving, concept ‘blended learning’
 Sessie 6 - focus evaluatie (kwaliteit leeromgeving):
praktijkgericht onderzoek inbouwen en formatief evalueren in
vorm van peer-reviewen

6. Beroepsproces en beroepsproduct
 Onderwijs met een omvang van 5 EC (of een veelvoud hiervan)
ontwerpen of herontwerpen, waarmee studenten worden
voorbereid op de toekomstige beroepspraktijk. In de vorm van
een ‘Blokboek’ of ‘Studentenhandleiding’ of ‘Modulewijzer’,
(ofwel: het onderwijsmateriaal zoals dat voor studenten wordt
gemaakt bij de betreffende opleiding)
 Flankerende rapportage bij het ontwerp
 Analyse: alle uitgangspunten om het onderwijs te kunnen maken.
 Ontwerp/ontwikkeling: onderbouwing geven van onderwijs dat is
gemaakt. Antwoord op de vraag: waarom is het onderwijs op deze
manier vorm gegeven?
 Evaluatie: Onderwijs dat is gemaakt formatief evalueren. Kritische
blik op de kwaliteit van dit onderwijs. Antwoord op de vragen: wat is
goed en wat kan beter?
 Ontwerpproces: logboek van de uitgevoerde ontwerpactiviteiten.

7. Analyse compleet?
Probleemanalyse/Contextanalyse/Behoefteanalyse/
Analyse kennisbasis. Bijvoorbeeld volgende bronnen:
 Onderwijsbeleid: landelijk, HU, opleiding
 Beroepsprofiel: landelijk, opleiding
 Body of Knowledge (BoK’s): landelijk, opleiding
 Beroepenveld: beroepenveldcommissie; interviews
 Doelgroep/Student: beschrijven, studentevaluaties, interviews
 Curriculumontwerpen, Casco, formats, collega’s
 Ervaringskennis: ‘Best practices’, collega’s
 Accreditatieproces: interne audit-rapport; externe NVAO-rapport
 Toekomst: toekomstvisie, scenario’s, trendrapporten

8. Onderbouwing compleet?
 Ontwerpeisen vanuit analyse
 Bij herontwerp: vergelijking tussen voorgaande en
verbeterde ontwerp
 Hoofdmoot wordt gevormd door: onderwijskundige
onderbouwing met literatuur van de literatuurlijst of
eigen literatuur met vergelijkbaar niveau. In elk geval
aandacht voor:
 Competentiegericht onderwijs (in brede zin)
 Strategisch: leerprocessen, onderwijsvisie,
onderwijsmodel, onderwijsconcept
 Tactisch: didactisch model/didactisch concept
 Operationeel: toelichten gemaakte keuzes voor de
leer/werkvormen

9. Evaluatie compleet?
 Beschrijving van uitgevoerde vormen van
formatieve evaluatie
 Toelichting gehanteerde kwaliteitscriteria
 Gestructureerde en overzichtelijke resultaten
 Kritische blik op ontwerp: identificeren van de
sterke en de zwakke kanten/compromissen
 Ideeën en plannen voor doorontwikkeling van
de leeromgeving

10. Logboek compleet?
 Overzicht van uitgevoerde ontwerpactiviteiten
 Breng hier structuur in aan, bijvoorbeeld m.b.v. STAR, beschrijf
helder en scherp:
 Situatie: o.a. aanleiding, wat gebeurde er, wie waren erbij)
 Taak waar je mee bezig was: m.n. Wat wilde je bereiken?
Wat vond je dat er moest gebeuren?
 Acties die je hebt ondernomen: o.a. hoe pakte je het aan
 Resultaat ervan: m.n. wat kwam eruit, hoe liep het af.
 Reflecteer hierop: m.n. Was je tevreden met de resultaten?
Wat is de essentie van wat je geleerd hebt? Wat zou je de
volgende keer eventueel anders doen?
 Het gaat hierbij om inhoudelijke en feitelijke informatie (niet om
diepgravend reflecteren op je gevoelens)

11. Rode draad beroepsproces in
de flankerende rapportage
 Analyse van de context, inclusief de uitgangssituatie
en de beoogde/gewenste situatie. Uit de analyse
komen de ontwerpeisen op een logische manier voort.
Alle uitgangspunten om het onderwijs te kunnen
maken zijn in beeld gebracht.
 De onderbouwing van ontwerp/ontwikkeling is
antwoord op de vraag: waarom is het onderwijs op
deze manier vorm gegeven?
 Evaluatie biedt een kritische blik op het gemaakte
onderwijs en ideeën/plannen voor de doorontwikkeling
 Logboek biedt zicht op welke ontwerpactiviteiten er
zijn ondernomen om te komen tot bovenstaande

12. Kaders evaluatie
Bepalen van kwaliteit van een leeromgeving kan vanuit
verschillende perspectieven

13. NVAO: Nederlands-Vlaamse
Accreditatieorganisatie http://www.nvao.net/
 Voorbeeld: Goed - De opleiding steekt systematisch en over de
volle breedte uit boven de gangbare basiskwaliteit.
Operationalisering:
 De beoogde eindkwalificaties passen qua niveau en/of oriëntatie
binnen de (inter)nationale kwalificatieraamwerken en zijn
geconcretiseerd in domein- of opleidingsspecifieke
leerresultaten. Vanuit een geëxpliciteerde visie geeft de opleiding
er een specifieke invulling aan.
 Programma, personeel en voorzieningen vormen samen een
uitdagende leeromgeving.
 Er is een opleidingsbreed, transparant en coherent toetsbeleid
dat door iedereen gevolgd wordt.
 De gerealiseerde eindkwalificaties vertalen zich in producten die
systematisch bovengemiddeld zijn.
 De kwaliteitszorg in de opleiding is systematisch en vertaalt zich
in een consequent verbeterbeleid dat zich uit in een groeiende
kwaliteitscultuur.

14. Generieke kwaliteitscriteria
 Relevantie Het leerplan voorziet in behoeften en berust op valide
inzichten
 Consistentie Het leerplan zit logisch en samenhangend in elkaar
 Bruikbaarheid
 Verwachte: De inschatting is dat het leerplan praktisch
uitvoerbaar is in de situatie waarvoor het is bedoeld
 Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de
situatie waarvoor het is bedoeld
 Effectiviteit
 Verwachte: De inschatting is dat werken met het leerplan
leidt tot de gewenste resultaten
 Werkelijke: Werken met het leerplan blijkt te leiden tot de
gewenste resultaten
(Thijs & Van den Akker, 2009)

15. Samen lunchen
12:30 – 13:30

16. Programma
13:30 – 14:00
Kennisintermezzo: Praktijkgericht onderzoek
14:00 – 14:45
 Ronde 3 formatieve evaluatie: Bruikbaarheid (verwachte)
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
14:45 – 15:30
 Ronde 4 formatieve evaluatie: Effectiviteit (verwachte)
 Groepjes van 3 mensen: maker, interviewer & lessons learned op A3
15:30 – 16:00
 Plenair delen van lessons learned bruikbaarheid & effectiviteit
16:00 – 16:30
 Laatste keer terug en vooruitblikken

17. Praktijkgericht
onderzoek
Kennisintermezzo: Hoe kan ik praktijkgericht onderzoek
inbouwen in een leeromgeving?

18. Kennisstroom en
Praktijkstroom
Andriessen, D. (2011). Kennisstroom en Praktijkstroom. In
J.E. van Aken en D. Andriessen (red) Handboek
ontwerpgericht wetenschappelijk onderzoek: wetenschap met
effect. Boom Lemma uitgevers: Den Haag

19. Kennisstroom en praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en
D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den Haag

20. Praktijkonderzoek door studenten
 Opdrachten of projecten van studenten beschouwen
als cases
 Studenten als onderdeel van opdracht/project
gedurende de uitvoering systematisch data laten
verzamelen  manier waarop inclusief ondersteuning
goed ontwerpen
 Studenten als onderdeel van opdracht/project achteraf
systematisch data laten verzamelen  manier waarop
inclusief ondersteuning goed ontwerpen
 Tijd inbouwen voor analyse
 Creatieve vorm zoeken voor delen van resultaten:
mini-conferentie, website, presentatie aan werkveld,
publicatie voor opdrachtgever
 Samenwerking zoeken met Lectoraat

21. Praktijkonderzoek als docent
 Onderwijskundige onderzoeksvraag formuleren rond probleem
dat speelt in onderwijspraktijk
 Leeromgeving of een deel hiervan beschouwen als casus
 Systematisch formatief evalueren met peers, experts of
studenten  vorm van data verzamelen
 Achteraf systematisch evalueren met peers, experts of studenten
 vorm van data verzamelen
 Data analyseren en delen in vorm van presentatie, workshop,
conferentiebijdrage of praktijkpublicatie
 Samenwerking zoeken met collega/expert/lector
 Vorm van professionaliseren door docent (LLL)

22. Practice as you preach: in
deze module ook onderzoek
 Beschrijvend onderzoek naar leeromgevingen in het
hbo vanuit een ontwerpperspectief
 Leeromgeving wordt beschouwd als case
 Data die wordt verzameld:
 Ontwerp leeromgeving (‘Blokboek’ of
‘Studentenhandleiding’ of ‘Modulewijzer’, ofwel:
het onderwijsmateriaal zoals dat voor studenten
wordt gemaakt bij de betreffende opleiding)
 Flankerende rapportage
 Eventueel een aanvullend interview
 Data analyse met model voor ontwerpen van
beroepsgerichte leeromgevingen

23. Participeren aan pilot-
onderzoek?
Indien je eindproduct met voldoende/goed is beoordeeld, dan is het
idee om die te analyseren voor (pilot) onderzoek over
leeromgevingen vanuit een ontwerpperspectief. De focus is op het
ontwerp van de leeromgeving en wordt daarom anoniem
gerapporteerd.
Indien je bezwaar hebt dat jouw eindproduct voor dit praktijkgerichte
onderzoek wordt ingezet (indien nodig na overleg met je direct
leidinggevende), dan ontvang ik graag hierover een e-mail en haal
ik jouw eindproduct uit de dataverzameling. De eindproducten van
de mensen waarvan ik geen bezwaar krijg per e-mail neem ik mee
in het onderzoek en bedank ik nu alvast voor hun medewerking
hieraan!
Vragen over het (pilot) onderzoek zijn uiteraard welkom.

24. Meer weten?
 Lectoraat Methodologie van Praktijkgericht
Onderzoek
http://www.onderzoek.hu.nl/Lectoraten/Daan%
20Andriessen.aspx
 Hoofdstuk Handboek Ontwerpgericht
Wetenschappelijk Onderzoek
http://www.dsrg.nl/docs/Hoofdstuk%2005%20
Handboek%20Ontwerpgericht%20Wetenscha
ppelijk%20Onderzoek.pdf

25. Practice as you
preach
deze module langs lat Manifest HU 2021

26. Principes Manifest HU 2021 hebben we
in BDB en deze module Onderwijs
Ontwerpen nagestreefd:
1. ...is het contact tussen docent en student intensief en op maat
2. ...is het onderwijs een combi van face-to-face leren, online leren
en leren op de werkplek
3. ...is de HU een verzameling van communities
4. ...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk
5. ...hebben communities een eigen, herkenbare thuisbasis
6. ...telt de HU veertigduizend verschillende leerwegen
7. ...gebeurt toetsing goed geborgd en leerwegonafhankelijk
8. ...is elke student een professional en elke professional een
potentiële student
9. ...stuurt elke docententeam zelf op kwaliteit.

27. Terug & vooruit
De dag afsluiten – samen terugblikken naar de sessies
die zijn afgelopen en vooruit kijken naar toekomst

28. Terugblikken en vooruit kijken
 Blik terug:
 Hoe verliep het met leren op de
werkplek/zelfstudie?
 Hoe verliep deze laatste face-to-face sessie?
 Kijk vooruit:
 Hoe ga je afronden eindopdracht aanpakken?
 Welke verwachtingen heb je over de rol van
onderwijs ontwerpen in je dagelijkse
onderwijspraktijk na afronden van module ?

29. Succes met afronden!