1. Gemeenschappelijke infrastructuur
digitaal toetsen Hoger Onderwijs
Dé Onderwijsdagen 14 november 2012
Esther Arrindell en Chris Tils

2. Programma Toetsing en Toetsgestuurd Leren
• Plaatje computertentamenzaal 38
Tender- Instellingen
projecten
Expertise 25
ontwik- projecten
keling
Technische
infra-
structuur € 8,9
Miljoen

4. De vraag van vandaag!
Hoe kunnen we een gemeenschappelijke
infrastructuur voor digitaal toetsen ontwikkelen
voor het hoger onderwijs?
… waarmee instellingen samen kunnen werken
aan maken en afnemen van toetsen?
… maar waaraan ze individueel ook wat hebben?

5. De gemeenschappelijke infra van nu…
Instelling 1 Instelling 2
QMP Test Vision
Instelling 3 Instelling 4
QMP en zelfbouw Maple TA

6. Wat heb je (samen) nodig?
• Itembank, om items in op te slaan
• Auteursomgeving, om items te maken en te
gebruiken
• Toetsafspeler, om de toets af te spelen
• Analysetool, om feedback over de (kwaliteit
van) items en toets te genereren
• Toegang en beveiliging

7. Gemeenschappelijke infra TTL:
waar te beginnen?
“De projecten uit pijler 1 en 2 leveren … input
voor de specificaties voor de technische
infrastructuur”
Programmaplan Toetsing en toetsgestuurd leren
Subsidieaanvraag ICT impuls, maart 2010

8. ONBETWIST

9. ONBETWIST
• ONBETWIST maakt een itembank met
wiskunde-opgaven
• Samen met 5 partnerinstellingen
• De instellingen hebben verschillende
toetsapplicaties,
• Waardoor opgaven ‘overgetypt’ moeten
worden, ze zijn niet uitwisselbaar tussen de
applicaties…

10. Toetsbank bedrijfsadministratie en
bedrijfseconomie (BaBe)

11. Toetsbank bedrijfsadministratie en
bedrijfseconomie (BaBe)
• Babe maakt een itembank met opgaven voor
studenten in het economische domein in het
HBO, mogelijk ook bruikbaar in MBO en
universiteiten
• Samen met 6 partnerinstellingen
• Er moet nog worden voorzien in een organisatie
of instelling die de itembank straks gaat
hosten, of een organisatie die de itembank
bestuurt, of zorgt voor de exploitatie…

12. Voortgangstoetsing in doorstroming
MBO-HBO
• Ontwikkelt (formatieve) voortgangstoetsen
Nederlands voor doorstroming van MBO
onderwijsassistent naar HBO leraar
basisonderwijs
• Samen met 3 partners
• Gaat om instellingen waarvoor het opbouwen
van een toetsinfrastructuur om gezamenlijk te
toetsen een zware belasting betekent…

14. Leerstation Zorg
• Leerstation Zorg (LSZ) is een
samenwerkingsverband van 17 HBO-
instellingen
• LSZ voert een aantal SURF-projecten
uit, bijvoorbeeld toetsen met de BoKS, bv het
invoeren van beschikbare toetsen HBO-V
• LSZ zou graag een stap verder zetten met
summatief (high stake) toetsen en dat stelt
andere eisen aan de beveiliging…

15. V-Quest: toetsing in beeld (3D)

16. V-Quest: toetsing in beeld (3D)
• Radiologen willen steeds meer toetsen met 3D
beelden (multidimensionaal), door
ontwikkelingen in het vak
• Het project richt zich onder andere op
psychometrische kwaliteit en validiteit van de
opgaven in 3D
• Kunnen we tegelijkertijd dezelfde toets
afnemen in verschillende instellingen….

17. Visie op gemeenschappelijke infra

18. Besluit (mei 2012)
1. Creëer een faciliteit om toetsbanken van de projecten
uit pijler 1 technisch en organisatorisch te hosten bij
SURF.
2. Maak een gemeenschappelijke auteursomgeving
waarvan projecten uit pijler 1 gebruik kunnen maken
3. Start een aantal experimenten met een
hogeronderwijscloud toetsen, gericht op de projecten
die nu worstelen met de uitwisselbaarheid van
toetsitems.
4. Zorg voor een onderliggende businesscase en
bijbehorend businessmodel

19. 3 Hosting Itembanken &
Experiment Cloud Afname
Experiment Cloud Afname
2
Leerstation
Open standaard QTI 2.1
Itembank Itembank Radio-
Zorg Aansluiting
BA-BE ONBE- diagnostiek
Summatief MBO - HBO
QTI 2.1 TWIST VQuest
Toetsen
QTI 2.1 Toets- Toets- Toets- Tools
afname afname afname afname Minitender
applicatie applicatie applicatie applicatie Digitaal Toetsen
1
Instelling 1 Instelling 2 Instelling 3 Instelling n

20. Haalbaarheidsstudies (tm mrt 2013)
1. Levering van toetssoftware via SURFmarket
(toetssoftware, antiplagiaat, etc)
2. Experimenten met toetsafname in de
cloud, via SURFconext
3. Pilots (Proof of concept) van werkende
itembanken, gecombineerd met een
auteursomgeving op zowel techniek als
organisatie

21. Spoor 1
Tools en software via SURFmarket
Resultaat
• Instellingen kunnen hun toets(gerelateerde)
software afnemen via SURFmarket via
federatieve inlog (SURFconext)
Maart 2013 Go no Go, realisatie vanaf nu

22. Spoor 2
3 Experimenten (LSZ, MBO-HBO, Radiologie)
Resultaat
• Toetsafname (summatief) via SURFconext
• Groepen van ca 40 studenten
• Bij 3-5 instellingen bij voorkeur tegelijkertijd
• Onderzoek naar beveiliging (o.a. hacker)
• Aandacht voor schaalbaarheid
Januari 2013 Go no Go, realisatie najaar 2013

23. Spoor 3
Pilots gehoste itembank (BABE, ONBETWIST)
• Deelresultaten
– Ingerichte Itembank met gemetadateerde items
– werkende auteursomgeving die is gebruikt voor
bv. 100 nieuwe items
– Organisatiemodel(len) voor besturing itembank
– Exploitatiemodel voor exploitatie itembank
– Eén afgenomen toets (via SURFconext)
Maart 2013 Go no Go, realisatie in jaar daarna

24. Hosting Itembanken &
Experiment Cloud Afname
Experiment Cloud Afname
Leerstation
Open standaard QTI 2.1
Itembank Itembank Radio-
Zorg Aansluiting
BA-BE ONBE- diagnostiek
Summatief MBO - HBO
QTI 2.1 TWIST VQuest
Toetsen
QTI 2.1 Toets- Toets- Toets- Tools
afname afname afname afname Minitender
applicatie applicatie applicatie applicatie Digitaal Toetsen
Instelling 1 Instelling 2 Instelling 3 Instelling n

25. Wat is er straks klaar?
• 10-20 instellingen hebben ervaring opgedaan met
gezamenlijk maken en afnemen van toetsen
• Voor 2 domeinen is een pilot gedaan met het
opbouwen van een itembank en
auteursomgeving, inclusief bijbehorende pilot
van organisatie en exploitatie
• Instellingen kunnen via SURFconext / market
toets(gerelateerde) software gebruiken als
dienst, en bij voorkeur betalen op basis van pay
per use(r)

26. Wat komt daarna?
• Vragen en discussie!

27. Contactgegevens
Chris Tils
Projectmanager gemeenschappelijke infra Toetsing
en Toetsgestuurd Leren
tils@surf.nl & @Chris_Tils
Esther Arrindell
Programmamanager Toetsing en Toetsgestuurd
Leren
arrindell@surf.nl & @soulesther