Sessieronde 4 Zaal: Diamond ll Titel: Kwaliteit van open leermaterialen Spreker: Robert Schuwer (Open Universiteit)

1. Kwaliteit van OER
ROBERT SCHUWER – ONDERWIJSDAGEN – 12-11-2013

2. Enkele vragen over kwaliteit van open leermaterialen
•Hoe kan ik kwalitatief hoogwaardige open
leermaterialen vinden?
•Waaraan kan ik kwaliteit van open leermaterialen
herkennen?
•Met welke kwaliteitscriteria moet ik rekening houden
als ik open leermaterialen wil publiceren?
2

3. Agenda
1. Onderzoek
2. Wat is kwaliteit?
3. Kwaliteit van leermateriaal
4. Model voor kwaliteit
5. Onderzoek: kwaliteit van OER in Nederland
3

4. ONDERZOEK
CC-BY Hester Jelgerhuis
4

5. Onderzoeksvragen
1. Wat is kwaliteit en wat zijn relevante kwaliteitscriteria?
2. Hoe kan de kwaliteit van open leermaterialen zichtbaar
worden gemaakt?
3. Hoe kun je goed gewaardeerd leermateriaal zichtbaar
maken?
4. Hoe kunnen communities van gebruikers hier een rol in
spelen?
5. Is er behoefte aan (al dan niet bestaande)
kwaliteitskeurmerken?
5

6. Aanpak
6

7. WAT IS KWALITEIT?
CC-BY Hester Jelgerhuis
7

8. Wat is kwaliteit?
• Geschiktheid voor gebruik (Juran)
vs
• Voldoen aan de eisen (Crosby)
8

9. Wat is kwaliteit?
Eisen voor gebruik
Voldoet aan eisen:
feedback
Voldoet aan eisen
Hoeveel leren
de studenten bij
gebruik van het
materiaal?
9

10. Kwaliteit van OER: overzicht
E-learning
Leermateriaal
Creatie
Digitaal leermateriaal
Gebruik
OER
Kwaliteitszorg
10

11. Kwaliteit van e-learning
•Strategisch management
•Curriculum ontwerp
•Cursusontwerp (met o.a. kwaliteitscriteria voor
leermateriaal)
•Uitleveren van een cursus
•Ondersteuning van de staf
•Ondersteuning van de lerende
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.
11

12. Kwaliteit OER
•Formaat
•Lokalisatie
•Vindbaarheid: metadata, tagging
•Technologische barrières
•Interoperabiliteit
•Toegankelijkheid
•Digitale duurzaamheid
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.
12

13. Kwaliteit: criteria
•Expliciet
•Impliciet
•Karakteristiek
Sanz-Rodriguez, J. Dodero, J.M., Sanchez-Alonso, S. (2010). Ranking Learning Objects through Integration of Different Quality Indicators.
IEEE Transactions on Learning Technologies, Vol. 3 (4). 358-363
13

14. Vraagstukken
Metadata
Vinden
Impliciet
Expliciet
Bepalen kwaliteit
Karakteristiek
Context
14

15. Impliciet en karakteristiek
•Gebruikerswaardering
•Keurmerken
•Reviews
•Aantal downloads
•Context van gebruik
Vertrouwen
Community
15

16. Herbruikbaarheid in andere contexten
•Mate van context-specificiteit (bijvoorbeeld in de
gebruikte voorbeelden)
•Gebruikte didactiek
•Optisch en cognitief ontwerp
•Historische en politieke perspectieven en religie
Richter, T. & McPherson M. (2012). Open Educational Resources: Education for the World? Distance Education, 33(2), pp. 201-219.
16

17. Kwaliteitsmodel
•Middel voor vaststellen kwaliteit leermateriaal
•Elementen:
-Criteria
-Normering
17

18. Criteria voor deze studie
•Genoemd in meerderheid van de bekeken literatuur
•Survey Herkenbaar en zo eenvoudig mogelijk zijn.
•In minimum kwaliteitsmodel van Wikiwijs
18

19. Intermezzo: minimum kwaliteitsmodel
•Doel: snelle beoordeling mogelijk
•Twee categorieën: Must-have en Nice-to-have
•Operationalisatie
•Criteria niet contextgebonden
•Criteria waar meeste problemen over gemeld
worden
19

20. Minimum kwaliteitsmodel: Must-have
20

21. Minimum kwaliteitsmodel: Nice-to-have
21

22. Kwaliteitsmodel voor deze studie
•Vakinhoudelijke kwaliteit
•Didactische kwaliteit
•De inhoud is niet gedateerd
•Aanwezigheid van bronvermeldingen
in het leermateriaal
Leermateriaal
•De voertaal van het leermateriaal
•Het materiaal bevat geen taalfouten
•Mate waarin het leermateriaal geschikt
is voor gebruikers met een handicap
Digitaal leermateriaal
•Look & feel (inclusief navigatie)
•Het leermateriaal kan in meerdere
•Interactiviteit
omgevingen en op meerdere dragers
•Eenvoudige vindbaarheid van het
worden gebruikt
leermateriaal
•Waarschijnlijkheid dat toegang tot het
•De technologische eisen, die voor
leermateriaal voor langere tijd
gebruik van het leermateriaal nodig
behouden blijft
zijn, zijn duidelijk
•Het materiaal bevat geen dode links
Open leermateriaal
•Kwaliteit van de beschrijvende gegevens
•Gepubliceerd onder een open licentie die aanpasbaarheid toestaat
•Materiaal is voorzien van gebruikersbeoordelingen
22

23. SURVEY EN RESULTATEN
CC-BY Hester Jelgerhuis
23

24. Survey
•Voorjaar 2013
•Doel: inzicht krijgen in stand van zaken kwaliteit
OER in hoger onderwijs in Nederland
•Online afgenomen
•Werving via SURFspace, SIG OER, sociale media
24

25. Response
• 70 responses
Docentervaring (jaar)
Geen
<5
jaar
HBO
6
4
Universiteit
1
Instelling
Anders
Niet
aangegeven
5 - < 10 10 - < 15 15 - < 20 >= 20
jaar
jaar
jaar
jaar
5
1
7
4
2
1
Niet
aang.
1
7
1
30
25

26. Frequentie van zoeken
0%
7%
27%
33%
Wekelijks
33%
Maandelijks
Eén of enkele malen per jaar
Gemiddeld minder dan 1x per
jaar
Nooit
26

27. Wijze van zoeken
60
50
40
30
20
10
0
27
N=58

28. Belang van metadata
4.50
4.22
4.20
3.85
4.00
3.76
3.64
3.56
3.50
2.96
3.00
2.78
2.50
2.00
1.50
1.00
0.50
0.00
Omschrijving Sleutelwoorden
Vakgebied
Titel
Soort
leermateriaal
(video, audio,...)
Open j/n
Vereiste
voorkennis
Uitgever
28
N=55

29. Vertrouwen: 3 meest waardevolle
40
35
30
25
20
15
10
5
0
29
N=55

30. Type leermateriaal
45
40
35
30
25
20
15
10
5
0
30
N=54

31. Belang kwaliteitscriteria
5.00
4.52
4.50
4.00
3.50
3.94 3.88 3.87 3.87
3.79 3.79 3.74 3.73
3.57 3.54 3.54
3.40 3.28
3.15 3.02
3.00
2.67
2.50
2.00
1.50
1.00
0.50
0.00
31
N=47

32. Tevredenheid
3.76
4.00
3.50
3.00
2.50
2.27 2.42
2.63 2.68 2.74 2.74
3.26
3.11 3.13 3.21
2.95 2.95 2.97 3.05
2.89 2.89
2.00
1.50
1.00
0.50
0.00
32
N=37

33. Belang vs problemen
!!
!
!
!
!
!
!
!
!!
!
33

34. Conclusies
• Kwaliteitscriteria in 3 categorieën
• Zichtbaarheid kwaliteit open leermateriaal
- Adequate beschrijving
- Beschrijving van de context van gebruik  Communities
• Waardering
- Communities
- Indirect: naam en faam van instelling
-  Instellingen van naam en faam waarderen materiaal (keurmerk)
- Groot ervaren probleem: afwezigheid van gebruikersoordelen
• Belangrijkste problemen: Open licentie en aanwezigheid bronvermelding
• Inhoudelijke kwaliteit: belangrijkste en weinig problemen
34

35. Tenslotte
Ceterum censeo materia facta tributo oblatum esse gratuito
http://www.flickr.com/photos/68751915@N05/ CC BY-SA

36. Dank u voor uw aandacht
36

37. Robert Schuwer
robert.schuwer@ou.nl
https://twitter.com/fagottissimo
Bassoonvenlo
http://nl.linkedin.com/in/robertschuwer/
W
robertschuwer.nl
Robert Schuwer
06 1446 9300
beschikbaar onder de licentie Creative Commons Naamsvermelding
3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl