4. Alltag an der Universität
Aktuelle Prüfungssituation
an der Universität Zürich
• vermehrtes Prüfungs-
aufkommen durch
die Bologna Reform
• Prüfungsdurchführung
und -auswertung ist eine
grosse Personalbelastung
• Problematik: Massenfächer
(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)
Universitärer Dreikampf: Prüfung, Hausarbeit, Referat
IBH: eLearning Community Treffen 03.09.2009 / 4
5. Probleme mit
konventionellen Prüfungen
Schriftlich:
fragliche Validität und Reliabilität,
zeitaufwendige Korrektur
Problem: Lesbarkeit der Handschriften
Mündlich:
fragliche Validität,Reliabilität
und Fairness,
jede/r Prüfling hat andere Bedingungen,
zeitaufwendige Durchführung
IBH: eLearning Community Treffen 03.09.2009 / 5
8. Was ist E-Assessment?
Definition
Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschritten
zur Erstellung, Präsentation, Durchführung und der Auswertung von
Leistungsnachweisen.
oder
Der Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit
„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,
Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,
Prüflinge) der Computer verwendet.
kurz gesagt: ...
E-Assessment = Erstellung/Durchführung/Auswertung
von Assessment mit Hilfe von Computer/Netzwerk
IBH: eLearning Community Treffen 03.09.2009 / 8
9. E-Assessment als Prozess
345'',''6,%(-$7'-.")/,''
!"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,''
-.")/,'' .")/,''
10. E-Assessment als Prozess
345'',''6,%(-$7'-.")/,''
!"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,''
-.")/,'' .")/,''
12. E-Assessment als Prozess
345'',''6,%(-$7'-.")/,''
!"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,''
-.")/,'' .")/,''
13. E-Assessment:
Technische Durchführung (Teil I)
Bull, J. & McKenna, C. (2004): Overview over CAA Technologies
Software which has the capability
to run on a stand-alone computer For example: a test which is
over a network/intranet or Stand-alone posted to students on a CD-
through the Internet and to ROM. Students take the test
combine the use of all three and upon completion the
technologies if appropriate. software accesses the Internet
to upload files to a database.
Closed Internet
network/
Intranet
For example: a test For example: an assessment
completely downloaded which is delivered question by
from a server onto a question from a closed network
computer, which is offline server. When all results have
during the test-taking and been stored, they are distributed
reconnects to the network to tutors using the Internet.
to upload final results.
Bull & McKenna (2004) 03.09.2009 / 13
IBH: eLearning Community Treffen
14. E-Assessment:
Technische Durchführung (Teil 2)
Warburton, B. & Conole, G. (2005): Different Types of CAA
CAA
CBA
OMR
Online Assessment stand-
alone
Port-
Networked folios
IBH: eLearning Community Treffen Warburton, B. & Conole, G. (2005) 03.09.2009 / 14
15. E-Assessment:
Technische Durchführung (Teil 3)
Bloh, E. (2006): Differenzierung von E- / Online-Assessment
Technologiebasiertes Assessment
E-Assessment
Online Assessment
Internet basiertes
Assessment
Computerbasiertes
Web basiertes Assessment
Assessment
Bloh (2006) 03.09.2009 / 15
IBH: eLearning Community Treffen
16. E-Assessment als Prozess
345'',''6,%(-$7'-.")/,''
!"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,''
-.")/,'' .")/,''
17. E-Assessment im Lernprozess
Selektion Lernlenkung Bewertung
diagnostisch formativ summativ
Lehrveranstaltung (en)
Modul
Eingangs-
Prüfung
test
In Anlehnung an Crisp (2007)
IBH: eLearning Community Treffen 03.09.2009 / 17
18. E-Assessment als Prozess
345'',''6,%(-$7'-.")/,''
!"#$%&'$()"&'*+," 2,*+%&'*+,"- 0,"%1")/,''
-.")/,'' .")/,''
E-Assessment als Leistungsnachweis
=Produkt
19. Prüfungsformen
LEISTUNGSNACHWEISE
Referate Seminar-
Protokolle arbeiten
Schriftliche
Poster-
Prüfungen
Präsentationen Electronic
Digital Submission offene oder
Storytelling geschlossene
Gruppen- E-Klausur Fragen
prüfungen Wikis E-Prüfungen OMR
Online
Diskussions-
forum
E-ASSESSMENTS Adaptives
Testing Mündliche
Prüfungen
Online E-Port-
Mündliche
Voting Peer- folios
Mitarbeit
System Assess-
Weblog Simu- Port-
lationen ment folios
Studien- Peer-
Wissenschafts-
tagebücher Assess-
praktische
Tätigkeiten ment
- gleich
- gibt Ähnlichkeiten
20. Teil 2:
Problemfelder
IBH: eLearning Community Treffen 03.09.2009 / 20
21. Was wird für E-Assessment
benötigt?
Universität Prüfungs-
ordnungen
Computer Räume
Dozierende
Lehr- Prüfungs-
E-Assessment
Prüfungsformen
veranstaltung fragen
Software Hardware
Studierende
Netzwerk
Sicherheits-
Verwaltung
aspekte
22. Rechtliche Grundlagen
"In der jetzigen Experimentier! und
Einführungsphase
herrscht keineswegs Rechtssicherheit. An den
bundesdeutschen Hochschulen verfährt man mehr
nach dem Motto, offensichtliche Punkte
nach den besten Kenntnissen zu klären
und etwaige Klagen abzuwarten."
Karsten Wolf (2007)
IBH: eLearning Community Treffen 03.09.2009 / 22
25. Rekurse
Andere mögliche Anfechtungsgründe
• Gleichbehandlung der Studierenden in den Prüfungen
• Raum, Umgebung, Zeit
• Gleichwertigkeit der einzelnen Prüfungen
• Prüfungssystem
• Vertraute Bedienung
• Start, Ablauf, Ende
• Einwandfreie technische Funktionen
• Einwandfreie organisatorische Funktionen
IBH: eLearning Community Treffen 03.09.2009 / 25
26. Problematik:
Unveränderbarkeit der Prüfung
Mögliche Lösungen
• Sicherung des Endprodukts
• Speicherung als pdf
• Digitale Signatur
• Sicherung des Prozess
• Logfile mit Aktionen und Eingaben
IBH: eLearning Community Treffen 03.09.2009 / 26
27. Problematik:
Nachvollziehbarkeit der Prüfung
• Prüfungserstellung
• Kein „Zugang“ für Unbefugte
• Prüfungsdurchführung
• Protokollierung der Aktionen und Eingabe (Text und/oder
Bilddateien)
• Prüfungsauswertung
• Nachvollziehbarkeit der Punkteermittlung,
• Möglichkeit zur Vergabe von Sonderpunkten
• Nachkorrektur
• Prüfungseinsicht
IBH: eLearning Community Treffen 03.09.2009 / 27
28. Problematik:
Täuschungsmöglichkeiten
• Abschreiben
• Benutzung eines Fragepools - Individuelle Prüfung
• Aufsicht
• Benutzung keiner weiteren elektronischen Hilfsmittel
• Fernkontrolle
• Aufsicht
• Absichtlicher Absturz ohne Folgen
• Klare Abläufe und Richtlinien
• Nachvollziehbarkeit der Prüfung
in den Logfiles
IBH: eLearning Community Treffen 03.09.2009 / 28
30. Projekt «E-Assessment»
Beschluss der Universitätsleitung vom 4. Oktober 2007
(Auszug Protokoll der Sitzung der Universitätsleitung)
• Die Universitätsleitung stimmt der Variante C (Einführung
eines universitätsweiten E-Assessment Prozesses)
grundsätzlich zu, bringt aber folgenden Kautelen an:
• Die Variante B (Supportzentrum, Medienbruch
Papier/Computer) soll als mögliche Langfristlösung offen
bleiben)
• Das E-Assessment darf keinesfalls als Rechtfertigung für
vermehrte Multiple-Choice-Prüfungen dienen.
IBH: eLearning Community Treffen 03.09.2009 / 30
31. E-Assessment-Projekt:
3 Phasen
Betriebsphase: «Überführen in den Betrieb»
Umsetzungsphase (2-4 Jahre):
• Aus- und Aufbau einer geeigneten IT- und Rauminfrastruktur
• Implementieren und Testen der Erweiterungen bei
strategischen Werkzeuge (OLAT, Modulbuchung usw.)
• Bekanntmachung und Umsetzung der
Dienstleistungskonzepte
Entscheid der Universitätsleitung über weitere Finanzierung
Entscheidungsphase (2-3 Jahre):
• Durchführung von Pilotprojekten
• Ausarbeitung der Spezifikationen für Werkzeuge und Schnittstellen Finanzierung
• Ausarbeitung eines Konzepts für ein E-Assessment-Zentrum 2008 - 2011
• Ausarbeitung Betriebs- und Dienstleistungskonzept
• Kostenschätzung für Umsetzung- und Betriebsphase
Heute:
• OLAT ist als Learning Management System an der UZH etabliert
• Durchführung von einzelnen Pilotprojekten (mit OLAT)
• Keine eLearning Community Infrastruktur (Raum, Hardware, Software, Schnittstellen)
IBH: ausreichende Treffen 03.09.2009 / 31
32. Verschiedene
Durchführungsvarianten
Möglich- Räumlich-
Hardware Finanzen Monitor Netzwerk
keiten keiten
Computer- Computer-
1 bestehend Monitor LAN
räume räume
Desktop Neue
2 Kauf Monitor LAN
Computer Räume
3 Thin Client Kauf Monitor Hörsaal LAN
Laptops /
4 Miete integriert Hörsaal WLAN
Tablet PC
5 Laptops Student integriert Hörsaal LAN
6 Laptops Kauf integriert Hörsaal LAN
IBH: eLearning Community Treffen 03.09.2009 / 32
33. Pilotprojekte @ UZH
Zeitpunk t Lehrveranstaltung Ansprechpartner Anzahl Studierende
SS 2005 Allgemeine Pathologie Prof. Pospischil 70
SS 2006 Mikrobiologie Dr. Hanselmann 80
Allgemeine Pathologie Prof. Pospischil 70
SS 2007 Mikrobiologie Dr. Hanselmann 80
Allgemeine Pathologie Prof. Pospischil 70
FS 2008 Mikrobiologie Dr. Hanselmann 80
Allgemeine Pathologie Prof. Pospischil 70
FS 2009 Weiterbildung Dr. Fritsch 24
Arbeitsrecht
eCF Valuation Peter Lautenschlager 140
ISB Fixed Income Prof. Hens 60
Markets
Allgemeine Pathologie Prof. Pospischil 70
8-%)*+-9,&(,",-.":;<%#,%-=&,-6&(-=,%->)61<(,"-=<"*+#,;:+"(
9<"=,%?-$@,"-%&*+(-/,%("$7-<%(,"'(:(/(-9<"=,%
34. UZH Pilot-Projekte
• E-Assessment in der Veterinärmedizin seit SS 2005
• OLAT als Prüfungssoftware
• Multiple-Choice Fragen
• Benutzung eines Apple Mobile Classroom in einem Hörsaal
• E-Assessment am Institut für schweizerisches Bankwesen
• OLAT als Prüfungssoftware
• MC-Fragen und MS Excel
• Automatische Auswertung der Excel-Dateien mittels Makro-
Programmierung um auch noch Teilpunkte vergeben zu
können
• 130 Laptops wurden gekauft für die Durchführung
IBH: eLearning Community Treffen 03.09.2009 / 34