Impulsvortrag zum Thema "E-Assessment - Prüfungsprozesse elektronisch unterstützen" an der HS Osnabrück   Die Möglichkeiten, Prüfungen im Rahmen der Hochschullehre elektronisch zu unterstützen, sind vielfältig.  Ob diagnostische Assessments vor oder während einer Veranstaltung, formative Assessments zur begleitenden Lernstandermittlung oder summative Assessments zur Überprüfung des Lernerfolges nach Abschluss einer Lehrveranstaltung, digitale Medien können hierbei eine hilfreiche Unterstützung bieten.  In der Veranstaltung „Lehrende lernen voneinander“ berichten wir über bisherige Erfahrungen und wollen die Einsatzmöglichkeiten an der HSOS diskutieren.  Hinweis zur Vorbereitung: http://ep.elan-ev.de/wiki/E-Assessment

1. Prüfungsprozesse elektronisch unterstützen
Prof. Dr. Karsten Morisse

2. § Definition und allgemeine Überlegungen
§ Prüfungsvielfalt - Prüfungsvarianten
§ Anwendung / Nutzung in HSOS
2(c) KM: E-Assessments

3. Allgemeine Überlegungen
(c) KM: E-Assessments
4

4. (c) KM: E-Assessments 5
„Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitsschritten zur
Erstellung, Präsentation, Durchführung und der Auswertung von Leistungsnachweisen.“
(nach Ruedel, 2010)
„e-Assessment is the end-to-end electronic assessment processes where ICT is used for the
presentation of assessment activity, and the recording of responses.This includes the end-to-
end assessment process from the perspective of learners, tutors, learning establishments,
awarding bodies and regulators, and the general public.“
(nach JISC – Joint Information Systems Committee, 2007)

5. 7
LehrveranstaltungStudien
beratung
Diagnos-
tische
Assessments
Formative
Assessments
Summative
Assessments
Qualitäts-
sicherung
Beratend
• Zeitpunkt:Vor dem Studium
• Zweck: Orientierung,
Studienberatung
• Entscheidung: Studienwahl
-empfehlung
Diagnostisch
• Zeitpunkt:Vor dem Lernen
• Zweck: Einstufung, Zulassung
• Entscheidung: Lehrplanung,
Kurswahl
Summativ
• Zeitpunkt: Nach dem Lernen
• Zweck: Lernergebnis
beurteilen
• Entscheidung: Bewertung /
Benotung
Qualitätssichernd
• Zeitpunkt: Nach der Lehre
• Zweck:Verbesserung der Lehre
• Entscheidung: Bewertung Lehre,
Anpassung an Vorschläge
Formativ
• Zeitpunkt: Beim Lernen
• Zweck: Lernergebnis reflektieren
• Entscheidung: Lehre
steuern/anpassen
(c) KM: E-Assessments

6. (c) KM: E-Assessments 8
Modul / Lehrveranstaltung
diagnostisch
Selektion
Eingangstest
formativ
Lernbegleitend
Test / Übungen
summativ
Bewertung
Prüfung
Lehrveranstaltung
Studien
beratung
Diagnostische
Assessments
Formative
Assessments
Summative
Assessments
Qulitäts-
sicherung

7. § (Teil-)automatisierte Auswertung → Effizientes Feedback
§ Distribution: Papier & Kopie vs. Digitale Bereitstellung
§ Erweiterte Aufgabenformate
§ Multimediale Elemente (Audio,Video, Bild,...) → Höhere Praxisnähe
§ Adaptive Assessments (Schwierigkeitsgrade oder Verlauf)
§ Motivationssteigerung durch unmittelbares Feedback
§ Freitexte: Bessere Lesbarkeit
§ Wiederverwendbarkeit / Fragenpools
§ Perspektivisch: bessere Selbstlernroutine der Studierenden
9(c) KM: E-Assessments

8. Dimensionen
(c) KM: E-Assessments 10
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen
Quelle: (Michel, 2015)

9. (c) KM: E-Assessments 11
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen
Modul / Lehrveranstaltung
diagnostisch
Selektion
Eingangstest
formativ
Lernbegleitend
Test / Übungen
summativ
Bewertung
Prüfung

10. § Welches Ziel wird verfolgt?
§ Lernleistung messen
§ Methoden-, Sach-, Sozialkompetenz
§ Selbsteinschätzung
§ Motivation und Aktivierung
§ Kostenreduktion
§ Entlastung Lehrpersonal,
§ Verbesserung Lehre,
§ ...
(c) KM: E-Assessments 12
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen

11. § Was wird geprüft?
§ Stimmigkeit von
Lernzielen → Auswahl Prüfungsformat → relevante
Fragetypen
(c) KM: E-Assessments 13
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen
Deklaratives Wissen
(Faktenwissen / Grundlagen)
Prozedurales Wissen
(Kompetenz)
Fertigkeiten
Praxis-
einsatz
PraxisTheorie
(Professionalisierungsebenen nach Schmees/Horn, 2014)
Quelle: (Vogt/Schneider, 2010)

12. § Wie wird geprüft?
(c) KM: E-Assessments 16
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen
Standardisiert
• Alle Prüfling bekommen
identische Prüfungsvariante
Spielerisch
• Motivationsanreize (zB
Badges)
Adaptiv
• Anpassung an
Antwortverhalten
Randomisiert
• Zufällige Reihenfolge
Individuell
• Jeder Prüfling bekommt
eigene Prüfungsvariante

13. § Digitale Infrastruktur für Prüfung?
§ Prüfungsräume
§ PC-Pool
§ Mobile Geräte
§ Softwaresysteme (LMS, Prüfungssoftware)
§ Zentral vs. Dezentral
§ Hochschulinterne vs. Hochschulexterne Ressourcen
§ ....
(c) KM: E-Assessments 22
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen

14. § Prüfungsordnung
§ Durchführung
§ Chancengleichheit
§ Zuordnung der Prüfungsleistung (Ausdruck, Signatur)
§ Überwachung/Aufsicht (Video,Tracking)
§ Störungen (Manipulation,Technik)
§ Bewertung (Automatisiert)
§ Archivierung und Speicherung
§ Klausureinsicht
§ Aufbewahrung
(c) KM: E-Assessments 24
Dimensionen
Phase
Ziel
Art
Arrange-
ment
ID-
Kontrolle
Dokumen-
tation
Prüfer
Kontext
Aufwand
Infra-
struktur
Unterstütz-
ung
Rechtlicher
Rahmen

15. (c) KM: E-Assessments
25

16. 26
Leistungsnachweise
Schriftliche
Prüfungen
Mündliche
Prüfungen
Portfolios
Peer-
Assessment
Lern-
tagebuch
Mündliche
Mitarbeit
Gruppen-
Prüfung
Wissenschaft
spraktische
Tätigkeiten
Referate /
Poster
Seminar-
arbeiten
Optical
Mark
Recogn
ition
Web-Blog
E-Klausur
Adaptives Testing
E-Portfolios
Peer Assessment
Online-Forum / Classroom Response
Wikis
Simulationen
Digital Storytelling
Electronic Submission
KLAUS
In Anlehnung an (Ruedel, 2010)
Elektronische Prüfungsform
(c) KM: E-Assessments

17. (c) KM: E-Assessments
28

18. § Prototypische Umsetzungen an HSOS
§ Zahlreiche Software-Systeme
§ Zahlreiche Aufgabentypen (zB Zuordnung, Anordnung, Einfachauswahl,
Mehrfachauswahl, Likert-Skala, Hot-Spot, Freitext, Lückentext, ...)
§ Prüfungscenter vs. Mobile Endgeräte
§ Prüfungscenter: z.B. Uni Bremen, Uni Göttingen
§ Mobile System (Dienstleistung): zB MH Hannover
§ Rechtssichere Durchführung
29
Leistungsnachweise
Schriftliche
Prüfungen
Mündliche
Prüfungen
Portfolios
Peer-
Assessment
Lern-
tagebuch
Mündliche
Mitarbeit
Gruppen-
Prüfung
Wissenschaftspra
ktische
Tätigkeiten
Referate /
Poster
Seminar-
arbeiten
Optical
Mark
Recogni
tion
Web-Blog
E-Klausur
Adaptives Testing
E-Portfolios
Peer Assessment
Online-Forum / Classroom Response
Wikis
Simulationen
Digital Storytelling
Electronic Submission
KLAUS
(c) KM: E-Assessments

19. (c) KM: E-Assessments 30
Leistungsnachweise
Schriftliche
Prüfungen
Mündliche
Prüfungen
Portfolios
Peer-
Assessment
Lern-
tagebuch
Mündliche
Mitarbeit
Gruppen-
Prüfung
Wissenschaftspra
ktische
Tätigkeiten
Referate /
Poster
Seminar-
arbeiten
Optical
Mark
Recogni
tion
Web-Blog
E-Klausur
Adaptives Testing
E-Portfolios
Peer Assessment
Online-Forum / Classroom Response
Wikis
Simulationen
Digital Storytelling
Electronic Submission
KLAUS
Prozesstitel: Klausuren-Klaus
Prozessverantwortlich: eLCC []KeyUser KLAUS] Entwurf vom 07.12.2016 [J.H./ D.K.]
Lehrende/reLCCAnwenderIn
Semesterbeginn
SoSe xxxx WiSe xxxx
Termin / Fristen???
XXX Wochen vor Prüfungszeitraum SoSe xxx WiSe xxx
Prüfungsphase
Bedarf zur elektronischen
Klausurenunterstüzung
Prüfungsform
festlegen
Prüfungsfragen
erstellen,
Klausur
strukturieren
Klausur-
Anforderungen
abstimmen
ggf. Kontakt zu
eLLC
aufnehmen
Weiteres
Vorgehen
abstimmen
KLAUS-
Einsatz sinnvoll?
Klausur w ird ohne
Softw are durchgeführt
Ja
KLAUS-Bedienung
bekannt?
System-
vorbereitung
anleiten
Nein
Klausur
schreiben
lassen
Noten online
über das
OSCA-Portal
eingeben
Klausurbew ertungen
sind im System
Nein
System für Klausur
vorbereiten,
Klausur in KLAUS
erstellen
Ja Klausur prüfen
und Anzahl
festlegen
Klausuren
drucken
Klausurergebnisse
einscannen und
Ausw ertung
vorbereiten
Bew ertungs-
ergebnisse
kontrollieren
Freitextfragen
ggf. manuel
korrigieren

20. (c) KM: E-Assessments 31

21. (c) KM: E-Assessments 32

22. § Aktivierung Studierende (eFeedback)
§ Diagnostisch, Formativ, Summativ
§ Peer-Feedback
§ Feedback im Hörsaal (anonymisiert)
§ Klausurmodus
§ Byod vs. Dedizierte Hardware
§ Weitere Hinweise:
http://ep.elan-ev.de/wiki/Audience_Response
(c) KM: E-Assessments 33
Leistungsnachweise
Schriftliche
Prüfungen
Mündliche
Prüfungen
Portfolios
Peer-
Assessment
Lern-
tagebuch
Mündliche
Mitarbeit
Gruppen-
Prüfung
Wissenschaftspra
ktische
Tätigkeiten
Referate /
Poster
Seminar-
arbeiten
Optical
Mark
Recogni
tion
Web-Blog
E-Klausur
Adaptives Testing
E-Portfolios
Peer Assessment
Online-Forum / Classroom Response
Wikis
Simulationen
Digital Storytelling
Electronic Submission
KLAUS

23. § Clicker-Systeme
(c) KM: E-Assessments 34

24. 361925
(c) KM: E-Assessments 40

25. (c) KM: E-Assessments 41

26. 42
Leistungsnachweise
Schriftliche
Prüfungen
Mündliche
Prüfungen
Portfolios
Peer-
Assessment
Lern-
tagebuch
Mündliche
Mitarbeit
Gruppen-
Prüfung
Wissenschaft
spraktische
Tätigkeiten
Referate /
Poster
Seminar-
arbeiten
Optical
Mark
Recogn
ition
Web-Blog
E-Klausur
Adaptives Testing
E-Portfolios
Peer Assessment
Online-Forum / Classroom Response
Wikis
Simulationen
Digital Storytelling
Electronic Submission
KLAUS
In Anlehnung an (Ruedel, 2010)
Elektronische Prüfungsform
(c) KM: E-Assessments

27. § JISC: Effective Practice with e-Assessment, 2007.(verfügbar unter
http://www.jisc.ac.uk/media/documents/themes/elearning/effpraceassess.
pdf) [Zugriff: 28.12.2016]
§ Michel, L.P.: Digitales Prüfen und Bewerten im Hochschulbereich, Studie im
Auftrag der Themengruppe "Innovationen in Lern- und Prüfungsszenarien",
Hochschulforum Digitalisierung, Berlin, März 2015
§ Ruedel, C. :Was ist E-Assessment? In: Ruedel, C., Mandel, S. (Hrsg.), E-
Assessment – Einsatzszenarien und Erfahrungen an Hochschulen,
Waxmann-Verlag, Münster, 2010.
§ Schmees, M., Horn, J.: E-Assessments an Hochschulen,Waxmann-Verlag
2014
§ Vogt, M., Schneider, S.: E-Klausuren an Hochschulen, Koordinationsstelle
Multimedia, Justus-Liebig-Universität Gießen, 2009. (verfügbar unter
http://geb.uni-giessen.de/geb/volltexte/2009/6890/pdf/VogtMichael-2009-
02-20.pdf) [Zugriff: 28.12.2016]
43(c) KM: E-Assessments

28. 44
Prof. Dr. Karsten Morisse
Fon: +49.541.969 3615
Mail: k.morisse@hs-osnabrueck.de
Web: https://www.hs-osnabrueck.de/de/prof-dr-karsten-morisse/
@kamo_de
https://www.youtube.com/karstenmorisse
(c) KM: E-Assessments
Kommentare? Anmerkungen? Fragen?
Kopie der Folien: http://www.slideshare.net/karstenmorisse/201701impulseassessment
oder http://bit.ly/2hvZ3iU