1. Zielorientiert und fair prüfen
MIB-Talk, 25.11.2013
Christoph Meier

2. Das Team "Hochschulentwicklung" am IWP-HSG
Taiga Brahm
Tobias Jenert
Patrizia Kühner
Marion Lehner
Christoph Meier
Unsere Themen und Arbeitsfelder
1. Studienprogrammentwicklung
– z.B. Weiterentwicklung des Bachelor BWL zum Themenfeld
"nachhaltige Entwicklung"
2. Faculty development
– z.B. Weiterentwicklung des Ausbildungsprogramm Hochschuldidaktik
3. Forschung
– z.B. Entwicklung der Einstellungen von Studierenden zum BWL-Studium
22.11.2013
Dr. Christoph Meier
2

3. Übersicht
Fragen an euch
Grundfragen
- Wozu prüfen?
- Was prüfen?
- Wie prüfen?
- Wie auswerten?
- Wie gut prüfen?
Some food for thought
Fragen von euch
22.11.2013
Dr. Christoph Meier
3

4. Prüfungen im Kontext
"Was nicht geprüft wird, wird auch nicht gelernt."
Didaktisches Design
Mediale
Lernressourcen
Betreuung
22.11.2013
Dr. Christoph Meier
4

5. Wozu prüfen? Formativ vs. summativ
22.11.2013
Dr. Christoph Meier
5

6. Was prüfen? Passung Lernziele & Prüfung
22.11.2013
Dr. Christoph Meier
6

7. Was prüfen? Kompetenzbereiche & Handlungsdimensionen
22.11.2013
Dr. Christoph Meier
7

8. Was prüfen? Lernziele in verschiedenen Detaillierungen
22.11.2013
Dr. Christoph Meier
8

9. Was prüfen? Anspruchsniveau von Lernzielen
Anspruchsniveau
Formulierung
Lernziel
(Beispiele)
"kennt",
"nennt",
"zählt auf"
"erläutert",
"findet Beispiele für",
"subsumiert",
"generalisiert"
"nutzt Modell /
Vorgehen XYZ,
um ein
Problem zu lösen"
"differenziert",
"unterscheidet",
"findet Analogien"
4) Analysieren
"überprüft",
"beurteilt",
"entscheidet"
5) Evaluieren
"plant",
"erstellt",
"entwickelt"
6) Gestalten
22.11.2013
1) Erinnern
2 ) Verstehen
3) Anwenden
nicht
empfohlen
Formulierung Prüfungsaufgabe
(Beispiele)
"nennen Sie …",
"welche … kennen Sie?"
"gruppieren Sie folgende Aussagen nach …"
"was sind die Hauptgründe für …"
"beschreiben Sie anhand von Beispielen …",
"erläutern Sie in eigenen Worten …"
"wenden Sie das Modell / Vorgehen XYZ
"Anwendungs- /
auf den folgenden Fall an: …"
Transfer"beschreiben Sie, wie Sie die folgende
aufgaben"
Problemsituation lösen würden: …"
"unterscheiden Sie …",
"beschreiben Sie den Denkfehler
"Problemim folgenden Abschnitt: …"
bearbeitungs"finden Sie ähnlich gelagerte Fälle für …"
aufgaben"
"beurteilen Sie …",
(neue
"entscheiden und begründen Sie …",
Probleme,
"was sind aus Ihrer Sicht Herausforderungen bei der
folgenden Vorgehensweise: …"
keine
Transfer"planen Sie …",
probleme)
"erstellen Sie einen Plan für …",
"entwickeln Sie ein Grobkonzept für …"
"VerstehensAufgaben"
Dr. Christoph Meier
9

10. Was prüfen? Bewusste Auswahl
Lehrveranstaltung
• Ziel / Thema a
• Ziel / Thema b
Konzentration auf
wichtige Lernziele /
schwerpunktmässig
behandelte Themen &
Inhalte
Auswahl
• Ziel / Thema c
Prüfung
• Aufgabe 1
• Aufgabe 2
• Aufgabe 3
•…
• Ziel / Thema …
22.11.2013
Dr. Christoph Meier
10

11. Wie prüfen? Bearbeitungsformen & Anspruchsniveaus
Freiheitsgrade
für Prüflinge
wenige
Grad der
Objektivierung
hoch
Bearbeitungsform
viele
gering
Auswahlaufgaben
Bearbeitungsaufgaben
(Antwort / Lösung auswählen)
(Antwort / Lösung erstellen)
Richtig/
FalschAufgaben
22.11.2013
Zuordnungsaufgaben
Vervollständigungsaufgaben
Kurzantwortaufgaben
Entscheidung,
ob Aussage
richtig oder
falsch
Üblicherweise
erreichtes
Anspruchsniveau
Mehrfachwahlaufgaben
Auswahl der
richtigen
Aussage aus
mehreren
Antwortmöglichkeiten
Zuordnung
von Aussagen
aus zwei
verschiedenen
Spalten
Teilweise
vorgegebene
Antwort mit
Wort / Zahl /
Satz vervollständigen
Antwort mit
einem Wort /
einer Zahl /
einem Satz
Erinnern,
Verstehen
Erinnern,
Verstehen
Dr. Christoph Meier
eingeschränkte ausführliche
Bearbeitung
Bearbeitung
z.B. Kurzfall,
Ausführung
auf max. 1
Seite
Verstehen,
Anwenden,
Analysieren,
Evaluieren
z.B.
umfangreicher
Fall,
Literaturbericht,
Hausarbeit
Anwenden,
Analysieren,
Evaluieren,
Kreieren
11

12. Wie Prüfen? Anforderungsniveaus und Bearbeitungsformen
Anforderungsniveau
Beispielformulierungen
Problemlösungen / Konzepte
entwickeln
"Entwickeln Sie ein …-Konzept
für einen Praxispartner"
Sachverhalte beurteilen
"Führen Sie eine SWOT-Analyse
zur dargestellten Lösung durch."
Sachverhalte analysieren
Auswahlaufgaben
Bearbeitungsaufgaben
Ausführliche
Fallbearbeitung
"Welche problematischen Annahmen
enthält der vorliegende
Lösungsvorschlag zum Problem …?"
Begriffe / Konzepte / Modelle auf
neuartige Problemstellungen
anwenden
"Lösen Sie die folgende
Aufgabenstellung, indem Sie auf
das Modell … zurück greifen."
Sachverhalte verstehen
"Beschreiben Sie anhand
eines selbst gewählten
Beispiels das …-Modell"
Faktenwissen reproduzieren
Beurteilungsschema
Hausarbeit
oder
Projektarbeit
Bearbeitung
Kurzfall
(max. 1
Seite)
Musterlösung
"Welche … kennen Sie?"
"Wählen Sie die richtige
Antwort aus."
22.11.2013
Dr. Christoph Meier
Richtig/
FalschAufgaben
Multiple
Choice
Aufgaben
Kurzantwort
mit 1 Satz /
mit 1 Zahl
12

13. Wie auswerten? Beurteilung, Bewertung, Bezugsnorm
1) Beurteilung von Aufgabenlösungen
global
analytisch
(1 Beurteilungskriterium: z.B. "richtig / falsch") (mehrere, gewichtete Beurteilungskriterien; "rubrics")
aufgabenübergreifend
(keine Musterlösung möglich; unterschiedliche
Themenstellungen, z.B. bei Hausarbeiten)
aufgabenspezifisch
(Musterlösung möglich)
2) Bewertung von Leistungen
quantitativ
(z.B. Punkte / Note)
qualitativ
(z.B. differenzierte Wortbewertung)
3) Bezugsnormen / Bewertungsmassstab
aufgabenbezogen (absolut)
22.11.2013
gruppenbezogen (sozial)
Dr. Christoph Meier
individuumsbezogen
13

14. Wie auswerten? Musterlösung + Bewertungsschema
Elemente der Lösung / Aussagen
Punkte
Keine Aussage über "Gesundheit" möglich
1
Deckung des Anlagevermögens mit Eigenkapital
½
Je höher das Risiko, desto höher der Eigenfinanzierungsaufwand
½
Deckung der Investitionen durch Cash Flow
½
Leverage-Effekt
½
Imagegründe
½
Insgesamt maximal 2 Punkte für diese Aufgabe
•
•
•
22.11.2013
verschiedene mögliche Antwortelemente sind aufgeführt
Punkteverteilung pro Lösungsaspekt ist definiert
maximale Punktzahl ist definiert
Dr. Christoph Meier
14

15. Wie auswerten? Beurteilungsschema / Rubric
Beurteilungskriterium
Stufe 1
(schwache
Leistung)
Stufe 2
(ungenügende
Leistung)
Stufe 3
(genügende
Leistung)
Stufe 4
(gute Leistung)
Stufe 5
(sehr gute
Leistung)
Problemerfassung
1-2
Kann
Problemfeld nur
vage,
oberflächlich
beschreiben.
Berücksichtigt
Fallkontext nicht
/ kaum.
3-4
Umschreibt
Einzelprobleme
andeutungsweise,
ohne genaue
Eingrenzung.
Berücksichtigt
Fallkontext
teilweise.
5-6
Kann etwa die
Hälfte der
wesentlichen
Probleme
sinngemäss
umschreiben
ohne dabei
präzise
Fachbegriffe zu
verwenden oder
den Fallkontext
detailliert
auszuwerten.
7-8
Beschreibt die
Mehrheit der
wesentlichen
Probleme recht
genau und
ansatzweise mit
passenden
Fachbegriffen.
Berücksichtigt
die wesentlichen
Problemhinweise
aus dem
Fallkontext.
9-10
Beschreibt alle
wesentlichen
Probleme präzise
& unter
Verwendung
passender
Fachbegriffe.
Strukturiert die
Probleme (z.B.
nach
Wichtigkeit,
Dringlichkeit,
etc.).
Berücksichtigt
den Fallkontext
in umfassender
Weise.
Lösungsmöglichkeiten
…
…
…
…
…
Kriterienwahl &
Vergleich
…
…
…
…
…
…
…
…
…
22.11.2013
Entscheid
Dr. Christoph Meier
…
15

16. Wie auswerten? Bezugsnorm / Bewertungsmasstab
1.
aufgabenorientierte Norm
obj. Kriterien
Lerner A Lerner B
Leistung A < Leistung B
2.
Anzahl
gruppenorientierte Norm/ Sozialnorm
Noten
3.
Individualnorm
DB
DA
Lerner A
22.11.2013
Dr. Christoph Meier
Lerner B
DA > DB
16

17. Wie auswerten? Von Punkten zu Noten
Note
6,0
5,5
5,0
4,5
4,0
3,5
3,0
2,5
2,0
1,5
Punkte
1,0
0 4,5
13,5
9
minimal
mögliche
Leistung
22.11.2013
22,5
18
32,5
27,5
41,5
37
50
46
maximal
mögliche
Leistung
Dr. Christoph Meier
17

18. Wie gut prüfen?
Qualitätskriterium
Gültigkeit
(Validität)
Nähere
Bestimmung
Inhaltsgültigkeit
Erläuterung
Die Prüfungsaufgaben überprüfen die Kompetenzen, die die Studierenden
gemäss den für die Lehrveranstaltung definierten Lernzielen erwerben
sollen.
Die Prüfungsaufgaben
a) streuen angemessen über die Sachgebiete / Themen,
b) passen zu den Lernzielen (Komplexität und geforderte Denkprozesse).
Zuverlässigkeit Durchführungs- Die Durchführungsbedingungen sind standardisiert. Es gibt beispielsweise
& Objektivität objektivität
keine Unterschiede bezüglich der verfügbaren Zeit oder der verfügbaren
Hilfestellungen.
AuswertungsDie Auswertung der Prüfung erfolgt anhand von klaren Regeln und
objektivität
Kriterien. Beispielsweise beurteilen unterschiedliche Korrektoren
schriftliche Arbeiten anhand des gleichen Korrekturschemas und legen
dabei gleich strenge Auslegungen an.
Berücksichtigung Alle Studierenden erhalten zum Beispiel die gleichen, geeigneten Hinweise
Chancengerechtigkeit
von Lehr-/
zur Prüfungsvorbereitung (z. B. Literatur). Prüfungsfragen, zum Beispiel,
Lernbedingungen sind so gestaltet, dass auch ausländische Studierende ohne detaillierte
Kenntnisse schweizerischer Verhältnisse diese erfolgreich bearbeiten
können.
PrüfungsAufwand bei der Aufwand für die Lehrpersonen / Prüfungsverantwortlichen bei der
ökonomie
Erstellung, bei der Erstellung einer Prüfung.
Durchführung
Zeitaufwand für Prüflinge, Lehrpersonen und Beanspruchung räumlicher
und bei der
Ressourcen (z. B. geeignete Computerlabors für E-Assessments).
Auswertung
Aufwand für Lehrpersonen oder Korrigierende bei der Ermittlung und
Bewertung der Prüfungsergebnisse.
22.11.2013
Dr. Christoph Meier
18

19. Arbeitshilfe zur Analyse & Planung einer Prüfung
22.11.2013
Dr. Christoph Meier
19

20. Verschiedene Prüfungsformen – gleiche Grundfragen
Grundfragen
Prüfungsformen
Wozu prüfen?
Schriftliche Klausur (Papier-basiert)
Was prüfen?
E-Assessment / E-Test (online)
Wie prüfen?
Schriftliche Hausarbeit
Wie auswerten?
Mündliche Prüfung
Wie gut prüfen?
Portfolio-basierte Prüfung
22.11.2013
Dr. Christoph Meier
20

21. Some food for thought…
Prüfungsformen
Prüfungen als Arbeitsmaterialien
– Fokus mündliche
Kommunikationskompetenz
• Posterpräsentation
– Fokus Schreibkompetenz
• Buch-Review
• Weblog als Lerntagebuch &
Portfolio
• Gutachten zu (fiktiver)
Problemstellung
– Fokus Medienkompetenz
• Kommentierte
Ressourcensammlung im WWW
• Kurzvideo
– Fokus Teamkompetenz
• Rollenspiel planen & durchführen
• Gruppenausstellung planen &
durchführen
22.11.2013
– Besprechung von Prüfungen /
Lernerfolgskontrollen im Kurs
• Ziele der Prüfung,
Herausforderungen bei der
Umsetzung, Ergebnisse;
Analyse von guten / nicht so guten
Prüfungsleistungen & Bezug zu
Kurszielen)
– Selbst-Bewertung von
Prüfungsleistungen (NACH Bewertung
durch LP)
• Annotierte Arbeit OHNE Note als
Grundlage für Selbstbewertung
– Peer feedback zu Prüfungen
• Analyse & Bewertung der
Prüfungsarbeit eines Kollegen / einer
Kollegin
Dr. Christoph Meier
21

22. Eure Fragen
22.11.2013
Dr. Christoph Meier
22

23. Vielen Dank & viel Erfolg!
Christoph Meier
IWP-HSG
Webseite des Teams Hochschulentwicklung