Simulations- und spielbasierte Kompetenzmessung

Workshop A1
Simulations- und spielbasierte
Kompetenzmessung?
Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen

6. Fernausbildungskongress
8.10.2009 Helmut-Schmidt Universität der Bundeswehr, Hamburg
A1 Simulations- und spielbasiertes Lernen

rickydiver78 on ﬂickr
© Karsten D. Wolf 2008
Montag, 21. September 2009

Videostill (Smash Court Tennis 3 on Playstation 3) rickydiver78D. Wolfﬂickr
cc by Karsten on 2007

Es muss nicht immer ein Computer sein


Is Simulation Worth the Effort?
Johnson 2006

• Hohe Entwicklungskosten müssen sich lohnen
• Identiﬁkation hochkompetenter Personen besonders wertvoll
• Identiﬁkation schlechter Performanz besonders wichtig
• Echte Arbeitsleistungen liegen zur Bewertung nicht vor
• Zu gefährlich
• Zu selten
• Gelegenheit zum Testen nicht vorhanden oder schwierig zu beobachten
• Zulassungsprüfung, um „echt“ zu arbeiten
• Kombination mehrerer Fertigkeiten miteinander, Messung einzelner
Konstrukte greift zu kurz


Weitere Punkte, die bedacht werden müssen

• Realistische Simulation überhaupt möglich?
• Interaktionspartner Menschen oder physikalische Strukturen bzw. künstliche
Algorithmen?
• Frage der (insbesondere äußere Kriteriums-) Validität
• Finanzierbarkeit ab 1000+ Personen
• Gibt es nicht einfachere bzw. bereits vorliegende Kennzahlen?


Nandu Chitnis on ﬂickr

• gefahrene Kilometer/Monat
• Spritverbrauch
• Termintreue
• Unfälle
• Reparaturkosten
• etc.
Nandu Chitnis on ﬂickr

hugovk on ﬂickr

• Umsatz / Monat
• Beschwerden / Verkaufsfälle
• Umtauschfälle / Verkaufsfälle
• Kundenzufriedenheit
• etc.

hugovk on ﬂickr

Entertaining Games with Non-Entertainment
Goals

Goal orientated ‘play’, often in real world
scenarios, intended to ‘improve’ the player/s
knowledge, awareness or skills (Gary Hayes)

Datenbank mit 500+ Serious Games


Neuer Trend:
Productivity Games

Beim Spielen Arbeit erledigen…


Social
Reality
Game

„…we learned that the transparent
environments created in online
games made leadership easier to
assume. And that leadership in
online games is more temporary
and ﬂexible than it is in the
business world. And ﬁnally, online
games give leaders the freedom
to fail, and experiment with
different approaches and
techniques, something that any
Fortune 500 company that hopes
to innovate needs to understand.“


Learn from mistakes of self and others

Follows through on commitments / words = actions


Arbeit ﬁndet zunehmend Computer mediiert statt!

Johan Larsson on ﬂickr

Aber nicht alles!


Kompetenzen als Lern-Lehr-Ziele

Nach Weinert (2001, S.27 f.) versteht man Kompetenzen als

„die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven
Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die
damit verbundenen motivationalen, volitionalen und sozialen
Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen
Situationen erfolgreich und verantwortungsvoll nutzen zu können“.

Nach Straka & Macke (2009) beinhalten Kompetenzen

Dispositionen (motorische, kognitive, emotionale, motivationale),
deklaratives und prozedurales Wissen, Fähigkeiten und Fertigkeiten sowie
moralische Urteilsfähigkeit


Gewicht?
Größe?
Schnelligkeit?


Kompetenzen?
Persönlichkeit?
Einstellungen?
Interesse &
Motivation?


„Ein Test ist ein wissenschaftliches Routineverfahren
zur Untersuchung eines oder mehrerer empirisch
abgrenzbarer Persönlichkeitsmerkmale mit dem
Ziel einer möglichst quantitativen Aussage über den
relativen Grad der individuellen Merkmalsaus-
prägung“ (Lienert 1969, S. 7)


Anforderungen an Testverfahren

• Sparsames Modell mit theoretischer Fundierung
• Integration wesentlicher Aspekte der Kompetenz
• Gütekriterien
• Objektivität (online nur im Testcenter möglich)
• Reliabilität
• Validität (Inhalts-, Kriteriums-, Konstrukt-)
• Relevanz
• Akzeptanz
• Veränderbarkeit
• Leichte Anwendbarkeit

© Karsten D. Wolf

Eine einfache Theorie

A
> B


Eine einfaches Testmodell

Te
au st-
fga
be 17
21
35
42



Te
au st-
fga
U
be 17

P 21 V
35
42



Tes
au t-
fga

V=PxU



Tes
au t-
fga

V=PxU

Richtig =
Hohe Kompetenz x Schwere Aufgabe


Das Testmodell in der Anwendung

A
> B

A: Richtig = B: Falsch =
Hohe Kompetenz Niedrige Kompetenz
x Schwere Aufgabe x Schwere Aufgabe


Wie „schwer“ ist eine Aufgabe?

100kg
60kg
80kg
40kg


Maximalkraft?

80kg

60kg
100kg
40kg


Maximalkraft?

80kg

60kg
100kg
40kg

Θ=40 Θ=60 Θ=80 Θ=100

Kurve der Itemcharakteristik (ICC)

p(x)
60kg Gewicht
100%

50%

0%
Θ
40 60 80 100



p(x)
60kg Gewicht
100%
80kg Gewicht

50%

0%
Θ
40 60 80 100



p(x)
60kg Gewicht
100%
80kg Gewicht

50% Aufgabe (Item)
ist schwerer
0%
Θ
40 60 80 100


Wie bestimmt man Kompetenzstufen?

Experten/-innen

IV
III
II
I
Theoretisches Kompetenzmodell


A B C D E F G H I J K

IV
III
II
I


A B C D E F G H I J K



I II III IV

A C E B F H D I G J K

Empirisches Kompetenzmodell

Kurve der Itemcharakteristik (vereinfacht)

100%

50%

0%
Θ
-2 -1 0 1 2


Kurve der Itemcharakteristik (stark vereinfacht)

100%

50%

0%
Θ
-2 -1 0 1 2


Trennschärfe: 0 kann es nicht, 2 schon

100%

50%

0%
Θ
-2 -1 0 1 2


Itemschwierigkeit: schwerer!

100%

50%

0%
Θ
-2 -1 0 1 2


Raschmodell: Schwierigkeitsparameter

I II III IV
100%

50%

0%
Θ
-2 -1 0 1 2


Test Wiseness – Probleme von MC-Tests

Hixek norfolken pifﬂe?

(a) Hiku nippon ibitus
(b) Eﬁl Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf

Test Wiseness: Längste Alternative ist richtig!

Hixek norfolken pifﬂe?

(a) Hiku nippon ibitus
(b) Eﬁl Yadlan Ruoj
(c) Yokon Gnithol
(d) Ikkek zippo unkerzotz notiaplan
hippolslumg enslife yolent

http://www.kvhigh.com/learning/testtips.html
© Karsten D. Wolf

Performance Based Assessment
Shavelson

• Die Leistung messen, die gelernt werden soll

• Performance: Bewegen im Raumanzug

• Systematische Variation der Anforderungen

• Was macht etwas schwieriger?

• Adäquanz zwischen z.B. allgemeiner Fitness
und kontextualer Anforderung?

• Inwieweit führt die Kombination von Faktoren
zur Notwendigkeit der authentischen Prüfung?


Chirurgische Simulationen
Heinrichs/Lukoff/Youngblood/Dev/Shavelson 2007


SAT-Score und Collegiate Learning Assessment
Shavelson 2006


Evidence Centered Design

Competency <=> Proﬁciency

Shute/Ventura/Bauer/Zapata-Rivera

Shute/Ventura/Bauer/Zapata-Rivera

Warum Serious Games und nicht Simulationen?

• Motivation (Relevanz und Bedeutsamkeit)

• Emotion (Immersion und Betroffenheit)

• Volition beweisen

• Flow erleben

• Beobachtung des Verhaltens über längere Zeit

• Arbeiten in Gruppen - Gruppenperformanz messen

• Kurt Squire: From Content to Context – Videogames as Designed
Experience


Forschungsfelder

• Kompetenzmodelle entwickeln

• Testmodelle empirisch validieren

• Integration in Simulationen und Serious Games

• Diagnostik

• Förderdiagnostik

• Intensives und adaptives Üben


Rich E-Assessment: Workforce Literacy


FB 12 Erziehungs- und Bildungswissenschaften
Didaktische Gestaltung
multimedialer Lernumgebungen

http://www.ifeb.uni-bremen.de/wolf

wolf@uni-bremen.de

http://www.ifeb.uni-bremen.de/assessment/


Simulations- und spielbasierte Kompetenzmessung

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (16)

Mais de Karsten D. Wolf

Mais de Karsten D. Wolf (20)

Simulations- und spielbasierte Kompetenzmessung