Herunterladen - MDR

56 Hans Anand Pant, Katrin Böhme und Olaf Köller
Abbildung 3.1:
Kontinuierliche Kompetenzskala (M = 500 und SD = 100) mit Prozenträngen
unter der Annahme einer Normalverteilung
Nationaler Mittelwert
(9.
Klasse)
SD =2 SD =1 SD =1 SD =2
300 400 500 600 700
Skalenwert
2.3 % 15.9 % 50.0 % 84.1 % 97.7 % Prozentrang
einer Fähigkeit von 600 und mehr Punkten dieses Item mit einer hinreichenden
Wahrscheinlichkeit lösen, Personen mit einem Fähigkeitswert unter 600 Punkten
lösen es mit einer geringeren Wahrscheinlichkeit. 2
Die Möglichkeit, Personen und Items auf einer gemeinsamen Skala zu verorten,
macht man sich bei der Definition von Kompetenzstufen zunutze. So
kann ein Item, das beispielsweise einen Schwierigkeitswert von 600 aufweist,
im Hinblick darauf analysiert werden, welche kognitiven Operationen zu seiner
Lösung erforderlich sind. Dies wiederum lässt den Rückschluss zu, dass
Personen, die einen Skalenwert von 600 oder höher erreicht haben, die zur
Lösung dieses Items erforderlichen Operationen beherrschen. Erweitert man diese
Idee, so kann man viele Items in ihrer Schwierigkeit betrachten und Punktwerte
(Grenzen) auf der Skala definieren, bei denen sich die Items hinsichtlich ihrer
kognitiven Anforderungen qualitativ verändern, also in inhaltlich beschreibbarer
Weise komplexer werden. Die Definition solcher Kriterien erfolgt im Zuge einer
Kompetenzstufenabgrenzung, die im englischsprachigen Raum als Standard-
Setting bezeichnet wird (Cizek, 2001).
Standard-Setting bezeichnet die Festlegung von Schwellenwerten (Cut-
Scores), die eine Kompetenzskala in sukzessive Teilbereiche – sogenannte
Kompetenzstufen oder Kompetenzniveaus – einteilt (Pant, Tiffin-Richards &
Köller, 2010). Die Abbildung 3.2 zeigt schematisch, wie eine Cut-Score-Festlegung
bei der Überprüfung der Erreichung von Bildungsstandards aussehen
kann. Man legt auf dem Kontinuum der Kompetenzskala durch die Cut-Score-
Setzungen fest, wo sich jeweils Übergänge zwischen Aufgabengruppen befinden,
die abgrenzbare Anforderungen beinhalten und zu deren sicherer Lösung
zu nehmend komplexere kognitive Fähigkeiten notwendig sind. Die inhaltliche
Be schreibung der Kompetenzniveaus erfolgt dann anhand der entsprechenden
Fähigkeiten (Kompetenzstufendeskriptoren).
Standard-Setting-Verfahren stützen sich auf inhaltliche Einschätzungen und
Urteile von Expertinnen und Experten relevanter Expertisebereiche wie der
Fachdidaktik, Testentwicklung, Schulpraxis und Bildungsadministration. Das
Setzen von Cut-Scores durch ein Expertenurteil stellt per se einen bewertenden
Vorgang dar. In der psychometrischen Fachliteratur geht man entsprechend nicht
2 „Hinreichende Wahrscheinlichkeit“ bedeutet hier, dass die Lösungswahrscheinlichkeit
bei p = .625 liegt (vgl. Köller et al., 2010). Diese Definition wurde in Anlehnung an die
PISA-Studien vorgenommen (vgl. Frey, Carstensen, Walter, Rönnebeck & Gomolka,
2008).