Herunterladen - MDR

Das Kompetenzkonzept der Bildungsstandards und die Entwicklung von Kompetenzstufenmodellen
57
Abbildung 3.2:
Schematische Darstellung eines Standard-Settings
davon aus, dass durch Standard-Setting-Prozeduren ein „wahrer“ Cut-Score
gefunden werden kann (Kane, 2001).
Für die Festlegung der Kompetenzstufen stehen zahlreiche Verfahren zur
Verfügung, die unterschiedliche Vor- und Nachteile aufweisen und teilweise unterschiedliche
Zielstellungen verfolgen. Am prominentesten sind die Bookmarksowie
die Angoff-Methode (vgl. für einen Überblick Cizek, 2001; Cizek &
Bunch, 2007; Kaftandjieva, 2010; Pant, Rupp, Tiffin-Richards & Köller, 2009).
Für die im Kontext der Bildungsstandards gegebenen Bedingungen, also auf
Standards basierende Leistungstests mit ausschließlich richtig-falsch kodierten
Aufgaben, und der Notwendigkeit, mehrere Cut-Scores pro Kompetenzskala zu
setzen, empfiehlt eine Synopse des Educational Testing Service (ETS; Morgan &
Perie, 2004) die Bookmark-Methode (Mitzel, Lewis, Patz & Green, 2001). Diese
Methode wurde in den US-amerikanischen Large-Scale-Assessments der letzten
Jahre mit Abstand am häufigsten angewendet und hat sich dabei bewährt. Bei der
Festlegung von Stufen für die im Ländervergleich 2012 getesteten Kompetenzen
wurde daher die Bookmark-Methode in modifizierter Form verwendet.
Bei der Bookmark-Methode wird dem Expertenpanel ein „Buch“ vorgegeben,
das alle Items nach ihrer empirisch ermittelten Schwierigkeit geordnet enthält.
Die Aufgabe der Panelteilnehmer ist es, im wiederholten Abgleich mit den
Kompetenzstufendeskriptoren an denjenigen Stellen im Item-Buch Markierungen
(bookmarks) zu setzen, an denen ein für die jeweilige Stufe gerade kompetenter
Schüler (minimally competent learner) die Teilaufgabe sicher, das heißt mit
der hier festgesetzten Antwortwahrscheinlichkeit von knapp zwei Drittel lösen
würde.
Neben solchen Verfahren des Standard-Settings, die im Wesentlichen auf
Expertenurteilen beruhen, werden in neuerer Zeit auch stärker psychometrisch
ausgerichtete Ansätze erprobt (vgl. Hartig & Frey, 2012; Hartig, Frey, Nold &
Klieme, 2011; Jiao, Lissitz, Macready, Wang & Liang, 2012). Da diese Modelle
bei der Abgrenzung von Kompetenzstufen stärker berücksichtigen, was genau
eine Aufgabe zu einer leichten beziehungsweise schwierigen macht, können sie
für ein individualdiagnostisches Feedback besser geeignet sein. Für Zwecke des
Large-Scale-Assessments wie der Ländervergleichsstudien erscheinen sie jedoch
problematisch, da Anzahl, Breite und inhaltliche Bedeutung der ermittelten
Kompetenzstufen relativ stark vom jeweils eingesetzten Aufgabenpool abhängen.
Die resultierenden Kompetenzstufenmodelle wären in diesem Falle also instabil,
was für ein langfristig angelegtes Systemmonitoring, das Trends über Jahrzehnte
hinweg erfassen soll, problematisch wäre.