Herunterladen - MDR

396
Martin Hecht, Alexander Roppelt und Thilo Siegle
13.2.1 Kalibrierung der Items
Unter der Kalibrierung der Items versteht man die Bestimmung der Itemschwierig
keiten mit Hilfe eines statistischen Modells. In Schul leistungs studien
(z. B. PISA, IQB-Ländervergleiche) kommt dabei häufig das Rasch-Modell
(Rasch, 1960) zum Einsatz, das zur Gruppe der Modelle der Item Response
Theory (IRT; siehe z. B. Embretson & Reise, 2000; DeMars, 2010; Rost, 2004)
beziehungsweise allgemeiner zur Gruppe latenter Messmodelle gehört. Bei latenten
Messmodellen wird davon ausgegangen, dass jede Schülerin und jeder
Schüler eine bestimmte, nicht direkt beobachtbare (latente) Kompetenz besitzt,
die durch geeignete Testverfahren messbar wird. Um die Genauigkeit der
Erfassung solcher Fähigkeiten zu erhöhen, werden üblicherweise Messungen
mit mehreren Items durchgeführt. Das statistische Messmodell legt dabei fest,
wie von den direkt beobachtbaren Messungen (also der korrekten oder fehlerhaften
Beantwortung von Items) auf die latente Kompetenzausprägung einer
Schülerin oder eines Schülers geschlossen wird. Dem liegt die Annahme
zugrunde, dass die latente Kompetenz die Lösungswahrscheinlichkeit bestimmt,
wobei eine höhere Kompetenz zu einer höheren Wahrscheinlichkeit
führt, ein Item richtig zu lösen. Das Ergebnis der Rasch-Modellierung ist
eine kontinuierliche Skala, die einen nach oben und nach unten unbegrenzten
Wertebereich aufweist und deren Nullpunkt frei wählbar ist. Diese Skala wird
auch Logit-Skala oder Logit-Metrik genannt, da im Rasch-Modell nicht direkt
die Lösungswahrscheinlichkeiten, sondern die logarithmierten Quotienten aus
Lösungs- und Nicht-Lösungswahrscheinlichkeit (Logits) vorhergesagt werden.
Diese Logit-Skala wird dann häufig in eine leichter zu interpretierende Skala
transformiert (siehe Abschnitt 13.2.3).
Eine gemeinsame Bestimmung der individuellen Kompetenzausprägungen
der Schülerinnen und Schüler und der Itemschwierigkeiten ist statistisch ungünstig.
Deshalb wird meist ein zweischrittiges Verfahren verwendet, wobei zuerst
die Itemschwierigkeiten und die Verteilungsparameter der Kompetenz in der
Population geschätzt werden. In einem zweiten Schritt folgt die Schätzung der
personenspezifischen Ausprägungen (siehe Abschnitt 13.2.2). Zur Bestimmung
der Schwierigkeit jedes Items wurde im Ländervergleich 2012 je Leitidee im
Fach Mathematik beziehungsweise je Kompetenzbereich in den naturwissenschaftlichen
Fächern ein separates Rasch-Modell unter Verwendung der Software
ConQuest 2.0 (Wu, Adams, Wilson & Haldane, 2007) berechnet. Hierzu wurden
die Daten der Schülerinnen und Schüler verwendet, die Testhefte aus
dem ersten Teildesign (für Mathematik) oder dem zweiten Teildesign (für
Naturwissenschaften) erhalten hatten, da angenommen werden kann, dass die
Eigenschaften dieser Youden-Square-Designs (siehe Abschnitt 13.1) eine unverfälschte
Kalibrierung der Items ermöglichen.
Obwohl ausschließlich mehrfach vorerprobte Items zum Einsatz kamen, wurden
die Items nach der Kalibrierung nochmals auf ihre psychometrische Güte
geprüft. Zur Einschätzung der psychometrischen Eignung eines jeden Items wurden
die Kriterien Itemschwierigkeit, Trennschärfe und Modellpassung herangezogen.
Auf diese Weise konnten unter anderem fehlerhaft kodierte Items
identi fiziert und die Falschkodierung berichtigt werden. Aus den weiteren
Analysen wurden 38 Items ausgeschlossen, die eine schlechte Modellpassung
(Weighted Fit > 1.15) aufwiesen. Als Resultat der Kalibrierung liegt für jedes
Item ein Schätzer der Itemschwierigkeit auf der Logit-Skala vor, der den folgenden
Auswertungsschritten zugrunde gelegt wird.