Herunterladen - MDR

Testdesign und Auswertung des Ländervergleichs 395
13.1.3 Verteilung der Testhefte auf Schülerinnen und Schüler
Die Stichprobenziehung erfolgte ebenso wie die gesamte Testadministration
durch das IEA Data Processing and Research Center (DPC; siehe Kapitel 4).
Schülerinnen und Schülern ohne sonderpädagogischen Förderbedarf wurde
jeweils eines der insgesamt 70 Testhefte des ersten bis dritten Teildesigns
zur Bearbeitung vorgelegt. Schülerinnen und Schüler mit sonderpädagogischem
Förderbedarf erhielten – unabhängig vom Beschulungsort Förderschule
beziehungsweise reguläre Schule – eines der elf Testhefte des vierten und fünften
Teildesigns. Das Vorgehen bei der Testheftverteilung erfolgte nach dem sogenannten
Spiralisierungsprinzip. Dabei werden die Testhefte in eine zufällige,
alternierende Reihenfolge gebracht und anschließend in dieser Reihenfolge in
den Schulklassen verteilt, sodass jede Schülerin und jeder Schüler jedes Testheft
mit der gleichen Wahrscheinlichkeit erhalten kann. Durch dieses Verfahren wird
sichergestellt, dass jedes einzelne Testheft an ungefähr die gleiche Anzahl von
Schülerinnen und Schülern verteilt wird und so auch der Stichprobenumfang für
alle Items etwa gleich groß ist.
13.2 Skalierung
Für die Schätzung und Darstellung der mathematischen und naturwissenschaftlichen
Kompetenzen von Schülerinnen und Schülern auf Länderebene müssen
statistische Verfahren angewendet werden, die verschiedene Anforderungen erfüllen.
Erstens sollen die Kompetenzwerte der Personen auf aggregierter Ebene
möglichst unverfälscht, konsistent und effizient geschätzt werden. Zweitens
müssen Effekte, die durch die spezifische Stichprobenstruktur (insbesondere
die Clusterung der Schülerinnen und Schüler in Klassen und Schulen) entstehen,
adäquat berücksichtigt werden. Und drittens sollen die Kompetenzwerte
von Schülerinnen und Schülern auf einer verständlichen und transparenten
Metrik berichtet werden, um die Interpretation der Ergebnisse zu erleichtern. Zur
Erreichung dieser Ziele wurden die Kompetenzstatistiken in einem mehrstufigen
Verfahren ermittelt, das in allen großen Schulleistungsstudien der letzten Jahre
in ähnlicher Weise angewendet wurde und sich insbesondere bereits in den beiden
vorhergehenden IQB-Ländervergleichsstudien bewährt hat (Böhme et al.,
2010; Weirich et al., 2012). In Anlehnung an Weirich et al. (2012) lässt sich das
Vorgehen in folgende Schritte unterteilen:
1. Kalibrierung der Items zur Bestimmung von Itemschwierigkeiten
2. Bestimmung von personenspezifischen Plausible Values
3. Bestimmung der Transformationsvorschrift für die Berichtsmetrik
4. Bestimmung der Standardfehler für die relevanten Statistiken
Im Folgenden werden diese vier Auswertungsschritte genauer beschrieben. Zur
Qualitätssicherung wurden alle Analysen von jeweils mindestens zwei Personen
unabhängig voneinander durchgeführt und die Analyseergebnisse auf Konsistenz
geprüft.