Herunterladen - MDR

Testdesign und Auswertung des Ländervergleichs 399
13.2.3 Bestimmung der Transformationsvorschrift für
die Berichtsmetrik
Durch die Verwendung von IRT-Modellen liegen die berechneten Kompetenzwerte
zunächst auf der Logit-Skala vor, die verschiedene günstige Eigenschaften
aufweist: Ihr Wertebereich umfasst die gesamten reellen Zahlen, wobei in praktischen
Anwendungen vor allem Werte im Bereich von –4 bis +4 auftreten.
Diese Skala kann ohne Bedeutungsänderung beliebig linear transformiert, also
verschoben und gestaucht oder gestreckt werden, ohne dass die für weitere
Analysen wichtige Eigenschaft des Intervallskalenniveaus verloren ginge. Für die
Darstellung der Ergebnisse können somit auch andere Skalenmetriken verwendet
werden. Dazu werden die Kompetenzwerte von der ursprünglichen Logit-Metrik
in die entsprechenden Werte einer anderen Berichtsmetrik umgerechnet. Bei PISA
und den bisherigen IQB-Ländervergleichsstudien kam als Berichtsmetrik eine
Skala zum Einsatz, deren Mittelwert 500 und deren Standardabweichung 100
beträgt. Diese 500-100-Metrik wird auch für die Darstellung der Ergebnisse
des Ländervergleichs 2012 verwendet. Außerdem wird diese Metrik für weitere
Ländervergleiche in Mathematik und den Naturwissenschaften als Referenz
(„Baseline“) dienen, anhand derer später Kompetenzveränderungen über die Jahre
dargestellt werden sollen, ähnlich wie beispielsweise in der PISA-Studie (OECD,
2012). Für die Transformation der Logit-Metrik in die 500-100-Metrik wurde der
mittlere gewichtete Mittelwert und die mittlere gewichtete Standardabweichung
der Plausible Values (siehe Abschnitt 13.2.2) der jeweiligen Leitidee beziehungsweise
des jeweiligen Kompetenzbereichs für Deutschland bestimmt. Diese
Mittelwerte und Standardabweichungen wurden dann per Definition jeweils auf
500 beziehungsweise 100 gesetzt und die Plausible Values entsprechend angepasst.
Weirich et al. (2012, S. 287 f.) beschreiben diese Transformation wie folgt:
Für die Transformation wird je Kompetenzbereich der gewichtete
Mittelwert M g
und die gewichtete Standardabweichung SD g
über die
in den jeweiligen Ländern gezogenen Plausible Values bestimmt. Das
Fallgewicht einer Person beschreibt, wie viele Personen in der Population
diese Person der Stichprobe repräsentiert. Der gewichtete Mittelwert berechnet
sich für jeden Kompetenzbereich folgendermaßen:
Dabei ist I die Anzahl der gezogenen Plausible Values je Person, N ist
die Gesamtzahl der Personen in der Stichprobe, w n
ist das Fallgewicht
der n-ten Person in der Stichprobe, W ist die Summe aller Gewichte, und
pv n,i
ist der i-te Plausible Value der n-ten Person. Analog dazu berechnet
sich die gewichtete Standardabweichung für jeden Kompetenzbereich wie
folgt:
SD g
= 1 I
I
∑
i=1
N
∑
n=1
w n
( ) 2
W −1 ⋅ pv n,i − M g,i