Herunterladen - MDR

116
Thilo Siegle, Ulrich Schroeders und Alexander Roppelt
4.8 Aufbereitung und Analyse der Daten
Die ausgefüllten Testhefte wurden zur weiteren Verarbeitung durch das DPC
eingescannt, um anschließend die Kodierung der Schülerantworten vorzunehmen.
Multiple-Choice-Items wurden dabei maschinell ausgewertet, wohingegen
Antworten auf halboffene und offene Fragen von geschulten Kodierern als richtig
oder falsch bewertet wurden. Den geschulten Kodierern stand dabei für jedes
Item eine fachdidaktisch geprüfte und empirisch bewährte Kodieranleitung zur
Verfügung, die klare Bewertungskriterien enthielt.
Zur Skalierung der Testdaten wird das Rasch-Modell aus der Familie
der probabilistischen Testmodelle herangezogen, bei dem für jedes Item ein
Schwierigkeitsparameter geschätzt wird (Rost, 2004). Die Kalibrierung erfolgt
unter Einbeziehung aller zur Verfügung stehenden Testdaten pro Fach und
Kompetenz bereich in jeweils eindimensionalen Modellen. Nach der Kalibrierung
wurden die Personenfähigkeiten unter Berücksichtigung individueller Hintergrund
merkmale (z. B. zuwanderungsbezogene und soziale Merkmale) als sogenannte
Plausible Values geschätzt (von Davier, Gonzalez & Mislevy, 2009).
Dieses Verfahren gewährleistet, dass sowohl Zusammenhänge zwischen
Individualmerkmalen und Leistungskennwerten als auch die Populationsvarianzen
möglichst unverzerrt abgebildet werden (Mislevy, Beaton, Kaplan & Sheehan,
1992). Aus diesem Grund wurden die Merkmale, die in den vertiefenden
Analysen der Ländervergleichsstudie genauer untersucht werden sollten, in das
Hintergrundmodell aufgenommen.
Der üblichen Praxis in Schulleistungsstudien entsprechend wurden die ermittelten
Personenfähigkeiten für jeden Kompetenzbereich auf eine Skala mit dem
Mittelwert 500 und der Standardabweichung 100 („Ländervergleichsmetrik“)
transformiert. Weitere Details zur Skalierung der Daten werden in Kapitel 13.2
beschrieben.
Um aus den erhobenen Daten der Stichprobe Rückschlüsse über die
Population ziehen zu können, muss diese angemessen repräsentiert sein. In großen
Schulleistungsstudien werden Schülergewichte in die Analysen einbezogen,
um die Repräsentativität der Ergebnisse bei zugleich möglichst ökonomischer
Testdurchführung zu gewährleisten. In die Berechnung der Schülergewichte gehen
Faktoren auf der Ebene der Schule, der Klasse und des Individuums ein
(vgl. OECD, 2012). Auf Schulebene wird berücksichtigt, dass nur eine kleine
Auswahl aller im Land vorhandenen Schulen an der Untersuchung teilnimmt,
jedoch Aussagen für alle Schulen getroffen werden sollen. Auf Klassenebene
wird dafür Rechnung getragen, dass sich Schulen in der Anzahl der Klassen
in der 9. Jahrgangsstufe unterscheiden. In Schulen mit zwei Klassen in der
9. Jahrgangsstufe liegt die Ziehungswahrscheinlichkeit pro Klasse bei 50 Prozent,
bei vier Klassen beträgt sie nur 25 Prozent. Auf Individualebene schließlich wird
darüber hinaus berücksichtigt, dass einzelne Schülerinnen und Schüler am Testtag
fehlen. Unter Beachtung aller genannten Faktoren erhält jede Schülerin und jeder
Schüler ein Gewicht, welches angibt, wie viele Schülerinnen und Schüler der
Zielpopulation sie beziehungsweise er repräsentiert. Mit diesem Gewicht ist es
möglich, einen für die Population unverzerrten Durchschnittswert der erreichten
Kompetenzen zu schätzen. Die Gewichte werden in den Analysen der Kapitel 5
bis 12 berücksichtigt.