Herunterladen - MDR

106
Thilo Siegle, Ulrich Schroeders und Alexander Roppelt
4.3 Testdesign
In der Ländervergleichsstudie 2012 wurden im Fach Mathematik fünf inhaltsbezogene
Kompetenzbereiche (Leitideen) und in den drei naturwissenschaftlichen
Fächern jeweils die beiden Kompetenzbereiche Fachwissen und
Erkenntnisgewinnung erfasst. Insgesamt wurden somit Kompetenzen in elf
Bereichen abgedeckt. Die für eine verlässliche Schätzung aller elf Bereiche
erforderliche Aufgabenmenge kann eine einzelne Schülerin oder ein einzelner
Schüler nicht in einer Testsitzung bearbeiten. Daher enthält jedes
Testheft nur eine Teilmenge der Aufgaben des gesamten Tests zu ausgewählten
Kompetenzbereichen. Ziel des Testdesigns war es, durch eine optimale
Zusammenstellung der unterschiedlichen Testhefte eine zuverlässige Schätzung
von Kompetenzen in den elf Bereichen auf Ebene der Länder und der differenziert
betrachteten Teilgruppen (z. B. Jungen und Mädchen) zu erhalten.
Das Testdesign im Ländervergleich 2012 greift, wie in allen großen
Schulleistungsstudien, auf das Verfahren des Multiple-Matrix-Sampling zurück
(Gonzalez & Rutkowski, 2010; für eine ausführliche Beschreibung siehe
Kapitel 13.1). Bei dieser Methode werden Items gruppiert und die einzelnen
Itemgruppen werden jeweils einer Teilstichprobe vorgelegt. Die Gruppierung der
Items erfolgt in einem mehrstufigen Prozess, der im Folgenden näher beschrieben
wird.
Aufgabenblöcke
Zunächst werden mehrere Aufgaben, die wiederum aus ein bis vier Items bestehen,
zu einem Block zusammengestellt. Die Zusammenstellung erfolgt dabei
so, dass drei aufeinander folgende Aufgabenblöcke von mindestens
90 Prozent der Schülerinnen und Schüler in 60 Minuten vollständig bearbeitet
werden können (vgl. OECD, 2005). Pro Block sind also etwa 20 Minuten
Bearbeitungszeit vorgesehen. Da der Test inhaltliche Kompetenzen und nicht
die Bearbeitungsgeschwindigkeit erfassen möchte, wird angemessen viel Zeit
für die Bearbeitung aller Aufgaben zur Verfügung gestellt. Die angesetzten
Bearbeitungszeiten wurden teils von Experten geschätzt, teils auf Grundlage
von Aufgaben- und Itemmerkmalen wie Textlänge und Format gemäß den
Ergebnissen einer Vorerhebung festgelegt. Ein Aufgabenblock besteht im Ländervergleich
2012 zumeist aus Items desselben Kompetenzbereichs. Auf Basis
von Informationen über die Lösungswahrscheinlichkeiten aus den vorhergehenden
empirischen Erprobungen sind die Items eines Blocks in zunächst aufsteigender,
später in variierender Schwierigkeit angeordnet; im Mittel weisen
alle Blöcke eines Kompetenzbereichs eine ähnliche Schwierigkeit auf. Eine
Ausnahme bilden die Testhefte für Schülerinnen und Schüler mit sonderpädagogischem
Förderbedarf, die sich aus Aufgabenblöcken mit überwiegend leichteren
Aufgaben bei mehr Bearbeitungszeit zusammensetzen: Diese leichteren
Aufgabenblöcke haben denselben Umfang wie andere Blöcke im Test, die vorgesehene
Bearbeitungszeit ist aber um die Hälfte länger (30 statt 20 Minuten).
Schülerinnen und Schüler mit sonderpädagogischem Förderbedarf erhielten unabhängig
von ihrem Beschulungsort – also sowohl in Förderschulen als auch in
Regelschulen – die gleichen Testhefte.