Links - Universität Bielefeld

Mo. 10.09.| Einzelbeiträge 8 | 14:15 – 14:55 Uhr | Raum T2 214
Daniel Kasper, Ali Ünlü
Skalierung in PISA: Wie sensitiv sind verschiedene Skalierungsverfahren?
Technische Universität München
daniel.kasper@tum.de
Zur Skalierung von Items und Personen im Programme for International Student Assessment
(PISA) werden Varianten des Rasch-Modells verwendet (OECD, 2012). Diese Modelle bilden
manifeste diskrete Antwortvariablen auf latente stetige Merkmalsvariablen ab, d.h. die in PISA
beobachteten diskreten Testleistungen werden auf latente kontinuierliche Kompetenzdimensionen
abgebildet (erster Schritt der Skalierung). Die latenten stetigen Kompetenzdimensionen
werden in einem zweiten Schritt anhand von Cut-Off Schwellenwerten in latente diskrete Kompetenzstufen
eingeteilt. Goodness-of-fit Statistiken für die Gesamtanpassung der Modelle unter
variierenden Bedingungen (z.B. unterschiedliche Methoden zum Umgang mit fehlenden Werten,
verschiedene Varianten zur Dichotomisierung der Daten, unterschiedliche Software zur Auswertung
der Daten) sowie spezielle Statistiken zur Überprüfung der testbaren Konsequenzen aus
diesen Modellen werden selten berichtet. Darüber hinaus steht ein Vergleich dieses als Zweischritt-Diskretisierungsverfahren
zu bezeichnenden Vorgehens mit alternativen diagnostischen
psychometrischen Modellierungsansätzen noch aus. Die Modelle dieser Klasse können allgemein
als restringierte Latent-Class-Analysen aufgefasst werden, d.h. die Verfahren bilden manifeste
diskrete Variablen direkt auf latente diskrete Merkmale ab. Eine Diskretisierung, oftmals basierend
auf qualitativen Urteilen, bleibt aus und ist direkter Bestandteil der Modellierung. Für den
PISA Kontext erscheint das Hierarchical-Mixture-General-Diagnostic-Modell (HMGDM) als besonders
interessant, weil es die hierarchische und heterogene Struktur der PISA-Daten wie sie
sich aus dem komplexen Erhebungsdesign ergeben berücksichtigen kann (von Davier, 2010). Als
Erweiterung des General-Diagnostic-Modells (von Davier, 2008) hat es sich in empirischen Anwendungen
als nützlich erwiesen. Eine ausführliche Anwendung auf PISA-Daten und Analysen
zur Sensitivität dieser Modelle gegenüber Variationen in den Bedingungen sind noch nicht erfolgt.
In diesem Vortrag werden erste Ergebnisse zu Sensitivitäts- und Robustheitsanalysen der
herkömmlichen Skalierungsverfahren in PISA mit den entsprechenden Ergebnissen zum HMGDM
in direkter Anwendungen auf PISA-Daten vorgestellt und verglichen. Mehrwert und Implikationen
der Ergebnisse für die Forschung und Praxis im Large Scale Assessment schließen den Vortrag
ab.
OECD (2012). PISA 2009 technical report. Paris: OECD Publishing.
Von Davier, M. (2008). A general diagnostic model applied to language testing data. British Journal of Mathematical
and Statistical Psychology, 61, 287-307.
Von Davier, M. (2010). Hierarchical mixtures of diagnostic models. Psychological Test and Assessment Modeling,
52, 8-28.
147