Fachgruppe für Methoden und Evaluation - Universität Bamberg

Mi., 21.09., Modellierung fehlender Werte, 15.00-15.20 Uhr, Kapelle
M3/126N (K)
Schätzfehler durch heterogene Varianzen bei Analysen mit Plausible
Values
Alexander Roppelt
Christiane Penk
Humboldt-Universität zu
Berlin
Institut zur Qualitätsentwicklung
im Bildungswesen
(IQB)
Unter den Linden 6,
10099 Berlin
Alexander.Roppelt
@iqb.hu-berlin.de
In den letzten Jahren hat es sich speziell im Bildungsmonitoring
etabliert, latente Fähigkeitsvariablen durch die Ziehung
von multiplen Imputationen (sog. Plausible Values)
der weiteren Analyse durch Standardsoftware zugänglich
zu machen. So stellt etwa PISA Datensätze für Sekundäranalysen
zur Verfügung, in welchen für jeden Teilnehmer
und jede Fähigkeitsdimension fünf Plausible Values gezogen
wurden. Diese Technik soll es ermöglichen, varianzbasierte
Analysen wie beispielsweise Regressionen von der
Verzerrung durch Messfehler zu befreien (vgl. Wu, 2005).
Grundlage für die Ziehung der Plausible Values ist die Annahme
eines Modells, worin die Dichte der latenten Fähigkeit
g(θ) in der Population einer verallgemeinerten Normalverteilung
folgt: g(θ)~N(b0+b1y1+b2y2+… , σ 2 ). Dabei stehen
die yi für sogenannte Hintergrundvariablen, mit welchen sich die Individuen genauer beschreiben
lassen. Im Falle einer einzelnen dichotomen Hintergrundvariable y1 mit Werten
0 und 1 wäre g(θ) eine Mischverteilung aus zwei Normalverteilungen, welche um b1
gegeneinander verschoben sind, aber die gleiche Varianz σ 2 besitzen. Generell setzt
das Modell voraus, dass die Varianz für alle Ausprägungen der yi konstant ist (Homoskedastizität).
Während gezeigt werden konnte, dass das Modell recht robust gegenüber
Abweichungen von der vorausgesetzten Normalform der Verteilung ist (Thomas, 2000;
Walter, 2005), erweist es sich als weniger stabil gegenüber Verletzungen der Homoskedastizität
(Thomas, 2000). Dies ist insofern problematisch für die Praxis der empirischen
Bildungsforschung, als dass ungleiche Varianzen von Subpopulationen wie etwa in den
unterschiedlichen Schulformen oder Bundesländern offenkundig sind.
In diesem Vortrag wird eine Simulationsstudie präsentiert, in welcher die Auswirkungen
von heterogenen Varianzen genauer untersucht werden. Dabei wird neben den Abweichungen
der geschätzten Mittelwerte und Standardabweichungen von den jeweils wahren
Werten auch die Besetzung von Kompetenzstufen als Kriterium herangezogen. Auf
diese Weise kann die praktische Bedeutsamkeit möglicher Verzerrungen für die Interpretation
von Ergebnissen des Bildungsmonitorings besser beurteilt werden.
Thomas, N. (2000). Assessing model sensitivity of the imputation methods used in the NAEP.
Journal of Educational and Behavioral Statistics, 25, 351–371.
Walter, O. (2005). Kompetenzmessung in den PISA-Studien. Simulationen zur Schätzung von
Verteilungsparametern und Reliabilitäten. Lengerich: Pabst Science Publishers.
Wu, M. (2005). The role of plausible values in large-scale surveys. Studies in Educational
Evaluation, 31, 114–128.
34