Fachgruppe für Methoden und Evaluation - Universität Bamberg

Do., 22.09., IRT-Modellgeltungstests, 15.50-16.10 Uhr, Hörsaal
M3/232N (H)
Tücken des Bootstrap
Rainer W. Alexandrowicz
Clemens Draxler
Alpen-Adria-Universität
Klagenfurt
Abteilung für Angewandte
Psychologie und Methodenforschung
Universitätsstraße 65–67
9020 Klagenfurt
Österreich
Die Überprüfung der Gültigkeit des Rasch-Modells mittels
des Likelihood-Ratio-Tests nach Andersen (1973) zählt bereits
seit Langem zu den Standardverfahren der Item Response
Modelle. Der Test ist asymptotisch χ²-verteilt mit
(k – 1)(g – 1) Freiheitsgraden (mit k Anzahl der Items und g
Anzahl der Teilgruppen). Trotz seiner großen Bedeutung
liegen bislang kaum Befunde hinsichtlich der Qualität der
Approximation der Testgröße an die theoretische χ²-Verteilung
bei gegebenem Stichprobenumfang n und Itemzahl
vor. In vorliegender Studie wird daher zuerst die Güte der
Anpassung für endliches n und k untersucht. In Fällen, wo
die Anpassung als nicht hinreichend zu beurteilen ist, steht
der Bootstrap (Davison & Hinkley, 1997) als Methode der
Wahl zur Gewinnung einer Prüfverteilung zur Verfügung.
Dabei lassen sich grob der "naive" und der parametrische
Bootstrap unterscheiden. Bei ersterem wird wiederholt aus
den vorliegenden Beobachtungen mit Zurücklegen gezogen,
während letzterer eine Monte-Carlo-Methode unter
Verwendung der Modellgleichung und der geschätzten
Item- und Personenparameter darstellt.
Im konkreten Fall des LRT stellt sich jedoch eine weitere
Frage: Da mittels der aus theoretischen Gründen zu bevorzugenden
Conditional Maximum Likelihood Methode (CML)
primär nur Itemparameter gewonnen werden, ist nicht eindeutig
geklärt, wie für den parametrischen Bootstrap die
Personenparameter gewählt werden. Erstens kann – auf
die Modelleigenschaft der spezifischen Objektivität zurückgreifend
– aus einer beliebig (allerdings zumeist
normal-)verteilten Zufallsverteilung gezogen werden, zweitens
können die mittels Maximum Likelihood gewonnene
Personenparameter verwendet werden und drittens kann
auch ein sequentielles Wahrscheinlichkeitsverfahren gewählt
werden, welches konstante Zeilenrandsummen gewährleistet.
Der Vergleich der drei Varianten zeigt, dass die drei Verfahren
zu teilweise enorm abweichenden Ergebnissen führen
können. Damit belegt diese Studie klar, daß die unbedachte
Wahl des Bootstrapverfahrens grob irreführende Ergebnisse
liefern kann. Ferner wird auch die Unanwendbarkeit
des naiven Bootstraps schlüssig aufgezeigt.
Andersen, E. B. (1973). A goodness of fit test for the Rasch model.
Psychometrika, 38, 123–140.
Davison, A. C. and Hinkley, D. V. (1997). Bootstrap Methods and
their Application. Cambridge: University Press.
58