Krankheitseinsicht, dynamisch getestete Exekutivfunktionen und ...

10.6 Unterschiedstests und Konkordanzen der RCIs
225
Ergebnisse Studie 2
Um Cochrans Q als Omnibus-Test der Unterschiede zwischen den Ergebnissen der Indices
berechnen zu können, wurden diese an zcrit = 1,96 bzw. an PPDcrit = 15 dichotomisiert (d. h.
signifikante Verbesserung vs. keine Verbesserung). Verschlechterer blieben aufgrund ihrer
geringen Anzahl unberücksichtigt. Cochrans Q wurde hochsignifikant für den Vergleich
aller vier Methoden (kRCI, GLN, URCI, 15P42: χ 2 [3] = 162.7, p < .001) und für den
Vergleich der drei RCIs (χ 2 [2] = 128.2, p < .001). Für jedes Variablenpaar wurden im
Anschluss McNemars χ 2 -Tests berechnet. Diese bestätigen den ersten Eindruck: Alle
Methoden unterscheiden sich hochsignifikant (p < .001), mit Ausnahme von kRCI und
GLN (p > .05), d. h. Hypothese 2.1 findet Bestätigung.
Als nächstes wurde die klassifikatorische Übereinstimmung der berechneten Indices
untersucht. Betrachtet wurden die absoluten Prozentsätze gleich klassifizierter Probanden
ohne Korrektur durch die Zufallserwartung und Cohens Kappa-Werte (COHEN, 1960), also
der Anteil an zufallskorrigierter Übereinstimmung. Tabelle 29 zeigt die Inter-Methoden-
Konkordanzen, d. h. die Übereinstimmungen der Resultate verschiedener RCI-Methoden
innerhalb der Rohwerte bzw. T-Werte und die Intra-Methoden-Konkordanzen, d. h. die
Übereinstimmung der Ergebnisse einer Methode für Rohwerte und T-Werte.
Tabelle 29.
Inter-Methoden-Konkordanzen der RCI-Methoden (κ) für Rohwerte (o. r.) und T-Werte
(u. l.) sowie Intra-Methoden-Konkordanzen (grau)
15P43 382 (95,50 %)
.936
15P42 319 (79,75 %)
0,721
kRCI 368 (92,00 %)
0,893
GLN 372 (93,00 %)
0,907
URCI
T-Werte
15P42 kRCI GLN URCI
359 (89,75 %)
0,860
Inter-Methoden-Konkordanzen (Rohwerte)
356 (89,00 %)
.843
370 (92,50 %)
.892
313 (78,25 %)
0,704
350 (87,50 %)
0,836
327 (81,75 %)
0,757
356 (89,00 %)
.845
371 (92,75 %)
.897
371 (92,75 %)
.897
300 (75,00 %)
0,670
361 (90,25 %)
0,868
335 (83,75 %)
.770
348 (87,00 %)
.815
320 (80,00 %)
.719
325 (81,25 %)
.739
324 (81,00 %)
0,735
Anmerkung. Für 15P43 können keine T-Werte berechnet werden. 15P43, 15P42: 15-Punkte-Regel, Trennwert 43
bzw. 42; kRCI: »klassischer« Reliable Change Index; GLN: Gulliksen-Lord-Novick-RCI; URCI: »ultimativer« RCI
Die Inter-Methoden-Konkordanzen für Rohwerte reichen von κ = .72 (80,00 %: kRCI und
URCI) bis nahezu .90 (15P42 und kRCI) und sind damit nach LANDIS und KOCH (1977,
S. 165) als »substantial« (κ > .60) bis »almost perfect« (κ > .80) zu bewerten. Nur die
Übereinstimmung zwischen den Varianten der 15-Punkte-Regel mit unterschiedlichen
Trennwerten fällt, wenig verwunderlich, noch höher aus. Trivialerweise stimmen die
Ergebnisse der 15P42-Regel etwas besser mit denen der eigentlichen RCIs mit gleichem
Trennwert überein als die der klassischen 15-Punkte-Regel mit c = 43. Für T-Werte liegen
die Übereinstimmungen zwischen κ = .76 und .91. Die ursprüngliche Osnabrücker Regel
(15P43) kann auf T-Werte nicht sinnvoll angewendet werden und fehlt daher in Tabelle 29.