Krankheitseinsicht, dynamisch getestete Exekutivfunktionen und ...

226
Ergebnisse Studie 2
Die Betrachtung der Rangfolgen der Inter-Methoden-Konkordanzen zeigt sowohl für Roh-
als auch für T-Werte, dass klassischer RCI und URCI am geringsten und klassischer RCI
und 15P42 sehr hoch übereinstimmen. Der deutlichste Unterschied findet sich für den
Vergleich von GLN-Index und URCI, die für T-Werte höher übereinstimmen als für
Rohwerte. Die Ursache dieser Diskrepanz liegt darin, dass der URCI für beide Score-Arten
der statistisch liberalste Index ist, der GLN für Rohwerte aber, wie der kRCI, eher konservativ
urteilt (s. Tabelle 27 oben). Für T-Werte jedoch zählt der GLN-Index zu den liberalsten
Methoden, was, wie unten gezeigt wird, wesentlich auf den erhöhten Anteil verbesserter
Leistungsstarker zurückgeht. Schließt man alle Leistungsstarken aus, erhöht sich die
Übereinstimmung von kRCI und GLN auch für T-Werte wieder auf κ = .89.
Um die Güte der gemeinsamen Übereinstimmung zu quantifizieren, wurde zusätzlich
Fleiss’ Kappa (κm: FLEISS, 1971), eine Verallgemeinerung auf m Beurteiler berechnet
(s. BORTZ & LIENERT, 2008). Um Fleiss’ Kappa dabei nicht artifiziell zu überhöhen, wurde
der ursprüngliche Osnabrücker Veränderungsindex (15P43) ausgeschlossen (es wurden
also nur die vier Methoden mit gleichem Trennwert einbezogen). Zusätzlich wurden zur
Abschätzung der Konkordanz pro Urteilskategorie kategorienspezifische Kappa-Koeffizien-
ten (κj) berechnet. Die Ergebnisse sind in Tabelle 30 dargestellt.
Tabelle 30.
Fleiss’ Kappa-Koeffizienten für die allgemeine und kategorienspezifische
Konkordanz von vier RCI-Methoden für Roh- und T-Werte
15P42, kRCI, GLN, URCI (m = 4) R T
κm (alle Performanztypen): .826 .853
kategorienspezifische κj
Verbesserte Leistungsstarke HS+ .521 .762
Konstant Leistungsstarke HS± .900 .860
Aufwärts-Grenzfälle GF+ .561 .676
Abwärts-Grenzfälle GF- [.862] [1]
klinisch bedeutsame Verbesserer bzw. Lerner LR .885 .891
Verschlechterer VS [.264] ---
Verbesserte Leistungsschwache bzw. Nichtlerner NL+ [.479] [.497]
Konstant Leistungsschwache NL± .900 .976
Verschlechterte Leistungsschwache NL+ [.666] ---
Anmerkungen. Eingeklammerte κj weisen geringe Zellenbesetzungen auf (n ≤ 8); 15P42: 15-
Punkte-Regel, Trennwert 42; kRCI: »klassischer« Reliable Change Index; GLN: Gulliksen-Lord-
Novick-RCI; URCI: »ultimativer« RCI
Es lässt sich konstatieren, dass auch die simultane Betrachtung der vier Veränderungsindices
eine substanzielle Konkordanz ergibt. Die Übereinstimmungsquote beträgt für
Rohwerte nahezu 88 % bei einer Zufallserwartung von 30 % (Fleiss’ κ = .83), für T-Werte
sogar leicht höher. Die zusätzlich berechneten kategorienspezifischen Kappa-Koeffizienten
erlauben eine differentielle Interpretation dahingehend, dass sich die höchsten Überein-
stimmungen (κj = .90) bei den beiden durch Konstanz gekennzeichneten Subgruppen
einstellen, was bei einem Vergleich von Veränderungsindices und der Verwendung eines
festen Trennwerts nicht verwundert.
Während die schwach besetzten Subgruppen der Verschlechterer (n ≤ 3), der verschlechterten
Leistungsschwachen (n ≤ 2), der Abwärts-Grenzfälle (n ≤ 8) und der
verbesserten Leistungsschwachen (n ≤ 13) ausgeklammert bleiben sollen, bedürfen v. a. die