01.02 - WILD AUSTRIA - Externe Evaluierung - Prof. Dr. Kallus - UNI Graz

Die Beurteilung der Güte von Cohen’s Kappa erfolgt angelehnt an die Hinweise von Fleiss
und Cohen (1973, zitiert nach Wirtz & Caspar, 2002).
Neben den Urteilsübereinstimmungen wurden CSA-Ratings mit den Analysen der 24 Stunden
EKG-Daten verglichen.
4.5.2 Aufbereitung der Daten
Um die Beurteilungen der ACBs und CSAs miteinander vergleichen zu können, musste aufgrund
der fehlenden Mittelkategorie (3 „weder noch“) bei Beurteilung der CSAs eine Vereinfachung
der ACB-Rankings vorgenommen werden. Somit wurde die Kategorie 3 „weder
noch“ bei den ACBs zurückgestuft auf die Kategorie 2 „weniger kritisch“. Dieses Vorgehen
steht im Einklang mit den im Projekt „Wild. Gesunder Vorsprung“ durchgeführten Beurteilungen.
Bei der Überprüfung der Interrater-Übereinstimmung der ACBs wurden alle 5 Kategorien
herangezogen, wogegen bei der Prüfung des Zusammenhangs der ACBs und CSAs wie
oben bereits angemerkt, jeweils nur 4 Kategorien herangezogen werden konnten. In folgender
Tabellen (Tabelle 4.9) finden sich die Kategorien für die Beurteilungen:
Tabelle 4.9: Kategorien – ACB Vergleich ACB / CSA
Zusammenfassung der Kat egorien
Kategorien
Kategorien
Kategorien
Kat_neu
sehr kritisch 5
kritisch 4
sehr kritisch 5
kritisch 4
sehr kritisch 5
kritisch 4
1
weder noch 3
weder noch 2
weder noch 3
weniger kritisch 2
nicht kritisch 1
weniger kritisch 2
nicht kritisch 1
weniger kritisch 2
nicht kritisch 1
0
nicht beurteilbar 0
nicht beurteilbar 0
nicht beurteilbar 0
Für die Berechnung des Nominalskalen-Kappa werden für die Übereinstimmung zwischen
ACBs und CSAs die Kategorien 1 und 2 zu 0 bzw. 4 bis 5 zu 1 zusammengefasst. Beim
ACB-Ranking werden die Kategorien 1 bis 3 und 4 bis 5 jeweils zu 0 bzw. 1 zusammengefasst.
4.5.3 Ergebnisse
Um den Globalzusammenhang zwischen den einzelnen Beurteilungen zu erhalten, wurde
zuerst ein Kappa für Nominalskalen berechnet, wobei die Zusammenfassung der Kategorien
zu 2 Hauptkategorien, wie oben beschrieben, durchgeführt wurde.
40