1996_Moreau.pdf

Abschnitt 5.1.6.). Innerhalb einer Gruppe werden nur diejenigen Raterpaare
herangezogen, bei denen beide Beobachter der betreffenden Gruppe angehören. Für
die Gruppe der StudentInnen im 1. Ausbildungsjahr (S1) ergibt sich somit der mittlere
Interrater-Übereinstimmungswert der Items der Ausdrucksskala für den 1. Meßzeitpunkt
aus dem Median einer 16 x 16 / 2 - Matrix, für die Gruppe der StudentInnen im 3.
Ausbildungsjahr (S3) aus einer 13 x 13 / 2-Matrix. Analog berechnen sich die mittleren
Interrater-Maße für die anderen Gruppen. Wegen der ohnehin zu geringen Fallzahlen (N
= +/- 10) zu den beiden Meßzeitpunkten und der schwer interpretierbaren Ergebnisse
wird diese Berechnung nur für den ersten, nicht mehr für den zweiten Meßzeitpunkt
durchgeführt.
4.8.3. Berechnungen zur Reliabilität der Urteile
Die Reliabilität als Maß für die Übereinstimmung zwischen den Urteilen des ersten und
zweiten Meßzeitpunktes wird auf zweifache Weise berechnet (vgl. Abschnitt 5.2.).
Zunächst wird als Zusammenhangsmaß zwischen erstem und zweiten Meßzeitpunkt
COHEN's Reliabilitätskoeffizient "kappa" berechnet (COHEN 1960). In diese
Berechnung gehen die beobachteten und erwarteten Übereinstimmungen eingehen.
HOLLENBECK (1978) und ASENDORPF & WALLBOTT (1979) empfehlen diesen
Koeffizienten, da er keine Annahmen über die Verteilung der Urteile beider
Meßzeitpunkte voraussetzt.
Dieses Maß wird gleich auf Itemebene bestimmt. die Güte der gesamten Ausdrucksbzw.
Kommunikationsskala wird grob durch den mittleren Kappa- Koeffizienten über alle
14 bzw. 12 Items eingeschätzt. Für die Berechnung der Items der Ausdrucksskala
werden N = 34 Rater, für die Berechnung der Items der Kommunikationsskala N = 30
Rater einbezogen, jene Rater also, die an beiden Meßzeitpunkten teilgenommen haben.
Pro Item der Ausdrucksskala fließen 340 Werte (= 34 Rater x 10 Szenen) ein, pro Item
der Kommunikationsskala 300 Werte (= 30 Rater x 10 Szenen).
82