Links - Universität Bielefeld

Mo. 10.09.| Einzelbeiträge 10 | 16:15 – 16:55 Uhr | Raum T2 226
Anna-Katharina Praetorius, Lisa Rösch, Friedrich-Wilhelm Schrader, Andreas Helmke
Denn wir wissen (nicht), was sie tun – Einschätzung von
Unterrichtsqualität durch Rater und damit verbundene Schwierigkeiten im
Urteilsprozess
Universität Koblenz-Landau
praetorius@uni-landau.de
Unterrichtsqualität wird in vielen Studien über Beobachterratings erfasst. Mit Beobachtertrainings
und Kontrollen der Urteilerübereinstimmung wird versucht sicherzustellen, dass die Urteiler
über eine hinreichende Beobachtungs- und Beurteilungskompetenz verfügen. Untersuchungen
dazu, welche Schwierigkeiten im Urteilsprozess festzustellen sind, existieren bislang jedoch
kaum. In der vorliegenden Untersuchung wird der Frage nachgegangen, ob und in welchem
Ausmaß bei den im Vierstufenmodell der Beantwortung von Surveys (s. Groves et al., 2009)
unterschiedenen Schritten (Iteminterpretation, Indikatorensuche und -auswahl, Informationsintegration,
Antwortkategoriewahl) Probleme auftreten.
Datenbasis der Untersuchung bilden drei videografierte Unterrichtssequenzen, die von je 12
geschulten Ratern in Bezug auf die Dimensionen Klassenführung und Schülerorientierung mittels
insgesamt 12 Items eingeschätzt wurden. Als Erhebungsmethoden wurden die Methode des
lauten Denkens (Ericsson & Simon, 1993), kognitive Interviews und eine quantitative Fragebogenerhebung
eingesetzt. Ausgewertet wurden die Daten mit der qualitativen Inhaltsanalyse
nach Mayring (2008) sowie einfachen deskriptiven Maßen.
Die Ergebnisse deuten darauf hin, dass bei allen Verarbeitungsschritten Schwierigkeiten auftreten,
wobei es zwischen Unterrichtssequenzen erhebliche Unterschiede gibt: (1) Einige Rater
weisen Schwierigkeiten bei der Interpretation einzelner Items auf. (2) Bei bis zu einem Drittel
der Antworten zeigen sich Probleme bei der Suche und Auswahl von Indikatoren (z.B. intuitive
Vorgehensweisen). (3) Indikatoren werden unterschiedlich einbezogen und gewichtet und die in
das Urteil eingehenden Verhaltensweisen variieren deutlich in ihrer Anzahl. (4) Schwierigkeiten
beim Wählen einer Antwortkategorie (z.B. Hin- und Herschwanken zwischen Antwortkategorien)
treten bei bis zu einem Fünftel der Antworten auf.
Diskutiert werden soll u.a., in welchem Ausmaß aufgrund der Ergebnisse Einschränkungen in
Bezug auf die Interpretierbarkeit von Beobachterratings zu vermuten sind und wie solchen
Schwierigkeiten in künftigen Studien entgegengewirkt werden kann.
Ericsson, K. A. & Simon, H. A. (1993). Protocol analysis: Verbal reports as data. Cambridge: MIT Press.
Groves, R. M., Fowler Jr., F. J., Couper, M. P., Lepkowski, J. M. & Singer, E. (2009). Survey Methodology. Hoboken,
NJ: John Wiley & Sons.
Mayring, P. (2008). Qualitative Inhaltsanalyse: Grundlagen und Techniken (10. Aufl.). Weinheim: Beltz.
161