A.-K. Praetorius, Ch. Pauli, K. Reusser, K. Rakoczy & E. Klieme
A.-K. Praetorius, Ch. Pauli, K. Reusser, K. Rakoczy & E. Klieme
A.-K. Praetorius, Ch. Pauli, K. Reusser, K. Rakoczy & E. Klieme
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Eine für alle …<br />
Kann man Unterrichtsqualität mit einer Unterrichtsstunde<br />
pro Lehrkraft erfassen?<br />
Anna-Katharina <strong>Praetorius</strong>, <strong>Ch</strong>ristine <strong>Pauli</strong>, Kurt <strong>Reusser</strong>,<br />
Katrin <strong>Rakoczy</strong> & Eckhard <strong>Klieme</strong><br />
Vortrag auf der 2. Frankfurter Tagung zu Videoanalysen in der<br />
Unterrichts- und Bildungsforschung<br />
21.02.2013
Theoretischer Hintergrund<br />
Erfassung von Unterrichtsqualität:<br />
Beobachterratings als „Königsweg“<br />
(Clare et al., 2001; Helmke, 2009; Petko et al., 2003; Pianta & Hamre, 2009)<br />
<strong>Ch</strong>arakteristikum Beobachterratings: kurzer Zeitraum<br />
• i.d.R. 1-2 Unterrichtsstunden<br />
(z.B. TIMSS, QuiP, DESI, IPN-Videost.)<br />
• max. 10 h<br />
(z.B. LPS, CES)<br />
Festlegung der Anzahl:<br />
- theoretische Überlegungen<br />
- bisherige Praxis<br />
aber: v.a. empirische Frage (Rosenshine & Furst, 1973)<br />
Kostengründe Verlässlichkeit der Daten<br />
2
Theoretischer Hintergrund<br />
Empirische Untersuchungen<br />
• korrelative Untersuchungen: -.90 ≤ r ≤ .92<br />
(Kunter, 2005; <strong>Rakoczy</strong>, 2008; Shavelson & Dempsey-Atwood, 1976)<br />
• Generalisierbarkeitsanalysen: 3-90% der Varianz<br />
unterrichtsstundenspezifisch<br />
(Calkins et al., 1997; Erlich & Shavelson, 1978; Hill et al., 2012; Newton, 2010)<br />
Stabilität vom untersuchten Merkmal abhängig<br />
Basisdimensionen von Unterrichtsqualität<br />
• Klassenführung<br />
• unterstützendes Unterrichtsklima<br />
• kognitive Aktivierung<br />
?<br />
3
Fragestellungen<br />
F 1: In welchem Ausmaß variieren die Ausprägungen der drei<br />
Basisdimensionen von Unterrichtsqualität zwischen<br />
Unterrichtsstunden?<br />
F 2: Wie viele Unterrichtsstunden pro Lehrkraft sind nötig,<br />
um die drei Basisdimensionen von Unterrichtsqualität<br />
hinreichend zuverlässig zu erfassen?<br />
4
Stichprobe<br />
Methode<br />
• Videostudie „Unterrichtsqualität, Lernverhalten und mathematisches<br />
Verständnis“ (Pythagoras-Studie; s. Hugener et al., 2006), Schuljahr<br />
2002/03<br />
• 38 Lehrkräfte à 5 Unterrichtsstunden<br />
• mdst. 2 Rater<br />
Instrument<br />
• 3 Basisdimensionen von Unterrichtsqualität (s. <strong>Rakoczy</strong> & <strong>Pauli</strong>, 2006)<br />
– Klassenführung (2 Items; α = 1.00)<br />
– unterstützendes Unterrichtsklima (3 Items; α = .83)<br />
– kognitive Aktivierung (3 Items; α = .74)<br />
• Items jeweils 4-stufig<br />
5
Methode<br />
Design und Analysen<br />
• Generalisierbarkeitstheorie (Cronbach et al., 1972)<br />
• Analysen<br />
– G-Analysen<br />
– D-Analysen<br />
• Software:<br />
– urGENOVA 2.1 (Brennan, 2001)<br />
– GENOVA (Crick & Brennan, 1983)<br />
• Schätzer: EMS<br />
6
Ergebnisse<br />
G-Analysen: Dimension Klassenführung<br />
Unterrichtsstunden<br />
Lehrkräfte<br />
G-Koeffizienten: ρ 2 = .92; Φ = .91<br />
Gesamtvarianz: .47<br />
U:L<br />
L<br />
63%<br />
R<br />
2% RL<br />
8%<br />
13% Ratereffekte<br />
RU:L<br />
11%<br />
RUI:L<br />
2%<br />
Residuum<br />
7
Skalenmittelwert Klassenführung<br />
4<br />
3.5<br />
3<br />
2.5<br />
2<br />
1.5<br />
1<br />
Ergebnisse<br />
L01<br />
L09<br />
L06<br />
L34<br />
L12<br />
L35<br />
L05<br />
L13<br />
L17<br />
L02<br />
L15<br />
L27<br />
L04<br />
L16<br />
L24<br />
L25<br />
L07<br />
L08<br />
L22<br />
L32<br />
L21<br />
L26<br />
L37<br />
L18<br />
L03<br />
L10<br />
L11<br />
L14<br />
L19<br />
L20<br />
L23<br />
L28<br />
L29<br />
L30<br />
L31<br />
L33<br />
L36<br />
L38<br />
Lehrkräfte<br />
PY 1 PY 2 PY 3<br />
TA 1 TA 2<br />
8
Ergebnisse<br />
G-Analysen: Dimension unterstützendes Unterrichtsklima<br />
Lehrkräfte<br />
Unterrichtsstunden<br />
G-Koeffizienten: ρ 2 = .94; Φ = .83<br />
Gesamtvarianz: .66<br />
L<br />
21%<br />
LI<br />
17%<br />
UI:L<br />
3%<br />
U:L<br />
2%<br />
RUI:L<br />
18%<br />
Residuum<br />
I<br />
12%<br />
R<br />
3%<br />
RLI<br />
12%<br />
RL<br />
9%<br />
Items<br />
RI<br />
3%<br />
Ratereffekte<br />
9
Skalenmittelwert Schülerorientierung<br />
4<br />
3.5<br />
3<br />
2.5<br />
2<br />
1.5<br />
1<br />
Ergebnisse<br />
L03<br />
L09<br />
L24<br />
L13<br />
L34<br />
L33<br />
L26<br />
L02<br />
L08<br />
L11<br />
L22<br />
L27<br />
L07<br />
L25<br />
L05<br />
L17<br />
L01<br />
L35<br />
L18<br />
L04<br />
L32<br />
L23<br />
L21<br />
L12<br />
L39<br />
L19<br />
L06<br />
L29<br />
L30<br />
L36<br />
L28<br />
L37<br />
L16<br />
L31<br />
L38<br />
L15<br />
L10<br />
L14<br />
L20<br />
Lehrkräfte<br />
PY 1 PY 2 PY 3<br />
TA 1 TA 2<br />
10
Ergebnisse<br />
G-Analysen: Dimension kognitive Aktivierung<br />
Unterrichtsstunden<br />
G-Koeffizienten: ρ 2 = .63; Φ = .60<br />
Gesamtvarianz: 1.10<br />
UI:L<br />
31%<br />
U:L<br />
17%<br />
RL<br />
4% RI<br />
5%<br />
L<br />
13%<br />
RU:L<br />
2%<br />
RLI<br />
5%<br />
RUI:L<br />
23%<br />
Ratereffekte<br />
Lehrkräfte<br />
Residuum<br />
11
Ergebnisse<br />
G-Analysen: Dimension kognitive Aktivierung<br />
Unterrichtsstunden<br />
G-Koeffizienten: ρ 2 = .63; Φ = .60<br />
Gesamtvarianz: 1.10<br />
UI:L<br />
31%<br />
U:L<br />
17%<br />
RL<br />
4% RI<br />
5%<br />
L<br />
13%<br />
RU:L<br />
2%<br />
• Einschränkung: hohe negative Varianz für L x I<br />
• aber: identische Ergebnisse bei Alternativdesign<br />
RLI<br />
5%<br />
RUI:L<br />
23%<br />
Ratereffekte<br />
Lehrkräfte<br />
Residuum<br />
12
Skalenmittelwert kognitive Aktivierung<br />
4<br />
3.5<br />
3<br />
2.5<br />
2<br />
1.5<br />
1<br />
Ergebnisse<br />
PY 1 PY 2 PY 3<br />
TA 1 TA 2<br />
L03<br />
L24<br />
L33<br />
L22<br />
L36<br />
L37<br />
L27<br />
L02<br />
L11<br />
L25<br />
L29<br />
L13<br />
L17<br />
L34<br />
L18<br />
L28<br />
L32<br />
L35<br />
L39<br />
L26<br />
L01<br />
L06<br />
L21<br />
L08<br />
L19<br />
L38<br />
L15<br />
L12<br />
L30<br />
L09<br />
L05<br />
L16<br />
L14<br />
L23<br />
L31<br />
L04<br />
L07<br />
L20<br />
L10<br />
Lehrkräfte<br />
13
Relativer G-Koeffizient<br />
1<br />
0.9<br />
0.8<br />
0.7<br />
0.6<br />
0.5<br />
0.4<br />
0.3<br />
0.2<br />
Ergebnisse<br />
Entscheidungsstudien<br />
Klassenführung<br />
unterstützendes Unterrichtsklima<br />
kognitive Aktivierung<br />
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20<br />
Anzahl an Unterrichtsstunden pro Lehrkraft<br />
14
Diskussion<br />
Hohe Variabilität – Ursachen?<br />
Klassenführung (Teilstichprobe):<br />
• Einfluss situationaler Merkmale (z.B. Sozialform)?<br />
• Abgeschnittene Verteilung?<br />
Kognitive Aktivierung:<br />
• unklare Definition des Konstrukts<br />
• nur bestimmte Aspekte kognitiver Aktivierung beobachtbar<br />
15
Diskussion<br />
Eine Unterrichtsstunde als hinreichender Schätzer für<br />
Unterrichtsqualität?<br />
• Klassenführung + unterstützendes Unterrichtsklima: ja<br />
• Kognitive Aktivierung: nein<br />
„Pessimistically, we entertained the possibility that generalizability may<br />
be extremely limited in an educational context”<br />
(Shavelson & Dempsey-Atwood, 1976,S. 609)<br />
16
Danke für Ihre Aufmerksamkeit!<br />
Kontakt:<br />
Anna-Katharina <strong>Praetorius</strong><br />
Lehrstuhl für Psychologie<br />
Universität Augsburg<br />
E-Mail: anna.praetorius@phil.uni-augsburg.de<br />
17
Change language