Aufrufe
vor 4 Jahren

TIMSS 2007: Erste Ergebnisse - Bifie

TIMSS 2007: Erste Ergebnisse - Bifie

Zur Interpretation der

Zur Interpretation der Ergebnisse Teilnehmerländer Weltweit beteiligten sich 37 Länder (36 mit verwertbaren Daten) und sieben so genannte „Benchmarking Participants“ an TIMSS 2007 (vgl. Abb. 1). Bei den Benchmarking Participants handelt sich um Provinzen oder Landesteile, die an eigenständigen Vergleichsdaten interessiert sind. Die Benchmarking Participants werden in die folgenden Ergebnisdarstellungen nicht einbezogen. Im Anhang befinden sich jedoch Tabellen, die auch die Ergebnisse dieser Regionen umfassen. Eine weitere Besonderheit der IEA-Studien ist, dass England und Schottland auf Grund ihrer unterschiedlichen Schulsysteme getrennt teilnehmen und ihre Ergebnisse auch separat berichtet werden. Darüber hinaus beteiligt sich auch Hongkong (Sonderverwaltungszone der Republik China) immer getrennt an IEA-Studien und wird so wie England und Schottland als „eigenes Land“ behandelt. Qualitätsstandards Um die Repräsentativität der Ergebnisse sicherzustellen, setzt TIMSS sehr hohe Qualitätskriterien hinsichtlich der Stichprobenauswahl und des Datenrücklaufs. In Bezug auf die Stichprobenauswahl sollten möglichst alle Schüler/innen der 4. Schulstufe eines Landes in TIMSS einbezogen werden. Dieses Kriterium konnten in TIMSS 2007 Lettland, Georgien, Kasachstan und Litauen nicht zur Gänze erfüllen, da in diesen Ländern nur die Schüler/innen, die in der meistgesprochenen Sprache des Landes unterrichtet werden, einbezogen wurden. Die vor der Testung zulässigen Ausschlüsse auf Schul- und Schülerebene dürfen maximal 5 % der Population betreffen. So können z. B. vor der Zufallsauswahl der Schulen Sonderschulen ausgeschlossen werden. Auf Schülerebene dürfen einzelne Schüler/innen anhand von drei Kriterien (andauernde schwere körperliche oder geistige Behinderung sowie mangelnde Deutschkenntnisse) im Vorfeld der Testung ausgeschlossen werden. Einzig in den USA wurden auf Grund dieser Kriterien mehr als 5 % (9,2 %) der Schüler/innen ausgeschlossen. Hinsichtlich des Rücklaufs gilt es auf den unterschiedlichen Ebenen folgende Kriterien zu erreichen: auf Schulebene 85 % aller ausgewählten Schulen; auf Klassenebene 95 %; auf Schülerebene (innerhalb der teilnehmenden Klassen) 85 %; auf Lehrerebene (innerhalb der teilnehmenden Klassen) 85 %. Länder, die eine kombinierte Rücklaufquote dieser Ebenen von 75 % nur mit Hilfe der Ersatzschulen erreichen, werden im internationalen Bericht gekennzeichnet. Dies betrifft die USA, Dänemark und Schottland. Auch die Niederlande sind gekennzeichnet: Hier konnte auf Schulebene der notwendige Mindestrücklauf von 50 % ohne Ersatzschulen nicht erreicht werden. Nach Heranziehen dieser wurden die geforderten Kriterien erreicht. Bei den eben genannten Ländern wurden die Kriterien für die Stichprobenauswahl und den Datenrücklauf oft nur knapp verfehlt. Der Rückschluss auf die Population ist hier mit einer etwas größeren Unsicherheit behaftet. Dennoch ist die Datenqualität so hoch, dass ein Bericht im Ländervergleich vertretbar ist. Das einzige Land, das auf Grund mangelnder Stichprobentransparenz von den Ergebnisdarstellungen ausgeschlossen wird, ist die Mongolei. Alle übrigen Länder haben die sehr strengen Kriterien zur Gänze erfüllt. Bei diesen Ländern kann auf Grund der Stichprobe sehr exakt auf die Population rückgeschlossen werden. Österreich hat die vorgeschriebenen Rücklaufquoten deutlich übertreffen können: Auf Schulebene wurde ein Rücklauf von 99,5 % (nach Berücksichtigung von zwei Ersatzschulen) erzielt. 99,4 % der ausgewählten Klassen in diesen Schulen und 97,5 % der Schüler/innen innerhalb dieser Klassen haben an TIMSS teilgenommen. Die österreichische Datenbasis umfasst die Daten von 4 859 Schülerinnen und Schülern aus 325 Klassen in 196 Schulen. Darstellung Da eine vollständige Darstellung aller Teilnehmerländer in allen Unterkapiteln den Rahmen dieser Publikation sprengen würde, beziehen sich die Analysen nur in den ersten zwei Kapiteln dieses Berichts auf die 36 beteiligten Länder (exkl. Benchmarking Participants). In weiterer Folge beschränkt sich die Darstellung der Ergebnisse meist auf die 14 teilnehmenden EU-Länder. In den Abbildungen, in denen die Mittelwerte auf der Mathematik- und Naturwissenschafts-Gesamtskala im Ländervergleich dargestellt werden, ist ein Ländermittelwert eingezeichnet. Dies ist der Mittelwert der 36 Teilnehmerländer. Auf Subskalen-Ebene werden keine Ländermittelwerte berichtet, da hier nicht für alle 36 Länder Daten vorliegen. Statistische Interpretation Da bei TIMSS nicht alle Schüler/innen der 4. Schulstufe eines Landes getestet werden, sondern nur eine Stichprobe (in Österreich etwa 5 000 Schüler/innen von insgesamt ca. 90 000), müssen bei der Interpretation der Ergebnisse einige Dinge beachtet werden.

TIMSS 2007: Erste Ergebnisse 11 Die statistischen Kennzahlen (z. B. Mittelwerte) sind Punktschätzungen der tatsächlichen Populationswerte. Sie sind auf Grund der Testung einer Stichprobe von Schülerinnen und Schülern mit einem gewissen statistischen Fehler, dem Standardfehler, behaftet. Dieser führt zu einem Konfidenzintervall, innerhalb dessen sich der tatsächliche Populationswert mit einer bestimmten Wahrscheinlichkeit (in dieser Publikation 95 %, d. h. p < .05) befindet. Dieses Intervall muss bei der Interpretation der Ergebnisse berücksichtigt werden. Der statistische Messfehler spielt auch bei Vergleichen von zwei Mittelwerten eine Rolle, etwa wenn man die Ergebnisse zweier Gruppen von Schülerinnen und Schülern (z. B. aus zwei Ländern oder von Mädchen und Buben) miteinander vergleicht. Alle Signifikanzprüfungen in dieser Publikation erfolgen, falls nicht explizit anders vermerkt, zweiseitig auf dem 5 %-Niveau. Werden mehrere Vergleiche durchgeführt (z. B. Vergleich des Österreich-Mittelwerts mit allen anderen Ländermittelwerten), wird in Anlehnung an die Berichterstattung des internationalen Zentrums keine Bonferroni-Korrektur durchgeführt. Bei der Interpretation ist daher zu beachten, dass bei multiplen Mittelwertvergleichen die Signifikanzen bei den Differenzen etwas überschätzt werden. Werden für statistische Analysen Chi-Quadrat-Tests herangezogen, erfolgen die Berechnungen immer mit den ungerundeten Prozentwerten und unter Beachtung der Verzerrungen, die durch das Stichprobendesign entstehen. Um diesen Verzerrungen Rechnung zu tragen, wurde ein Designeffekt von 4,3 angenommen. Da es sich bei TIMSS um sehr große, präzise Stichproben handelt, können teilweise auch sehr kleine Unterschiede (etwa zwischen Mädchen und Buben) statistisch nachgewiesen werden. Diese existieren mit großer Wahrscheinlichkeit in der betreffenden Population, sind aber manchmal so klein, dass sie inhaltlich nicht relevant sind. In einigen Fällen ergänzen wir deshalb die Beschreibung durch Hinweise auf die praktische Relevanz von Unterschieden, die in dieser Publikation durch Effektstärken größer 0,2 definiert wird (d. h. der Unterschied macht mindestens 20 % der Standardabweichung aus). Da es sich bei TIMSS um eine repräsentative Stichprobe von Schülerinnen und Schülern der 4. Schulstufe handelt und um keine repräsentative Stichprobe der Lehrer/innen, muss die Auswertung von Lehrerdaten immer auf Schülerebene interpretiert werden. Beispielsweise kann bei der Interpretation der Geschlechterverteilung der Lehrpersonen nicht davon gesprochen werden, dass 80 % der österreichischen Lehrpersonen von 4. Klassen weiblich sind, sondern die Interpretation muss auf Grund der Stichprobe auf Schülerebene erfolgen: 80 % der Viertklässler/innen werden in Österreich von weiblichen Lehrkräften unterrichtet. Weiters weisen wir explizit darauf hin, dass ein direkter Vergleich von Ergebnissen mit anderen Studien wie etwa PISA nicht möglich ist, da das Erhebungsdesign und die Testinstrumente nicht darauf abgestimmt sind. Dies bezieht sich nicht nur auf statistische Kennzahlen wie beispielsweise Mittelwerte und Zusammenhänge, sondern auch auf die prozentuellen Anteile von Schülerinnen und Schülern in den Leistungslevels. Rundungen und Missings Bei allen in dieser Publikation angegebenen Kennwerten (Mittelwerte, Standardfehler, Prozentangaben etc.) handelt es sich um gerundete Werte. Alle in Tabellen und Abbildungen enthaltenen Werte werden zuerst – unter Berücksichtigung entsprechender Nachkommastellen – berechnet und dann gerundet. Deshalb kann es vorkommen, dass die Summe der gerundeten Prozentangaben nicht exakt 100 ergibt oder Summen von Werten geringfügig inkonsistent erscheinen mögen. In allen Kapiteln mit Hintergrundvariablen werden bei Antwortkategorien mit einer Häufigkeit von weniger als 3 % auf Grund der geringen Fallzahl keine Leistungsmittelwerte berichtet. Die entsprechende Kategorie wird mit „n. b.“ bezeichnet. Tabellen im Anhang Der ersten Anhangstabelle (A1) können Sie das Durchschnittsalter und die Schulstufe der getesteten Schüler/innen der jeweiligen Länder entnehmen. Die restlichen Anhangstabellen (A2 bis A5) enthalten die genauen Werte zu den Abbildungen der Kapitel 1 und 2 (ausgenommen Abschnitt 1.2 und 2.2). Neben den Werten zu den 36 regulären Teilnehmerländern enthalten die Anhangstabellen auch Daten für die Benchmarking Participants. Wichtige TIMSS-2007-Publikationen Österreichische Publikationen (http://www.bifie.at): Die Studie im Überblick (Suchan, Wallner-Paschon & Schreiner, 2008) Technischer Bericht (Suchan, Wallner-Paschon & Schreiner, in Vorbereitung, verfügbar Anfang 2009) Internationale Publikationen der IEA (http://timss.bc.edu/ TIMSS2007): Ergebnisberichte: TIMSS 2007 International Mathematics Report und TIMSS 2007 International Science Report: Findings from IEA’s Trends in International Mathematics and Science Study at the Fourth and Eighth Grades. (Mullis, Martin & Foy, 2008 und Martin, Mullis & Foy, 2008). Technischer Bericht (Olson, Martin & Mullis, 2008).

PIRLS & TIMSS 2011 - Ergebnisse - Bifie
TIMSS 2007 Schülerleistungen im Überblick - Bifie
TIMSS 2007. Mathematik und Naturwissenschaft in der Grundschule
TIMSS 2007 Lehrerfragebogen - Bifie
TIMSS 2007 Kompetenzunterschiede zwischen Mädchen und ... - Bifie
PIRLS & TIMSS 2011 - Studienbeschreibung - Bifie
TIMSS 2007 Vortragsfolien Aggression in der Schule - Bifie
PIRLS & TIMSS 2011 Folder - Bifie
PISA 2009: Erste Ergebnisse aus Vorarlberg - Bifie
TIMSS 2011: Freigegebene Items Mathematik mit ... - Bifie
Freigegebene Aufgaben aus TIMSS 2011 Naturwissenschaft - Bifie
TIMSS 2011: Freigegebene Items Mathematik - Bifie
PIRLS & TIMSS 2011 - Bifie
Output - Ergebnisse des Schulsystems - Bifie
PISA 2006: Erste Ergebnisse - Die Presse
PISA 2003 Nationaler Bericht - Bifie
PISA 2006 Folder - Bifie
TIMSS/III–Deutschland Der Abschlussbericht ... - TIMSS - Germany
Die etwas andere Sicht auf PISA, TIMSS und IGLU. In - Didaktik der ...
TIMSS 2007 Nutzermanual Dokumentation zur Arbeit mit den ... - IQB
Folder PISA 2012 - Bifie
Lehrerrückmeldung M4 - Bifie
Internationaler Schulfragebogen - Bifie
PISA 2009: Info-Folder für Schulen - Bifie