PISA 2012: Die Studie im Überblick - Bifie

Weitere Magazine

Empfehlungen

Info

42 PISA 2012: Die Studie im Überblick Qualitätsentwicklungsmaßnahmen an Schulen (seit PISA 2000; Schul- und Schülerfragebogen) Zusatzfragen zum Migrationshintergrund (seit PISA 2006; Schülerfragebogen) Zusatzfragen zur Schullaufbahn (seit PISA 2003; Schülerfragebogen) Zusatzfragen zu den Noten der Schüler/innen (seit PISA 2003; Schülerfragebogen) Zusatzfragen zur inneren Differenzierung (Schulfragebogen) Die nationalen Zusatzfragen im Schülerfragebogen wurden auf die drei internationalen Fragebogenformen verteilt und somit von ungefähr einem Drittel der Schüler/innen bearbeitet. LESEHINWEIS Die internationalen Fragebögen und nationalen Zusatzerhebungen sind auf der BIFIE-Webseite als PDF erhältlich (www.bifie.at/pisa). Übersetzung der Tests und Fragebögen Bei PISA werden die Schüler/innen stets in der Unterrichtssprache des jeweiligen Landes (der jeweiligen Schule) getestet und befragt. Daher müssen in jedem Land entsprechende Versionen der Testinstrumente und Fragebögen in den Unterrichtssprachen der nationalen Stichprobe erstellt werden. Die Übersetzung der Testaufgaben in die jeweilige(n) Landessprache(n) ist dabei ein sehr sensibler Vorgang, da die Eigenschaften der Aufgaben gewahrt bleiben müssen. Es darf bei der Übersetzung z. B. nicht passieren, dass das Ver ständnis des Textes, der Grafiken, Tabellen oder Fragen schwieriger oder einfacher wird. Ebenso muss bei den Fragebögen gewährleistet werden, dass sich das zu erfassende Konstrukt nicht verändert. Zur Sicherung der Qualität der Erhebungsinstrumente werden daher vom internationalen Zentrum umfassende Übersetzungsrichtlinien vorgeschrieben und deren Umsetzung genau kontrolliert. Die hauptsächliche Übersetzungsarbeit findet vor dem Feldtest statt, da hier alle neu entwickelten Aufgaben und Kontextfragen erstmals zu übersetzen sind. Für den Haupttest müssen meist keine neuen Übersetzungen mehr vorgenommen, sondern nur die aus den Feldtestergebnissen resultierenden Änderungen in die nationalen Versionen über - tragen werden. Als Basis für die Übersetzung der Testaufgaben werden Quellversionen in englischer und französischer Sprache vom internationalen Konsortium entwickelt und zur Verfügung gestellt. Vorzugsweise soll in jedem Land jeweils eine Übersetzung des englischen und eine des französischen Originals unabhängig voneinander durchgeführt werden (Double Translation) und diese Texte danach von einer dritten Person zusammengeführt werden. Es ist jedoch auch möglich, zwei Übersetzungen von nur einer Quellversion unabhängig voneinander zu erstellen und unter Heranziehung des verbleibenden Originals zusammenzuführen. Übersetzungskooperation Die Übersetzung der Testaufgaben ins Deutsche erfolgte auch bei PISA 2012 in mittlerweile langjähriger Kooperation zwischen allen deutschsprachigen PISA-Ländern: Deutschland, Luxemburg, Österreich und der Schweiz (auch Südtirol und die deutschsprachige Gemeinschaft Belgiens profitieren von diesem Verbund). Deutschland übernahm für PISA 2012 die Übersetzung aller neuen Mathematikaufgaben, Österreich die Übersetzung der Problemlöseaufgaben. Anschließend wurde für beide Kompetenzbereiche eine gemeinsame deutsche Basisversion erarbeitet, von der aus nur in wenigen Passagen, wo es aus regionalen sprachlichen oder kulturellen Gründen notwendig war, weitere nationale Adaptionen vorgenommen wurden (klassische Beispiele: „Sackerl“ statt „Tüte“ und „Baustein“ statt „Bauklotz“). Alle so übersetzten und angepassten Testaufgaben wurden dann zur Überprüfung („Verifikation“) an das internationale Zentrum gesendet, wo sie von speziell geschulten Mitarbeiterinnen und Mitarbeitern kontrolliert und kommentiert wurden. Alle Adaptionen müssen formell genehmigt werden. Zudem gibt es von internationaler Seite eine abschließende Kontrolle des Layouts der Testheft- und Com - putertestformen. Erst danach dürfen die nationalen Testhefte in Druck gehen bzw. die USB-Sticks für den Computertest produziert werden. Außerdem wurden die Übersetzungen der neuen Mathematik- und Problemlöseaufgaben in Österreich auch von den Expertinnen und Experten begutachtet, die bereits bei der Erstbegutachtung der neuen Aufgaben involviert waren (s. Kapitel 2). Für die Übersetzung der Fragebögen gelten dieselben strengen internationalen Richtlinien wie für die Übersetzung der Aufgaben. Im Zuge der Übersetzungskooperation der deutschsprachigen Länder übernahm die Schweiz für PISA 2012 die Übersetzung der Fragebogen-Basisversionen. Wichtig bei der Übersetzung der Fragebögen ist, dass die Fragen für die Schüler/innen sowie Schulleiter/innen eindeutig zu verstehen und zu beantworten sind, wobei auf Besonderheiten der nationalen Schulsysteme Rücksicht genommen werden muss. Die Fragebögen erfordern daher oft deutlich umfassendere Adaptionen auf nationaler Ebene als die Testaufgaben. Die internationale Verifikation der Fragebögen durch das Konsortium gewährleistet auch hier die Vergleichbarkeit zwischen den Teilnehmerländern. Insgesamt ist die Übersetzung und Adaption der Testaufgaben und Fragebögen zeitlich und finanziell ein enorm aufwändiger Prozess. Dieser Einsatz ist aber unbedingt notwendig, um die Qualität der Studie zu sichern, insbesondere im Bereich der Ländervergleiche.
6 Datenerhebung und -verarbeitung Die unmittelbaren Vorbereitungen für die Datenerhebung im Haupttest beginnen nach Ziehung der Schulstichprobe durch das internationale Konsortium, etwa vier Monate vor der Er hebung. Dieser sensible Prozess der Daten erhebung und -verarbeitung, der die Kontaktaufnahme mit den zuständigen Behör den und den ausgewählten Schulen, die Ein schulung der Testleiter/ innen, die Durch führung der PISA-Testungen und die Erfassung und Bewertung der Schülerantworten beinhaltet, ist für die Qualität der Daten und die internationale Vergleichbarkeit von großer Bedeutung. Kontaktaufnahme mit den Schulen und Testorganisation bei PISA 2012 Im November 2011 informierte die OECD das BIFIE über die bei der Schulstichprobenziehung für PISA 2012 ausgewählten Schulen. Das BIFIE informierte anschließend die zuständigen Schulbehörden: die Landesschulratspräsidenten, die Präsidentin des Stadtschulrats für Wien, die Landes- und Bezirksschulinspektorinnen und -inspektoren sowie die Berufsschulinspektorinnen und -inspektoren. Mit Jahresbeginn 2012 wurden die Schulleiter/innen der gezogenen Schulen über die Auswahl in Kenntnis gesetzt und um Kooperation gebeten. Die PISA-Tests wurden in Österreich von schulexternen Testleiterinnen und Testleitern durchgeführt, die großteils Mitarbeiter/innen von Pädagogischen Hochschulen oder Lehrer/innen sind. Lehrer/innen werden als Testleiter/innen nur an Schulen eingesetzt, an denen sie nicht selbst unterrichten. Im Jänner 2012 ernannten die Schulleiter/ innen der PISA-Schulen einen Schulkoordinator/eine Schulkoordinatorin, der/die als Kontaktperson zwischen der Schule und dem BIFIE fungierte und für die weiteren organisatorischen Tätigkeiten im Rahmen der Erhebung an der Schule verantwortlich war. Die erste Aufgabe der Schulkoordinatorinnen und -koordinatoren bestand darin, eine Liste aller Schüler/innen des Geburtsjahrgangs 1996 ab der 7. Schulstufe an der Schule zu erstellen und an das BIFIE zu übermitteln. Das BIFIE konnte auf dieser Basis den zweiten Schritt der Stichprobenziehung – die Zufallsauswahl der zu testenden Schüler/innen – durchführen. Mitte März 2012 erhielt der/die Schulkoordinator/in die PISA-Schülerliste, auf der die ausgewählten Schüler/innen anhand einer laufenden Nummer aufgelistet waren. Laut Stichprobenplan wurden je Schule maximal 35 Schüler/innen zur Teilnahme am papierbasierten Testteil (Testheft und Schülerfragebogen) zufällig bestimmt; maximal 18 dieser Schüler/innen (ebenfalls zufällig ausgewählt) bearbeiteten zusätzlich den Computertest. Die ausgewählten Schüler/innen und deren Eltern wurden vom/von der Schulkoordinator/in mit einem Folder und einem Schreiben des BIFIE über die PISA-Studie informiert. Darüber hinaus vereinbarte die Schulkoordination mit der Testleitung einen Termin für die Testsitzung und reservierte adäquate Räume an der Schule. Außerdem prüfte er/sie, ob die schuleigenen PCs für die Durchführung des Computertests geeignet waren. Der/die Schulkoordinator/in informierte auch die Lehrer/innen der Schule über die teilnehmenden Schüler/innen und den Testtermin. Vorbereitung und Druck der Testmaterialien Nach der Übersetzung, nationalen An pas - sung, Layoutierung, Verifikation und finalen Überprüfung der Testhefte und Fra - gebögen gingen diese Mitte Februar 2012 in Druck. Der Computertest wurde nach der finalen Überprüfung auf USB-Sticks vervielfältigt. Anschließend erfolgte am BIFIE eine stich probenartige Qualitätskontrolle der fertig produzierten Erhe-
Seite 1: PISA 2012 Internationaler Vergleich
Seite 4 und 5: Bundesministerium für Unterricht,
Seite 7: Inhalt 7 Vorwort der Herausgeberinn
Seite 10 und 11: 8 PISA 2012: Die Studie im Überbli
Seite 12 und 13: 1 Was ist PISA? OECD/PISA PISA, das
Seite 14 und 15: 12 PISA 2012: Die Studie im Überbl
Seite 40 und 41: 5 Die Tests und Fragebögen bei PIS
Seite 52 und 53: Nachdem die Qualität der Daten all
Seite 58 und 59: 9 Qualitätssicherung In einer welt
Seite 64: 62 PISA 2012: Die Studie im Überbl

PISA 2012: Die Studie im Überblick - Bifie

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?