PISA 2012: Die Studie im Überblick - Bifie

Weitere Magazine

Empfehlungen

Info

44 PISA 2012: Die Studie im Überblick bungsmaterialien; danach wurden die Pakete für die einzelnen Schulen zusammengestellt. Schulung der Testleiter/innen und Übergabe der Schulpakete Die Testleiter/innen lasen als Vorbereitung auf die Testadministration ein Handbuch durch und nahmen an einer halbtägigen Testleiterschulung des BIFIE teil. Dabei wurden die Testleiter/innen insbesondere in der standardisierten Testdurchführung geschult. Ein weiterer Fokus der Schulung lag auf der Demonstration des Computertests, um die Testleiter/innen mit den technischen Anforderungen vertraut zu machen. Im Anschluss an das Training bekamen die Testleiter/innen für jede ihnen zugeteilte Schule ein Schulpaket, in dem alle benötigten Testinstrumente und Unterlagen (Testhefte, Fragebögen, USB-Sticks mit der Computertest-Software, PISA-Schülerliste, Testsitzungsprotokoll usw.) enthalten war en. Bis zum Rückversand der Schulpakete an das BIFIE nach Abschluss der Testsitzungen waren die Testleiter/innen für die Sicherheit der Materialien verantwortlich. Die Durchführung der PISA-Tests Die PISA-Testungen müssen entsprechend den Vorgaben der OECD innerhalb eines vorab festgelegten, maximal sechswöchigen Testfensters stattfinden, welches nicht innerhalb der ersten sechs Wochen eines Schuljahrs liegen darf. In Österreich fanden die Tests im Zeitraum von 11. April bis 23. Mai 2012 statt (mit Ausnahme einiger lehrgangsmäßig geführter Berufsschulen, an denen schon ab 12. März getestet wurde). Im Haupttest 2012 waren in Österreich 85 Testleiter/innen im Einsatz. Der Ablauf einer PISA-Testsitzung ist in hohem Maße standardisiert und muss an allen beteiligten Schulen und in allen teilnehmenden Ländern gleich sein, um die Vergleichbarkeit der Ergebnisse zu gewährleisten. Abbildung 6.1 zeigt den Ablauf des PISA-Tests 2012. nach der ersten Hälfte. Nach einer weiteren Pause von 15 Minuten füllten die Jugendlichen den Schülerfragebogen aus (s. Kapitel 5). Für die Bearbeitung des Schülerfragebogens – bestehend aus einem internationalen Fragebogenteil und nationalen Zusatzerhebungen – waren insgesamt ca. 50 Minuten vorgesehen. Danach war der PISA-Test für einen Teil der Schüler/innen zu Ende. Für die maximal 18 Schüler/innen pro Schule, die zusätzlich für den Computertest ausgewählt worden waren, folgte eine einstündige Pause, in der die Testleiter/innen die Vorbereitungen für den Computertest trafen. Der computerbasierte Testteil begann mit einer kurzen, standardisierten Instruktions- und Übungsphase (ca. 20 Minuten), der Test selbst dauerte 40 Minuten. Um möglichst viele der ausgewählten Schüler/innen testen zu können und um die geforderte Rücklaufquote auf Schülerebene zu erreichen (s. Kapitel 4), wurde an Schulen, an denen am Testtag mehr als 15 % der Schüler/innen fehlten, ein Nachtest durchgeführt. Die Notwendigkeit eines Nachtests wurde separat für den papier- und für den computerbasierten Test bestimmt. Bei PISA 2012 wurden insgesamt 29 Nachtests abgehalten. Aufgaben der Testleiter/innen Die Testleiter/innen haben bei der Durchführung der Tests verschiedene Aufgaben: Sie prüfen die Anwesenheit der ausgewählten Schüler/innen, verteilen die Testhefte und Schülerfragebögen, bereiten die PCs oder Leihlaptops für den Computertest vor, verlesen die standardisierten Anleitungen, überwachen den Testablauf und nehmen die Materialien nach der Testung wieder mit, damit niemand an der Schule diese einsehen kann. Die Anweisungen an die Schüler/innen zum Bearbeiten der Tests bzw. zum Ausfüllen des Fragebogens müssen von den Testleiterinnen und Testleitern wörtlich vorgelesen werden. Durch diese Vorgehensweise erhalten Schüler/innen an allen Schulen und in allen Teilnehmerländern die gleichen Instruktionen. Hilfestellungen durch die Testleiter/innen zur Lösung der Testaufgaben sind nicht erlaubt. Nach einer kurzen, standardisierten Begrüßung und Einleitung durch den/die Testleiter/in bearbeiteten die Schüler/innen das PISA-Testheft (s. Kapitel 5). Dazu hatten sie zweimal 60 Minuten Zeit, mit einer 5-minütigen Pause Begrüßung und Einleitung durch Testleiter/in PISA-Testheft: 2 x 60 Min (mit 5 Min Pause) 15 Min Pause PISA-Schülerfragebogen: ca. 50 Min Testheft Schülerfragebogen Computertest Abbildung 6.1: Ablauf einer PISA-Testsitzung (PISA 2012) 60 Min Pause PISA-Computertest: 20 Min Instruktion und Übung, 40 Min Test Zu jeder Testsitzung vervollständigen die Testleiter/innen zudem ein Testsitzungsprotokoll, in dem die genauen Beginn-, Pausen- und Endzeiten festgehalten und besondere Vorkommnisse notiert werden. Die Testleiter/innen sind während der gesamten Datenerhebung (vom Zeitpunkt der Ausgabe bis zur Rücksendung ans BIFIE) für die Sicherheit der Materialien verantwortlich. Dadurch wird sichergestellt, dass die Materialien vertraulich gehandhabt werden und keine Materialien/Daten verloren gehen.
Datenerhebung und -verarbeitung 45 Datenerfassung und Bewertung der Schülerantworten auf offene Fragen Bevor mit der Erfassung der Daten aus den Testheften und Schülerfragebögen begonnen wird, wird eine Rücklaufkontrolle der Testmaterialien durchgeführt. Diese fand in Öster reich im Mai 2012 statt. Dabei wurde für jede Schule dokumentiert, ob die Materialien vollständig retourniert worden waren. Zusätzlich wurde für jeden/jede Schüler/in notiert, ob die ihm/ihr zugeordneten Testinstrumente bearbeitet oder unbearbeitet retourniert wurden. Die Protokolle aller Testsitzungen wurden gesammelt, kontrolliert und zu einem späteren Zeitpunkt analysiert. Im nächsten Schritt wurden die Schülerantworten aus den Testheften und Schülerfragebögen elektronisch erfasst. Dies erfolgte bei PISA 2012 größtenteils automatisiert, indem die Testhefte und Fragebögen mithilfe von Scannern und einer Spezialsoftware verarbeitet wurden. Alle Antworten in den Schülerfragebögen, bei denen die Jugendlichen eine Antwort ankreuzen mussten, sowie Antworten auf Multiple-Choice-Fragen (s. Tabelle 6.2) wurden von der Scansoftware automatisch erkannt und erfasst. Konnte das Programm eine Antwort nicht eindeutig lesen, wurde der entsprechende Eintrag von speziell geschulten Personen manuell eingegeben („Verifikation“). Im Vergleich zur manuellen Dateneingabe sind bei der automatisierten Datenerfassung sowohl der zeitliche Aufwand als auch die Fehlerquote geringer. Die Qualität der Daten wurde durch Kontrollen während der Datenerfassung und umfangreiche File-Cleaning-Prozeduren auf nationaler und internationaler Ebene im Anschluss an die Datenerfassung sichergestellt. Die frei formulierten Antworten der Schüler/innen auf die offenen Fragen (s. Tabelle 6.2) in den Testheften und im Computertest wurden mithilfe einer Online-Codiersoftware des internationalen Konsortiums elektronisch codiert (s. „Coding“). Die restlichen Antwortdaten aus dem Computertest, die keine Bewertung erforderten, lagen bereits in elektronischer Form vor und mussten daher nicht weiter bearbeitet werden. Die Bewertungsrichtlinien für die offenen Fragen Um zu gewährleisten, dass die frei formulierten Schülerantworten in allen Teilnehmerländern einheitlich bewertet („co - diert“) werden, gibt es präzise Coding Guides, in denen die notwendigen Bewertungsrichtlinien für die offenen Fragen im Detail ausgeführt werden. Diese umfangreichen Coding Guides wurden ins Deutsche übersetzt und anschließend wie die Testaufgaben international verifiziert. Zusätzlich zu den Richtlinien in den Coding Guides wurde ein internationales Training veranstaltet, bei dem Vertreter/innen aus allen teilnehmenden Ländern anhand von konkreten Schülerantworten die Anwendung der Codes übten und diskutierten. Ziel der Schulung war es, einen internationalen Konsens zu erreichen, der eine konsistente Anwendung der Richtlinien gewährleistete und damit den Prozess des Codings standardisierte. Das Coding Generell werden bei PISA Schülerantworten auf offene Fragen nicht in „richtig“ oder „falsch“ eingeteilt, sondern je nach Qualität des Ergebnisses erhalten die Schüler/innen für ihre Antworten Punkte: Full Credit bedeutet, dass die Schüler/ innen alle möglichen Punkte für ihre Antwort erhalten, Partial Credit heißt, dass sie einen Teil der Punkte erhalten und bei No Credit wird kein Punkt vergeben bzw. der Code 0. Welche Antworten Full Credit, Partial Credit oder No Credit erhalten, ist in den Coding Guides für jede Aufgabe festgehalten. Dabei werden akzeptable Lösungsansätze und -wege beschrieben sowie gängige Missverständnisse und Fehler erläutert. Zu jedem Code sind in den Bewertungsrichtlinien auch mehrere Beispiele von Schülerantworten aufgeführt. Die Aufgabenbeispiele in Kapitel 3 beinhalten jeweils die dazugehörenden Bewertungsrichtlinien. Single und Multiple Coding Bei PISA gibt es zwei Coding-Designs: das Single Coding und das Multiple Coding. Als Single Coding wird die „normale“ Prozedur des Codings von Schülerantworten bezeich- Aufgabenformat Antworttypen Bewertung Multiple-Choice-Aufgaben nur eine korrekte Antwort kein Coding erforderlich komplexe Multiple-Choice-Aufgaben kurze, offene Aufgaben Serie von Richtig/Falsch- bzw. Ja/Nein-Antworten kurze, selbst konstruierte verbale/numerische Antwort kein Coding erforderlich teilweise Coding erforderlich; je nach Bewertungsvorschriften lange, offene Aufgaben längere, selbst konstruierte verbale Antwort Coding laut Bewertungsvorschriften Tabelle 6.2 Aufgabenformate und erforderliche Bewertung der Schülerantworten
Seite 1: PISA 2012 Internationaler Vergleich
Seite 4 und 5: Bundesministerium für Unterricht,
Seite 7: Inhalt 7 Vorwort der Herausgeberinn
Seite 10 und 11: 8 PISA 2012: Die Studie im Überbli
Seite 12 und 13: 1 Was ist PISA? OECD/PISA PISA, das
Seite 14 und 15: 12 PISA 2012: Die Studie im Überbl
Seite 40 und 41: 5 Die Tests und Fragebögen bei PIS
Seite 52 und 53: Nachdem die Qualität der Daten all
Seite 58 und 59: 9 Qualitätssicherung In einer welt
Seite 64: 62 PISA 2012: Die Studie im Überbl

PISA 2012: Die Studie im Überblick - Bifie

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?