PISA 2012: Die Studie im Überblick - Bifie

Weitere Magazine

Empfehlungen

Info

48 PISA 2012: Die Studie im Überblick Schulen Schüler/innen teilgenommen Stratum Anzahl Prozent Anzahl Prozent Allgemeinbildende Pfl ichtschulen 9 15,0 % 131 11,3 % Schulen mit eigenem Statut 0 0,0 % 0 0,0 % Allgemeinbildende höhere Schulen 17 28,3 % 355 30,7 % Berufsschulen 8 13,3 % 137 11,9 % Berufsbildende mittlere Schulen 10 16,7 % 197 17,0 % Berufsbildende höhere Schulen 16 26,7 % 336 29,1 % Teilnahme gesamt 60 100,0 % 1 156 100,0 % Tabelle 7.1: Die realisierte österreichische Stichprobe im Feldtest zu PISA 2012 sowohl für den papierbasierten Test als auch für den Computertest ausgewählt. Insgesamt umfasste die Feldteststichprobe 1 392 Schüler/innen. 28 Jugendliche mussten aufgrund von körperlichen/ geistigen Beeinträchtigungen oder mangelnden Deutschkenntnissen vom Test ausgeschlossen werden. 64 Schüler/ innen hatten im Zeitraum zwischen der Ziehung der Schülerstichprobe und dem Testtermin die Schule verlassen (44 Schüler/innen) oder gewechselt (20 Schüler/innen). 57 Schüler/innen besuchten lehrgangsmäßig geführte Berufsschulen und hatten während des Testfensters keinen Unterricht, wodurch sie für die PISA-Testung nicht in Frage kamen. Diese Schüler/innen zählen international als Nichtteilnahme. Bei der Berechnung des Rücklaufs auf nationaler Ebene werden sie jedoch nicht berücksichtigt, da sie am Test gar nicht teilnehmen hätten können. Dies ergibt 1 243 zu testende Schüler/innen, von denen 87 am Testtag abwesend waren. Mit einer Teilnahmequote von 100 % auf Schulebene und 93 % auf Schülerebene (ohne Berücksichtigung der nicht erreichbaren Berufsschüler/innen) lagen schließlich verwendbare Daten von 1 156 Schülerinnen und Schülern aus 60 Schulen vor. Tabelle 7.1 zeigt die realisierte Feldteststichprobe für Schulen und Schüler/ innen getrennt nach Schulsparten. Die Testhefte und Schülerfragebögen für den Feldtest Eine ganz wesentliche Aufgabe des Feldtests ist die Erprobung der neu entwickelten Aufgaben. In Mathematik wurde eine große Menge an neuen Aufgaben benötigt (sowohl für den papierbasierten Test als auch für den Computertest), da dieser Bereich bei PISA 2012 schwerpunktmäßig erfasst wurde. Die computerbasierten Mathematikaufgaben wur - den in Österreich im Feldtest nicht eingesetzt, da die Entscheidung zur Teilnahme an dieser Option erst nach dem Feldtest getroffen wurde. Die deutschsprachige Version der Mathematikaufgaben wurde jedoch in Deutschland im Feldtest erprobt und mit nur einigen wenigen Adaptionen in Österreich im Haupttest verwendet. Ebenso wurden neue Aufgaben für den Bereich Problemlösen entwickelt. Die neuen Aufgaben wurden zunächst auf internationaler und nationaler Ebene von Expertinnen und Experten begutachtet (s. Kapitel 2). Die als geeignet erachteten Aufgaben wurden dann im Feldtest erprobt. Die Analysen der Feldtestdaten sowie die detaillierten Rückmeldungen über die Erfahrungen mit den neuen Aufgaben aus den Teilnehmerländern (z. B. bei der Bewertung der Schülerantworten) geben Aufschluss darüber, welche Aufgaben gut „funktionieren“ und welche weniger gut für die Kompetenzmessung geeignet sind. Die statistischen Informationen geben zudem Aufschluss über die Schwierigkeit und die Trennschärfe der Testaufgaben sowie darüber, inwieweit einzelne Aufgaben faire Vergleiche zwischen Ländern oder zwischen Mädchen und Burschen zulassen. Zudem können mithilfe der Analysen etwaige Schwächen der Übersetzung oder der nationalen Anpassungen aufgedeckt werden, die dann bei der Überarbeitung für den Haupttest behoben werden können. Auf Basis dieser Analysen und Rückmeldungen werden die am besten funktionierenden Aufgaben für den Haupttest ausgewählt und, wenn notwendig, überarbeitet. An den Auf - gaben werden nur dann Änderungen vorgenommen, wenn diese dazu beitragen, die Kompetenz präziser zu messen. Neben den neu entwickelten Testaufgaben werden im Feldtest auch die Kontextfragebögen auf Schul- und Schülerebene erprobt. Im internationalen Schülerfragebogen für PISA 2012 (s. Kapitel 5) standen dabei vor allem die neuen Skalen zum Mathematik-Schwerpunkt, zum Problemlösen und zur Computernutzung auf dem Prüfstand. Darüber hinaus wurden neue Frageformate erprobt, wie zum Beispiel „forced choice“, bei dem sich die Schüler/innen zwischen zwei Aussagen entscheiden müssen, oder so ge-
Der Feldtest zu PISA 2012 49 nannte „Anchoring Vignettes“, mit deren Hilfe kulturelle Unterschiede im Antwortverhalten der Schüler/innen in den verschiedenen Teilnehmerländern ausgeglichen werden können (OECD, forthcoming). Ebenso wurden alle für PISA 2012 neu entwickelten nationalen Zusatzfragen im Feldtest erprobt. Datenerhebung und -verarbeitung im Feldtest Da im Feldtest überprüft wird, ob die für den Haupttest geplanten Abläufe funktionieren, sind die wesentlichen Eckpunkte der Datenerhebung im Feld- und im Haupttest identisch. Dazu gehören vor allem die Information der Schulbehörden, die Kontaktaufnahme mit den ausgewählten Schulen, die Information der Schüler/innen, die Schulung der Testleiter/innen, die Durchführung der Tests, die Datenverarbeitung am BIFIE und die Bewertung der Schülerantworten auf offene Fragen. Beim Feldtest zu PISA 2012 lag der Fokus auf der Abwicklung und der technischen Umsetzung des Computertests einschließlich der Erprobung der Testsoftware und der Übermittlung der Schülerantwortdaten an das BIFIE und an das internationale Zentrum. Zentral war auf nationaler Ebene auch die Erprobung der automatisierten Datenerfassung mittels Scannern und Spezialsoftware und des Online-Codings. Die gedruckten Testhefte und Fragebögen wurden eingescannt, die Schülerantworten durch eine Spezialsoftware interpretiert sowie frei formulierte Schülerantworten auf offene Fragen (bzw. die entsprechenden Bilddateien) in das Online-Coding-System transferiert und bewertet (s. Kapitel 6). Alle diese Schritte mussten hinsichtlich ihrer Funktionalität vor dem Einsatz im Haupttest getestet werden. Die Bewertung der Schülerantworten auf offene Fragen nimmt im Feldtest einen besonderen Stellenwert ein. Gerade hier treten oft Schwächen der Aufgaben und/oder Bewertungsvorschriften zutage. Im Feldtest zu PISA 2012 wurden 80 Schülerantworten pro Testaufgabe von mehreren Coderinnen und Codern unabhängig voneinander bewertet (Multiple Coding). Sind sich die Coder/innen bei der Bewertung uneinig, kann dies auf generelle Mängel in der Formulierung der Bewertungsvorschriften in der internationalen Quellversion, auf Probleme bei der Übersetzung dieser Bewertungsvorschriften oder auf Schwächen bei der Coderschulung hinweisen. Die Erfahrungen aus dem Feldtest sowie die Ergebnisse aus den Mehrfachbeurteilungen der Schülerantworten stellen daher eine wesentliche Grundlage für eventuell notwendige Verbesserungen der Bewertungsvorschriften – oder deren Übersetzungen – vor dem Einsatz im Haupttest dar. Da die Erfahrung der Mitarbeiter/innen enormes Potenzial für eine qualitativ hochwertige Abwicklung des Haupttests birgt, wird im Feld- und im Haupttest – soweit möglich – das gleiche Personal eingesetzt. Dies gilt auch für das externe Personal (Testleiter/innen, Datenerfassungspersonal und Coder/innen). Die beim Feldtest gesammelten Erfahrungen fließen in alle Bereiche der Umsetzung des Haupttests ein. Die Durchführung eines Feldtests an sich stellt damit eine wesentliche Maßnahme zur Qualitätssicherung im Haupttest dar.
Seite 1: PISA 2012 Internationaler Vergleich
Seite 4 und 5: Bundesministerium für Unterricht,
Seite 7: Inhalt 7 Vorwort der Herausgeberinn
Seite 10 und 11: 8 PISA 2012: Die Studie im Überbli
Seite 12 und 13: 1 Was ist PISA? OECD/PISA PISA, das
Seite 14 und 15: 12 PISA 2012: Die Studie im Überbl
Seite 40 und 41: 5 Die Tests und Fragebögen bei PIS
Seite 52 und 53: Nachdem die Qualität der Daten all
Seite 58 und 59: 9 Qualitätssicherung In einer welt
Seite 64: 62 PISA 2012: Die Studie im Überbl

PISA 2012: Die Studie im Überblick - Bifie

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?