PISA 2012: Die Studie im Überblick - Bifie

Die Tests und Fragebögen bei PISA 2012 39
Aufbau der Tests und Bearbeitungszeit
Im Haupttest 2012 wurden insgesamt 206 papierbasierte
und 102 computerbasierte Aufgaben eingesetzt. Die Aufgaben
sind in Form von Units organisiert, die jeweils einen
thematischen Rahmen für mehrere Testaufgaben bilden.
Jede Unit umfasst einen oder mehrere Stimuli (z. B. Texte,
Bilder, Diagramme etc.), begleitet von einer oder mehreren
darauf bezogenen Aufgabe/n. Innerhalb eines Kompetenzbereichs
werden die einzelnen Units zu Aufgabenblöcken
(Cluster) so zusammengefasst, dass Cluster mit einer Bearbeitungszeit
von 30 Minuten entstehen. Tabelle 5.1 zeigt die
Anzahl der ausgewählten Aufgaben nach Units und Clustern
für den Haupttest 2012.
papierbasiert
Die Testhefte
Testaufgaben PISA 2012
neu Link Gesamt Units Cluster
Mathematik 74 35 109 46 7
Lesen 0 44 44 13 3
Naturwissenschaft 0 53 53 18 3
Gesamt 74 132 206 77 13
computerbasiert
Problemlösen 42 0 42 16 4
Mathematik 41 0 41 15 4
Lesen 0 19 19 6 2
Gesamt 83 19 102 37 10
Tabelle 5.1: Aufgaben nach Units und Clustern (PISA 2012)
Die Cluster werden nach einem festgelegten Schema auf 13
Testheftformen verteilt: Ein Testheft besteht dabei jeweils
aus vier Clustern, was eine Bearbeitungszeit von zwei Stunden
pro Heft bzw. Schüler/in ergibt. Die Cluster werden über
die einzelnen Testheftformen „rotiert“, sodass jeder Cluster
jeweils an verschiedenen Stellen innerhalb der Testhefte vorkommt
(s. Tabelle 5.2). Dadurch können Positionseffekte
vermieden werden. Diese Konstruktionsform hat auch den
Vorteil, dass in jedem Kompetenzbereich wesentlich mehr
Aufgaben eingesetzt und mehr Informationen gewonnen
werden können, als wenn nur eine einheitliche Testheftform
für alle Schüler/innen verwendet werden würde. Die
Leistungen der Schüler/innen können dadurch wesentlich
breiter erhoben werden, obwohl jede/r Schüler/in nur eine
verhältnismäßig geringe Anzahl an Aufgaben bearbeitet.
Ein festgelegtes Schema für die Zuordnung der Testhefte
zu den Schülerinnen und Schülern stellt sicher, dass alle 13
Testheftformen gleich oft eingesetzt werden.
Wie bereits bei PISA 2009 gab es auch bei PISA 2012 zwei
unterschiedliche Testheft-Zusammenstellungen: Das Standard
Booklet Set und das Easier Booklet Set. Das Easier Booklet
Set enthält einen etwas größeren Anteil an leichten Aufgaben
als das Standard Booklet Set und steht jenen Ländern
optional zur Verfügung, die in Mathematik wahrscheinlich
einen Mittelwert von 480 oder weniger auf der PISA-Skala
(s. Kapitel 8) erreichen. Mithilfe der größeren Anzahl an
leichten Aufgaben ist es möglich, detailliertere Aussagen
über die Kompetenzen der Schüler/innen am unteren Ende
der Leistungsskala zu treffen.
Mehr Informationen zu den Booklet Sets und zum Testdesign
finden sich im internationalen technischen Bericht der
OECD (OECD, forthcoming). Für Österreich kommt aufgrund
der bisher erzielten mittleren Leistungen das Easier
Booklet Set nicht in Frage.
Zusätzlich zu den 13 Testheftformen wurde in Österreich
das „Testheft 60“ eingesetzt. Dabei handelt es sich um ein
kürzeres Testheft mit einer Bearbeitungszeit von 60 Minuten,
das vom internationalen Konsortium für Schüler/
innen in Sonderschulen bzw. Integrationsschüler/innen zu -
sammengestellt wurde. Dieses kürzere Testheft enthält vorwiegend
leichtere Aufgaben, die dennoch eine exakte Bestimmung
der Leistung ermöglichen.
Der Computertest
Die 102 computerbasierten Testaufgaben wurden zu 10 Clustern
zu je 20 Minuten Bearbeitungszeit zusammengefasst
(4 in Problemlösen, 4 in Mathematik, 2 in Lesen) und wie
bei der Erstellung der Testhefte nach einem festgelegten
Schema auf 24 verschiedene Computertestformen verteilt.
Eine Testform bestand jeweils aus 2 Clustern. Die reine
Bearbeitungszeit betrug demnach 40 Minuten, wobei insgesamt
60 Minuten für den gesamten Testablauf zur Verfügung
standen (5 Minuten Vorbereitung, 15 Minuten
Instruk tion und Übung). Das Testprogramm wurde direkt
von einem USB-Stick ausgeführt, auf dem auch die
Antwort dateien der Schüler/innen gespeichert wurden. Der
Computertest wurde großteils auf Schulcomputern durchgeführt.
In Fällen, wo dies nicht möglich war, wurden vom
BIFIE Leih laptops zur Verfügung gestellt.
Aufgabenformat und Testcharakteristiken
Bei den PISA-Aufgaben werden verschiedene Formate eingesetzt:
Multiple-Choice-Aufgaben (zum Ankreuzen): Bei einfachen
Multiple-Choice-Aufgaben müssen die Schüler/innen
aus mehreren vorgegebenen Antwortalternativen
eine auswählen. Komplexe Multiple-Choice-Aufgaben enthalten
mehrere Antworten, die von den Schülerinnen
und Schülern jeweils mit „richtig“ oder „falsch“ (bzw.
„ja“ oder „nein“) beantwortet werden müssen (ebenso
durch Ankreuzen der richtigen Alternative neben einer
Antwort). Sie werden blockweise vorgegeben und bewertet.