PISA 2012: Die Studie im Überblick - Bifie

PISA 2012
Internationaler Vergleich
von Schülerleistungen
Die Studie im Überblick
Herausgegeben von
Ursula Schwantner & Claudia Schreiner

Schwantner, U. & Schreiner, C. (Hrsg.)
PISA 2012
Internationaler Vergleich von
Schülerleistungen
Die Studie im Überblick
Leykam

Bundesministerium für Unterricht, Kunst und Kultur
Minoritenplatz 5 / 1014 Wien
Das Bundesministerium hat die Durchführung der OECD-Studie PISA in Österreich
beauftragt.
Bundesinstitut für Bildungsforschung, Innovation & Entwicklung
des österreichischen Schulwesens
Alpenstraße 121 / 5020 Salzburg
Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA
www.bifie.at
PISA 2012. Internationaler Vergleich von Schülerleistungen.
Die Studie im Überblick.
Schwantner, U. & Schreiner, C. (Hrsg.)
Graz: Leykam 2013
ISBN 978-3-7011-7888-9
Einbandgestaltung und Layout:
Die Fliegenden Fische, Salzburg &
Andreas Kamenik, BIFIE I Zentrales Management & Services
Satz: Hannes Kaschnig, BIFIE I Zentrales Management & Services
Druck: Steiermärkische Landesdruckerei GmbH, 8020 Graz
© by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz 2013
www.leykamverlag.at
Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren)
ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer
Systeme verarbeitet, vervielfältigt oder verbreitet werden.

Vorwort
Österreich kann seine Zukunft gestalten und entwickeln, wenn alle Menschen Chancen auf
ein Vorwärtskommen haben. Unser Bildungssystem muss allen Kindern und Jugendlichen,
unabhängig von der Herkunft oder dem sozialem Status der Eltern, die Möglichkeiten bieten,
die sie für die Entwicklung ihrer Persönlichkeit und ihrer Talente benötigen. Wir können
in unserer Gesellschaft auf kein Talent verzichten.
Das erfordert auch die verlässliche Vermittlung von Kompetenzen in Lesen, Mathematik und
den Naturwissenschaften. Schließlich sind diese ein Fundament für lebenslanges Lernen und
den Umgang mit neuen Anforderungen im Laufe des Lebens.
PISA untersucht, inwieweit fünfzehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen
Ende ihrer Pflichtschulzeit, über diese Kompetenzen verfügen. Die Ergebnisse geben darüber
hinaus Auskunft über demografische Kontextindikatoren sowie Merkmale der häuslichen
und schulischen Umwelt und ermöglichen einen internationalen Vergleich. Nachdem in der
vorangegangenen Erhebung besonderes Augenmerk auf die Lesekompetenz gerichtet wurde,
ist in der vorliegenden Studie die Mathematikkompetenz im Mittelpunkt. Zusätzlich beinhaltet
die Studie den Bereich des Problemlösens.
Für unsere faktenbasierte Bildungspolitik sind empirische Befunde eine essenzielle Voraussetzung.
Die letzten PISA-Ergebnisse haben uns einmal mehr deutlich gezeigt, dass es keine
Alternative zu dem eingeschlagenen Weg der Weiterentwicklung des österreichischen Schulwesens
gibt. Viele der Erkenntnisse, die aus den vorangegangenen Erhebungen gewonnen
werden konnten, sind in die Reformprojekte der letzten Jahre eingeflossen. Die PISA-Studie
hat dazu beigetragen, Bewusstsein und Akzeptanz für standardisierte Leistungsmessung und
Ergebnisorientierung zu schaffen. Die Einführung der Bildungsstandards (Schuljahr 2011/12)
und der standardisierten Reifeprüfung (2013/14) sind ein Paradigmenwechsel in der Prüfund
Lernkultur. Der Notwendigkeit der Erhöhung der Chancengerechtigkeit wird mit der
Einführung der Neuen Mittelschule und dem Ausbau der qualitätsvollen Ganztagsschule
Rechnung getragen. Erste Ergebnisse des 2007 eingeschlagenen Reformkurses werden nun
erstmals wirksam und sichtbar.
Ich danke den Forscherinnen und Forschern des BIFIE (Bundesinstitut für Bildungsforschung,
Innovation und Entwicklung des österreichischen Schulwesens), für die erfolgreiche
Planung und Durchführung der Studie sowie Aufbereitung der Ergebnisse.
Für das österreichische Bildungsmonitoring, das vom BMUKK finanziert und gefördert
wird, ist PISA zu einem unverzichtbaren Baustein geworden. Auf dieser wissenschaftlichen
Grundlage soll auch weiterhin an der Verbesserung des österreichischen Bildungssystems gearbeitet
werden.
Dr. in Claudia Schmied
Bundesministerin für Unterricht, Kunst und Kultur

Inhalt
7 Vorwort der Herausgeberinnen
10 1 Was ist PISA?
13 2 Wie ist PISA organisiert?
17 3 Was misst PISA?
33 4 PISA-Population und Stichprobe 2012
38 5 Die Tests und Fragebögen bei PISA 2012
43 6 Datenerhebung und -verarbeitung
47 7 Der Feldtest zu PISA 2012
50 8 Datenaufbereitung für die Ergebnisanalyse
56 9 Qualitätssicherung
59 10 Ergebnisse und Produkte von PISA
61 Bibliografie
Einen wesentlichen Beitrag zu dieser Publikation in Form von Tabellen, Grafiken und Aktualisierungen
von Texten leisteten (in alphabetischer Reihenfolge): Heidelinde Bitesnich, Manuela
Pareiss, Juliane Schmich, Claudia Schreiner, Ursula Schwantner und Bettina Toferer. Einige
Textstellen wurden aus der Broschüre „Die Studie im Überblick“ zu PISA 2009 (Schwantner &
Schreiner, 2010) übernommen, so Inhalte und Sachverhalte gleich geblieben sind.

7
Liebe Leserinnen und Leser!
International vergleichende Schülerleistungsstudien sind neben der Überprüfung der nationalen
Bildungsstandards ein wichtiger Bestandteil des österreichischen Bildungsmonitorings –
der regelmäßigen, systematischen und standardisierten Beobachtung des Schulsystems. PISA
erhebt seit dem Jahr 2000 im regelmäßigen Abstand von drei Jahren die Kompetenzen von
15-/16-jährigen Schülerinnen und Schülern in den drei Bereichen Lesen, Mathematik und
Naturwissenschaft. Im Alter von 15/16 Jahren befinden sich die Schüler/innen in den meisten
Teilnehmerländern am Ende der Pflichtschulzeit, wodurch mithilfe von PISA der kumulierte
Lernertrag festgestellt werden kann. Ergänzend dazu erheben die beiden internationalen
Vergleichsstudien der IEA die Fähigkeiten im Lesen (PIRLS) sowie in Mathematik
und Naturwissenschaft (TIMSS) von Kindern am Ende der Volksschule. Die internationalen
Studien liefern damit Informationen über den Ist-Stand zentraler Kompetenzen an wichtigen
Schnittstellen des österreichischen Schulsystems im Vergleich zu anderen Ländern und
Schulsystemen. Die Erkenntnisse daraus helfen Bildungsverantwortlichen, die Qualität der
angebotenen Ausbildung zu beurteilen und Stärken und Schwächen des österreichischen
Schulsystems aus internationaler Perspektive zu betrachten.
PISA 2012
PISA 2012 stellt den insgesamt fünften Durchgang der Studie dar. Zum zweiten Mal – nach
PISA 2003 – steht dabei die Mathematikkompetenz im Mittelpunkt. Die schwerpunktmäßige
Erfassung eines Bereichs mit gut der Hälfte der Testaufgaben ermöglicht eine genauere Betrachtung
und die Erstellung von kompakten Leistungsvergleichen – sowohl im Querschnitt
als auch im Längsschnitt von neun Jahren. Bei PISA 2012 wurden zentrale Teilbereiche der
Mathematikkompetenz (mathematische Inhaltsbereiche und Prozesse), sowie wichtige Hintergrundmerkmale,
die mit den Kompetenzen in Zusammenhang stehen, erfasst. Dazu gehören
z. B. der Unterricht, den Jugendliche in Mathematik erleben, ihre Motivation und ihre
Selbstwahrnehmung in Mathematik, der familiäre oder Migrationshintergrund der Schüler/
innen, das Geschlecht etc. Darüber hinaus wurde bei PISA 2012 die Mathematikkompetenz
auch computerbasiert erfasst. Da digitale Medien und Geräte im Alltag von Jugendlichen
einen hohen Stellenwert einnehmen und sich mit digitalen Medien auch neue, vielfältige
Lernwege eröffnen, sind computerbasierte Tests zu einem wichtigen Bestandteil von PISA
geworden. So bieten elektronisch aufbereitete (Mathematik-) Aufgaben die Möglichkeit der
direkten Interaktion mit der Problemstellung, indem z. B. Simulationen ausgeführt oder Prozesse
direkt durchgeführt werden können. Neben computerbasierten Mathematikaufgaben
wurden bei PISA 2012 auch die internationale Option zum Lesen elektronischer Medien aus
PISA 2009 weitergeführt sowie Aufgaben zum allgemeinen Problemlösen eingesetzt. Beim
nächsten Durchgang 2015 wird PISA auf Initiative der OECD voraussichtlich bereits vollständig
computerbasiert durchgeführt werden.
Publikationen zu PISA 2012
Im Dezember 2013 veröffentlicht die OECD den internationalen Erstbericht zu PISA 2012
in vier Bänden (OECD 2013b, c, d, e). Band 1 über die Ergebnisse in den drei Kernkompetenzbereichen
(OECD, 2013b) sowie eine Zusammenfassung der wichtigsten Ergebnisse
werden auch auf Deutsch erhältlich sein. Die Ergebnisse zum Bereich Problemlösen (Band 5)
werden im Frühjahr 2014 veröffentlicht.

8 PISA 2012: Die Studie im Überblick
Parallel zur Präsentation der ersten Ergebnisse durch die OECD werden in Österreich drei
nationale Berichte veröffentlicht:
Die vorliegende Studie im Überblick widmet sich kompakt jenen Aspekten der PISA-
Studie, die für die Interpretation der Ergebnisse relevant sind. Dazu gehören die Organisation
und die Ziele der Studie, die getesteten Kompetenzbereiche, die Abläufe und Prozeduren
in Österreich (z. B. Stichprobenziehung, Testablauf, Datenverarbeitung),
Maßnahmen zur Qualitätssicherung und die Produkte der Studie. Inhaltlich beruht diese
Publikation in weiten Teilen auf dem nationalen technischen Bericht.
Der nationale technische Bericht zu PISA 2012 (Schwantner & Schreiner, 2013) stellt eine
Langversion der Beschreibung der Studie dar, in der die Methoden, Abläufe und Prozeduren
der PISA-Studie in Österreich im Detail für wissenschaftlich interessierte Leser/
innen dokumentiert werden, z. B. genaue Angaben zur Stichprobenziehung und Abdeckung
der österreichischen Population, zur Organisation der Testdurchführung, zur Bewertung
der Schülerantworten auf offene Fragen oder zur Datenverarbeitung. Der technische
Bericht ist als Web-Dokument ab 3. Dezember 2013 unter www.bifie.at/pisa
verfügbar.
Die dritte Publikation widmet sich den ersten Ergebnissen von PISA 2012, die aus österreichischer
Perspektive im Überblick präsentiert werden (Schwantner, Toferer & Schreiner,
2013).
DIE DREI ÖSTERREICHISCHEN ERST-PUBLIKATIONEN ZU PISA 2012
Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler
Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft.
Graz: Leykam.
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich
von Schülerleistungen. Die Studie im Überblick. Graz: Leykam.
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich
von Schülerleistungen. Technischer Bericht. Zugriff ab 03.12.2013. Verfügbar unter: www.
bifie.at/pisa
Die nationalen PISA-Publikationen sowie Beispielaufgaben zu PISA sind über die Webseite
des BIFIE verfügbar: www.bifie.at/pisa
Die Durchführung von PISA 2012 in Österreich
Die PISA-Studie wird in Österreich im Auftrag des Bundesministeriums für Unterricht,
Kunst und Kultur durchgeführt. Dr. Mark Német vom BMUKK vertritt Österreich im PISA
Governing Board der OECD. Das BIFIE ist für die internationale Kooperation und die Abwicklung
des Projekts in Österreich verantwortlich.
Am Department für Bildungsstandards und Internationale Assessments des BIFIE (unter der
Leitung von Mag. Dr. Claudia Schreiner) trugen zum Gelingen von PISA 2012 vor allem

Vorwort 9
folgende Mitarbeiterinnen bei (in alphabetischer Reihenfolge): Dipl.-Päd. Julia Franken
(Field Operations), MMag. Dr. Andrea Grafendorfer (Testinstrumente Naturwissenschaft),
Monika Kaltenbrunner (Administration), Mag. Manuela Pareiss (Datenmanagement und
Field Operations), Christina Reichl (Projektassistentin), Mag. Dr. Juliane Schmich (Testinstrumente
Problemlösen), Mag. Dr. Ursula Schwantner (Projektleitung, Fragebogenerstellung,
Testinstrumente Lesen), Dipl.-Päd. Bettina Toferer, MA (Testinstrumente Mathematik
und Naturwissenschaft).
MMag. DDr. Ulrike Kipman, B.Sc. hat bei allen statistischen Fragen kompetent beraten.
Mag. Hannes Kaschnig (Department Zentrales Management & Services des BIFIE) hat die
Broschüre gestaltet.
Dr. Arnold Klaffenböck hat die Texte Korrektur gelesen.
Unser ganz besonderer Dank gilt:
allen Schülerinnen und Schülern, die durch ihre Teilnahme an den Tests und Befragungen
die Durchführung der Studie ermöglicht haben.
den Schulleiterinnen und Schulleitern der 191 PISA-Schulen sowie jenen Lehrerinnen
und Lehrern, die sich als Kontaktpersonen zur Verfügung gestellt haben.
den engagierten Testleiterinnen und Testleitern – sie haben durch ihre professionelle Arbeit
die hohen Rücklaufquoten und die gute Qualität der Daten ermöglicht.
Sie alle tragen dazu bei, die Weiterentwicklung des österreichischen Schulsystems mit entsprechenden
Daten zu unterstützen.
Mag. Dr. Ursula Schwantner
Nationale Projektmanagerin
PISA 2012
Mag. Dr. Claudia Schreiner
Leiterin Department Bildungsstandards
und Internationale Assessments
Salzburg, im Dezember 2013

1 Was ist PISA?
OECD/PISA
PISA, das „Programme for International
Student Assessment“, wurde 1997 von der
OECD (Organisation für wirtschaftliche
Zusammenarbeit und Entwicklung) und
ihren Mitgliedsstaaten ins Leben gerufen,
um regelmäßig verlässliche Daten über das
Wissen und die Fähigkeiten der Schüler/
innen sowie die Effektivität der Bildungssysteme
in den Mitgliedsstaaten zu erhalten.
Seit der ersten Erhebung im Jahr 2000
werden alle drei Jahre die Grundkompetenzen
von 15-/16-jährigen Schülerinnen und
Schülern in Lesen, Mathematik und Naturwissenschaft
in den OECD-Mitgliedsstaaten
erhoben. Österreich als ein Gründungsmitglied
der OECD beteiligt sich
seit Beginn an PISA. PISA 2012 stellt den
nunmehr fünften Durchgang dar. Mithilfe
der bei PISA gewonnenen Daten konnte
die OECD im letzten Jahrzehnt eine
umfassende Datenbasis aufbauen, die Vergleiche
von Schülerleistungen und deren
Zusammenhänge mit ökonomischen und
sozialen Merkmalen ermöglicht und die
Beobachtung von Entwicklungstrends erlaubt.
Als internationale Wirtschaftsorganisation
verfolgt die OECD als wesentliche Ziele,
in ihren 34 Mitgliedsstaaten ein nachhaltiges
Wirtschaftswachstum, eine höhere Beschäftigung,
finanzielle Stabilität und eine
Steigerung des Lebensstandards zu fördern
und zur Entwicklung der Weltwirtschaft
beizutragen. Darüber hinaus ist es auch ein
Anliegen der OECD, die Entwicklung anderer
Länder zu unterstützen (http://www.
oecd.org/berlin/dieoecd/). So ist auch die
PISA-Studie nicht auf OECD-Länder beschränkt,
sondern offen für die Beteiligung
von Partnerländern und -volkswirtschaften.
Bildung gilt als ein Schlüsselfaktor zur
Erreichung dieser Ziele. In ihren Bemühungen,
Regierungen in einer effektiven
Bildungspolitik zu unterstützen, veröffentlicht
die OECD in den jährlichen Berichten
Education at a Glance (Bildung auf
einen Blick, z. B. OECD, 2012) international
vergleichbare, quantitative Indikatoren,
die eine kontinuierliche Beobachtung
sowie eine aussagekräftige Rückmeldung
über die Leistungsfähigkeit der Bildungssysteme
in den OECD-Mitgliedsstaaten ermöglichen.
OECD/PISA ist eine der zentralen
Datenquellen für diese Indikatoren.
Zudem fließen Daten der internationalen
Befragung zu Lehren und Lernen (OECD
Teaching and Learning International Survey
– TALIS) sowie der Erhebung zu den
Kompetenzen von Erwachsenen (OECD
Programme for the International Assessment
of Adult Competencies – PIAAC) ein
(OECD, 2012, S. 3 f.). Österreich beteiligte
sich an beiden Studien (TALIS 2008,
PIAAC 2012).
Nationaler Nutzen von PISA
Gemeinsam mit den beiden Studien der
IEA (International Association for the
Evaluation of Educational Achievement),
PIRLS (Progress in International Reading
Literacy Study) und TIMSS (Trends in International
Mathematics and Science Study)
ist PISA ein wesentlicher Bestandteil
des österreichischen Bildungsmonitorings,
das seit dem Jahr 2008 eine der Kernaufgaben
des BIFIE (Bundesinstitut für Bildungsforschung,
Innovation und Entwicklung
des österreichischen Schulsystems)
ist. PIRLS (Beteiligung Österreichs 2006
und 2011) erfasst die Lesekompetenz und
TIMSS (Beteiligung Österreichs 1995,
2007 und 2011) die Mathematik- und
Naturwissenschaftsfähigkeiten von 10-jährigen
Schülerinnen und Schülern am Ende
der Volksschule. Somit werden in regelmäßigen
Abständen international vergleichbare
Daten grundlegender Kompetenzen der
Schüler/innen an wesentlichen Schnittstellen
des Schulsystems (4. Klasse Volksschule
und 9./10. Schulstufe – Ende der Pflicht-

Was ist PISA? 11
schulzeit) erhoben und analysiert. Die internationalen
Schülerleistungsvergleiche ergänzen
die nationalen Standardüberprüfungen in der
4. Schulstufe (Deutsch und Mathematik) und
in der 8. Schulstufe (Deutsch, Mathematik
und Englisch), indem sie den Vergleich auf
Systemebene – mit anderen Schulsystemen –
ermöglichen. Gemeinsam liefern internationa
le und nationale Assessments regelmäßig
wichtige Daten zur Qualität, Effizienz und zu
Ent wicklungsfeldern des Schulsystems, die u. a.
im österreichischen Bildungsbericht (vgl. z. B.
Herzog-Punzenberger, 2012; Bruneforth &
Lassnigg, 2012) für Bildungsverantwortliche
aufbereitet sowie der breiten Öffentlichkeit
zugänglich gemacht werden.
Ziele von PISA
NATURWISSENSCHAFT
2015
2006
Lesen
Mathematik
LESEN
2009
2000
Mathematik
Naturwissenschaft
Abbildung 1.1: Der PISA-Zyklus
MATHEMATIK
2012
2003
Naturwissenschaft
Lesen
Hauptziel von PISA ist, die Effektivität von Schulsystemen
festzustellen und mithilfe des internationalen Vergleichs
Stärken und Schwächen zu identifizieren, auf deren Grundlage
Schulsysteme weiterentwickelt werden können. Die Effektivität
wird anhand des kumulierten Ertrags eines Schulsystems
bestimmt. Dazu werden die Kompetenzen von
Schülerinnen und Schülern im Alter von 15/16 Jahren (in
diesem Alter befinden sich die Schüler/innen in den meisten
Ländern am Ende der Pflichtschulzeit) in den drei Bereichen
Lesen, Mathematik und Naturwissenschaft sowie zentrale
Hintergrundmerkmale, die mit den Kompetenzen in Zusammenhang
stehen, in regelmäßigen Abständen von drei
Jahren erhoben, ausgewertet und international verglichen.
Lesekompetenz (Reading Literacy) wird bei PISA erhoben,
weil diese in allen Gesellschaften zu den Grundfertigkeiten
zählt und für die Teilhabe am beruflichen, sozialen, kulturellen
und politischen Leben unabdingbar ist (OECD,
2013, S. 61). Außerdem ist Lesen eine zentrale Voraussetzung
für lebenslanges Lernen. Mathematikkompetenz
(Mathematical Literacy) und Naturwissenschaftskompetenz
(Scientific Literacy) werden bei PISA gemessen, weil
diese im 21. Jahrhundert eine immer größere Rolle spielen
und daher die gesamte Bevölkerung einer modernen Gesellschaft
über Grundfähigkeiten aus diesen Bereichen verfügen
sollte (OECD, 2013, S. 24, S. 98). Diese Kompetenzen
ermöglichen es auch, die Chancen neuer Entdeckungen
und Technologien einerseits zu erkennen, andererseits neu
aufgeworfene Probleme realistisch einzustufen und als Bürger/in
entsprechend zu reagieren.
Bei jeder PISA-Erhebung wird einer der drei Kompetenzbereiche
sehr umfangreich, mit gut der Hälfte der Aufgaben,
erfasst („Hauptdomäne“). In den beiden anderen Bereichen
werden jeweils zusammenfassende Leistungsprofile erhoben
(s. Abbildung 1.1).
Der erste PISA-Zyklus fand mit Erhebungen in den Jahren
2000 (Schwerpunkt Lesen), 2003 (Schwerpunkt Mathematik)
und 2006 (Schwerpunkt Naturwissenschaft) statt. Mit
PISA 2009 begann der zweite Zyklus mit Erhebungen in
den Jahren 2009 (erneut Schwerpunkt Lesen), 2012 (erneut
Schwerpunkt Mathematik) und 2015 (erneut Schwerpunkt
Naturwissenschaft). Mit dem Abschluss des zweiten PISA-
Zyklus im Jahr 2015 wird jeder der drei Kompetenzbereiche
zweimal schwerpunktmäßig erfasst worden sein.
Zusätzlich zu den drei Kerndomänen wird jeder PISA-
Durchgang durch einen innovativen Bereich ergänzt, an
dem sich die Länder in der Regel als internationale Option
beteiligen können. Österreich nahm bei PISA 2000 an der
internationalen Zusatzbefragung zu fächerübergreifenden
Fähigkeiten (Cross-Curricular-Competencies, CCC) teil,
bei der die Schüler/innen u. a. zu Strategien des selbstregulierenden
Lernens und der Handlungskontrolle, zu kooperativem
Lernen, ihrer Motivation und Zielorientierung
befragt wurden. Bei PISA 2003 und 2012 wurden die
Testdomänen um die fächerübergreifende Problemlösekompetenz
erweitert, wobei diese 2003 mittels Testheften
und 2012 am Computer erfasst wurde. 2009 beteiligte sich
Österreich an der Option Lesen elektronischer Medien,
die bei PISA 2012 fortgeführt wurde. Zudem wurden bei
PISA 2012 Mathematikaufgaben am Computer gestellt.
Gemeinsam bildet die computerbasierte Erhebung von Problemlösen,
Lesen elektronischer Medien und Mathematik
die internationale Option Computer-based Assessment of
Literacy (CBAL). Da digitale Medien und Geräte im Alltag
von Jugendlichen einen hohen Stellenwert einnehmen
und sich mit digitalen Medien neue, vielfältige Lernwege
eröffnen, sind computerbasierte Tests ein wesentlicher Bestandteil
von PISA. Beim nächsten Durchgang 2015 wird
PISA auf Initiative der OECD voraussichtlich vollständig
computerbasiert durchgeführt werden.

12 PISA 2012: Die Studie im Überblick
Eine weitere internationale Option bei PISA 2012 war die
Erfassung der „Financial Literacy“, an der sich Österreich
je doch nicht beteiligte.
PISA liefert drei Arten von Indikatoren
PISA erfasst, in welchem Ausmaß Jugendliche das Wissen,
das sie im Laufe der Pflichtschulzeit erworben haben, in realitätsnahen
Situationen einsetzen und anwenden können.
Beim Kompetenzerwerb wirken dabei neben Merkmalen
der Bildungseinrichtungen, die die Schüler/innen im Laufe
ihrer Schulzeit besuchen (z. B. Betreuungsqualität im Kindergarten,
Schulart, Unterrichtsqualität, Strategien der Lehrer/innen,
soziales Klima in der Klasse), auch demografische,
sozial-ökonomische, familiäre und individuelle Faktoren
(z. B. Einkommen, Bildung und Beruf der Eltern, Migrationshintergrund,
Lern- und Leistungsmotivation etc.).
Da her werden bei PISA nicht nur die Kompetenzen der
Schüler/innen erhoben, sondern auch wichtige Kontextmerkmale,
die mit diesen in Zusammenhang stehen. Indem
PISA regelmäßig alle drei Jahre durchgeführt wird, ist es
möglich, die Entwicklungen der Kompetenzen und der Zusammenhänge
über die Zeit zu verfolgen. Zusammengefasst
ergibt das drei Qualitätsindikatoren, anhand derer Schulsysteme
beschrieben werden:
1. Die Leistungen der Schüler/innen in den Kompetenzbereichen
(die PISA-Testergebnisse) bilden die Basisindikatoren.
Der direkte Vergleich der Ergebnisse mit den
Leistungen anderer Teilnehmerländer (auf Grundlage
von „Benchmarks“) ermöglicht eine Identifizierung von
Stärken und Schwächen in den nationalen Bildungssystemen.
2. Die mittels Fragebögen für Schüler/innen und für
Schulleiter/innen erhobenen Kontextindikatoren geben
Einsicht in Zusammenhänge von demografischen, sozialen,
ökonomischen oder allgemein pädagogischen
Faktoren mit der Leistung.
PISA-Daten: aggregiert und kumuliert
Die Informationen, die internationale Schülerleistungsvergleiche
wie PISA in Form von Qualitätsindikatoren liefern,
sind (mehr oder weniger)
„aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen
Ebenen hinweg summiert (z. B. die erreichten Punkte
der österreichischen Schüler/innen in Lesen spiegeln den
Ertrag bzw. die Qualität der Prozesse auf allen drei Ebenen,
Unterricht – Schule – Systemorganisation, wider),
und „kumuliert“, d. h. sie sind die Summe der Wirkungen
aller beteiligten Elemente (von der Durchführung
des Unterrichts, den Kompetenzen der Lehrer/innen,
der Selbstorganisation der Schüler/innen über die Unterstützung
der Eltern, des sozialen Klimas in der Klasse
bis zur Wirkung von Medien).
Damit sind evaluative Studien vom PISA-Typ zum Monitoring
gut geeignet, um den Zustand von Qualitätsmerkmalen
(die erfassten Kompetenzen und Kontextindikatoren)
und Zusammenhänge zwischen Leistungen und Hinter -
grundmerkmalen relativ präzise zu beschreiben. Um die
Ursachen für die vielfältig aggregierten und kumulierten
Wirkungen zu erforschen, ist PISA weniger gut geeignet. So
ist es möglich, den Erfolg des finnischen oder kanadischen
Schulsystems mit PISA festzustellen (im Vergleich zu den
anderen), oder auszusagen, dass Mädchen in allen OECD-
Ländern beim Lesen besser abschneiden als Burschen; es ist
jedoch ungleich schwieriger, die Ursachen dieser Ergebnisse
zu bestimmen (z. B. welches Zusammenspiel von welchen
Merkmalen nun genau zu diesem Ergebnis geführt hat). Die
bei PISA beobachteten Zusammenhänge zwischen Leis -
tungen und Kontextmerkmalen können jedoch zum Verständnis
von Wirkungen beitragen (etwa die Korrelation
zwischen sozioökonomischem Status und den Leistungen
der Schüler/innen) oder zumindest zu neuen Hypothesen
mit der Chance auf mögliche neue Einsichten führen.
3. Die regelmäßige standardisierte Erfassung der Kompetenzen
und Kontextmerkmale ermöglicht einen Vergleich
der Ergebnisse über die Zeit und somit die Bildung
von Trendindikatoren. Diese systematische Da -
ten basis dient der Beobachtung von Entwicklungstrends
im Kompetenzbestand in den verschiedenen Ländern
und von verschiedenen demografischen Gruppen.
Durch den Vergleich der Ergebnisse über die Zeit kann
die Dynamik der Entwicklung erfasst werden. Zugleich
können Konsequenzen zwischenzeitlich eingeleiteter
Verbesserungen im System sichtbar gemacht werden.
Mit dem PISA-Untersuchungsdesign ist dafür gesorgt,
dass in jedem Kompetenzbereich im 9-Jahres-Abstand
eine detaillierte und profunde Leistungsanalyse sowie
alle drei Jahre ein Leistungsprofil erstellt wird.

2 Wie ist PISA organisiert?
Die Teilnehmerländer von
PISA 2012
An PISA 2012 nahmen weltweit 65 Länder
teil, darunter alle 34 OECD-Mitgliedsstaaten
sowie weitere 31 „Partnerländer“. Abbildung
2.1 gibt einen Überblick über die
Teilnehmerländer bei PISA 2012.
Die internationale Organisation
von PISA 2012
Die Managementverantwortung für das
gesamte PISA-Projekt trägt das OECD-
Sekretariat in Paris (Gesamtkoordinator:
Dr. Andreas Schleicher). Die grundlegenden
Entscheidungen werden im PISA Governing
Board (PGB) getroffen, in dem
alle PISA-Teilnehmerländer vertreten, aber
nur OECD-Mitgliedsländer stimmberechtigt
sind. Das PGB legt im Rahmen der
Zielsetzungen der OECD die politischen
Prioritäten für PISA fest und überwacht
den gesamten Implementierungsprozess.
Österreich wird im PGB von Dr. Mark
Német (BMUKK) vertreten.
Für das Design und die Implementierung
von PISA 2012 innerhalb des vom PGB
gesteckten Rahmens waren zehn internationale
Vertragspartner verantwortlich, die
gemeinsam unter der Leitung von ACER
(Australian Council for Educational Research)
das PISA-Konsortium 2012 bildeten:
Australian Council for Educational
Research (ACER)
Analyse des systèmes et des pratiques
d’enseignement (aSPe) in Belgien
cApStAn – Linguistic Quality Control
in Belgien
Deutsches Institut für Internationale
Pädagogische Forschung (DIPF)
Educational Testing Service (ETS) in
den USA
Institutt for Lærerutdanning og Skoleutvikling
(ILS) in Norwegen
Leibniz – Institut für die Pädagogik
der Naturwissenschaften und Mathematik
(IPN) in Deutschland
National Institute for Educational
Policy Research (NIER) in Japan
Henri Tudor (CRP) and Université de
Luxembourg (EMACS)
Westat in den USA
Dieses Konsortium unter der Leitung von
ACER trug die Verantwortung für die Entwicklung
und das Design der Tests, die
Entwicklung und Adaption der Fragebögen
sowie für alle Angelegenheiten bezüglich
Sampling, Durchführung der Studie,
Übersetzung und deren Verifikation, Datenmanagement,
Qualitätssicherung usw.
Um die wissenschaftliche Expertise und
das praktische Know-how aus allen PISA-
Teilnehmerstaaten und den nationalen
Pro jektzentren zu nutzen, wurden internationale
Expertengruppen zu Lesen, Mathematik,
Naturwissenschaft und Problemlösen
sowie für die Fragebögen gebildet
(Subject Matter Expert Groups). Aufgabe
der internationalen Expertinnen und Experten
war es, die bei PISA verwendeten
Tests und Fragebögen zu entwickeln und
zu gewährleisten, dass PISA mit der größtmöglichen
international verfügbaren fachwissenschaftlichen
und verfahrenstechnischen
Kompetenz umgesetzt wird.
Die Technical Advisory Group (TAG), der
renommierte internationale Sozialwissenschafter/innen
und Methodiker/innen angehören,
gewährleistet höchste technische
Qualität des Projekts (z. B. beim Design
der Studie, bei der Umsetzung der technischen
Standards oder bei Analysen).

14 PISA 2012: Die Studie im Überblick
OECD-Länder PISA 2012
Australien (AUS)
Großbritannien (GBR)
Mexiko (MEX)
Slowakische Republik
(SVK)
Belgien (BEL)
Irland (IRL)
Neuseeland (NZL)
Slowenien (SVN)
Chile (CHL)
Island (ISL)
Niederlande (NLD)
Spanien (ESP)
Dänemark (DNK)
Israel (ISR)
Norwegen (NOR)
Tschechische Republik
(CZE)
Deutschland (DEU)
Italien (ITA)
Österreich (AUT)
Türkei (TUR)
Estland (EST)
Japan (JPN)
Polen (POL)
Ungarn (HUN)
Finnland (FIN)
Kanada (CAN)
Portugal (PRT)
Vereinigte Staaten
von Amerika (USA)
Frankreich (FRA)
Korea (KOR)
Schweden (SWE)
Griechenland (GRC)
Luxemburg (LUX)
Schweiz (CHE)
OECD-Partnerländer PISA 2012
Albanien (ALB)
Kasachstan (KAZ)
Malaysia (MYS)
Taiwan (TWN)
Argentinien (ARG)
Katar (QAT)
Montenegro (MNE)
Thailand (THA)
Brasilien (BRA)
Kolumbien (COL)
Peru (PER)
Tunesien (TUN)
Bulgarien (BGR)
Costa Rica (CRI)
Kroatien (HRV)
Lettland (LVA)
Rumänien (ROU)
Russische Föderation
(RUS)
Uruguay (URY)
Vereinigte Arabische
Emirate (QAR)
Hongkong* (HKG)
Liechtenstein (LIE)
Serbien (SRB)
Vietnam (VNM)
Indonesien (IDN)
Litauen (LTU)
Schanghai** (QCN)
Zypern*** (CYP)
Jordanien (JOR)
Macau* (MAC)
Singapur (SGP)
* Sonderverwaltungszone Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.
** Provinz Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.
*** Die Informationen über Zypern in diesem Bericht beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern
steht (OECD, 2013b).
Abbildung 2.1: Die PISA-2012-Teilnehmerländer

Wie ist PISA organisiert? 15
Die nationale Organisation
von PISA 2012
In Österreich wird – wie in allen anderen PISA-Ländern –
die nationale Durchführung der Studie vom Unterrichtsministerium
in Auftrag gegeben und finanziert. Frau BM
Dr. Claudia Schmied be auftragte das BIFIE (Bundesinstitut
für Bildungsforschung, Innovation & Entwicklung des
österreichischen Schulwesens) mit der wissenschaftlichen
Planung und der praktischen Umsetzung von PISA 2012.
Das Department Bildungsstandards und Internationale Assessments
(Leitung Mag. Dr. Claudia Schreiner) zeichnet
für die nationale Umsetzung der PISA-Studie verantwortlich.
Als nationale Projektmanagerin war Mag. Dr. Ursula
Schwantner für die Planung, Umsetzung und Auswertung
von PISA 2012 zuständig.
In Zusammenarbeit mit dem internationalen Konsortium
und anderen nationalen PISA-Projektzentren – insbesondere
in Kooperation mit Deutschland, der Schweiz und Luxemburg
(DACHL) bei den Übersetzungen – wird von den
BIFIE-Mitarbeiterinnen und -Mitarbeitern die PISA-Studie
in Österreich realisiert. Dazu werden das Untersuchungsdesign
auf die nationalen Gegebenheiten abgestimmt, die
Tests und Fragebögen mitentwickelt, übersetzt und angepasst,
die Erhebungen durchgeführt, die Daten verarbeitet
und analysiert.
Um den PISA-Test bestmöglich an die nationalen Gegebenheiten
anzupassen, kooperiert das BIFIE bei der Begutachtung
der Frameworks und der Testaufgaben mit nationalen
Fachexpertinnen und -experten. Für die nationale
Begutachtung des Mathematik-Frameworks (s. Kapitel 3)
und der neuen Mathematikaufgaben beauftragte das BIFIE
das Österreichische Kompetenzzentrum für Mathematikdidaktik
(AECC-Mathematik) am Institut für Didaktik und
Mathematik an der Alpen-Adria-Universität Klagenfurt
unter der Leitung von Univ.-Prof. Dipl.-Ing. Dr. Werner
Peschek. Die Begutachtung des Frameworks zum Bereich
Problemlösen übernahmen Ao. Univ.-Prof. Mag. Dr. Stefan
Götz und Univ.-Prof. Mag. Dr. Hans Humenberger (beide
Fakultät für Mathematik und Zentrum für LehrerInnenbildung,
Universität Wien). An der Begutachtung der Problemlöseaufgaben
beteiligten sich Mag. Franz Altinger (BG
Zaunergasse, Salzburg), Univ. Doz. Dr. Franz Embacher
(Fakultät für Mathematik, Fakultät für Physik, Universität
Wien) sowie Univ.-Prof. Mag. Dr. Hans Humenberger.
Zeitplan
Die Durchführung der PISA-Studie – von der Entwicklung
der Rahmenkonzepte der Testbereiche (Frameworks) bis
zum Ergebnisbericht – erstreckt sich über mehrere Jahre.
2010, etwa zwei Jahre vor der Haupterhebung, haben die
unmittelbaren Vorbereitungsarbeiten für PISA 2012 begonnen.
In dieser Zeit wurden die theoretischen und konzeptionellen
Grundlagen erarbeitet sowie die Tests und Fragebögen
entwickelt.
Im Jahr 2011 wurde in allen teilnehmenden Ländern ein
Feldtest zur Erprobung der neuen Aufgaben und aller Abläufe
durchgeführt. In Österreich waren daran 60 Schulen
mit 1 156 Schülerinnen und Schülern beteiligt.
Auf Basis der durch den Feldtest gewonnenen Erkenntnisse
wurden alle neuen Testaufgaben, Fragebogeninhalte und
Prozeduren für den Haupttest 2012 optimiert. Der Haupttest
fand in Österreich im April/Mai 2012 an 191 Schulen
mit 4 755 Schülerinnen und Schülern statt. Zur selben
Zeit testeten auch die anderen PISA-Länder der nördlichen
Hemisphäre. Teilnehmerländer der südlichen Hemisphäre
testen ca. ein halbes Jahr später, da das Schuljahr erst etwa
im Februar beginnt und so der Testzeitraum entsprechend
verschoben ist.
Nach der Datenerhebung im Frühjahr 2012 dauert es bis
zur ersten Ergebnisveröffentlichung (Dezember 2013) etwa
eineinhalb Jahre. In dieser Zeit werden die erhobenen Daten
aller 65 Länder – der nördlichen sowie der zeitlich verschoben
testenden südlichen Hemisphäre – entsprechend
aufbereitet, geprüft, gewichtet und schließlich ausgewertet.
Im Dezember 2013 veröffentlicht die OECD die ersten Ergebnisberichte
zu PISA 2012 (OECD, 2013b, c, d, e). Zeitgleich
erscheinen drei österreichische Erstpublikationen: die
Broschüre zu ersten Ergebnissen von PISA 2012 aus österreichischer
Perspektive, die vorliegende Studienbeschreibung
sowie der nationale technische Bericht, der eine detaillierte Beschreibung
und Erklärung aller österreichspezifischen PISA-
2012-Aktivitäten enthält. Alle Publikationen des BIFIE
sind ab dem Zeitpunkt der Veröffentlichung auf der BIFIE-
Homepage erhältlich (http://www.bifie.at/pisa).
In Abbildung 2.2 ist der Zeitplan für PISA 2012 im Detail
dargestellt.
Bei Tätigkeiten im Rahmen der Datenerhebung und Datenverarbeitung,
die mit einem hohen Arbeitsaufwand verbunden
sind, werden die Mitarbeiter/innen des BIFIE von
externen, speziell geschulten Personen unterstützt (Testleiter/innen,
Coder/innen, Datenerfassungspersonal).
Für die Datenanalysen und die Erstellung von Publikationen
und Vorträgen ist ebenfalls das BIFIE verantwortlich
und kooperiert dabei mit Fachexpertinnen und -experten.

16 PISA 2012: Die Studie im Überblick
1
Vorbereitung
01/2010 bis
10/2010
Feldtest (FT)
11/2010 bis
08/2011
Haupttest (HT)
09/2011 bis
10/2012
Datenaufbereitung
und -analyse
11/2012 bis
12/2013
2013
2012
2011
2010
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
7
8
9
10
11
12
Entwicklung der Rahmenkonzeption (Frameworks);
Festlegung des Untersuchungsdesigns
Entwicklung, Begutachtung und Überarbeitung der neuen Mathematikund
Problemlöse-Aufgaben
Erstellung des Stichprobenplans für den Feldtest
Übersetzung und nationale Anpassung der Testaufgaben und Fragebögen;
Stichprobenziehung – Schulen; Information der Schulbehörden
Übersetzungsverifikation; Information der ausgewählten Schulen;
Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen
Verpackung der Testmaterialien; Schulung der Testleiter/innen
Feldtest an den Schulen
Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning
internationales File-Cleaning und Datenanalyse
Itemauswahl und Erstellung des Stichprobenplans für den Haupttest
Überarbeitung der Testaufgaben und Fragebögen für den Haupttest;
Stichprobenziehung – Schulen; Information der Schulbehörden
Übersetzungsverifikation; Information der ausgewählten Schulen;
Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen
Verpackung der Testmaterialien, Schulung der Testleiter/innen
Haupttest an den Schulen
Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning
internationales File-Cleaning und Datenanalyse
internationale Datenskalierung
Erstellung des internationalen Datensatzes
Datenanalysen
Veröffentlichung der Ergebnisse
Abbildung 2.2: Zeitplan für PISA 2012

3 Was misst PISA?
Das Modell des lebenslangen
Lernens
Schüler/innen können nicht alles, was sie
im Leben einmal benötigen werden, bereits
„auf Vorrat“ in der Schule lernen. Sie müssen
jedoch umfassende Grundkompetenzen
erwerben, die es ihnen ermöglichen,
aktiv und erfolgreich am gesellschaftlichen,
beruflichen, kulturellen und politischen
Leben teilzunehmen.
Im Zentrum von PISA steht die Frage, inwieweit
15-/16-jährige Schüler/innen, die
sich in den meisten Teilnehmerländern am
Ende der Pflichtschulzeit befinden, in drei
zentralen Bereichen – Lesen, Mathematik
und Naturwissenschaft – über solche
Grundkompetenzen verfügen. Diese Fragestellung
beruht auf dem dynamischen
Modell des lebenslangen Lernens, das davon
ausgeht, dass Kenntnisse und Fertigkeiten
kontinuierlich über die gesamte Lebensspanne
hinweg, inner- und außerhalb von
Bildungseinrichtungen, erworben werden.
Die Voraussetzungen für ein erfolgreiches
lebenslanges Lernen werden dabei zu einem
wesentlichen Teil in der Schule gelegt.
Zum einen müssen die Schüler/innen spezifisches
Fachwissen sowie Kenntnisse über
grundlegende Konzepte erwerben, zum
anderen benötigen sie Fähigkeiten, die es
ihnen ermöglichen, ihr Wissen in verschiedenen
Situationen anzuwenden und sich
an veränderte Bedingungen anpassen zu
können – sowohl im schulischen Kontext
als auch außerhalb.
Da elektronische Medien und Geräte einen
immer größeren Stellenwert einnehmen
und diese zudem vielfältige neue Lernmöglichkeiten
eröffnen, ist die Erfassung
der Nutzung von Informations- und Kommunikationstechnologien
sowie der Einsatz
computerbasierter Tests mittlerweile
fester Bestandteil von PISA. Die Nutzung
von Informations- und Kommunikationstechnologien
zählt zu den fächerübergreifenden
Kompetenzen und wird bei PISA
im Rahmen eines internationalen Zusatzfragebogens
erfasst. Als weiterer wichtiger
fächerübergreifender Kompetenzb e-
reich wird die allgemeine Problemlöse kompet
enz der Jugendlichen erachtet. Diese
wurde im Rahmen von PISA 2003 mittels
gedruckten Testheften und bei PISA 2012
mittels Computertest erfasst. Bei PISA
2012 wurden darüber hinaus computerbasierte
Mathematik- und Leseaufgaben
eingesetzt. Computerbasierte Testaufgaben
gehen über papierbasierte Testaufgaben
hinaus, indem sie die Möglichkeit bieten,
Aufgabenstellungen zu animieren, mit Pro -
blemstellungen zu interagieren und z. B.
auch Lösungswege und verschiedene Lösungsversuche
und Herangehensweisen aufzu
zeichnen.
Mithilfe der (sowohl papier- als auch computerbasierten)
PISA-Aufgaben sollen Fertigkeiten
gemessen werden, die in realen
Lebenssituationen gefordert sind und die
im Hinblick auf das lebenslange Lernen
und die konstruktive Teilhabe an der Gesellschaft
relevant sind. Das Augenmerk
der Testinhalte liegt dabei auf dem Verständnis
von grundlegenden Konzepten,
der Beherrschung von Prozessen sowie auf
der Fähigkeit, nachhaltig vernetztes Wissen
in unterschiedlichen alltagsbezogenen Situationen
bzw. auf realitätsnahe Problemstellungen
anwenden zu können.
Die PISA-Frameworks
Für jeden bei PISA gemessenen Kompetenzbereich
wird von internationalen Expertinnen
und Experten ein Framework
ent wickelt. Ein Framework ist ein Experten -
curriculum, in dem beschrieben und definiert
wird, welches Wissen und welche
Fähigkeiten für die einzelnen Bereiche relevant
sind und bei PISA getestet werden.
Basis für die Entwicklung der Frameworks
ist das Modell des lebenslangen Lernens.

18 PISA 2012: Die Studie im Überblick
Die Schüler/innen sollen zeigen, dass sie bestimmte grundlegende
Konzepte kennen und verstehen und ihr Wissen
darüber in verschiedenen Situationen und Kontexten flexibel
anwenden können. Die Kompetenzen werden als kontinuierlich
angesehen und in ihrer quantitativen Ausprägung
(höhere/niedrigere Kompetenz) erfasst.
Bei der Erstellung der Frameworks werden nationale Lehrpläne
zwar konsultiert, sie spielen jedoch bei der Festlegung
der Testinhalte eine untergeordnete Rolle. Eine Konzentration
auf Lehrplaninhalte würde bei einer internationalen
Vergleichsstudie dazu führen, dass nur solche Aspekte gemessen
werden können, die in den Lehrplänen von allen
oder den meisten Ländern enthalten sind. Dies würde zahlreiche
Kompromisse erfordern und die Messungen letztendlich
zu sehr einschränken (OECD, 2000, S. 9 f.). Die
Vorteile eines von Expertinnen und Experten entwickelten
Frameworks liegen u. a. darin, dass es ein gemeinsames Verständnis
dessen liefert, was als relevant erachtet und daher
getestet werden soll. Somit ermöglichen die Frameworks
eine präzise Messung der jeweiligen Kompetenzbereiche
(OECD, 2013a, S. 15).
Das Framework umfasst für jeden Kompetenzbereich:
die Definition des Kompetenzbereichs mit Erläuterungen
die Organisation des Kompetenzbereichs
die Aufgabenmerkmale und die Erhebungsstruktur
einige Beispielaufgaben
Im Folgenden werden die Inhalte der Frameworks für die
bei PISA 2012 gemessenen Kompetenzbereiche erläutert.
Das Mathematik-Framework basiert auf PISA 2003, der
ersten schwerpunktmäßigen Erhebung der Mathematikkompetenz,
und wurde für PISA 2012 aktualisiert und
erweitert. Ebenso wurde das Problemlöse-Framework aus
PISA 2003 weiterentwickelt. Das aktuelle Framework für
den Kompetenzbereich Lesen stammt aus PISA 2009 (der
zweiten schwerpunktmäßigen Erfassung) und jenes für Naturwissenschaft
aus PISA 2006.
LESEHINWEIS
Das PISA-2012-Framework (OECD, 2013a) kann
von der Webseite der OECD kostenlos heruntergeladen
werden (http://www.oecd.org/pisa/).
Mathematikkompetenz (Schwerpunkt 2012)
Mathematisches Grundverständnis und die Anwendung
mathematischer Konzepte, Verfahren und Werkzeuge sind
im Alltag unverzichtbar. Sei es der Umgang mit Finanzen,
der tägliche Einkauf oder das Interpretieren von Statistiken –
all diese Situationen verlangen mathematisches Wissen, um
angemessene Entscheidungen treffen zu können.
PISA stellt bei der Definition der Mathematikkompetenz
den Aspekt der Anwendung und Nutzung des mathematischen
Wissens in einer Vielzahl von unterschiedlichen Kontexten
in den Vordergrund und wird wie folgt definiert:
„Mathematikkompetenz ist die Fähigkeit einer Person, Mathematik
in einer Vielzahl von Kontexten zu formulieren,
anzuwenden und zu interpretieren. Dazu gehört mathematisches
Schlussfolgern sowie die Anwendung mathematischer
Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene
zu beschreiben, zu erklären und vorherzusagen. Mathematikkompetenz
hilft jedem/jeder Einzelnen, die Rolle zu erkennen,
die Mathematik in der Welt spielt, sowie fundierte Urteile abzugeben
und gut begründete Entscheidungen zu treffen, wie sie
von konstruktiven, engagierten und reflektierenden Bürgerinnen
und Bürgern benötigt werden“ (OECD, 2013a, S. 25;
Übersetzung: BIFIE).
Das Modell der Mathematikkompetenz
Das Modell der Mathematikkompetenz gibt einen Überblick
über die wichtigsten Dimensionen des Mathematik-
Frameworks und zeigt an, wie sich diese aufeinander beziehen
(s. Abbildung 3.1). Den äußeren Rahmen des Modells
bilden die Kontexte sowie die mathematischen Inhaltsbereiche,
in denen ein Problem angesiedelt ist. Um kontextbezogene
Probleme lösen zu können, müssen Schüler/innen
mathematisch denken und handeln. Sie stützen sich dazu
auf mathematische Konzepte, Kenntnisse und Fertigkeiten.
Mathematisches Handeln wird im Framework anhand
von sieben grundlegenden mathematischen Fähigkeiten
charakterisiert. Zur Auseinandersetzung mit dem Problem
selbst sind drei mathematische Prozesse gefordert, die diese
grundlegenden Fähigkeiten involvieren: Formulieren, Anwenden,
Interpretieren/Bewerten.
Die drei Prozesse bilden die Kernelemente des Kreislaufs des
mathematischen Modellierens, der im Inneren des Modells
in Abbildung 3.1 vereinfacht dargestellt ist. Beim Kreislauf
des mathematischen Modellierens müssen die Schüler/innen
in einem realen Problem ein mathematisches Problem
erkennen, dieses mathematisch formulieren und damit in
ein mathematisches Problem transformieren. Mithilfe des
Anwendens mathematischer Konzepte, Prozeduren und
Denkweisen wird eine mathematische Lösung gefunden,
die anschließend in eine reale Lösung rückübersetzt wird.
Abschließend wird das Ergebnis interpretiert und die Sinnhaftigkeit
der realen Lösung in Bezug zum anfänglichen
Problem bewertet (OECD, 2013a, S. 25 f.).
Auf Basis dieses Modells können die Mathematikaufgaben
bei PISA 2012 drei relevanten Dimensionen zugeordnet
werden: Kontexte, mathematische Inhaltsbereiche und mathematische
Prozesse (vgl. OECD, 2013a, S. 27 f.):

Was misst PISA? 19
Reale Situationen
Kontexte: persönlich, beruflich, gesellschaftlich, wissenschaftlich
Mathematische Inhaltsbereiche: Größen, Raum & Form,
Veränderung & Zusammenhänge, Unsicherheit & Daten
Mathematisches Denken und Handeln
Mathematische Konzepte, Kenntnisse und Fertigkeiten
Grundlegende mathematische Fähigkeiten:
Kommunizieren und Repräsentieren; Strategien entwickeln;
Mathematisieren; Begründen und Argumentieren; symbolische,
formale, technische Sprache und Operationen anwenden;
mathematische Werkzeuge verwenden;
Mathematische Prozesse:
Formulieren, Anwenden, Interpretieren/Bewerten
Problem in einer
realen Situation
Bewerten
Formulieren
mathematisches
Problem
Anwenden
ren von Ergebnissen und das Ziehen von
Schlussfolgerungen.
Mathematische Prozesse
Die Mathematikkompetenz bei PISA 2012
wird als die Fähigkeit einer Person beschrieben,
Mathematik in einer Vielzahl von Kontexten
zu formulieren, anzuwenden und zu
interpretieren. Für PISA sind daher vor allem
Aufgaben relevant, die reale Problemstellungen
mit der Mathematik verknüpfen und die
den Aspekt der Anwendung und Nutzung
des mathematischen Wissens beinhalten.
Die Lösung solcher Aufgaben involviert drei
zentrale Prozesse:
Der Prozess des Formulierens erfordert von
den Jugendlichen, dass sie mathematische
Aspekte und Strukturen eines realen Problems
erkennen, dieses mathematisch repräsentieren
und in ein mathematisches Problem
übersetzen, damit die Problemstellung
anschließend auf mathematischem Weg analysiert
und gelöst werden kann.
reale
Lösung
Interpretieren
mathematische
Lösung
Abbildung 3.1: Das Modell der Mathematikkompetenz bei PISA 2012
(vgl. OECD, 2013a, S. 26)
Kontexte
Die bei PISA 2012 zu lösenden Mathematikaufgaben
sind in unterschiedlichen Kontexten angesiedelt und
decken das persönliche, berufliche, gesellschaftliche oder
wissenschaftliche Umfeld ab.
Der Prozess des Anwendens erfordert von den
Schülerinnen und Schülern, dass sie mathematische
Konzepte, Fakten, Prozeduren und
Denkweisen verwenden und Strategien zur
Lösung mathematischer Probleme entwickeln,
um ein mathematisches Ergebnis zu erhalten.
Dabei führen die Schüler/innen z. B.
arithmetische Berechnungen durch, lösen
Mathematische Inhaltsbereiche
Die vier Inhaltsbereiche werden als essenzielle Bestandteile
der Mathematik gesehen. Beim Inhaltsbereich Größen
geht es um Fähigkeiten, numerische Muster zu erkennen,
ein Zahlenverständnis zu entwickeln und
Zahlen in unterschiedlichen Kontexten anzuwenden
und darzustellen sowie mathematische Operationen
einzusetzen. Der Inhaltsbereich Raum & Form beinhaltet
Kenntnisse über Proportionen von Objekten sowie
ein Verständnis von Zusammenhängen zwischen räumlichen
und geometrischen Formen. Beim Inhaltsbereich
Veränderung & Zusammenhänge geht es um Veränderungsprozesse,
funktionale Zusammenhänge und Abhängigkeiten
zwischen Variablen. Unsicherheit & Daten
umfasst Kenntnisse über das Sammeln, Analysieren und
Darstellen von Daten, den Umgang mit Messunsicherheiten
und Wahrscheinlichkeiten sowie das Interpretie-
Gleichungen, ziehen logische Schlussfolge-
rungen aus mathematischen Annahmen oder entnehmen
mathematische Informationen aus Tabellen und
Grafiken.
Der Prozess des Interpretierens erfordert von den Jugendlichen,
mathematische Ergebnisse in Bezug auf die anfängliche
reale Problemstellung zu reflektieren und die
Sinnhaftigkeit der mathematischen Lösung in Bezug auf
den realen Kontext zu bewerten.
Computerbasierte Erfassung der
Mathematikkompetenz
Österreich beteiligte sich bei PISA 2012 neben 31 weiteren
Ländern an der internationalen Option zur computerbasierten
Erhebung der Mathematikkompetenz. Ausschlaggebend
für die Entscheidung der OECD, Mathematik bei
PISA 2012 auch computerbasiert zu erfassen, waren vor
allem zwei Aspekte: Erstens ist die Nutzung von Computern
in vielen Bereichen des täglichen Lebens, am Arbeitsplatz
oder in der Wissenschaft allgegenwärtig. Bezüglich
Mathematik bieten Computer eine Reihe an Werkzeugen

20 PISA 2012: Die Studie im Überblick
(„Tools“) für Berechnungen, Repräsentationen, Visualisierungen,
Modifizierungen, und das Erforschen von sowie
Experimentieren mit mathematischen Objekten, Phänomenen
und Prozessen. Daher sollte Mathematikkompetenz im
21. Jahrhundert auch die Verwendung des Computers und
den Umgang mit elektronischen Werkzeugen beinhalten.
Zweitens bieten Computer neue Wege der Erfassung der
Mathematikkompetenz, indem Schüler/innen direkt mit
einer Problemstellung interagieren können. Die Möglichkeit,
Prozesse zu animieren oder dreidimensionale Objekte
rotieren zu lassen, kann dazu beitragen, dass Aufgaben besser
verstanden werden. Darüber hinaus können am Computer
neue Aufgaben- und Antwortformate (z. B. „drag and
drop“) eingesetzt und das Erscheinungsbild farblich und
grafisch ansprechender gestaltet werden.
Eine Herausforderung bei der Umsetzung der computerbasierten
Erhebung der Mathematikkompetenz ist es, die
benötigten Kenntnisse für die Nutzung des Computers und
der zur Verfügung gestellten Tools von den mathematischen
Anforderungen der jeweiligen Aufgabe zu unterscheiden.
Für jede computerbasierte Mathematikaufgabe werden daher
drei Aspekte festgelegt (OECD, 2013a, S. 43 f.):
Die zu testende Mathematikkompetenz, die grundsätzlich
in jeder Umgebung (nicht nur am Computer) benötigt
wird. Diese wird in allen computerbasierten Testaufgaben
getestet.
Kompetenzen, die sowohl die Anwendung der Mathematik
als auch Kenntnisse der Computernutzung erfordern, z. B.
ein Diagramm auf Basis von Daten erstellen, Informationen
effizient sortieren, einen Bildschirmtaschenrechner
oder ein Bildschirmlineal verwenden; diese Kompetenzen
werden in einigen Computertestaufgaben ge -
testet.
Grundlegende informations- und kommunikationstechnologische
Fertigkeiten, z. B. die Verwendung von Hardware
wie Tastatur und Maus oder Kenntnisse über
grundlegende Konventionen wie die Verwendung von
Kreis- oder Pfeilschaltflächen oder eines Scroll-Balkens.
Die reinen IKT-Fertigkeiten werden bei allen computerbasierten
Mathematikaufgaben so gering wie möglich
gehalten.
Lesekompetenz
Lesekompetenz gilt als Grundvoraussetzung, um am gesellschaftlichen
Leben aktiv teilhaben und sich im Sinn des lebenslangen
Lernens weiterentwickeln zu können.
Lesekompetenz wird bei PISA 2012 wie folgt definiert: „Lesefähigkeit
bedeutet, geschriebene Texte zu verstehen, zu nutzen,
über sie zu reflektieren und sich mit ihnen auseinanderzusetzen,
um eigene Ziele zu erreichen, das eigene Wissen und
Potenzial weiterzuentwickeln und am gesellschaftlichen Leben
teilzunehmen“ (OECD, 2013a, S. 61; Übersetzung: BIFIE).
Diese Definition zeigt deutlich, dass die bei PISA gemessene
Lesekompetenz über ein reines Dekodieren von Texten und
ein rein wörtliches Textverständnis hinausgeht. Lesen ist ein
dynamischer Prozess, bei dem jeder Leser/jede Leserin auf
unterschiedliche Art und Weise versucht, den Inhalt des
Textes zu verstehen, die Bedeutung zu interpretieren und
zu reflektieren.
Die Leseaufgaben bei PISA können nach drei Merkmalen
differenziert werden (vgl. OECD, 2013a, S. 62 f.):
Situationen
Die Situationen beschreiben das Umfeld, aus dem die
Texte stammen bzw. in denen Lesen stattfindet. Vier Arten
von Situationen werden dabei unterschieden: persönlich
oder öffentlich (z. B. Briefe, Webseiten), beruflich
oder bildungsnah (z. B. Jobangebote oder Lehrbücher).
Textklassifikationen
Die bei PISA eingesetzten Texte werden anhand von vier
Merkmalen klassifiziert: Medium, Textformat, Texttyp
und Textumfeld.
Das Medium dient der Unterscheidung von Texten in
gedruckter Form (z. B. Magazine oder Bücher) und Texten
in elektronischer Form (z. B. Hypertexte mit Navigationstools).
Bei der Klassifikation nach Textformat werden vier
Formate unterschieden: kontinuierliche, nichtkontinuierliche,
gemischte und multiple Textformate. Diese
sind jeweils anders organisiert und verlangen eine unterschiedliche
Herangehensweise durch den Leser/die
Leserin. Kontinuierliche Texte bestehen aus Sätzen und
sind in Absätze gegliedert, die wiederum Teil von größeren
Strukturen wie Abschnitten, Kapiteln oder Büchern
sind. Dazu gehören z. B. Erzählungen oder Erläuterungen.
Nichtkontinuierliche Texte basieren auf einer Kombination
von Listen, wie z. B. Tabellen, Formulare oder
Diagramme. Gemischte Textformate enthalten sowohl
kontinuierliche als auch nichtkontinuierliche Textteile
und sind häufig in Magazinen oder auf Webseiten zu
finden. Multiple Textformate kommen hauptsächlich
bei elektronischen Texten vor und ergeben unabhängig
voneinander eine Sinneinheit.
Die Klassifikation Texttyp bezieht sich auf den hauptsächlichen
Charakter eines Textes und umfasst sechs
Kategorien: Beschreibungen (z. B. Reiseberichte oder
Tagebücher), Erzählungen (z. B. Romane oder Kurzge-

Was misst PISA? 21
Leseprozesse
Informationen ermitteln
Kombinieren
und Interpretieren
Reflektieren
und Bewerten
primäre Nutzung von Informationen,
die im Text enthalten sind
primäres Heranziehen von externem Wissen
erforderlich
Heraussuchen von
Informationen
Entwickeln eines
allgemeinen
Verständnisses
Entwickeln einer
Interpretation
über den Textinhalt
reflektieren und diesen
bewerten
über die Textform
reflektieren und diese
bewerten
Abbildung 3.2: Leseprozesse bei PISA (vgl. OECD, 2013a, S. 67)
schichten), Darstellungen (z. B. Formen von Definitionen
und Erklärungen), Begründungen (z. B. Leserbriefe
oder Online-Postings), Anleitungen (z. B. Bedienungsanleitungen)
und Transaktionen (z. B. berufliche Termine
organisieren).
Die Klassifikation Textumfeld bezieht sich auf computerbasierte
elektronische Texte. Dabei wird unterschieden,
ob der Inhalt eines Textes durch den Leser/die Leserin
verändert werden kann (z. B. E-Mails oder Online-Formulare)
oder nicht.
Leseprozesse
Die Leseaufgaben bei PISA involvieren vor allem drei Leseprozesse:
Informationen ermitteln, Kombinieren und
Interpretieren, Reflektieren und Bewerten.
Bei Aufgaben mit der Intention Informationen ermitteln
müssen die Schüler/innen einen oder mehrere
Informationsinhalt(e) aus dem Text heraussuchen. Dieser
Vorgang setzt sowohl beim gedruckten als auch beim
elektronischen Lesen Fähigkeiten wie das Heraussuchen,
Sammeln und Wiederfinden von Informationen
voraus. Beim elektronischen Lesen gehört dazu auch das
Navigieren im Internet, das Zugreifen auf und das Abrufen
von Informationen.
Integrieren bedeutet, dass die Schüler/innen ein allgemeines
Textverständnis zeigen und z. B. Zusammenhänge
zwischen benachbarten Sätzen, verschiedenen
Absätzen oder über multiple Texte hinweg erkennen
können. Beim Interpretieren müssen die Jugendlichen
verschiedene Textteile miteinander in Beziehung setzen
oder Unterschiede aufzeigen.
Bei den Leseaufgaben zu Reflektieren und Bewerten müssen
die Schüler/innen zusätzliches Wissen, eigene Ideen
und Erfahrungen heranziehen, um entweder über den
Inhalt oder die Form des Textes zu reflektieren bzw.
diese zu bewerten. Dabei müssen sie die Informationen
hinsichtlich ihrer Genauigkeit, Zuverlässigkeit und Aktualität
evaluieren.
Abbildung 3.2 stellt das Zusammenspiel der Leseprozesse
grafisch dar.
Lesen elektronischer Medien
Computer und andere elektronische Geräte werden auch
als Lesemedien vielseitig genutzt. Dabei geht es nicht nur
um das Lesen von elektronisch aufbereiteten Texten wie Bücher,
Artikel oder Nachrichten, sondern auch um alltägliche
Vorgänge wie das Suchen von spezifischen Informationen
im Internet, das Ausfüllen von Online-Formularen, die
Teilnahme in sozialen Netzwerken oder die Nutzung von
E-Mail. Neben neuen Möglichkeiten der Texterstellung
und -gestaltung, die elektronische Medien bieten, verändert

22 PISA 2012: Die Studie im Überblick
sich auch der Vorgang des Lesens selbst und die dazu benötigten
Fertigkeiten und Kompetenzen. Für Politik, Gesellschaft
und Bildung ist es wichtig, diese Veränderungen zu
erkennen und zu verstehen (OECD, 2011, S. 32 f.).
Unterschiede zwischen gedruckten und
elektronischen Texten
Elektronische Texte unterscheiden sich in bestimmten
Merkmalen hinsichtlich ihrer Erstellung, Darstellung, Organisation
und Verknüpfung mit anderen Texten von gedruckten
Texten. Während gedruckte Texte relativ stabil
sind, sind elektronische Texte dynamisch und können jederzeit
verändert oder aktualisiert werden.
Unterschiedliche Darstellungsformen ergeben sich bei elektronischen
Texten durch eine vorgegebene Bildschirmgröße
und die Qualität der Anzeige, die sich auf die Lesbarkeit des
Textes auswirken. Elektronische Texte präsentieren Informationen
häufig fragmentarisch, wobei es die Möglichkeit
gibt, sowohl innerhalb einer Seite als auch zwischen verschiedenen
Seiten zu navigieren (z. B. mittels Bildlaufleiste,
Menüs oder Tabs). Darüber hinaus können unterschiedliche
Seiten mittels Hyperlinks verknüpft und vernetzte Strukturen
aufgebaut werden. Die Navigation und Orientierung
innerhalb solcher nichtlinearer Strukturen erfordern vom
Leser/von der Leserin die Fähigkeit, übergeordnete Strukturen
mental abzubilden, und eine gewisse Vertrautheit im
Umgang mit Navigationstools und Hyperlinks.
Ein weiteres wichtiges Unterscheidungsmerkmal gedruckter
und elektronischer Texte ist die Verlagerung von autorenbestimmten
Texten hin zu mitteilungsbasierten Texten, die vor
allem zur Kommunikation genutzt werden (z. B. E-Mails,
Blogs, Chatrooms oder Web-Foren). Autorenbestimmte
Texte haben einen unveränderlichen Inhalt, der vom Leser/
von der Leserin nicht beeinflusst werden kann. Bei mitteilungsbasierten
Texten hingegen können Leser/innen Einfluss
nehmen, indem sie etwas hinzufügen oder den Inhalt
verändern (OECD, 2011, S. 33 ff.).
Einfluss elektronischer Medien auf die
Lesekompetenz
Eine große Bandbreite an Leseaktivitäten kann sowohl mittels
gedruckter als auch elektronischer Medien ausgeführt
werden. Gängige Beispiele sind das Lesen von Artikeln,
Büchern, Nachrichten, Informationstexten, Gebrauchsanleitungen
oder Wegbeschreibungen. Prozesse auf niedriger
Stufe, wie das Identifizieren von Wörtern, Phrasen oder
Sätzen, sind beim Lesen gedruckter und elektronischer Medien
sehr ähnlich; ebenso Prozesse, die daran beteiligt sind,
den Text mental abzubilden, z. B. um lokale oder globale
Zusammenhänge herzustellen. Unterschiede treten eher in
Bezug auf Makro-Aspekte des Lesens auf, wie beim Zugreifen
auf spezifische Texte, beim Vergleichen oder In-Beziehung-
Setzen von Informationen über Texte hinweg oder bei der
Beurteilung der Qualität und Glaubwürdigkeit von Texten.
Diese Fähigkeiten sind zwar auch beim Lesen gedruckter
Medien erforderlich, jedoch stellen elektronische Medien
aus vorab beschriebenen Eigenschaften wie Navigationsmöglichkeiten,
nichtlinearen Strukturen, ständiger Veränderbarkeit
sowie der großen Informationsmenge komplexere
Anforderungen an die Leserschaft. So müssen Leser/innen
meist selbst herausfinden, wer einen Text zu welchem Zweck
verfasst und veröffentlicht hat und wie vertrauenswürdig
bzw. verlässlich die Informationen sind, da Veröffentlichungen
im Internet nicht reglementiert sind und Quellenangaben
häufig fehlen (OECD, 2011, S. 36 f.).
Lesekompetenz bei elektronischen Medien beinhaltet demnach
die Fähigkeit, auf bestimmte Texte zuzugreifen, diese
zu verstehen, aufeinander zu beziehen und hinsichtlich ihrer
Glaubwürdigkeit und Gültigkeit zu bewerten. Die Zusatzerhebung
zum Lesen elektronischer Medien ist seit 2009
ein wichtiger Bestandteil von PISA und ermöglicht es, den
Umgang der Jugendlichen mit elektronischen Texten in einer
Bandbreite an Lesekontexten und Aufgaben zu untersuchen.
Österreich beteiligte sich sowohl 2009 (vgl. Schwantner
& Schreiner, 2011) als auch 2012 daran.
Die Naturwissenschaftskompetenz
Naturwissenschaftskompetenz bei PISA geht davon aus,
dass es für Jugendliche im 21. Jahrhundert von zentraler
Bedeutung ist,
naturwissenschaftliche Prozesse und Phänomene sowie
technologische Errungenschaften verstehen zu können,
Prozesse und Fortschritte eigenständig beurteilen bzw.
deren Folgen und Auswirkungen auf das persönliche,
soziale, berufliche und kulturelle Leben einschätzen zu
können und
darauf basierend verantwortungsbewusst zu handeln
und Entscheidungen treffen zu können.
Erfasst wird naturwissenschaftliches Wissen, das für die
Lebenssituationen der Jugendlichen relevant ist. Schüler/
innen sollen grundlegende naturwissenschaftliche Konzepte
und Theorien verstehen, Methoden der Datengewinnung
kennen (z. B. Beobachtung, Experiment) und Daten kritisch
beurteilen bzw. Schlussfolgerungen ziehen können.
Dies wird auch in der Definition der Naturwissenschaftskompetenz
deutlich. Im Sinne von PISA ist Naturwissenschaftskompetenz
definiert als:
das Maß, indem eine Person
„… naturwissenschaftliches Wissen besitzt und dieses Wissen
anwendet, um Fragestellungen zu identifizieren, neue
Kenntnisse zu erwerben, naturwissenschaftliche Phänomene
zu erklären und aus Belegen Schlussfolgerungen in Bezug
auf naturwissenschaftsbezogene Sachverhalte zu ziehen;
die charakteristischen Eigenschaften der Naturwissenschaften
als eine Form menschlichen Wissens und Forschens versteht,

Was misst PISA? 23
Kontexte
lebensnahe Situationen
in Verbindung mit NW:
• persönliche,
• soziale und
• globale Kontexte
Fähigkeiten
• Naturwissenschaftliche
erfordern Fragestellungen erkennen beeinflussen
• Phänomene naturwissenschaftlich
erklären
• Naturwissenschaftliche Beweise
heranziehen
Wissen
• in den Naturwissenschaften
(Physikalische Systeme, Biologische
Systeme, Erd- und Weltraumsysteme,
Technologische Systeme)
• über die Naturwissenschaften
(naturwiss. Forschen und naturwiss.
Erklärungen)
Abbildung 3.3: Organisation der Domäne Naturwissenschaft (vgl. OECD, 2013a, S. 102)
erkennt, wie Naturwissenschaften und Technologie unsere
materielle, intellektuelle und kulturelle Umgebung prägen;
sich mit naturwissenschaftlichen Themen und Ideen als reflektierender
Bürger [reflektierende Bürgerin] befasst“
(OECD, 2007, S. 25).
Abbildung 3.3 zeigt die drei Komponenten Kontext, Fähigkeiten
und Wissen, die den Kompetenzbereich Naturwissenschaft
strukturieren (vgl. OECD, 2013a, S.101 f.).
Naturwissenschaftlicher Kontext
Der naturwissenschaftliche Kontext stellt den Bezugsrahmen
dar, in dem die Jugendlichen ihr naturwissenschaftliches
Wissen und ihre naturwissenschaftlichen
Fähigkeiten zeigen können. Die Naturwissenschaftsaufgaben
sind dabei in lebensnahe Situationen eingebettet,
die sich auf persönliche (sich selbst und die Familie), soziale
(Gesellschaft) und globale Kontexte (Leben auf der
ganzen Welt) beziehen.
Naturwissenschaftliche Fähigkeiten
Um naturwissenschaftliche Aufgabenstellungen lösen zu
können, müssen Schüler/innen drei zentrale Fähigkeiten
zeigen: naturwissenschaftliche Fragestellungen erkennen,
Phänomene naturwissenschaftlich erklären und naturwissenschaftliche
Beweise heranziehen. Diese Fähigkeiten
wurden ausgewählt, da sie in der naturwissenschaftlichen
Praxis unbedingt erforderlich sind und zudem in
Erklärungstext zur Abbildung
Verbindung mit essenziellen kognitiven Fähigkeiten stehen,
wie z. B. induktivem/deduktivem Schließen, Denken
in Modellen oder Analysieren von Daten.
Wissen
Eine weitere Klassifikation ist die Erfassung des Wissens
der Schüler/innen in den Naturwissenschaften („knowledge
of science“) und das Wissen über die Naturwissenschaften
(„knowledge about science“). Bei dem Aspekt
Wissen in den Naturwissenschaften geht es um das
Verständnis grundlegender Konzepte und Theorien in
den Hauptgebieten Physik, Chemie, Biologie, Erd- und
Weltraumwissenschaft sowie Technologie. Es soll Wissen
getestet werden, das für reale Lebenssituationen relevant
ist. Für die Erfassung des Wissens über die Naturwissenschaften
sind zwei Komponenten von Bedeutung: naturwissenschaftliches
Forschen als zentraler Prozess der Naturwissenschaft
(z. B. den Zweck von Untersuchungen
erkennen) und naturwissenschaftliche Erklärungen (z. B.
Theorien, Hypothesen) als Ergebnisse der Forschung.
Problemlösekompetenz
Problemlösekompetenz ist ein zentrales Bildungsziel in vielen
Ländern. Eine hohe Problemlösekompetenz bietet eine
gute Basis dafür, sich an veränderte Bedingungen anzupassen
und auf neue Gegebenheiten und Herausforderungen
flexibel zu reagieren. PISA 2012 erhebt die individuelle
Problemlösekompetenz der Schüler/innen. Der Fokus liegt
dabei auf grundlegenden kognitiven Prozessen des Problemlösens.
Fachspezifisches Wissen tritt – weiter als bei den drei
Domänen Lesen, Mathematik und Naturwissenschaft – in
den Hintergrund. Problemlösekompetenz wird bei PISA
2012 wie folgt definiert:
„Problemlösekompetenz ist die Kapazität eines Individuums,
kognitive Prozesse zu nutzen, um Probleme, bei denen die Lösungsmethode
nicht sofort erkennbar ist, zu verstehen und zu
lösen. Sie beinhaltet die Bereitschaft, sich mit solchen Situationen
auseinanderzusetzen, um sich als konstruktive/r und
reflektierende/r Bürger/in einzubringen“ (OECD, 2013a,
S.122; Übersetzung: BIFIE).
Abbildung 3.4 veranschaulicht eine Problemsituation. Die
Ausgangssituation repräsentiert das Wissen, das eine Person
über ein Problem am Anfang hat. Die Mittel sind zulässige
Handlungen, die ausgeführt werden können, um das angestrebte
Ziel unter Hinzunahme von verfügbaren Werkzeugen
zu erreichen. Hindernisse (z. B. Mangel an Wissen oder
Strategien) stehen der Zielerreichung im Weg und müssen
überwunden werden. An der Überwindung der Hindernisse
(der Transformation der Ausgangssituation in eine Zielsituation)
sind sowohl kognitive als auch motivationale und
affektive Faktoren (u. a. die Bereitschaft, sich mit Problemsituationen
auseinanderzusetzen) beteiligt.
Das Ausmaß der Problemlösefähigkeit einer Person (hoch/
niedrig) bestimmt, wie schnell eine Lösung gefunden wird
und wie effektiv der Lösungsweg ist.

24 PISA 2012: Die Studie im Überblick
Erfassung der Problemlösekompetenz bei PISA 2012
Problemlösekompetenz wird bei PISA 2012 ausschließlich
computerbasiert erfasst. Dies ermöglicht es, relativ komplexe
Probleme als Ausgangsbasis zu nehmen, die es den
Jugendlichen erlauben, direkt mit der Problemstellung zu
interagieren.
Die Domäne Problemlösen beinhaltet drei wichtige Dimensionen
(OECD, 2013a, S. 124 ff.):
Problemkontext
Die Vertrautheit einer Person mit einem Problemkontext
und das Verständnis für diesen Kontext haben Einfluss
darauf, wie schwierig es für diese Person ist, das
Problem zu lösen. Die Problemkontexte bei PISA können
in technische (z. B. Funktionsweise eines technischen
Gerätes) oder nichttechnische (z. B. Planen von Routen
oder Entscheidungsfindung) unterschieden werden. Je
nach Schwerpunkt ist der Kontext darüber hinaus entweder
persönlich (Bezug auf sich selbst, die Familie und
die Peers) oder sozial (Bezug auf die Gemeinde oder Gesellschaft,
z. B. Arbeitsplatz oder Weiterbildung). Zum
Beispiel: Das Einstellen der Uhrzeit auf einer Digitaluhr
würde als technisch und persönlich klassifiziert werden;
die Erstellung einer Basketball-Spielerliste würde als
nichttechnisch und sozial klassifiziert werden.
Beschaffenheit der Problemsituation
Die Problemlösesituationen bei PISA 2012 sind entweder
interaktiv oder statisch. Interaktiv bedeutet, dass
sich die Situation während der Beantwortung verändert.
Dies kann automatisch oder durch Eingriff des Schülers/der
Schülerin passieren (z. B. durch Starten einer
Simulation). Statische Problemsituationen verändern
sich während der Bearbeitung nicht.
Problemlöseprozesse
Vier kognitive Prozesse sind hauptsächlich am Problemlösen
beteiligt:
Erforschen und Verstehen
Ziel beim Erforschen und Verstehen ist es, eine mentale
Repräsentation eines jeden Stückchens an Information,
das in der Problemstellung vorhanden ist, aufzubauen.
Erforscht wird die Problemsituation durch Beobachten,
Interagieren, Suchen nach Informationen, Einschränkungen
oder Hindernissen. Alle Informationen (die
gegebenen sowie jene, die beim Erforschen entdeckt
werden) sowie relevante Konzepte müssen zudem verstanden
werden.
Darstellen und Formulieren
Ziel dieses Prozesses ist es, eine schlüssige mentale Repräsentation
der gesamten Problemsituation aufzubauen.
Um dies zu tun, müssen relevante Informationen ausgewählt,
mental organisiert und mit den einschlägigen
Vorkenntnissen kombiniert werden. Darstellen umfasst
z. B. eine tabellarische, grafische, symbolische oder verbale
Darstellung der Problemsituation und das Wechseln
zwischen verschiedenen Repräsentationsformen.
Formulieren bezieht sich auf das Formulieren von Hypothesen,
indem relevante Faktoren des Problems und ihre
Zusammenhänge identifiziert werden. Zudem werden
die Informationen organisiert und kritisch ausgewertet.
Planen und Ausführen
Planen bezieht sich auf das Setzen von Zielen (Klären
übergeordneter Ziele und Setzen von Teilzielen) sowie
das Ausarbeiten eines Plans oder einer Strategie, einschließlich
der zu unternehmenden Schritte, zur Erreichung
des Ziels. Ausführen bezieht sich auf die Umsetzung
des Plans/der Strategie.
Beobachten und Reflektieren
Dieser Prozess bezieht sich auf die Überwachung der
Fortschritte im Hinblick auf das Ziel, einschließlich der
Überprüfung von Zwischen- und Endergebnissen, dem
Aufdecken unerwarteter Ereignisse und der Durchführung
von Hilfsmaßnahmen, so diese erforderlich sind.
Dabei müssen Lösungen aus verschiedenen Perspektiven
reflektiert sowie Annahmen und alternative Lösungen
kritisch ausgewertet werden.
Die Fähigkeiten zum logischen Denken (z. B. deduktives,
induktives, quantitatives, zusammenhängendes, kombinatorisches,
mehrdimensionales und Analogiedenken), die mit
Ausgangssituation
Ziel
Hindernis
Mittel zur
Überwindung
Abbildung 3.4: Problemsituation (vgl. Frensch & Funke, 1995 in OECD, 2013a, S.121)

Was misst PISA? 25
diesen Prozessen verbunden sind, sind in die Problemlöseaufgaben
eingebettet. Für den PISA-Kontext sind sie auch
insofern wichtig, da die Fähigkeiten zum logischen Denken
im Unterricht gelehrt und modelliert werden können
(OECD, 2013a, S. 126).
Aufgabenbeispiele
Im Folgenden finden Sie einige der Aufgaben der Hauptdomäne
Mathematik aus PISA 2012, die von der OECD
für die Öffentlichkeit freigegeben wurden. Ein Großteil der
PISA-Aufgaben wird stets für zukünftige Erhebungen zurückgehalten,
um Vergleiche zwischen den verschiedenen
Erhebungszeitpunkten zu ermöglichen.
Die Auswahl der Aufgabenbeispiele wurde so getroffen,
dass die wesentlichen Aspekte des Mathematik-Frameworks
(Kontexte, mathematische Inhaltsbereiche und mathematische
Prozesse) abgedeckt sind und leichte sowie schwierige
Aufgaben enthalten sind. Zu jeder Aufgabe sind auch die
Lösungen bzw. die Richtlinien für die Bewertung der Schülerantworten
bei offenen Fragen enthalten (s. Kapitel 6).
Die Prozent korrekt geben jeweils den Anteil an Schülerinnen
und Schülern in Österreich und im Schnitt der OECD-
Länder an, die die Aufgabe vollständig lösen konnten.
PISA-AUFGABENBEISPIELE
Alle bisher freigegebenen Haupttestaufgaben der drei
Kompetenzbereiche sind auf der PISA-Webseite des
BIFIE als PDF erhältlich (https://www.bifie.at/pisa).
Beispielaufgaben des Computertests für Mathematik,
Lesen elektronischer Medien und Problemlösen (in
der österreichischen/deutschen Fassung sowie in der
englischen Originalfassung) können unter folgenden
Links eingesehen bzw. selbst bearbeitet werden:
Über die Webseite der OECD
http://www.oecd.org/pisa
oder direkt über http://cbasq.acer.edu.au/
Die Zugangsdaten für die Beispielaufgaben sind:
Name: public; Password: access

26 PISA 2012: Die Studie im Überblick
Aufgabenbeispiel CHARTS
CHARTS
Im Jänner kamen die neuen CDs der Bands 4U2Rock und The Kicking Kangaroos
heraus. Im Februar folgten die CDs der Bands No One's Darling und The
Metalfolkies. Das folgende Diagramm zeigt die CD-Verkaufszahlen der Bands von
Jänner bis Juni.
CD-Verkaufszahlen pro Monat
Anzahl verkaufter CDs pro Monat
2250
2000
1750
1500
1250
1000
4U2Rock
The Kicking Kangaroos
No One´s Darling
The Metalfolkies
750
500
250
0
Jän Feb März Apr Mai Jun
Monat
Frage 1: CHARTS
Wie viele CDs hat die Band The Metalfolkies im April verkauft?
A 250
B 500
C 1000
D 1270
CHARTS BEWERTUNG 1
ABSICHT DER FRAGE: Ein Balkendiagramm lesen und die Höhe von zwei Balken

Was misst PISA? 27
Informationen zu Frage 1
Absicht der Frage:
Kontext:
Inhaltsbereich:
Prozess:
Format:
Richtige Antwort:
Ein Balkendiagramm lesen und die Höhe von zwei Balken vergleichen
gesellschaftlich
Unsicherheit & Daten
Interpretieren
Einfache Multiple-Choice-Aufgabe
B
Prozent korrekt: Österreich: 85 %, OECD 87 %
Frage 2: CHARTS
Der Manager von The Kicking Kangaroos macht sich Sorgen, weil die Anzahl der
verkauften CDs von Februar bis Juni gesunken ist.
Wie hoch ist die geschätzte Verkaufszahl für Juli, falls sich dieser negative Trend
genauso fortsetzt?
A
B
C
D
70 CDs
370 CDs
670 CDs
1340 CDs
CHARTS BEWERTUNG 2
Informationen zu Frage 2
ABSICHT DER FRAGE: Ein Balkendiagramm interpretieren und schätzen, wie viele CDs
Absicht der Frage:
Ein Balkendiagramm
in Zukunft
interpretieren
verkauft
und
werden,
schätzen, wie
unter
viele CDs
der
in Zukunft
Annahme, dass sich der
verkauft werden, unter der Annahme, dass sich der lineare Trend fortsetzt
lineare Trend fortsetzt
Kontext:
Full Credit
Inhaltsbereich:
Code 1: B. 370 CDs
Prozess:
No Credit
Format:
Code 0: Andere Antworten.
Richtige Antwort:
Code 9: Missing
gesellschaftlich
Unsicherheit & Daten
Anwenden
Einfache Multiple-Choice-Aufgabe
Prozent korrekt: Österreich: 75 %, OECD 77 %
B

28 PISA 2012: Die Studie im Überblick
Aufgabenbeispiel TROPFRATE
TROPFRATE
Mit Infusionen (oder einem intravenösen Tropf) werden Patientinnen und Patienten
mit Flüssigkeiten und Medikamenten versorgt.
Pflegekräfte müssen die Tropfrate D in Tropfen pro Minute für Infusionen berechnen.
Sie verwenden dazu die Formel
, wobei gilt:
d ist der Tropffaktor gemessen in Tropfen pro Milliliter (ml)
v ist das Volumen der Infusion in ml
n ist die Anzahl Stunden, die die Infusion angeschlossen bleiben muss.
Frage 1: TROPFRATE
Eine Pflegekraft möchte die Infusionsdauer verdoppeln.
Beschreibe genau, wie sich D verändert, wenn n verdoppelt wird, aber d und v sich
nicht ändern.
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
TROPFRATE BEWERTUNG 1
ABSICHT DER FRAGE: Erklären, welche Auswirkung die Verdoppelung einer Variablen in
einer Formel auf das Ergebnis hat, wenn die anderen Variablen

Was misst PISA? 29
Informationen zu Frage 1
Absicht der Frage:
Kontext:
Inhaltsbereich:
Prozess:
Format:
Erklären, welche Auswirkung die Verdoppelung einer Variable in einer Formel
auf das Ergebnis hat, wenn die anderen Variablen konstant gehalten werden
beruflich
Veränderung & Zusammenhänge
Anwenden
lange, offene Aufgabe
Bewertungsvorschriften: Code 2 (Full Credit): Die Erklärung beschreibt sowohl die Richtung der
Auswirkung als auch deren Größe (z. B. „Es halbiert
sich.“; „D wird 50 % kleiner.“).
Code 1 (Partial Credit): Eine Antwort, die ENTWEDER die Richtung ODER
die Größe der Veränderung richtig angibt, aber nicht
BEIDE (z. B. „D wird kleiner.“ [keine Größe]; „Die
Veränderung beträgt 50 %.“ [keine Richtung]; „D
wird um 50 % größer.“ [falsche Richtung, aber richtige
Größe]).
Code 0 (No Credit): Andere Antworten (z. B. „D wird sich ebenfalls verdoppeln.“
[Sowohl die Größe als auch die Richtung
sind falsch.]).
Prozent korrekt: Österreich: 25 %, OECD 22 %

30 PISA 2012: Die Studie im Überblick
Aufgabenbeispiel WOHNUNGSKAUF
WOHNUNGSKAUF
Das ist der Grundriss der Wohnung, die Georgs Eltern von einer Wohnbaugesellschaft
kaufen wollen.
Maßstab:
1 cm entspricht 1 m
Frage 1: WOHNUNGSKAUF
Um die gesamte Grundfläche der Wohnung (einschließlich der Terrasse und Wände)
zu schätzen, kann man die Größe jedes Raumes messen, seine Fläche berechnen
und dann alle Flächen addieren.
Es gibt jedoch ein effektiveres Verfahren, bei dem man nur vier Längen messen
muss, um die gesamte Grundfläche zu schätzen. Markiere im Grundriss oben die
vier Längen, die benötigt werden, um die gesamte Grundfläche der Wohnung zu
schätzen.
WOHNUNGSKAUF BEWERTUNG 1
ABSICHT DER FRAGE: Beschreibung: Anwenden von räumlichem Denken, um bei einem
Grundriss (oder durch eine andere Methode) die niedrigste, be-

Was misst PISA? 31
Informationen zu Frage 1
Absicht der Frage:
Kontext:
Inhaltsbereich:
Prozess:
Format:
Anwenden von räumlichem Denken, um bei einem Grundriss (oder durch eine
andere Methode) die niedrigste, benötigte Anzahl von Seitenlängen anzugeben,
um die Grundfläche zu ermitteln
persönlich
Raum & Form
Formulieren
lange, offene Aufgabe
Bewertungsvorschriften: Code 1 (Full Credit): Die vier Abmessungen, die zur Schätzung der Grundfläche
der Wohnung erforderlich sind, wurden auf
dem Grundriss markiert. Es gibt 9 mögliche Lösungen,
wie in den Abbildungen unten angezeigt. (Z. B.
A = (9,7 m ∙ 8,8 m) – (2 m ∙ 4,4 m), A = 76,56 m 2
[Verwendung von genau 4 Längen, um die benötigte
Fläche zu messen und zu berechnen.])
Code 0 (No Credit):
Andere Antworten.
Prozent korrekt: Österreich: 46 %, OECD 45 %

32 PISA 2012: Die Studie im Überblick
Aufgabenbeispiel SAUCE
SAUCE
Frage 1: SAUCE
Du bereitest dein eigenes Salatdressing zu.
Hier ist ein Rezept für 100 Milliliter (ml) Dressing.
Salatöl:
Essig:
Sojasauce:
60 ml
30 ml
10 ml
Wie viele Milliliter (ml) Salatöl brauchst du, um 150 ml dieses Dressings zu machen?
Antwort: ........................... ml
SAUCE BEWERTUNG 1
Informationen zu Frage 1
ABSICHT DER FRAGE: Anwenden von Mengenverhältnissen in einer Alltagssituation,
Absicht der Frage:
Anwenden
um
von
die
Mengenverhältnissen einer einer
Zutat,
Alltagssituation,
die in einem
um die Menge
Rezept benötigt wird,
einer Zutat, die in einem Rezept benötigt wird, auszurechnen
auszurechnen
Kontext:
Full Credit
Inhaltsbereich:
Code 1: 90
Prozess:
• 60 + 30
Format:
No Credit
Code 0: Andere Antworten.
• 1,5 Mal mehr
Code 9: Missing.
persönlich
Größen
Formulieren
kurze, offene Aufgabe
Bewertungsvorschriften: Code 1 (Full Credit): 90 (z. B. 60 + 30)
Code 0 (No Credit): Andere Antworten (z. B. 1,5 Mal mehr).
Prozent korrekt: Österreich: 64 %, OECD 64 %

4 PISA-Population und Stichprobe
Die einheitliche Definition der Zielpopula
tion sowie die Festlegung bestimmter
Regeln für die Größe und Zusammensetzung
der Stichprobe sind zentrale Voraussetzungen
für die Vergleichbarkeit der
PISA-Daten sowohl zwischen den Teilnehmerländern
als auch über die einzelnen Erhebungszeitpunkte
hinweg.
Die PISA-Population
Die Definition der Grundgesamtheit bei
PISA ist altersbasiert und umfasst nur die
beschulte Population des definierten Jahrgangs.
Die PISA-Population bilden alle
Schüler/innen, die zum Testzeitpunkt zwischen
15 Jahre und drei Monate und 16
Jahre und zwei Monate alt sind und die
mindestens die 7. Schulstufe besuchen
(etwa 0,06 % der 15-/16-jährigen Schüler/
innen in Österreich haben die 7. Schulstufe
noch nicht erreicht). Für die Testfenster
im empfohlenen Zeitraum zwischen März
und Mai wird das Alter durch einen vollen
Jahrgang, den Altersjahrgang 1996,
definiert. Da das Testfenster in Österreich
von 11. April bis 23. Mai 2012 festgesetzt
wurde, umfasst die Zielpopulation Schüler/innen,
die zwischen 1. Jänner 1996 und
31. Dezember 1996 geboren wurden.
Jugendliche im Alter von 15/16 Jahren befinden
sich in den meisten Teilnehmerländern
am Ende der Pflichtschulzeit – eine
für die Vergleichbarkeit optimale Bedingung,
da PISA somit den kumulativen
„Bildungsertrag“ der einzelnen Schulsysteme
(aus Grundschule und Sekundarstufe I)
erfasst.
Die PISA-Population in Österreich
Die Populationsdefinition für die Erhebung
2012 lautete für Österreich präzise:
„Zielpopulation von PISA 2012 sind Schülerinnen
und Schüler des Altersjahrgangs 1996
ab der 7. Schulstufe.“
In Österreich streuen die rund 89 000 im
Jahr 1996 geborenen Schüler/innen über
ca. 2 400 Schulen der Sekundarstufe I und
II, von den Pflichtschulen (Hauptschulen,
Neue Mittelschulen, Sonderschulen, Polytechnische
Schulen) über die Berufsschulen
und berufsbildenden mittleren Schulen
bis zu den allgemeinbildenden und berufsbildenden
höheren Schulen.
Da PISA die Kompetenzen aller Schüler/
innen eines Jahrgangs erfasst, wird auch ein
Teil der Schüler/innen der Sekundarstufe I
(insbesondere Hauptschulen, Neue Mittelschulen,
AHS-Unterstufen, Sonderschulen)
getestet. Jugendliche, die im Alter von
15/16 Jahren noch eine Hauptschule oder
Neue Mittelschule besuchen, weisen meist
eine erhebliche Schullaufbahnverzögerung
auf (d. h. sie haben mindestens eine Klasse
wiederholt). Auch wenn es sich bei diesen
Jugendlichen meist um schwächere Schüler/innen
handelt, gehören sie doch zum
PISA-Jahrgang und zum Gesamtbild des
Leistungsstands der Population.
Ebenso gehören Schüler/innen mit besonderen
Bedürfnissen zur Zielgruppe, die, wenn
es möglich, sinnvoll und ethisch vertretbar
ist, auch am PISA-Test teilnehmen. Für
sie wurde international eine eigene Testheftform
„Testheft 60“ („60“ steht für die
Testdauer von 60 Minuten) mit einfacheren
Aufgaben und einer kürzeren Bearbeitungszeit
zusammengestellt, um die Schüler/innen
mit der langen Originaltestform
nicht zu überfordern. Mithilfe dieses von
Österreich wesentlich initiierten „Testhefts
60“ werden Jugendliche an Sonderschulen
getestet sowie Schüler/innen mit besonderen
Bedürfnissen, die als Integrationsschüler/innen
andere Schulen besuchen (z. B.
Hauptschulen oder Neue Mittelschulen in
Österreich). Unter bestimmten Voraussetzungen
werden stark beeinträchtigte Schüler/innen
jedoch von vornherein vom Test
ausgenommen. Eine Testung wäre diesen
Schülerinnen und Schülern nicht zumutbar
und würde auch zu keinen brauchbaren

34 PISA 2012: Die Studie im Überblick
Informationen führen. Diese Ausschlüsse geschehen bereits
vor der Information der Schüler/innen durch Schulkoordinator/in
bzw. Klassenlehrer/in – d. h. Jugendliche, die
aufgrund einer Beeinträchtigung ausgeschlossen werden,
kommen mit PISA-Tests oder Fragebögen gar nicht in
Kontakt.
Da PISA unter „Schülerinnen und Schülern“ nicht nur
Vollzeit-, sondern auch Teilzeitschüler/innen versteht, zählen
auch Berufsschulen/Lehrlinge (Schüler/innen im „dualen
System“) laut Vorschriften der OECD zur Population. In
Österreich entsteht dabei durch lehrgangsmäßig geführte
Berufsschulen eine Besonderheit. Zahlreiche Berufsschüler/innen
sind zwar Schüler/innen im laufenden Schuljahr,
sie sind jedoch während des sechswöchigen Testfensters
(im April/Mai) nicht mehr an der Schule anwesend, weil
ihr lehrgangsmäßig geblockter Unterricht bereits zu einem
früheren Zeitpunkt (z. B. im November/Dezember) stattgefunden
hat. Um trotzdem möglichst viele Schüler/innen
zu erreichen, wird seit PISA 2003 das Testfenster für lehrgangsmäßig
geführte Berufsschulen in Österreich in Absprache
mit der OECD ausgeweitet (Beginn 12. März 2012
statt 11. April 2012 für alle anderen Schulen; Dauer für alle
Schulen bis 23. Mai 2012). Eine zur Validierung der Berufsschulstichprobe
durchgeführte Studie im Rahmen von
PISA 2003 zeigt, dass sich die „Herbst/Winter“-Schüler/innen
in einigen wesentlichen Merkmalen nicht auffällig von
den (getesteten) „Frühjahr/Sommer“-Berufsschülerinnen
und -schülern unterscheiden (Reiter, 2004, S. 131 ff.). Zur
Gewährleistung der Repräsentativität wird eine exakte Gewichtung
durch das internationale Konsortium vorgenommen.
Bei PISA 2000 wurde in der ursprünglichen Gewichtung
durch die OECD der Anteil der Berufsschüler/innen
nicht korrekt abgebildet. Im Nachhinein wurde daher eine
Neugewichtung vorgenommen, die jetzt für Trendanalysen
herangezogen wird (Neuwirth, 2006).
Wie diese Ausführungen zeigen, erfordert die differenzierte
Struktur des österreichischen Schulsystems ein komplexes
Stichprobendesign mit sorgfältiger Schichtung (Stratifizierung),
damit die einzelnen Schulsparten repräsentativ erfasst
werden.
Out-of-School-Population
Der PISA-Population gehören nur beschulte Jugendliche
an. Das hat zur Folge, dass 15-/16-Jährige, die ihre Schulpflicht
zum Testzeitpunkt bereits beendet haben und keine
weiterführende Schule mehr besuchen („Out-of-School-
Population“), nicht erfasst werden. Die Unterschiede hinsichtlich
der Größe der „nichtbeschulten“ Population der
15-/16-Jährigen in den Teilnehmerländern sind beim Vergleich
der Mittelwerte zwischen den Schulsystemen zu berücksichtigen.
Es ist anzunehmen, dass die nicht erfasste
Out-of-School-Population leistungsmäßig keine zufällige
Gruppe darstellt, sondern großteils aus dem unteren Leistungsbereich
stammt. Die Mittelwerte eines Landes mit
einer hohen Out-of-School-Population sind demnach höher,
als sie es bei einer vollständigen Erfassung des gesamten
Jahrgangs wären. Das muss beim Vergleich der Mittelwerte
zum Beispiel mit Ländern mit sehr geringer Out-of-School-
Population berücksichtigt werden.
In Österreich ist der Anteil der Out-of-School-Population
am jeweiligen Geburtsjahrgang der 15-/16-Jährigen im Ver ­
gleich der OECD-Länder relativ groß. Er bewegt sich über
die Erhebungszeitpunkte hinweg zwischen 4,8 % und 5,8 %
(2012: 4,8 %). Bei PISA 2012 gibt es insgesamt 25 OECD-
Länder mit einer geringeren Out-of-School-Population als
in Österreich, darunter alle Nachbarländer, mit der Ausnahme
von Italien (6 %). Ebenso einen Anteil von rund 5 %
gibt es in Frankreich, Griechenland, Israel und Spanien. Mit
Abstand am größten ist die Out-of-School-Population im
OECD-Raum in Mexiko (30 %) und in der Türkei (24 %)
(vgl. OECD, 2013b, Anhang A2).
Die Stichprobenziehung in Österreich bei
PISA 2012
Die Stichprobenziehung bei PISA verläuft ähnlich wie bei
anderen internationalen Vergleichsstudien zweistufig: In einem
ersten Schritt wird aus allen Schulen, die von Zielschülerinnen
und Zielschülern besucht werden, die erforderliche
Anzahl an Schulen zur Teilnahme an der Erhebung zufällig
bestimmt. Im zweiten Schritt wird aus diesen Schulen
eine Schülerstichprobe gezogen. Die Schülerstichprobe einer
Schule umfasst gewöhnlich Schüler/innen unterschiedlicher
Klassen und Schulstufen, da sich Schüler/innen des
gleichen Geburtsjahrgangs meist in mehreren Klassen und
Schulstufen einer Schule befinden. Schüler/innen derselben
Klasse sind leistungsmäßig meist etwas homogener als ihre
Kolleginnen und Kollegen in der gesamten Schule. Durch
die Ziehung einzelner Schüler/innen über die Klassen hinweg
bleibt daher der Designeffekt geringer (d. h. die Schätzung
der Mittelwerte und Streuungen ist bei gleicher Zahl
getesteter Schüler/innen präziser).
Die Stichprobenziehung auf Schulebene (Schritt 1)
Die Stichprobenziehung auf Schulebene wird bei PISA
durch einen Partner des internationalen Konsortiums,
Westat, vorgenommen. Dies sichert den einheitlichen Ablauf
für alle Teilnehmerländer.
Die Grundlage für die Stichprobenziehung in Österreich
bildet die offizielle Schuldatenbank der Statistik Austria.
Etwa ein halbes Jahr vor der Haupterhebung erhielt das
Konsortium vom BIFIE eine Liste mit allen Schulen, die
Zielschüler/innen des Jahrgangs 1996 (ca. 2 400 Schulen)
aufweisen, sowie einen Stichprobenplan mit genauen Informationen
zu den Schulen und zur vorgesehenen Stratifizierung.
Bei PISA 2012 wurden 17 Strata verwendet, die
die österreichischen Schulformen abbilden (s. Tabelle 4.1).
Innerhalb dieser Strata wurden die Schulen nach Schultyp,
Bundesland, Anteil der Mädchen und Schulgröße implizit
stratifiziert, um eine gute Verteilung der ausgewählten

PISA-Population und Stichprobe 35
Nationale Stratifizierung bei PISA 2012
Allgemeinbildende Pflichtschulen
1 Pfl ichtschulen (Hauptschulen, Neue Mittelschulen und
Sonderschulen)
2 Polytechnische Schulen
Allgemeinbildende höhere Schulen (AHS)
3 AHS-Langform
4 AHS-Kurzform
Schulen mit Statut
5 Waldorfschulen
6 Sonstige Schulen mit Statut (z. B. Montessorischulen)
Berufsschulen
7 Berufsschulen (kaufmännisch/gewerblich)
8 Berufsschulen (landwirtschaftlich)
Berufsbildende mittlere Schulen (BMS)
9 BMS (gewerblich)
10 BMS (kaufmännisch)
11 BMS (wirtschaftlich)
12 BMS (landwirtschaftlich)
Berufsbildende höhere Schulen (BHS)
13 BHS (gewerblich)
14 BHS (kaufmännisch)
15 BHS (wirtschaftlich)
16 BHS (landwirtschaftlich)
17 BAKIP
Tabelle 4.1: Stratifizierung der österreichischen
PISA-2012-Stichprobe
Schulen über diese Merkmale zu erreichen. Details zum
Stichprobendesign sind im nationalen technischen Bericht
zu PISA 2012 beschrieben (Pareiss, 2013a).
Die Stichprobenziehung auf Schülerebene (Schritt 2)
Etwa vier Monate vor der Testdurchführung übermittelte
das internationale Konsortium die Liste mit den zufällig
ausgewählten Schulen an das BIFIE. Nach einer genauen
Prüfung der Schulstichprobe wurden die Landes- und Bezirksschulbehörden
über die gezogenen Schulen und das
weitere Prozedere informiert und die ausgewählten Schulen
um ihre Teilnahme und die Zusendung einer Liste mit allen
Schülerinnen und Schülern des Zieljahrgangs (1996), ab
der 7. Schulstufe, ersucht. Mithilfe einer speziellen Software
des Konsortiums wurde auf Basis dieser Listen eine Zufallsstichprobe
von max. 35 Schülerinnen und Schülern je Schule
für den papierbasierten Test gezogen. Hatte eine Schule weniger
als 35 Zielschüler/innen, nahmen alle Schüler/innen
des Geburtsjahrgangs 1996 am papierbasierten Test teil.
Für den Computertest, der Aufgaben aus den Bereichen Problemlösen,
Lesen elektronischer Medien und Mathematik
umfasst, wurde aus der Schülerstichprobe eine Teilstichprobe
gezogen. Dabei wurden aus den max. 35 Schülerinnen
und Schülern, die an jeder Schule für den papierbasierten
Test ausgewählt waren, 18 Schüler/innen zufällig bestimmt,
die im Anschluss daran den Computertest bearbeiten sollten.
Gab es an einer Schule weniger als 18 Schüler/innen
des Jahrgangs 1996, nahmen alle Schüler/innen am Computertest
teil.
DATENSCHUTZ
Alle bei PISA erhobenen Daten unterliegen den Bestimmungen
des Datenschutzes. Es werden nur „indirekt
personenbezogene“ Schülerdaten erhoben und
verarbeitet, d. h. es werden zu keinem Zeitpunkt Namen
von Schülerinnen und Schülern benötigt. Alle
Schuldaten werden nach der Erhebung anonymisiert.
Im PISA-Datensatz können weder einzelne Schulen
noch einzelne Schüler/innen identifiziert und mit den
Leistungsdaten in Verbindung gebracht werden. Bei
der Auswertung werden Statistiken großer Gruppen
erstellt (z. B. Lesemittelwert aller 15-/16-jährigen
Schüler/innen in Österreich) – individuelle Ergebnisse
auf Schul- oder Schülerebene sind nicht Gegenstand
von Analysen.
Mögliche Ausschließungsgründe
Ziel von PISA ist es, mithilfe der gezogenen Stichprobe die
Leistungen aller Schüler/innen eines Jahrgangs abzubilden,
um die Effizienz eines Schulsystems umfassend darzustellen.
Daher achtet die OECD streng darauf, dass mögliche
Ausschlüsse einzelner Schüler/innen ausschließlich gemäß
den internationalen Richtlinien erfolgen. Generell gilt für
alle Teilnehmerländer, dass (auf Schul- und Schülerebene
insgesamt) maximal 5 % der PISA-Population eines Landes
vom Test ausgeschlossen werden.
Ausschlüsse auf Schülerebene sind durch sehr strenge Vorgaben
der OECD geregelt. Einzelne Schüler/innen können
aus einem der in Tabelle 4.2 angeführten Gründe als „nicht
geeignet“ für die Teilnahme am Test eingestuft werden.
Die Punkte 1 (körperliche/geistige Beeinträchtigung) und
2 (mangelnde Sprachkenntnisse) gelten als Ausschließungsgründe,
Punkt 3 bedeutet, dass diese Schüler/innen für die
Testung nicht in Frage kommen, weil sie beim Test nicht
mehr an der ausgewählten Schule erreichbar sind.
Der Ausschluss erfolgt vor der Information der ausgewählten
Schüler/innen durch den/die PISA-Schulkoordinator/in
in Zusammenarbeit mit den jeweiligen Klassenvorständen.
Der Prozentsatz der so ausgeschlossenen Schüler/innen beträgt
bei PISA 2012 in Österreich 3,3 %.

36 PISA 2012: Die Studie im Überblick
Mögliche Ausschließungsgründe bei PISA
1. Der/die ausgewählte Schüler/in weist eine so schwere
dauernde körperliche oder geistige Beeinträchtigung auf,
dass eine Teilnahme an der PISA-Erhebung nicht möglich
bzw. sinnvoll ist.
2. Der/die ausgewählte Schüler/in ist nichtdeutscher Muttersprache,
verfügt über mangelnde Deutschkenntnisse und
befi ndet sich seit weniger als einem Jahr als ordentlicher
Schüler/ordentliche Schülerin in Österreich bzw. hat
weniger als ein Jahr lang eine deutschsprachige Schule
besucht. Es mangelt ihm/ihr derart an Deutschkenntnissen,
dass ein Verstehen der Anleitungen und Testaufgaben
nicht möglich ist.
3. Der/die ausgewählte Schüler/in hat zwischen Erstellung
der Schülerliste an der teilnehmenden Schule (Jänner/
Februar) und der PISA-Testung (April/Mai) an eine andere
Schule gewechselt oder die Schule verlassen.
Tabelle 4.2: Mögliche Ausschließungsgründe bei PISA
Stichprobengrößen
Für eine gute Datenqualität ist es wichtig, dass möglichst alle
ausgewählten Schulen und Schüler/innen (bei denen kein
Ausschließungsgrund vorliegt) am Test teilnehmen. Die internationalen
Richtlinien für den Haupttest 2012 sehen in
der Regel eine realisierte Stichprobengröße von mindestens
4 500 Schülerinnen und Schülern aus mindestens 150 Schulen
vor. Diese Schüler- und Schulenzahl soll trotz „natürlicher
Ausfälle“ (z. B. fehlende Schüler/innen am Testtag)
und einer allfälligen Nichtteilnahme von Schulen erreicht
werden – es sei denn, die Population eines Landes ist kleiner
(dann muss eine Vollerhebung durchgeführt werden).
Zudem schreibt die OECD sehr hohe gewichtete Mindestrücklaufquoten
von 85 % auf Schulebene und 80 % auf
Schülerebene vor. Können diese Kriterien von einem Land
nicht erfüllt werden, werden die betreffenden Daten nicht
– oder nur mit einem entsprechenden Verweis – international
berichtet (das war bei PISA 2000 bei den Niederlanden
sowie 2000 und 2003 bei Großbritannien der Fall).
beinhaltet, an denen es im Schuljahr der Erhebung potenziell
Schüler/innen des Zieljahrgangs geben kann. An zwei
der ausgewählten Schulen befanden sich nur Schüler/innen,
die wegen eines der drei Ausschließungsgründe (s. Tabelle
4.2) vom Test ausgenommen werden mussten. Eine Schule
war zwischenzeitlich mit einem anderen Schulstandort zusammengelegt
worden. An diesen insgesamt zehn Schulen
konnte der PISA-Test nicht durchgeführt werden. Die verbleibenden
191 Schulen bilden die Basis für die Berechnung
der Teilnahmequote auf Schulebene.
Alle 191 für den Test ausgewählten Schulen haben an PISA
2012 teilgenommen. Die internationale Datenbank umfasst
damit Daten aus 191 österreichischen Schulen, was
einer Teilnahmequote von 100 % entspricht.
Rücklauf auf Schülerebene 95,2 %
Die in Österreich auf Schülerebene realisierte Stichprobe bei
PISA 2012 umfasst insgesamt 4 755 Schüler/innen und entspricht
allen Vorgaben der OECD (s. Tabelle 4.3).
Insgesamt ist in Österreich auf Schülerebene ein Ausfall von
240 Schülerinnen und Schülern (4,8 %), die am Testtag abwesend
waren, zu verzeichnen.
Diese daraus resultierende ungewichtete Rücklaufquote von
95,2 % (ohne Berücksichtigung der im Testfenster nicht erreichbaren
Berufsschüler/innen) entspricht einem von der
OECD gewichteten Rücklauf von 91,7 % (bei diesem sind
die erwähnten nicht erreichbaren Berufsschüler/innen als
beim Test fehlend gewertet).
Nicht zur Rücklaufquote zählen jene Schüler/innen, die
vor dem Test unter Berücksichtigung eines der drei Ausschließungsgründe
ausgenommen wurden (dauernde starke
geistige/körperliche Beeinträchtigung oder mangelnde
Deutschkenntnisse und Schüler/innen, die zwischen der
Erstellung der Schülerliste und dem PISA-Test die Schule
verlassen oder gewechselt haben). Bei PISA 2012 macht der
Anteil dieser Jugendlichen in Österreich 3,3 % aus.
Bei der Ergebnisinterpretation sind die aufgrund eines der
drei Ausschließungsgründe nicht getesteten Schüler/innen
sowie die Out-of-School-Population besonders zu berücksichtigen.
Sie beeinflussen durch ihre Abwesenheit bei PISA
nicht nur den Landesmittelwert systematisch (ins Positive),
sie beeinflussen z. B. auch die Schätzung der Größe der Risikogruppen.
Die österreichischen Leistungsdaten werden
durch die relativ große Gruppe der Out-of-School-Population
merklich begünstigt.
Rücklauf auf Schulebene 100 %
In Österreich wurden insgesamt 201 Schulen für die Teilnahme
an PISA 2012 ausgewählt. An sieben der ausgewählten
Schulen befanden sich im Schuljahr 2011/12 keine
Schüler/innen des Jahrgangs 1996. Dies kann vorkommen,
weil die Datenbasis, die der Stichprobenziehung auf Schulebene
zugrunde liegt, auf den Daten der Schulstatistik des
jeweils vorhergehenden Schuljahrs beruht und alle Schulen
LESEHINWEIS
Detaillierte Informationen zur Stichprobe finden Sie
im nationalen technischen Bericht zu PISA 2012
(Schwantner & Schreiner, 2013).

PISA-Population und Stichprobe 37
zu testende Schüler/innen teilgenommen nicht teilgenommen
Schulsparte
Anzahl Anzahl Prozent Anzahl Prozent
Allgemeinbildende Pflichtschulen:
HS, NMS und Sonderschulen 116 109 94,0 % 7 6,0 %
Polytechnische Schulen 483 459 95,0 % 24 5,0 %
APS gesamt 599 568 94,8 % 31 5,2 %
Allgemeinbildende höhere Schulen:
AHS-Langform 949 898 94,6 % 51 5,4 %
AHS-Kurzform 318 302 95,0 % 16 5,0 %
AHS gesamt 1 267 1 200 94,7 % 67 5,3 %
Schulen mit Statut:
Waldorfschulen 154 147 95,5 % 7 4,5 %
Sonstige Schulen mit Statut 2 2 100,0 % 0 0,0 %
Statutschulen gesamt 156 149 95,5 % 7 4,5 %
Berufsschulen:
BS kaufmännisch/gewerblich 779 740 95,0 % 39 5,0 %
BS landwirtschaftlich 14 14 100,0 % 0 0,0 %
BS gesamt 793 754 95,1 % 39 4,9 %
Berufsbildende mittlere Schulen:
BMS gewerblich 109 106 97,2 % 3 2,8 %
BMS kaufmännisch 90 86 95,6 % 4 4,4 %
BMS wirtschaftlich 150 143 95,3 % 7 4,7 %
BMS landwirtschaftlich 198 187 94,4 % 11 5,6 %
BMS gesamt 547 522 95,4 % 25 4,6 %
Berufsbildende höhere Schulen:
BHS gewerblich 678 644 95,0 % 34 5,0 %
BHS kaufmännisch 480 458 95,4 % 22 4,6 %
BHS wirtschaftlich 302 288 95,4 % 14 4,6 %
BHS landwirtschaftlich 69 69 100,0 % 0 0,0 %
BAKIP 104 103 99,0 % 1 1,0 %
BHS gesamt 1 633 1 562 95,7 % 71 4,3 %
GESAMT 4 995 4 755 95,2 % 240 4,8 %
Tabelle 4.3: Rücklauf auf Schülerebene PISA 2012

5 Die Tests und Fragebögen bei
PISA 2012
Bei PISA kommen als Erhebungsmethoden
gedruckte Tests und Fragebögen sowie
computerbasierte Tests zum Einsatz: Bei
PISA 2012 wurden die drei Kompetenzbereiche
Lesen, Mathematik und Naturwissenschaft
mittels schriftlicher, gedruckter
Tests erfasst. Darüber hinaus beteiligte sich
Österreich gemeinsam mit 31 weiteren
Län dern an der computerbasierten Erfassung
der Mathematik- und der Lesekompetenz
sowie der Problemlösekompetenz
(an Letzterem beteiligten sich insgesamt
44 Länder).
Zur Erfassung zentraler Kontextinformationen
wurden Fragebögen für Schüler/
in nen und Schulleiter/innen eingesetzt.
Die se für alle Länder verbindlichen Fragebögen
wurden in Österreich durch nationale
Zusatzerhebungen ergänzt.
Die Testinstrumente und ihre
Entwicklung
Basis für die Entwicklung der PISA-
Testaufgaben sind die Frameworks für die
einzelnen Kompetenzbereiche (OECD,
2013a; s. Kapitel 3), die quasi „internationale
Bildungsstandards“ für 15-/16-Jährige
darstellen. Neue Aufgaben werden jeweils
nur für den Bereich entwickelt, der schwerpunktmäßig
erfasst wird. In den anderen
Kompetenzbereichen werden jeweils Aufgaben
aus den vorangegangenen PISA-Erhebungen
eingesetzt. Diese so genannten
Link-Aufgaben gibt es auch für den schwerpunktmäßig
erfassten Bereich. Sie haben
eine testtheoretisch wichtige Funktion: Indem
diese Aufgaben bei mehreren PISA-
Erhebungen in gleicher Weise eingesetzt
werden, kann der Schwierigkeitsgrad der
Leistungsskala über die Zeit hinweg verankert
werden (s. Kapitel 8). Dadurch bleiben
die Leistungen zwischen den Erhebungszeitpunkten
vergleichbar.
Bei PISA 2012 wurden zur Erfassung der
Mathematikkompetenz 109 papierbasierte
Aufgaben (74 neue und 35 Link-Aufgaben)
sowie 41 computerbasierte Aufgaben eingesetzt
(s. Tabelle 5.1). In Lesen wurden
44 papierbasierte Aufgaben aus vorhergehenden
Erhebungen sowie 19 computerbasierte
Link-Aufgaben (Lesen elektronischer
Medien aus PISA 2009) verwendet.
Der Bereich Naturwissenschaft wurde mit
53 Link-Aufgaben erhoben. Zur Erfassung
der Problemlösekompetenz wurden 42 neue
Aufgaben eingesetzt.
Die Entwicklung von neuen Aufgaben findet
auf internationaler Ebene im Rahmen
eines genau vorgeschriebenen Prozesses
statt. Die Aufgaben werden von internationalen
Expertinnen und Experten konstruiert
und von den Teilnehmerländern
hinsichtlich vorgegebener Kriterien überprüft,
wie z. B. die Übereinstimmung mit
dem Lehrplan der 15-/16-Jährigen in dem
jeweiligen Land oder ob eine Aufgabe aufgrund
einer kulturellen Färbung eine bestimmte
Schülergruppe bevorzugt oder be -
nachteiligt. Ebenso können die Teilnehmerländer
Aufgaben einreichen, die dann von
den internationalen Aufgabenentwicklergruppen
begutachtet, überarbeitet und
übersetzt werden. Bei der nationalen Begutachtung
der neuen Mathematik- und Problemlöseaufgaben
kooperierte das BIFIE
mit nationalen Fachexpertinnen und -experten
(s. Kapitel 2).
Alle Aufgaben, die diese Begutachtungsschleifen
positiv bestanden hatten, wurden
beim PISA-Feldtest im Jahr 2011 erprobt
(s. Kapitel 7). Sorgfältige statistische Analysen
der Aufgabeneigenschaften durch das
internationale Zentrum bildeten dann die
Basis für die Überarbeitung und Auswahl
der Aufgaben für den Haupttest. Durch
diese Vorgehensweise wird sichergestellt,
dass letztlich nur Aufgaben verwendet werden,
die in allen Teilnehmerländern einwandfrei
funktionieren.
Da die Lese- und Naturwissenschafts-Link-
Aufgaben in unveränderter Form aus vorhergehenden
PISA-Erhebungen übernommen
wurden, brauchten sie in Österreich keinem
Feldtest mehr unterzogen zu werden.

Die Tests und Fragebögen bei PISA 2012 39
Aufbau der Tests und Bearbeitungszeit
Im Haupttest 2012 wurden insgesamt 206 papierbasierte
und 102 computerbasierte Aufgaben eingesetzt. Die Aufgaben
sind in Form von Units organisiert, die jeweils einen
thematischen Rahmen für mehrere Testaufgaben bilden.
Jede Unit umfasst einen oder mehrere Stimuli (z. B. Texte,
Bilder, Diagramme etc.), begleitet von einer oder mehreren
darauf bezogenen Aufgabe/n. Innerhalb eines Kompetenzbereichs
werden die einzelnen Units zu Aufgabenblöcken
(Cluster) so zusammengefasst, dass Cluster mit einer Bearbeitungszeit
von 30 Minuten entstehen. Tabelle 5.1 zeigt die
Anzahl der ausgewählten Aufgaben nach Units und Clustern
für den Haupttest 2012.
papierbasiert
Die Testhefte
Testaufgaben PISA 2012
neu Link Gesamt Units Cluster
Mathematik 74 35 109 46 7
Lesen 0 44 44 13 3
Naturwissenschaft 0 53 53 18 3
Gesamt 74 132 206 77 13
computerbasiert
Problemlösen 42 0 42 16 4
Mathematik 41 0 41 15 4
Lesen 0 19 19 6 2
Gesamt 83 19 102 37 10
Tabelle 5.1: Aufgaben nach Units und Clustern (PISA 2012)
Die Cluster werden nach einem festgelegten Schema auf 13
Testheftformen verteilt: Ein Testheft besteht dabei jeweils
aus vier Clustern, was eine Bearbeitungszeit von zwei Stunden
pro Heft bzw. Schüler/in ergibt. Die Cluster werden über
die einzelnen Testheftformen „rotiert“, sodass jeder Cluster
jeweils an verschiedenen Stellen innerhalb der Testhefte vorkommt
(s. Tabelle 5.2). Dadurch können Positionseffekte
vermieden werden. Diese Konstruktionsform hat auch den
Vorteil, dass in jedem Kompetenzbereich wesentlich mehr
Aufgaben eingesetzt und mehr Informationen gewonnen
werden können, als wenn nur eine einheitliche Testheftform
für alle Schüler/innen verwendet werden würde. Die
Leistungen der Schüler/innen können dadurch wesentlich
breiter erhoben werden, obwohl jede/r Schüler/in nur eine
verhältnismäßig geringe Anzahl an Aufgaben bearbeitet.
Ein festgelegtes Schema für die Zuordnung der Testhefte
zu den Schülerinnen und Schülern stellt sicher, dass alle 13
Testheftformen gleich oft eingesetzt werden.
Wie bereits bei PISA 2009 gab es auch bei PISA 2012 zwei
unterschiedliche Testheft-Zusammenstellungen: Das Standard
Booklet Set und das Easier Booklet Set. Das Easier Booklet
Set enthält einen etwas größeren Anteil an leichten Aufgaben
als das Standard Booklet Set und steht jenen Ländern
optional zur Verfügung, die in Mathematik wahrscheinlich
einen Mittelwert von 480 oder weniger auf der PISA-Skala
(s. Kapitel 8) erreichen. Mithilfe der größeren Anzahl an
leichten Aufgaben ist es möglich, detailliertere Aussagen
über die Kompetenzen der Schüler/innen am unteren Ende
der Leistungsskala zu treffen.
Mehr Informationen zu den Booklet Sets und zum Testdesign
finden sich im internationalen technischen Bericht der
OECD (OECD, forthcoming). Für Österreich kommt aufgrund
der bisher erzielten mittleren Leistungen das Easier
Booklet Set nicht in Frage.
Zusätzlich zu den 13 Testheftformen wurde in Österreich
das „Testheft 60“ eingesetzt. Dabei handelt es sich um ein
kürzeres Testheft mit einer Bearbeitungszeit von 60 Minuten,
das vom internationalen Konsortium für Schüler/
innen in Sonderschulen bzw. Integrationsschüler/innen zu -
sammengestellt wurde. Dieses kürzere Testheft enthält vorwiegend
leichtere Aufgaben, die dennoch eine exakte Bestimmung
der Leistung ermöglichen.
Der Computertest
Die 102 computerbasierten Testaufgaben wurden zu 10 Clustern
zu je 20 Minuten Bearbeitungszeit zusammengefasst
(4 in Problemlösen, 4 in Mathematik, 2 in Lesen) und wie
bei der Erstellung der Testhefte nach einem festgelegten
Schema auf 24 verschiedene Computertestformen verteilt.
Eine Testform bestand jeweils aus 2 Clustern. Die reine
Bearbeitungszeit betrug demnach 40 Minuten, wobei insgesamt
60 Minuten für den gesamten Testablauf zur Verfügung
standen (5 Minuten Vorbereitung, 15 Minuten
Instruk tion und Übung). Das Testprogramm wurde direkt
von einem USB-Stick ausgeführt, auf dem auch die
Antwort dateien der Schüler/innen gespeichert wurden. Der
Computertest wurde großteils auf Schulcomputern durchgeführt.
In Fällen, wo dies nicht möglich war, wurden vom
BIFIE Leih laptops zur Verfügung gestellt.
Aufgabenformat und Testcharakteristiken
Bei den PISA-Aufgaben werden verschiedene Formate eingesetzt:
Multiple-Choice-Aufgaben (zum Ankreuzen): Bei einfachen
Multiple-Choice-Aufgaben müssen die Schüler/innen
aus mehreren vorgegebenen Antwortalternativen
eine auswählen. Komplexe Multiple-Choice-Aufgaben enthalten
mehrere Antworten, die von den Schülerinnen
und Schülern jeweils mit „richtig“ oder „falsch“ (bzw.
„ja“ oder „nein“) beantwortet werden müssen (ebenso
durch Ankreuzen der richtigen Alternative neben einer
Antwort). Sie werden blockweise vorgegeben und bewertet.

40 PISA 2012: Die Studie im Überblick
Booklet Cluster im Standard Booklet Set Cluster im Easier Booklet Set
1 PM5 PS3 PM6A PS2
2 PS3 PR3 PM7A PR2
3 PR3 PM6A PS1 PM3
4 PM6A PM7A PR1 PM4
5 PM7A PS1 PM1 PM5
6 PM1 PM2 PR2 PM6A
7 PM2 PS2 PM3 PM7A
8 PS2 PR2 PM4 PS1 PS2 PR2 PM4 PS1
9 PR2 PM3 PM5 PR1 PR2 PM3 PM5 PR1
10 PM3 PM4 PS3 PM1 PM3 PM4 PS3 PM1
11 PM4 PM5 PR3 PM2 PM4 PM5 PR3 PM2
12 PS1 PR1 PM2 PS3 PS1 PR1 PM2 PS3
13 PR1 PM1 PS2 PR3 PR1 PM1 PS2 PR3
21 PM5 PS3 PM6B PS2
22 PS3 PR3 PM7B PR2
23 PR3 PM6B PS1 PM3
24 PM6B PM7B PR1 PM4
25 PM7B PS1 PM1 PM5
26 PM1 PM2 PR2 PM6B
27 PM2 PS2 PM3 PM7B
PM = paper based Mathematics (Mathematik-Cluster), PR = paper based Reading (Lese-Cluster),
PS = paper based Science (Naturwissenschafts-Cluster); A = Standard Cluster, B = Easier Cluster
Tabelle 5.2: Testdesign PISA 2012
Aufgaben mit offenem Antwortformat: Diese können
lang oder kurz sein – je nachdem, ob sie von den Jugendlichen
eine längere oder kurze selbst formulierte Antwort
erfordern. Bei langen, offenen Aufgaben müssen
die Schüler/innen die Antwort häufig auch begründen
bzw. argumentieren.
32 %
31 %
Abbildung 5.3 zeigt die Verteilung der Formate für die papierbasierten
Aufgaben im Haupttest 2012. Von den 206
Haupttestaufgaben erforderten 52 % eine Antwort durch
die Schüler/innen (kurzes und langes offenes Format). Bei
etwas weniger als der Hälfte der Aufgaben wählten die
Schüler/innen aus mehreren vorgegebenen Antwortalternativen
eine aus (Multiple-Choice oder komplexe Multiple-
Choice-Aufgabe).
Die Fragebögen
20 % 17 %
Multiple-Choice-Aufgaben
komplexe Multiple-Choice-Aufgaben
kurze, offene Aufgaben
lange, offene Aufgaben
Abbildung 5.3: Aufgabenformate PISA 2012
Neben den Leistungsdaten werden bei PISA wichtige Kontextinformationen
auf Schul- und Schülerebene erhoben
(z. B. Geschlecht, Bildung der Eltern, sozioökonomischer
Status, Migrationshintergrund, Motivation der Schüler/innen
in Bezug auf den Schwerpunkt Mathematik, Rahmenbedingungen
für Unterricht und Lernen in Mathematik,
Merkmale der Schule etc.). Diese Kontextdaten liefern eine
detaillierte Grundlage für Analysen von Zusammenhängen

Die Tests und Fragebögen bei PISA 2012 41
mit Leistungsdaten (z. B. Einfluss der Bildung der Eltern
auf die Mathematikkompetenz, Geschlechterunterschiede
in Lesen etc.).
Die Fragebögen werden von einer internationalen Expertengruppe
auf Basis eines theoriegeleiteten Frameworks entwickelt.
Darüber hinaus werden auch aktuelle bildungspolitische
Interessen der Teilnehmerländer in die Entwicklung
einbezogen. Die internationalen Fragebögen werden von
den politischen Vertreterinnen und Vertretern aller Teilnehmerländer
(im PISA Governing Board) sowie von den
nationalen Zentren begutachtet.
Der internationale Schülerfragebogen bei PISA 2012
Der internationale Schülerfragebogen wird in allen Teilnehmerländern
eingesetzt. Die Kernfragen, die sich vor allem
auf demografische Daten und den familiären Hintergrund
beziehen, sind in allen Erhebungsjahren etwa gleich und
werden im Längsschnitt erhoben. Passend zum Bereich, der
schwerpunktmäßig erfasst wird, werden jeweils spezifische
Fragen gestellt, die – sofern ein Bereich bereits zum zweiten
Mal getestet wird – ebenso im Längsschnitt fortgeführt
werden. Darüber hinaus werden bei jeder Erhebung auch
einige neue Fragen eingesetzt, die aktuelle bildungspolitische
Themen beleuchten.
Folgende Themen wurden im internationalen Schülerfragebogen
zu PISA 2012 behandelt:
Demografische Daten: Schulstufe, Alter, Geschlecht
(Längsschnitt)
Familiärer Hintergrund: Beruf und Schulbildung der
Eltern, Migrationshintergrund (Längsschnitt)
Mathematik: Lernen in Mathematik, Motivation und
Selbstwahrnehmung (zum Teil im Längsschnitt aus
PISA 2003 fortgeführt), Unterricht in Mathematik,
Mat hematikaktivitäten
Klassen- und Schulklima (zum Teil im Längsschnitt aus
PISA 2003 fortgeführt)
Erfahrungen im Problemlösen
Zusätzlich wurden in Österreich zwei optionale internationale
Fragebögen eingesetzt: der Fragebogen zu Informationsund
Kommunikationstechnologien (ICT) und der Edu -
ca tional-Career-Fragebogen. Der ICT-Fragebogen wird in
Österreich bei allen Erhebungen seit PISA 2003 eingesetzt.
2012 wurde er auf internationaler Ebene erweitert und behandelte
folgende Themen:
Nutzung und Verfügbarkeit von Informations- und
Kommunikationstechnologien
Computernutzung der Schüler/innen inner- und außerhalb
der Schule
Einstellungen zu Computern
Der Educational-Career-Fragebogen wurde bei PISA 2003,
2009 sowie 2012 auf internationaler Ebene und bei PISA
2006 nur in Österreich eingesetzt. Die Fragen, die darin
enthalten sind, können frei ausgewählt werden. Sie werden
stark national adaptiert, damit sie den jeweiligen Schulsystemen
entsprechen. Folgende Themenbereiche wurden bei
PISA 2012 im Rahmen des Educational-Career-Fragebogens
in Österreich behandelt:
Berufsorientierung der Schüler/innen
Unterstützung beim Lernen der Unterrichtssprache
Der internationale Schülerfragebogen wurde im Haupttest
2012 in drei Formen aufgeteilt, wobei der erste Fragebogenteil,
der hauptsächlich demografische Trendfragen und
die Fragen zum familiären Hintergrund beinhaltet, in allen
Versionen gleich war und von allen Schülerinnen und Schülern
beantwortet wurde. Die restlichen Frageblöcke wurden
ähnlich wie bei den kognitiven Domänen über die drei Formen
rotiert, sodass jeder Themenbereich von 2/3 der Schüler/innen
beantwortet wurde. Auf diese Weise konnte die
Menge der gestellten Fragen um ein Drittel erhöht werden.
Eine detaillierte Aufstellung der Themenbereiche nach Fragebogenformen
findet sich im „PISA 2012 Assessment and
Analytical Framework“ (OECD, 2013a, S. 193 f.).
Der internationale Schulfragebogen bei PISA 2012
Der internationale Schulfragebogen richtet sich an Schulleiter/innen.
Die meisten Fragen zu den folgenden Themen
aus PISA 2012 wurden dabei im Längsschnitt fortgeführt:
Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl,
Lehrerzahl etc.)
Informationen über Schulressourcen und Lernumgebung
Unterricht, Unterrichtsangebot und Prüfungskultur
Schulklima
Richtlinien und Praktiken
Wie bereits bei PISA 2009 wurde die Befragung der Schulleiter/innen
auch 2012 online durchgeführt.
Nationale Zusatzerhebungen
Sowohl der Schul- als auch der Schülerfragebogen wurden
durch nationale Zusatzerhebungen ergänzt. Diese sind wich -
tig, um das österreichische Schulsystem besser charakterisieren
zu können und die Effektivität des Systems in Verbindung
mit den Schülerleistungen darstellen zu können.
Dabei werden schwerpunktmäßig relevante Informationen
erhoben bzw. einige Themen im Längsschnitt weitergeführt:
Spezifische Fragen zum Mathematikunterricht
(zum Teil aus PISA 2003; Schülerfragebogen)
Selbstkonzept der Schüler/innen in Mathematik
(Schülerfragebogen)
Nutzung von Informationstechnologien innerhalb und
außerhalb der Schule
(seit PISA 2000; Schul- und Schülerfragebogen)

42 PISA 2012: Die Studie im Überblick
Qualitätsentwicklungsmaßnahmen an Schulen
(seit PISA 2000; Schul- und Schülerfragebogen)
Zusatzfragen zum Migrationshintergrund
(seit PISA 2006; Schülerfragebogen)
Zusatzfragen zur Schullaufbahn
(seit PISA 2003; Schülerfragebogen)
Zusatzfragen zu den Noten der Schüler/innen
(seit PISA 2003; Schülerfragebogen)
Zusatzfragen zur inneren Differenzierung
(Schulfragebogen)
Die nationalen Zusatzfragen im Schülerfragebogen wurden
auf die drei internationalen Fragebogenformen verteilt und
somit von ungefähr einem Drittel der Schüler/innen bearbeitet.
LESEHINWEIS
Die internationalen Fragebögen und nationalen Zusatzerhebungen
sind auf der BIFIE-Webseite als PDF
erhältlich (www.bifie.at/pisa).
Übersetzung der Tests und Fragebögen
Bei PISA werden die Schüler/innen stets in der Unterrichtssprache
des jeweiligen Landes (der jeweiligen Schule) getestet
und befragt. Daher müssen in jedem Land entsprechende
Versionen der Testinstrumente und Fragebögen in
den Unterrichtssprachen der nationalen Stichprobe erstellt
werden.
Die Übersetzung der Testaufgaben in die jeweilige(n) Landessprache(n)
ist dabei ein sehr sensibler Vorgang, da die
Eigenschaften der Aufgaben gewahrt bleiben müssen. Es
darf bei der Übersetzung z. B. nicht passieren, dass das
Ver ständnis des Textes, der Grafiken, Tabellen oder Fragen
schwieriger oder einfacher wird. Ebenso muss bei den Fragebögen
gewährleistet werden, dass sich das zu erfassende
Konstrukt nicht verändert. Zur Sicherung der Qualität der
Erhebungsinstrumente werden daher vom internationalen
Zentrum umfassende Übersetzungsrichtlinien vorgeschrieben
und deren Umsetzung genau kontrolliert.
Die hauptsächliche Übersetzungsarbeit findet vor dem Feldtest
statt, da hier alle neu entwickelten Aufgaben und Kontextfragen
erstmals zu übersetzen sind. Für den Haupttest
müssen meist keine neuen Übersetzungen mehr vorgenommen,
sondern nur die aus den Feldtestergebnissen resultierenden
Änderungen in die nationalen Versionen über -
tragen werden.
Als Basis für die Übersetzung der Testaufgaben werden
Quellversionen in englischer und französischer Sprache vom
internationalen Konsortium entwickelt und zur Verfügung
gestellt. Vorzugsweise soll in jedem Land jeweils eine Übersetzung
des englischen und eine des französischen Originals
unabhängig voneinander durchgeführt werden (Double
Translation) und diese Texte danach von einer dritten Person
zusammengeführt werden. Es ist jedoch auch möglich,
zwei Übersetzungen von nur einer Quellversion unabhängig
voneinander zu erstellen und unter Heranziehung des
verbleibenden Originals zusammenzuführen.
Übersetzungskooperation
Die Übersetzung der Testaufgaben ins Deutsche erfolgte
auch bei PISA 2012 in mittlerweile langjähriger Kooperation
zwischen allen deutschsprachigen PISA-Ländern: Deutschland,
Luxemburg, Österreich und der Schweiz (auch Südtirol
und die deutschsprachige Gemeinschaft Belgiens profitieren
von diesem Verbund). Deutschland übernahm für
PISA 2012 die Übersetzung aller neuen Mathematikaufgaben,
Österreich die Übersetzung der Problemlöseaufgaben.
Anschließend wurde für beide Kompetenzbereiche eine
gemeinsame deutsche Basisversion erarbeitet, von der aus
nur in wenigen Passagen, wo es aus regionalen sprachlichen
oder kulturellen Gründen notwendig war, weitere nationale
Adaptionen vorgenommen wurden (klassische Beispiele:
„Sackerl“ statt „Tüte“ und „Baustein“ statt „Bauklotz“).
Alle so übersetzten und angepassten Testaufgaben wurden
dann zur Überprüfung („Verifikation“) an das internationale
Zentrum gesendet, wo sie von speziell geschulten Mitarbeiterinnen
und Mitarbeitern kontrolliert und kommentiert
wurden. Alle Adaptionen müssen formell genehmigt
werden. Zudem gibt es von internationaler Seite eine abschließende
Kontrolle des Layouts der Testheft- und Com -
putertestformen. Erst danach dürfen die nationalen Testhefte
in Druck gehen bzw. die USB-Sticks für den Computertest
produziert werden.
Außerdem wurden die Übersetzungen der neuen Mathematik-
und Problemlöseaufgaben in Österreich auch von
den Expertinnen und Experten begutachtet, die bereits bei
der Erstbegutachtung der neuen Aufgaben involviert waren
(s. Kapitel 2).
Für die Übersetzung der Fragebögen gelten dieselben strengen
internationalen Richtlinien wie für die Übersetzung
der Aufgaben. Im Zuge der Übersetzungskooperation der
deutschsprachigen Länder übernahm die Schweiz für PISA
2012 die Übersetzung der Fragebogen-Basisversionen.
Wichtig bei der Übersetzung der Fragebögen ist, dass die
Fragen für die Schüler/innen sowie Schulleiter/innen eindeutig
zu verstehen und zu beantworten sind, wobei auf
Besonderheiten der nationalen Schulsysteme Rücksicht genommen
werden muss. Die Fragebögen erfordern daher oft
deutlich umfassendere Adaptionen auf nationaler Ebene als
die Testaufgaben. Die internationale Verifikation der Fragebögen
durch das Konsortium gewährleistet auch hier die
Vergleichbarkeit zwischen den Teilnehmerländern.
Insgesamt ist die Übersetzung und Adaption der Testaufgaben
und Fragebögen zeitlich und finanziell ein enorm
aufwändiger Prozess. Dieser Einsatz ist aber unbedingt notwendig,
um die Qualität der Studie zu sichern, insbesondere
im Bereich der Ländervergleiche.

6 Datenerhebung und -verarbeitung
Die unmittelbaren Vorbereitungen für die
Datenerhebung im Haupttest beginnen
nach Ziehung der Schulstichprobe durch
das internationale Konsortium, etwa vier
Monate vor der Er hebung. Dieser sensible
Prozess der Daten erhebung und -verarbeitung,
der die Kontaktaufnahme mit den
zuständigen Behör den und den ausgewählten
Schulen, die Ein schulung der Testleiter/
innen, die Durch führung der PISA-Testungen
und die Erfassung und Bewertung
der Schülerantworten beinhaltet, ist für die
Qualität der Daten und die internationale
Vergleichbarkeit von großer Bedeutung.
Kontaktaufnahme mit den
Schulen und Testorganisation
bei PISA 2012
Im November 2011 informierte die OECD
das BIFIE über die bei der Schulstichprobenziehung
für PISA 2012 ausgewählten
Schulen. Das BIFIE informierte anschließend
die zuständigen Schulbehörden: die
Landesschulratspräsidenten, die Präsidentin
des Stadtschulrats für Wien, die Landes-
und Bezirksschulinspektorinnen und
-inspektoren sowie die Berufsschulinspektorinnen
und -inspektoren. Mit Jahresbeginn
2012 wurden die Schulleiter/innen
der gezogenen Schulen über die Auswahl
in Kenntnis gesetzt und um Kooperation
gebeten.
Die PISA-Tests wurden in Österreich von
schulexternen Testleiterinnen und Testleitern
durchgeführt, die großteils Mitarbeiter/innen
von Pädagogischen Hochschulen oder
Lehrer/innen sind. Lehrer/innen werden als
Testleiter/innen nur an Schulen eingesetzt,
an denen sie nicht selbst unterrichten.
Im Jänner 2012 ernannten die Schulleiter/
innen der PISA-Schulen einen Schulkoordinator/eine
Schulkoordinatorin, der/die als
Kontaktperson zwischen der Schule und
dem BIFIE fungierte und für die weiteren
organisatorischen Tätigkeiten im Rahmen
der Erhebung an der Schule verantwortlich
war.
Die erste Aufgabe der Schulkoordinatorinnen
und -koordinatoren bestand darin,
eine Liste aller Schüler/innen des Geburtsjahrgangs
1996 ab der 7. Schulstufe an der
Schule zu erstellen und an das BIFIE zu
übermitteln. Das BIFIE konnte auf dieser
Basis den zweiten Schritt der Stichprobenziehung
– die Zufallsauswahl der zu testenden
Schüler/innen – durchführen.
Mitte März 2012 erhielt der/die Schulkoordinator/in
die PISA-Schülerliste, auf der
die ausgewählten Schüler/innen anhand einer
laufenden Nummer aufgelistet waren.
Laut Stichprobenplan wurden je Schule
maximal 35 Schüler/innen zur Teilnahme
am papierbasierten Testteil (Testheft und
Schülerfragebogen) zufällig bestimmt; maximal
18 dieser Schüler/innen (ebenfalls
zufällig ausgewählt) bearbeiteten zusätzlich
den Computertest. Die ausgewählten
Schüler/innen und deren Eltern wurden
vom/von der Schulkoordinator/in mit
einem Folder und einem Schreiben des
BIFIE über die PISA-Studie informiert.
Darüber hinaus vereinbarte die Schulkoordination
mit der Testleitung einen Termin
für die Testsitzung und reservierte adäquate
Räume an der Schule. Außerdem prüfte
er/sie, ob die schuleigenen PCs für die
Durchführung des Computertests geeignet
waren. Der/die Schulkoordinator/in informierte
auch die Lehrer/innen der Schule
über die teilnehmenden Schüler/innen
und den Testtermin.
Vorbereitung und Druck der
Testmaterialien
Nach der Übersetzung, nationalen An pas -
sung, Layoutierung, Verifikation und finalen
Überprüfung der Testhefte und Fra -
gebögen gingen diese Mitte Februar 2012
in Druck. Der Computertest wurde nach
der finalen Überprüfung auf USB-Sticks
vervielfältigt. Anschließend erfolgte am
BIFIE eine stich probenartige Qualitätskontrolle
der fertig produzierten Erhe-

44 PISA 2012: Die Studie im Überblick
bungsmaterialien; danach wurden die Pakete für die einzelnen
Schulen zusammengestellt.
Schulung der Testleiter/innen und Übergabe der
Schulpakete
Die Testleiter/innen lasen als Vorbereitung auf die Testadministration
ein Handbuch durch und nahmen an einer halbtägigen
Testleiterschulung des BIFIE teil. Dabei wurden die
Testleiter/innen insbesondere in der standardisierten Testdurchführung
geschult. Ein weiterer Fokus der Schulung
lag auf der Demonstration des Computertests, um die Testleiter/innen
mit den technischen Anforderungen vertraut
zu machen.
Im Anschluss an das Training bekamen die Testleiter/innen
für jede ihnen zugeteilte Schule ein Schulpaket, in dem alle
benötigten Testinstrumente und Unterlagen (Testhefte,
Fragebögen, USB-Sticks mit der Computertest-Software,
PISA-Schülerliste, Testsitzungsprotokoll usw.) enthalten
war en. Bis zum Rückversand der Schulpakete an das BIFIE
nach Abschluss der Testsitzungen waren die Testleiter/innen
für die Sicherheit der Materialien verantwortlich.
Die Durchführung der PISA-Tests
Die PISA-Testungen müssen entsprechend den Vorgaben
der OECD innerhalb eines vorab festgelegten, maximal
sechswöchigen Testfensters stattfinden, welches nicht innerhalb
der ersten sechs Wochen eines Schuljahrs liegen darf.
In Österreich fanden die Tests im Zeitraum von 11. April
bis 23. Mai 2012 statt (mit Ausnahme einiger lehrgangsmäßig
geführter Berufsschulen, an denen schon ab 12. März
getestet wurde). Im Haupttest 2012 waren in Österreich 85
Testleiter/innen im Einsatz.
Der Ablauf einer PISA-Testsitzung ist in hohem Maße
standardisiert und muss an allen beteiligten Schulen und
in allen teilnehmenden Ländern gleich sein, um die Vergleichbarkeit
der Ergebnisse zu gewährleisten. Abbildung
6.1 zeigt den Ablauf des PISA-Tests 2012.
nach der ersten Hälfte. Nach einer weiteren Pause von 15
Minuten füllten die Jugendlichen den Schülerfragebogen
aus (s. Kapitel 5). Für die Bearbeitung des Schülerfragebogens
– bestehend aus einem internationalen Fragebogenteil
und nationalen Zusatzerhebungen – waren insgesamt ca. 50
Minuten vorgesehen.
Danach war der PISA-Test für einen Teil der Schüler/innen
zu Ende. Für die maximal 18 Schüler/innen pro Schule, die
zusätzlich für den Computertest ausgewählt worden waren,
folgte eine einstündige Pause, in der die Testleiter/innen die
Vorbereitungen für den Computertest trafen. Der computerbasierte
Testteil begann mit einer kurzen, standardisierten
Instruktions- und Übungsphase (ca. 20 Minuten), der
Test selbst dauerte 40 Minuten.
Um möglichst viele der ausgewählten Schüler/innen testen
zu können und um die geforderte Rücklaufquote auf Schülerebene
zu erreichen (s. Kapitel 4), wurde an Schulen, an
denen am Testtag mehr als 15 % der Schüler/innen fehlten,
ein Nachtest durchgeführt. Die Notwendigkeit eines Nachtests
wurde separat für den papier- und für den computerbasierten
Test bestimmt. Bei PISA 2012 wurden insgesamt
29 Nachtests abgehalten.
Aufgaben der Testleiter/innen
Die Testleiter/innen haben bei der Durchführung der Tests
verschiedene Aufgaben: Sie prüfen die Anwesenheit der
ausgewählten Schüler/innen, verteilen die Testhefte und
Schülerfragebögen, bereiten die PCs oder Leihlaptops für
den Computertest vor, verlesen die standardisierten Anleitungen,
überwachen den Testablauf und nehmen die Materialien
nach der Testung wieder mit, damit niemand an
der Schule diese einsehen kann. Die Anweisungen an die
Schüler/innen zum Bearbeiten der Tests bzw. zum Ausfüllen
des Fragebogens müssen von den Testleiterinnen und
Testleitern wörtlich vorgelesen werden. Durch diese Vorgehensweise
erhalten Schüler/innen an allen Schulen und in
allen Teilnehmerländern die gleichen Instruktionen. Hilfestellungen
durch die Testleiter/innen zur Lösung der Testaufgaben
sind nicht erlaubt.
Nach einer kurzen, standardisierten Begrüßung und Einleitung
durch den/die Testleiter/in bearbeiteten die Schüler/innen
das PISA-Testheft (s. Kapitel 5). Dazu hatten sie
zweimal 60 Minuten Zeit, mit einer 5-minütigen Pause
Begrüßung und
Einleitung durch
Testleiter/in
PISA-Testheft:
2 x 60 Min
(mit 5 Min Pause)
15 Min
Pause
PISA-Schülerfragebogen:
ca. 50 Min
Testheft Schülerfragebogen Computertest
Abbildung 6.1: Ablauf einer PISA-Testsitzung (PISA 2012)
60 Min
Pause
PISA-Computertest:
20 Min Instruktion
und Übung,
40 Min Test
Zu jeder Testsitzung vervollständigen die Testleiter/innen
zudem ein Testsitzungsprotokoll, in dem die genauen Beginn-,
Pausen- und Endzeiten festgehalten und besondere
Vorkommnisse notiert werden. Die Testleiter/innen sind
während der gesamten Datenerhebung
(vom Zeitpunkt
der Ausgabe bis zur Rücksendung
ans BIFIE) für die
Sicherheit der Materialien
verantwortlich. Dadurch wird
sichergestellt, dass die Materialien
vertraulich gehandhabt
werden und keine Materialien/Daten
verloren gehen.

Datenerhebung und -verarbeitung 45
Datenerfassung und Bewertung der
Schülerantworten auf offene Fragen
Bevor mit der Erfassung der Daten aus den Testheften und
Schülerfragebögen begonnen wird, wird eine Rücklaufkontrolle
der Testmaterialien durchgeführt. Diese fand in Öster
reich im Mai 2012 statt. Dabei wurde für jede Schule
dokumentiert, ob die Materialien vollständig retourniert
worden waren. Zusätzlich wurde für jeden/jede Schüler/in
notiert, ob die ihm/ihr zugeordneten Testinstrumente bearbeitet
oder unbearbeitet retourniert wurden. Die Protokolle
aller Testsitzungen wurden gesammelt, kontrolliert und zu
einem späteren Zeitpunkt analysiert.
Im nächsten Schritt wurden die Schülerantworten aus den
Testheften und Schülerfragebögen elektronisch erfasst. Dies
erfolgte bei PISA 2012 größtenteils automatisiert, indem
die Testhefte und Fragebögen mithilfe von Scannern und
einer Spezialsoftware verarbeitet wurden. Alle Antworten
in den Schülerfragebögen, bei denen die Jugendlichen
eine Antwort ankreuzen mussten, sowie Antworten auf
Multiple-Choice-Fragen (s. Tabelle 6.2) wurden von der
Scansoftware automatisch erkannt und erfasst. Konnte das
Programm eine Antwort nicht eindeutig lesen, wurde der
entsprechende Eintrag von speziell geschulten Personen manuell
eingegeben („Verifikation“). Im Vergleich zur manuellen
Dateneingabe sind bei der automatisierten Datenerfassung
sowohl der zeitliche Aufwand als auch die Fehlerquote
geringer.
Die Qualität der Daten wurde durch Kontrollen während
der Datenerfassung und umfangreiche File-Cleaning-Prozeduren
auf nationaler und internationaler Ebene im Anschluss
an die Datenerfassung sichergestellt.
Die frei formulierten Antworten der Schüler/innen auf die
offenen Fragen (s. Tabelle 6.2) in den Testheften und im
Computertest wurden mithilfe einer Online-Codiersoftware
des internationalen Konsortiums elektronisch codiert
(s. „Coding“).
Die restlichen Antwortdaten aus dem Computertest, die
keine Bewertung erforderten, lagen bereits in elektronischer
Form vor und mussten daher nicht weiter bearbeitet werden.
Die Bewertungsrichtlinien für die offenen Fragen
Um zu gewährleisten, dass die frei formulierten Schülerantworten
in allen Teilnehmerländern einheitlich bewertet („co -
diert“) werden, gibt es präzise Coding Guides, in denen die
notwendigen Bewertungsrichtlinien für die offenen Fragen
im Detail ausgeführt werden.
Diese umfangreichen Coding Guides wurden ins Deutsche
übersetzt und anschließend wie die Testaufgaben international
verifiziert. Zusätzlich zu den Richtlinien in den Coding
Guides wurde ein internationales Training veranstaltet, bei
dem Vertreter/innen aus allen teilnehmenden Ländern anhand
von konkreten Schülerantworten die Anwendung der
Codes übten und diskutierten. Ziel der Schulung war es,
einen internationalen Konsens zu erreichen, der eine konsistente
Anwendung der Richtlinien gewährleistete und damit
den Prozess des Codings standardisierte.
Das Coding
Generell werden bei PISA Schülerantworten auf offene Fragen
nicht in „richtig“ oder „falsch“ eingeteilt, sondern je nach
Qualität des Ergebnisses erhalten die Schüler/innen für ihre
Antworten Punkte: Full Credit bedeutet, dass die Schüler/
innen alle möglichen Punkte für ihre Antwort erhalten, Partial
Credit heißt, dass sie einen Teil der Punkte erhalten und
bei No Credit wird kein Punkt vergeben bzw. der Code 0.
Welche Antworten Full Credit, Partial Credit oder No Credit
erhalten, ist in den Coding Guides für jede Aufgabe festgehalten.
Dabei werden akzeptable Lösungsansätze und -wege
beschrieben sowie gängige Missverständnisse und Fehler erläutert.
Zu jedem Code sind in den Bewertungsrichtlinien
auch mehrere Beispiele von Schülerantworten aufgeführt.
Die Aufgabenbeispiele in Kapitel 3 beinhalten jeweils die dazugehörenden
Bewertungsrichtlinien.
Single und Multiple Coding
Bei PISA gibt es zwei Coding-Designs: das Single Coding
und das Multiple Coding. Als Single Coding wird die „normale“
Prozedur des Codings von Schülerantworten bezeich-
Aufgabenformat Antworttypen Bewertung
Multiple-Choice-Aufgaben nur eine korrekte Antwort kein Coding erforderlich
komplexe Multiple-Choice-Aufgaben
kurze, offene Aufgaben
Serie von Richtig/Falsch- bzw.
Ja/Nein-Antworten
kurze, selbst konstruierte
verbale/numerische Antwort
kein Coding erforderlich
teilweise Coding erforderlich; je nach
Bewertungsvorschriften
lange, offene Aufgaben längere, selbst konstruierte verbale Antwort Coding laut Bewertungsvorschriften
Tabelle 6.2 Aufgabenformate und erforderliche Bewertung der Schülerantworten

46 PISA 2012: Die Studie im Überblick
net, bei der jede Schülerantwort von je einem Coder/einer
Coderin bewertet wird. Während des Single Codings können
die Coder/innen Rücksprache mit den Mitarbeiterinnen
und Mitarbeitern des BIFIE, die für das Coding verantwortlich
sind, halten. Das Multiple Coding ist eine
Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl
von Schülerantworten durch vier Coder/innen unabhängig
voneinander bewertet wird. Anders als beim Single Coding
dürfen die Coder/innen keine Rücksprache halten, sie müssen
selbstständig entscheiden. Ziel ist die Feststellung der
Qualität des Codings, gemessen an der Übereinstimmung
zwischen den Coderinnen und Codern.
Das Coding im Online-Coding-System bei PISA 2012
Für die elektronische Codierung der frei formulierten Antworten
der Schüler/innen wurden die gescannten Bilddateien
der Schülerantworten bzw. die entsprechenden Antwortdaten
aus dem Computertest in das Online-Coding-System
des internationalen Konsortiums transferiert.
Das Coding selbst wurde von qualifiziertem, speziell geschultem
externem Personal, den Coderinnen und Codern,
durchgeführt. Geleitet wurde dieser Prozess von den Coding-
Verantwortlichen („Coding-Supervisorinnen“) des BIFIE,
die das internationale Training für den jeweiligen Kompetenzbereich
besucht hatten.
Die Supervisorinnen wählten die externen Coder/innen auf
Basis eines Bewerbungsverfahrens aus. Um sich als Coder/
in bewerben zu können, ist als Qualifikation Erfahrung im
Umgang mit den Antworten von 15-/16-Jährigen sowie
fachliches Wissen über den Schulstoff der entsprechenden
Kompetenzbereiche gefordert. Die Coder/innen in Österreich
sind Lehramtsstudentinnen und -studenten am Ende
ihrer Ausbildung (für Hauptschulen oder AHS), Unterrichtspraktikantinnen
und -praktikanten oder ausgebildete
Lehrer/innen. Für den Schwerpunkt Mathematik wurden
im Jahr 2012 insgesamt 16 Coder/innen eingesetzt, für Lesen,
Naturwissenschaft und Problemlösen jeweils vier.
Die Coder/innen wurden intensiv in die Vercodung der
PISA-Aufgaben eingeschult, sodass sie die richtige Anwendung
der Bewertungsrichtlinien beherrschten. Die Bewertung
der Schülerantworten erfolgte „Item by Item“, das
bedeutet, dass die Coder/innen immer alle Antworten, die
es zu einer Aufgabe gibt, vollständig bewerteten, ehe sie mit
der nächsten begannen. Diese Vorgehensweise gewährleistet,
dass bei der Bewertung einer Aufgabe durchgehend die
gleichen Bewertungsmaßstäbe angewendet werden.
Vercodungsprozesses. Wurden bei diesen Kontrollen systematische
oder grobe Fehler entdeckt, fand für die jeweils
betroffenen Coder/innen eine Nachschulung statt und die
bereits vercodeten Schülerantworten mussten nachbearbeitet
werden. Für das Multiple Coding wurden pro Aufgabe
des Schwerpunktbereichs Mathematik 100 Schülerantworten
mehrfach vercodet und pro Aufgabe aus den anderen
Kompetenzbereichen jeweils 50. Nach vollständiger Beantwortung
einer Aufgabe konnte eine Reliabilitäts-Statistik,
die Angaben über die Übereinstimmung zwischen den
Coderinnnen und Codern beim Multiple Coding enthält,
abgerufen werden. In dem Fall, dass die Übereinstimmung
nicht hoch genug war, erhielten die Coder/innen
für die betreffende Aufgabe eine Nachschulung und vercodeten
die Aufgaben erneut. Als weitere Qualitätssicherungsmaßnahme
wurden so genannte Control scripts ein -
gesetzt. Das sind Schülerantworten, die vom internationalen
Zentrum vorgegeben und in alle Sprachen übersetzt
werden. Mithilfe dieser standardisierten Schülerantworten
kann kontrolliert werden, ob die Bewertungsrichtlinien von
den Coderinnen und Codern in den verschiedenen Teilnehmerländern
korrekt und konsistent angewendet werden.
Die großen Anstrengungen bei der Qualitätssicherung im
Bereich der Bewertung der Schülerantworten wurden unternommen,
um letztendlich eine objektive Vergleichbarkeit
der PISA-Daten gewährleisten zu können.
Die Datenübermittlung
Jedes Teilnehmerland musste „seine“ Daten innerhalb von
zwölf Wochen nach dem Ende des Testfensters an das internationale
Konsortium übermitteln, um sicherzustellen,
dass alle Daten zeitgerecht für die internationale Datenaufbereitung
zur Verfügung standen. Dies war insbesondere für
Länder der südlichen Hemisphäre von großer Bedeutung,
weil sich deren Testfenster bis Ende August 2012 erstreckte.
Erst wenn die Daten aller Länder beim internationalen
Konsortium vorliegen und nochmals auf Unstimmigkeiten
hin überprüft worden sind, kann mit der Aufbereitung der
Daten für die Ergebnisanalysen begonnen werden (s. Kapitel
8). Ein detaillierter Zeitplan, in dem auch die Datenerhebungs-
und Verarbeitungsphase dargestellt ist, befindet
sich in Kapitel 2.
Die Zuteilung der Items zu den Coderinnen und Codern
erfolgte automatisch im Online-Coding-System. Antworten,
die für die Coder/innen nicht eindeutig waren, konnten
markiert und an die Supervisorinnen zum Review gesendet
werden. Darüber hinaus unterlag die Arbeit der Coder/innen
ständigen Qualitätskontrollen. Eine davon ist die stichprobenartige
Kontrolle der vergebenen Codes während des

7 Der Feldtest zu PISA 2012
Der Feldtest, der genau ein Jahr vor der
Haupterhebung stattfindet, ist ein sehr
wichtiger Bestandteil von PISA und stellt
eine zentrale Maßnahme zur Qualitätssicherung
dar. In erster Linie dient der Feldtest
der Erprobung der neuen Aufgaben und
Fragebogeninhalte sowie aller wichtigen
Prozeduren im Bereich der Stichprobenziehung,
der Testdurchführung, der Datenverarbeitung
und der Bewertung der
Schülerantworten auf offene Fragen.
Die im Feldtest gewonnenen Daten dienen
nicht der Leistungsmessung. Sie werden
herangezogen, um umfassende Aufgabenstatistiken
zu berechnen, die Hinweise auf
Verbesserungspotenzial der Aufgaben liefern
und auf deren Basis die besten Aufgaben
für den Haupttest ausgewählt werden.
Zudem werden im Feldtest alle Abläufe, die
für den Haupttest vorgesehen sind, erprobt
und mithilfe der Rückmeldungen aus den
Teilnehmerländern und den Erfahrungen
des internationalen Konsortiums für den
Haupttest optimiert. Der Feldtest leistet
somit einen wichtigen Beitrag zur Qualitätssicherung
bei der Datengewinnung im
Haupttest.
Im Feldtest zu PISA 2012 nahm die Vorbereitung
und Durchführung des Computertests
(s. Kapitel 5) inklusive der Erprobung
der technischen Voraussetzungen an den
Schulen eine wichtige Rolle ein. In Österreich
wurde darüber hinaus die automatisierte
Datenverarbeitung mittels Scanning
(s. Kapitel 6) erprobt.
Der Feldtest zu PISA 2012 fand im Frühjahr
2011 statt. Im Folgenden werden die
Stichprobenziehung, die Instrumente sowie
die Datenerhebung und -verarbeitung
für den Feldtest näher beschrieben.
Die Stichprobe für den Feldtest
zu PISA 2012
Die Feldteststichprobe unterscheidet sich
von der Hauptteststichprobe in zwei wesentlichen
Punkten: (1) Sie ist deutlich
kleiner und (2) die internationalen Richtlinien
für die Stichprobenziehung sind weniger
strikt. Die Feldteststichprobe muss
in erster Linie alle wesentlichen Teile der
Population enthalten – also Schüler/innen
aller relevanten Schulformen und Schulstufen
sowie möglichst aller Regionen.
Die Populationsdefinition wird für den
Feldtest so angepasst, dass die Schüler/innen
das entsprechende Alter (15/16 Jahre)
aufweisen. In Österreich bildete der Geburtsjahrgang
1995 die Zielpopulation für
den Feldtest im Jahr 2011.
Die Stichprobe umfasste in Österreich 60
Schulen, die sich auf alle Bundesländer verteilten.
Mit Ausnahme der Schulen mit eigenem
Statut deckte die Feldteststichprobe
alle Schulsparten ab. Statutschulen wurden
in Österreich aufgrund ihres sehr geringen
Anteils an der Schülerpopulation vom
Feldtest ausgenommen.
Ein wichtiger Aspekt des Feldtests zu PISA
2012 war die Erprobung der Stichprobenziehung
auf Schülerebene. An 14 der 60
ausgewählten Schulen wurden zufällig je
35 Schüler/innen für die Teilnahme am papierbasierten
Testteil (mit gedruckten Testheften
und Schülerfragebögen) ausge wählt.
Aus diesen 35 Schülerinnen und Schü -
lern wurden 20 Schüler/innen zufällig bestimmt,
die im Anschluss an den papierbasierten
Test zusätzlich den Computertest
bearbeiten sollten. An den verbleibenden
46 Schulen wurden je 20 Schüler/innen

48 PISA 2012: Die Studie im Überblick
Schulen
Schüler/innen
teilgenommen
Stratum Anzahl Prozent Anzahl Prozent
Allgemeinbildende Pfl ichtschulen 9 15,0 % 131 11,3 %
Schulen mit eigenem Statut 0 0,0 % 0 0,0 %
Allgemeinbildende höhere Schulen 17 28,3 % 355 30,7 %
Berufsschulen 8 13,3 % 137 11,9 %
Berufsbildende mittlere Schulen 10 16,7 % 197 17,0 %
Berufsbildende höhere Schulen 16 26,7 % 336 29,1 %
Teilnahme gesamt 60 100,0 % 1 156 100,0 %
Tabelle 7.1: Die realisierte österreichische Stichprobe im Feldtest zu PISA 2012
sowohl für den papierbasierten Test als auch für den Computertest
ausgewählt.
Insgesamt umfasste die Feldteststichprobe 1 392 Schüler/innen.
28 Jugendliche mussten aufgrund von körperlichen/
geistigen Beeinträchtigungen oder mangelnden Deutschkenntnissen
vom Test ausgeschlossen werden. 64 Schüler/
innen hatten im Zeitraum zwischen der Ziehung der Schülerstichprobe
und dem Testtermin die Schule verlassen
(44 Schüler/innen) oder gewechselt (20 Schüler/innen). 57
Schüler/innen besuchten lehrgangsmäßig geführte Berufsschulen
und hatten während des Testfensters keinen Unterricht,
wodurch sie für die PISA-Testung nicht in Frage
kamen. Diese Schüler/innen zählen international als Nichtteilnahme.
Bei der Berechnung des Rücklaufs auf nationaler
Ebene werden sie jedoch nicht berücksichtigt, da sie am
Test gar nicht teilnehmen hätten können.
Dies ergibt 1 243 zu testende Schüler/innen, von denen 87
am Testtag abwesend waren. Mit einer Teilnahmequote von
100 % auf Schulebene und 93 % auf Schülerebene (ohne
Berücksichtigung der nicht erreichbaren Berufsschüler/innen)
lagen schließlich verwendbare Daten von 1 156 Schülerinnen
und Schülern aus 60 Schulen vor. Tabelle 7.1 zeigt
die realisierte Feldteststichprobe für Schulen und Schüler/
innen getrennt nach Schulsparten.
Die Testhefte und Schülerfragebögen
für den Feldtest
Eine ganz wesentliche Aufgabe des Feldtests ist die Erprobung
der neu entwickelten Aufgaben. In Mathematik wurde
eine große Menge an neuen Aufgaben benötigt (sowohl für
den papierbasierten Test als auch für den Computertest),
da dieser Bereich bei PISA 2012 schwerpunktmäßig erfasst
wurde. Die computerbasierten Mathematikaufgaben wur -
den in Österreich im Feldtest nicht eingesetzt, da die Entscheidung
zur Teilnahme an dieser Option erst nach dem
Feldtest getroffen wurde. Die deutschsprachige Version der
Mathematikaufgaben wurde jedoch in Deutschland im
Feldtest erprobt und mit nur einigen wenigen Adaptionen
in Österreich im Haupttest verwendet. Ebenso wurden
neue Aufgaben für den Bereich Problemlösen entwickelt.
Die neuen Aufgaben wurden zunächst auf internationaler
und nationaler Ebene von Expertinnen und Experten begutachtet
(s. Kapitel 2). Die als geeignet erachteten Aufgaben
wurden dann im Feldtest erprobt.
Die Analysen der Feldtestdaten sowie die detaillierten
Rückmeldungen über die Erfahrungen mit den neuen Aufgaben
aus den Teilnehmerländern (z. B. bei der Bewertung
der Schülerantworten) geben Aufschluss darüber, welche
Aufgaben gut „funktionieren“ und welche weniger gut für
die Kompetenzmessung geeignet sind. Die statistischen Informationen
geben zudem Aufschluss über die Schwierigkeit
und die Trennschärfe der Testaufgaben sowie darüber,
inwieweit einzelne Aufgaben faire Vergleiche zwischen Ländern
oder zwischen Mädchen und Burschen zulassen. Zudem
können mithilfe der Analysen etwaige Schwächen der
Übersetzung oder der nationalen Anpassungen aufgedeckt
werden, die dann bei der Überarbeitung für den Haupttest
behoben werden können.
Auf Basis dieser Analysen und Rückmeldungen werden die
am besten funktionierenden Aufgaben für den Haupttest
ausgewählt und, wenn notwendig, überarbeitet. An den Auf -
gaben werden nur dann Änderungen vorgenommen, wenn
diese dazu beitragen, die Kompetenz präziser zu messen.
Neben den neu entwickelten Testaufgaben werden im Feldtest
auch die Kontextfragebögen auf Schul- und Schülerebene
erprobt. Im internationalen Schülerfragebogen für
PISA 2012 (s. Kapitel 5) standen dabei vor allem die neuen
Skalen zum Mathematik-Schwerpunkt, zum Problemlösen
und zur Computernutzung auf dem Prüfstand. Darüber
hinaus wurden neue Frageformate erprobt, wie zum
Beispiel „forced choice“, bei dem sich die Schüler/innen
zwischen zwei Aussagen entscheiden müssen, oder so ge-

Der Feldtest zu PISA 2012 49
nannte „Anchoring Vignettes“, mit deren Hilfe kulturelle
Unterschiede im Antwortverhalten der Schüler/innen in
den verschiedenen Teilnehmerländern ausgeglichen werden
können (OECD, forthcoming).
Ebenso wurden alle für PISA 2012 neu entwickelten nationalen
Zusatzfragen im Feldtest erprobt.
Datenerhebung und -verarbeitung
im Feldtest
Da im Feldtest überprüft wird, ob die für den Haupttest
geplanten Abläufe funktionieren, sind die wesentlichen
Eckpunkte der Datenerhebung im Feld- und im Haupttest
identisch. Dazu gehören vor allem die Information der
Schulbehörden, die Kontaktaufnahme mit den ausgewählten
Schulen, die Information der Schüler/innen, die Schulung
der Testleiter/innen, die Durchführung der Tests, die
Datenverarbeitung am BIFIE und die Bewertung der Schülerantworten
auf offene Fragen.
Beim Feldtest zu PISA 2012 lag der Fokus auf der Abwicklung
und der technischen Umsetzung des Computertests
einschließlich der Erprobung der Testsoftware und der
Übermittlung der Schülerantwortdaten an das BIFIE und
an das internationale Zentrum.
Zentral war auf nationaler Ebene auch die Erprobung der
automatisierten Datenerfassung mittels Scannern und Spezialsoftware
und des Online-Codings. Die gedruckten Testhefte
und Fragebögen wurden eingescannt, die Schülerantworten
durch eine Spezialsoftware interpretiert sowie frei
formulierte Schülerantworten auf offene Fragen (bzw. die
entsprechenden Bilddateien) in das Online-Coding-System
transferiert und bewertet (s. Kapitel 6). Alle diese Schritte
mussten hinsichtlich ihrer Funktionalität vor dem Einsatz
im Haupttest getestet werden.
Die Bewertung der Schülerantworten auf offene Fragen
nimmt im Feldtest einen besonderen Stellenwert ein. Gerade
hier treten oft Schwächen der Aufgaben und/oder
Bewertungsvorschriften zutage. Im Feldtest zu PISA 2012
wurden 80 Schülerantworten pro Testaufgabe von mehreren
Coderinnen und Codern unabhängig voneinander bewertet
(Multiple Coding). Sind sich die Coder/innen bei
der Bewertung uneinig, kann dies auf generelle Mängel in
der Formulierung der Bewertungsvorschriften in der internationalen
Quellversion, auf Probleme bei der Übersetzung
dieser Bewertungsvorschriften oder auf Schwächen bei der
Coderschulung hinweisen. Die Erfahrungen aus dem Feldtest
sowie die Ergebnisse aus den Mehrfachbeurteilungen
der Schülerantworten stellen daher eine wesentliche Grundlage
für eventuell notwendige Verbesserungen der Bewertungsvorschriften
– oder deren Übersetzungen – vor dem
Einsatz im Haupttest dar.
Da die Erfahrung der Mitarbeiter/innen enormes Potenzial
für eine qualitativ hochwertige Abwicklung des Haupttests
birgt, wird im Feld- und im Haupttest – soweit möglich –
das gleiche Personal eingesetzt. Dies gilt auch für das externe
Personal (Testleiter/innen, Datenerfassungspersonal und
Coder/innen). Die beim Feldtest gesammelten Erfahrungen
fließen in alle Bereiche der Umsetzung des Haupttests ein.
Die Durchführung eines Feldtests an sich stellt damit eine
wesentliche Maßnahme zur Qualitätssicherung im Haupttest
dar.

Nachdem die Qualität der Daten aller Teilnehmerländer
vom internationalen Konsortium
umfassend geprüft worden ist,
wird die internationale Datenbasis für die
Ergebnisanalysen aufbereitet. Ein zentraler
Schritt dabei ist die Skalierung der Leistungsdaten
aller teilnehmenden Länder
und die Bildung der Kompetenzstufen.
Die PISA-Skala für die
Kompetenzbereiche
Die bei PISA gemessenen Kompetenzen
werden für jeden Bereich auf einer kontinuierlichen
Skala, der PISA-Skala dargestellt.
Diese wird anhand eines statistischen
Modells auf Basis der Aufgabenschwierigkeit
und der Testwerte der Schüler/innen
konstruiert (s. „Schülerscore und Aufgabenschwierigkeit“).
Die PISA-Skala für die
einzelnen Kompetenzbereiche wurde jeweils
zu dem Zeitpunkt festgelegt, als der
betreffende Bereich schwerpunktmäßig
erfasst wurde (Lesen: PISA 2000, Mathematik:
PISA 2003, Naturwissenschaft:
PISA 2006). Die Skala wurde jeweils so
transformiert, dass sich über alle OECD-
Länder gerechnet ein Mittelwert von 500
Punkten und eine Standardabweichung von
100 Punkten ergaben. Dadurch weisen im
OECD-Schnitt etwa 65 % der 15-/16-jährigen
Schüler/innen einen Wert zwischen
400 und 600 Punkten auf. Abbildung 8.1
zeigt den Aufbau einer solchen PISA-Skala.
Mithilfe der Link-Aufgaben (Aufgaben, die
bei allen Erhebungszeitpunkten ident verwendet
werden, s. Kapitel 5) können die
Skalen der jeweiligen Kompetenzbereiche
über die Erhebungszeitpunkte hinweg
verankert werden. Die Metrik der PISA-
2012-Mathematikskala basiert daher auf
der Mathematikskala von PISA 2003, die
einen Mittelwert der OECD-Länder von
500 Punkten und eine Standardabweichung
von 100 Punkten aufweist.
Die bei PISA 2012 eingesetzten Mathematikaufgaben
können drei mathematischen
Prozessen (Formulieren, Anwenden und
Interpretieren) und vier Inhaltsbereichen
(Größen, Raum & Form, Veränderung &
Zusammenhänge sowie Unsicherheit &
Daten) zugeordnet werden. Für jeden
die ser Bereiche wird zur Darstellung der
Ergebnisse eine eigene Skala gebildet
(OECD, 2013b).
überdurchschnittliche Schülerscores
8 Datenaufbereitung für die Ergebnisanalysen
OECD-
Mittelwert
unterdurchschnittliche Schülerscores
700
600
500
400
300
S
Im Bereich von +/-
einer Standardabweichung
(s) liegen
ca. 65 % aller
Schüler/innen
S
Abbildung 8.1: Die PISA-Skala

Datenaufbereitung für die Ergebnisanalysen 51
Schülerscore und Aufgabenschwierigkeit
Basis für die Datenskalierung sind die
Werte (Scores) der Schüler/innen zu
den einzelnen Aufgaben (Full Credit,
Partial Credit oder No Credit, s. Kapitel
6) sowie die Schwierigkeit der
Aufgabe. Im Zuge der Skalierung
wird für jeden Schüler/jede Schülerin
ein Gesamtwert in jedem Kompetenzbereich
berechnet, der mit einem
bestimmten Punkt auf der Skala verknüpft
ist. Ebenso wird jeder Testaufgabe
eine Position auf derselben Skala
zugewiesen, die die Schwierigkeit der
Aufgabe angibt. Die Skalen sind somit
kontinuierlich mit aufsteigender
Schwierigkeit und theoretisch nach
unten und oben offen. Das bedeutet,
dass eine gute Leistung mit einem hohen
Schülerscore und eine schlechte
Leistung mit einem niedrigen Schülerscore
einhergehen. Für die Testaufgaben
heißt das, dass schwierige
Aufgaben einen hohen Skalenwert
(Aufgabenschwierigkeit) und leichte
Aufgaben einen niedrigen Skalenwert
aufweisen. Abbildung 8.2 zeigt dies
exemplarisch für die Mathematikaufgaben
aus dem PISA-2012-Haupttest,
die in Kapitel 3 dargestellt sind.
Kompetenzstufen
Damit die Werte der Schüler/innen
besser interpretiert werden können,
wurden die Skalen mithilfe statistischer
Prozeduren in unterschiedliche
Kompetenzstufen (Proficiency Levels)
unterteilt. Die Kompetenzstufen werden
so gebildet, dass die kontinuierliche
PISA-Skala (500, 100) an bestimmten
(statistisch sinnvollen und
inhaltlich interpretierbaren) Punkten
geteilt wird. Dadurch kann jeder
Schüler/jede Schülerin entsprechend
dem jeweils erreichten Punktwert ei ­
ner Kompetenzstufe zugeordnet werden.
Jeder Level enthält somit Schüler/
innen, denen ein bestimmtes Wissen
und bestimmte Fertigkeiten gemeinsam
sind. Da der PISA-Skala auch
die Testaufgaben zugeordnet werden,
gehören jeder Kompetenzstufe auch
bestimmte Testaufgaben an, wodurch
die Fähigkeiten der Schüler/innen, die
Tropfrate − Aufgabe 1
Full Credit: 658 – schwierig
Partial Credit: 611
Wohnungskauf − Aufgabe 1
Schwierigkeit 576 – eher schwierig
Sauce − Aufgabe 1
Full Credit: 489 – mittel
Charts− Aufgabe 2
Schwierigkeit 428 – leicht
Charts − Aufgabe 1
Schwierigkeit 348 – leicht
800
700
600
500
400
300
200
Score 754
Schüler/in A
Score
500
Score 500
Schüler/in B
Score 381
Schüler/in C
Abbildung 8.2: Verankerung von Schülerleistung und Aufgabenschwierigkeit
an der PISA-Skala am Beispiel von freigegebenen Mathematikaufgaben

52 PISA 2012: Die Studie im Überblick
für eine erfolgreiche Lösung dieser Aufgaben benötigt werden,
anschaulich beschrieben werden können.
Für den Bereich Mathematik wurden im Rahmen von PISA
2003 sechs Kompetenzstufen gebildet. Level 1 ist die niedrigste
Stufe, die mithilfe der Aufgaben beschrieben werden
kann, gefolgt von Level 2, Level 3 und so weiter – bis Level 6,
der höchsten Kompetenzstufe. Abbildung 8.3 zeigt, wie die
Teilung der Mathematikskala in die Kompetenzstufen erfolgt.
Für den Bereich Naturwissenschaft wurden bei PISA 2006
ebenfalls sechs Kompetenzstufen gebildet (s. Abbildung
8.6). Für Lesen wurden anfänglich (PISA 2000) fünf Kompetenzstufen
festgelegt. Im Zuge der zweiten schwerpunktmäßigen
Erhebung bei PISA 2009 wurden sowohl mehr
leichte als auch mehr schwierige Aufgaben eingesetzt, um
die Fähigkeiten der Jugendlichen am unteren und oberen
Ende der Skala besser beschreiben zu können (Unterteilung
von Level 1 in Level 1b und Level 1a; Unterteilung von
Level 5 in Level 5 und Level 6; s. Schwantner & Schreiner,
2010, S. 54). Daraus ergeben sich für Lesen sieben Kompetenzstufen.
Für das Lesen elektronischer Medien wurden bei
PISA 2009 vier Kompetenzstufen gebildet (s. Schwantner &
Schreiner, 2011). Ebenso werden für die beiden anderen
computerbasiert getesteten Bereiche Problemlösen und
Mathematik Kompetenzstufen erstellt. Diese liegen jedoch
zum Zeitpunkt der Erstellung der vorliegenden Studienbeschreibung
(Dezember 2013) noch nicht vor.
Der erreichte Punktwert eines Schülers/einer Schülerin innerhalb
eines Kompetenzbereichs repräsentiert die höchste
Schwierigkeit einer Testaufgabe, die die jeweilige Schülerin/
der jeweilige Schüler mit bestimmter Wahrscheinlichkeit
lösen kann. Von den Schülerinnen und Schülern eines Levels
kann erwartet werden, dass sie zumindest die Hälfte
der diesem Level zugeordneten Testaufgaben lösen können.
Schüler/innen am oberen Ende eines Levels
können im Schnitt 70 % der Testaufgaben
dieser Stufe lösen. Von Schülerinnen und
Schülern am unteren Ende eines Levels
kann erwartet werden, dass sie 50 % der
Aufgaben des Levels lösen können bzw. für
die leichtesten Testaufgaben dieser Stufe
eine Lösungswahrscheinlichkeit von 62 %
besitzen. Schüler/innen eines bestimmten
Levels verfügen sowohl über das Wissen und
die Fertigkeiten, durch die diese Stufe charakterisiert
ist, als auch über die Fähigkeiten
aller niedrigeren Kompetenzstufen.
Schüler/innen, von denen auf Basis ihrer
Testleistungen nicht erwartet werden kann,
dass sie zumindest 50 % der einfachsten
PISA-Aufgaben eines Bereichs lösen können,
befinden sich jeweils unter Kompetenzstufe 1
(bzw. 1b in Lesen). Das bedeutet nicht, dass
sie keine Kompetenz im jeweiligen Bereich
besitzen. Ihre Fähigkeit ist aber mit dem
PISA-Test nicht exakt beschreibbar; es kann
unter Stufe
1
Scores
< 359
300
Stufe 1
Scores
359–420
lediglich ausgesagt werden, dass sie nicht in der Lage sind,
die bei PISA gemessenen grundlegendsten Fähigkeiten routinemäßig
zu zeigen.
Schüler/innen auf den obersten Kompetenzstufen werden
im Allgemeinen als PISA-„Spitzenschüler/innen“ bezeichnet,
während Schüler/innen der Stufe 1 und darunter als
„Risikoschüler/innen“ gelten – sie verfügen über sehr geringe
Grundkompetenzen in diesem Bereich.
Die Abbildungen 8.4 bis 8.6 beschreiben, durch welche
Fähigkeiten Schüler/innen der einzelnen Kompetenzstufen
in den drei Domänen charakterisiert werden können. Die
Grenzwerte der einzelnen Levels sind dem Balken links zu
entnehmen. Die Kompetenzstufen der computerbasiert getesteten
Bereiche (Problemlösen, Mathematik, Lesen elektronischer
Medien) werden in den Ergebnispublikationen
zu diesen Bereichen berichtet.
Aufbereitung der Fragebogendaten
Die Daten aus den Kontextfragebögen können zum Teil
ohne größere Aufbereitung für Analysen herangezogen werden.
Bei einigen Variablen werden von internationaler Seite
Rekodierungen durchgeführt – z. B. wird aus den Angaben
der Schüler/innen zum eigenen Geburtsort und dem der Eltern
die Variable „Migrationsstatus“ generiert. Darüber hinaus
müssen die Fragebogenskalen gebildet werden, die mithilfe
von einzelnen, inhaltlich zusammengehörenden Fragen
erhoben wurden, wie z. B. die Skalen zum mathematischen
Selbstkonzept der Schüler/innen oder zum Unterricht in
Mathematik. Diese Skalen werden umfangreichen statistischen
Prüfungen unterzogen. Dadurch wird sichergestellt,
dass sie die entsprechenden Merkmale zuverlässig erheben
und zwischen den Ländern vergleichbar sind.
400
Stufe 2
Scores
421–482
Stufe 3
Scores
483–545
500
Stufe 4
Scores
546–607
Scores
608–669
600
Stufe 5
Abbildung 8.3: Kompetenzstufen am Beispiel Mathematik
Stufe 6
Scores
> 669
700

Datenaufbereitung für die Ergebnisanalysen 53
Gewichtung
Wie auch bei anderen sozialwissenschaftlichen Untersuchungen
gibt es bei PISA eine bestimmte Anzahl an Stichprobenausfällen
(z. B. am Testtag fehlende Schüler/innen).
Zudem werden bei PISA bestimmte Teile der Population
gezielt über- oder untersampelt, d. h. sie sind in der Stichprobe
über- oder unterrepräsentiert (z. B. werden weniger
sehr kleine Schulen in die Stichprobe aufgenommen). Beide
Fälle erfordern es, dass die Stichprobe durch adäquate
Gewichtungsmethoden nachträglich wieder ausgeglichen
wird. Ansonsten würden die Ausfälle oder das gezielte Unter-
oder Übersampeln zu Verzerrungen in der Stichprobe
und somit auch der Ergebnisse führen. Die Gewichtung
stellt sicher, dass die Stichprobe die Population möglichst
exakt abbildet. Dies ist für stark differenzierte Schulsysteme,
wie das österreichische, schwieriger als für eher „einfache“,
in dieser Altersgruppe weniger gegliederte Systeme, wie die
angloamerikanischen oder nordischen.
Die Gewichtungsmethoden bei PISA sind genau geregelt
und werden von der OECD (bzw. dem beauftragten Konsortium)
durchgeführt. Eine detaillierte Beschreibung der
niedrige Mathematikkompetenz hohe Mathematikkompetenz
Level 6
669
Level 5
607
Level 4
545
Level 3
482
Level 2
420
Level 1
358
Schüler/innen des sechsten Levels können durch eigenständiges Überprüfen und Modellieren von Problemlösesituationen
Informationen konzeptualisieren, generalisieren und nutzen. Sie können verschiedene
Informationsquellen und Repräsentationen verbinden und flexibel zwischen ihnen wechseln. Weiters besitzen
diese Schüler/innen Fähigkeiten zum mathematischen Denken und Schlussfolgern auf einem fortgeschrittenen
Niveau. Sie beherrschen symbolische und formale mathematische Operationen.
Auf dem fünften Level sind die Schüler/innen in der Lage, Modelle für komplexe Situationen zu entwickeln und
mit ihnen zu arbeiten, geeignete Problemlösestrategien für den Umgang mit komplexen Problemen (die mit
diesen Modellen verbunden sind) auszuwählen, zu vergleichen und zu evaluieren sowie mithilfe breit
gefächerter, gut entwickelter Denk- und Schlussfolgerungsfähigkeiten strategisch zu arbeiten. Die
Schüler/innen reflektieren ihre Handlungen und kommunizieren ihre Interpretationen.
Schüler/innen, die aufgrund ihrer erbrachten Leistungen dem vierten Level zugeordnet werden, sind fähig,
effektiv mit expliziten Modellen für komplexe, konkrete Situationen zu arbeiten. Es gelingt ihnen, Repräsentationen
(u. a. Symbole) mit Situationen der realen Welt zu verknüpfen. Weiters können sie Erklärungen und
Argumente basierend auf ihren Interpretationen und Handlungen konstruieren und kommunizieren.
Schüler/innen des dritten Levels können klar beschriebene Prozeduren, auch solche, die sequenzielle
Entscheidungen erfordern, ausführen. Sie selektieren und wenden verschiedene einfache Problemlösestrategien
an. Sie sind in der Lage, Repräsentationen zu konstruieren und zu verwenden, die auf verschiedenen
Informationsquellen basieren, und folgern direkt von diesen Repräsentationen. Sie können kurze Kommunikationsberichte
ihrer Interpretationen, Ergebnisse und Folgerungen entwickeln.
Schüler/innen des zweiten Levels sind in der Lage, Situationen in Kontexten zu interpretieren, die nicht mehr
als direkte Schlussfolgerungen erfordern. Sie können die relevante Information aus einer einzelnen Quelle
beschaffen und verwenden eine einfache Darstellungsform. Sie verwenden einfache Algorithmen, Formeln
oder Prozeduren und können direkte Schlussfolgerungen und wörtliche Interpretationen der Ergebnisse
machen.
Auf dem untersten – ersten Level – sind Schüler/innen in der Lage, einfache Fragen zu beantworten, die in
einen bekannten Kontext eingebettet sind, in dem alle Informationen vorhanden und die Fragen klar definiert
sind. Sie können Informationen identifizieren und Routineprozeduren anhand direkter Instruktionen und in
expliziten Situationen ausführen. Weiters können die Schüler/innen Handlungen durchführen, die offensichtlich
sind und unmittelbar aus einem gegebenen Stimulus resultieren.
unter Level 1
Abbildung 8.4: Definition der Kompetenzstufen in Mathematik (PISA 2003, 2006, 2009, 2012)

54 PISA 2012: Die Studie im Überblick
Gewichtungsprozeduren gibt der internationale technische
Bericht der OECD (forthcoming). Alle Berechnungen und
Ergebnisse von PISA basieren ausschließlich auf gewichteten
Daten, wodurch die internationale Vergleichbarkeit der
Stichproben gewährleistet wird.
Die Verteilung der Schüler/innen auf die Schulsparten und
die Bundesländer in Österreich in der gewichteten PISA-
2012-Stichprobe stimmt mit der Verteilung der Schüler/
innen in der Schulstatistik des Schuljahres 2011/2012 überein
(Pareiss, 2013b).
LESEHINWEIS
Die Skalierung der Testdaten, die Aufbereitung der
Fragebogendaten sowie die Gewichtung werden detailliert
im internationalen technischen Bericht der
OECD (forthcoming) beschrieben.
niedrige Lesekompetenz hohe Lesekompetenz
Level 6
698
Level 5
626
Level 4
553
Level 3
480
Level 2
407
Level 1a
335
Level 1b
262
Schüler/innen des sechsten Levels sind in der Lage, mehrfache Schlussfolgerungen zu ziehen und detaillierte und
präzise Vergleiche zu machen. Sie zeigen ein vollständiges und detailliertes Verständnis von einem oder mehreren
Texten und können Informationen aus mehreren Texten kombinieren. Die Schüler/innen setzen sich mit
ungewohnten Ideen auseinander, auch wenn widersprüchliche Informationen gegeben werden. Sie können
Hypothesen über einen komplexen Text mit einem ihnen nicht vertrauten Thema aufstellen oder diesen kritisch
bewerten.
Schüler/innen des fünften Levels sind in der Lage, sehr komplexe Leseaufgaben zu lösen und mehrere Informationen
aus ungewohnten Texten zu lokalisieren und organisieren. Sie können Texte kritisch beurteilen und Hypothesen
durch Heranziehen von fachspezifischem Wissen aufstellen. Die Jugendlichen zeigen ein detailliertes
Textverständnis und können Informationen ableiten, die für die Lösung der Aufgabe relevant sind. Sie können
Konzepte miteinander in Einklang bringen, die entgegen den Erwartungen sein können.
Schüler/innen des vierten Levels sind fähig, schwierige Leseaufgaben zu lösen, die Fähigkeiten erfordern wie das
Heraussuchen eingebetteter Informationen, die Deutung des Sinns bei sprachlichen Feinheiten und die kritische
Bewertung eines Textes. Sie zeigen ein genaues Verständnis von langen oder komplexen Texten, deren Inhalt
oder Form unbekannt sein kann.
Schüler/innen des dritten Levels können Leseaufgaben mäßiger Komplexität lösen. Sie sind in der Lage, mehrere
Informationen aus einem Text herauszusuchen, Zusammenhänge zwischen Textteilen herzustellen, und Textverständnis
im Zusammenhang mit vertrautem Alltagswissen zu zeigen. Sie können die Hauptaussage eines Textes
identifizieren, Informationen heraussuchen, die im Text nicht leicht ersichtlich sind oder miteinander konkurrieren
oder nicht den Erwartungen entsprechen.
Schüler/innen des zweiten Levels können elementare Aufgaben lösen, in denen sie einfache Informationen
lokalisieren, einfache Schlussfolgerungen ziehen, die Hauptaussage eines gut gekennzeichneten Textteils
erkennen und etwas Allgemeinwissen und persönliche Erfahrung anwenden müssen, um dieses Verständnis zu
zeigen. Sie können einzelne Textteile vergleichen oder gegenüberstellen.
Schüler/innen des Levels 1a sind fähig, eindeutig angegebene Informationen aus einem oder mehreren unabhängigen
Textstücken herauszufinden, das Hauptthema eines Textes über einen vertrauten Gegenstand zu erkennen
oder Informationen im Text mit einfachem Alltagwissen zu verknüpfen. Die erforderliche Information ist an einer
hervorstechenden Stelle im Text enthalten und es gibt keine konkurrierenden Informationen.
Schüler/innen des Levels 1b sind in der Lage, einzelne, eindeutig angegebene Informationen in einer hervorstechenden
Textstelle aufzufinden. Der Text selbst ist kurz, syntaktisch einfach und steht in einem für Jugendliche
geläufigen Kontext.
unter Level 1b
Abbildung 8.5: Definition der Kompetenzstufen in Lesen (PISA 2009, 2012)

Datenaufbereitung für die Ergebnisanalysen 55
niedrige Naturwissenschaftskompetenz hohe Naturwissenschaftskompetenz
Level 6
708
Level 5
633
Level 4
559
Level 3
484
Level 2
409
Level 1
335
Schüler/innen auf dem höchsten Level 6 können Wissen in den sowie über die Naturwissenschaften
konsistent in einer Vielzahl realitätsnaher Situationen identifizieren, erklären und anwenden, Informationen aus
verschiedenen Quellen und Erklärungen verknüpfen und Belege aus diesen Quellen zur Rechtfertigung ihrer
Entscheidungen verwenden. Sie zeigen fortgeschrittenes naturwissenschaftliches Denken und Argumentieren
und verwenden ihr naturwissenschaftliches Verständnis zur Lösung ungewohnter wissenschaftlicher und
technologischer Situationen. Sie verwenden ihr Wissen und entwickeln Argumente zur Unterstützung von
Empfehlungen und Entscheidungen, die persönliche, soziale oder globale Situationen betreffen.
Schüler/innen auf Level 5 können naturwissenschaftliche Komponenten in vielen komplexen Situationen des
Lebens identifizieren, naturwissenschaftliche Konzepte und Wissen über die Naturwissenschaften auf diese
Situationen anwenden und angemessene naturwissenschaftliche Belege für solche Situationen vergleichen,
auswählen und bewerten. Sie besitzen gut entwickelte Untersuchungsfähigkeiten, können Wissen angemessen
verknüpfen und auch kritische Sichtweisen integrieren. Sie können basierend auf ihrer kritischen Analyse beweisgestützte
Erklärungen und Argumente konstruieren.
Auf Level 4 können Schüler/innen effektiv mit Situationen und Fragestellungen, die bestimmte Phänomene
betreffen, umgehen, welche von ihnen verlangen, Rückschlüsse über die Rolle von Naturwissenschaft oder
Technologie zu ziehen. Sie können Erklärungen von verschiedenen Bereichen der Naturwissenschaft oder
Technologie auswählen, verknüpfen und diese direkt mit lebensnahen Situationen in Verbindung bringen. Sie
können über ihre Handlungen reflektieren und Entscheidungen unter Verwendung von naturwissenschaftlichem
Wissen und Belegen kommunizieren.
Schüler/innen auf dem dritten Level können klar beschriebene naturwissenschaftliche Sachverhalte in einer
Reihe von Kontexten identifizieren, Fakten und Wissen auswählen, um Phänomene zu erklären, und einfache
Modelle oder Untersuchungsstrategien anwenden. Sie können naturwissenschaftliche Konzepte aus
verschiedenen Bereichen interpretieren und direkt anwenden. Darüber hinaus sind sie fähig, Fakten zu
kommunizieren und Entscheidungen basierend auf naturwissenschaftlichem Wissen zu fällen.
Das naturwissenschaftliche Wissen der Schüler/innen auf dem zweiten Level reicht aus, um mögliche
Erklärungen in vertrauten Kontexten zu geben und Schlussfolgerungen zu ziehen, die auf einfachen Untersuchungen
basieren. Ihre Schlussfolgerungen und die Interpretation von Ergebnissen naturwissenschaftlicher
Untersuchungen oder technologischer Problemlösungen sind direkt.
Schüler/innen auf dem ersten – untersten – Level weisen sehr eingeschränktes naturwissenschaftliches
Wissen auf, das sie nur in wenigen, ihnen sehr gut vertrauten Situationen anwenden können. Sie können
naturwissenschaftliche Erklärungen geben, die offensichtlich sind und direkt aus vorgegebenen Belegen
abgeleitet werden können.
unter Level 1
Abbildung 8.6: Definition der Kompetenzstufen in Naturwissenschaft (PISA 2006, 2009, 2012)

9 Qualitätssicherung
In einer weltweit durchgeführten Studie
wie PISA wird in allen Phasen der Studie
besonderes Augenmerk auf die Qualität
und die Sicherung der fairen Vergleichbarkeit
gelegt. Um die bestmögliche Datenqualität
gewährleisten zu können, werden
sowohl auf internationaler als auch auf
nationaler Ebene umfassende Maßnahmen
zur Qualitätssicherung umgesetzt.
Während die OECD als Auftraggeber die
allgemeinen Zielsetzungen festlegt, ist das
internationale Konsortium für das Design
und die Richtlinien zur Durchführung der
Studie im internationalen Rahmen verantwortlich.
Die nationalen Projektmanager/
innen sind mit den nationalen Zentren für
die Umsetzung auf nationaler Ebene zuständig.
Die OECD hat hierbei – in erster Linie
durch das PISA Governing Board (PGB) –
die Aufgabe, allgemeine Qualitätsanforderungen
bzw. -maßstäbe festzusetzen und
Entscheidungen in Bezug auf Konsequenzen
des Nicht-Erreichens dieser Maßstäbe
zu treffen. Diese Qualitätsstandards sind in
den „PISA 2012 – Technical Standards“ formuliert
und für alle Teilnehmerländer ver -
bindlich.
In den einzelnen Kapiteln der vorliegenden
Studienbeschreibung wurden bereits einige
Qualitätssicherungsmaßnahmen beschrieben
(z. B. im Bereich der Stichprobenziehung,
bei der Konstruktion der Tests und
Fragebögen, bei der Datenverarbeitung, der
Feldtest an sich etc.). Im Folgenden werden
die Qualitätssicherungsmaßnahmen
der zentralen Bereiche von PISA zusammengefasst
dargestellt: die Qualität der
Stichproben, die Qualität der Übersetzung,
die Qualität der Durchführung und die
Qualität der Daten.
Qualität der Stichproben
Die Vergleichbarkeit der Daten der verschiedenen
Teilnehmerländer wird unter
anderem durch die Vergleichbarkeit der
Stichproben bestimmt. Deshalb wird besonderer
Wert auf eine zentrale Stichprobenziehung
und die exakte Einhaltung der
vorgeschriebenen Rücklaufquoten gelegt.
Ein wesentlicher Qualitätsaspekt ist dabei
die exakte Populationsdefinition. Diese
er folgt altersbasiert so, dass die Schüler/
innen aller Länder zum jeweiligen Testzeitpunkt
gleich alt sind und jeweils einen
Querschnitt eines Altersjahrgangs pro
Land abbilden. Für die Vergleichbarkeit
ist es wesentlich, Schüler/innen aus allen
Teilen des Schulsystems einzubeziehen, in
denen Personen des Zielalters zu finden
sind. Deshalb sind die Ergebnisse zwischen
den Ländern auch dann vergleichbar, wenn
die dahinterstehenden Schulsysteme große
Unterschiede aufweisen.
Die Ziehung der Schulen erfolgt zentral
durch das internationale Konsortium und
ein „Sampling Referee“ überprüft, dass diese
korrekt umgesetzt wird.
Die Vorgaben der OECD bezüglich erforderlicher
Rücklaufquoten sind sehr
streng. 85 % Rücklauf auf Schulebene und
mindestens 80 % auf Schülerebene sind
Voraussetzung für die uneingeschränkte
Aufnahme der Daten eines Landes in den
internationalen Datensatz und die internationale
Berichterstattung.
Österreich erfüllt die von der OECD vorgegebenen
Standards mit einem sehr guten
Rücklauf auf Schulebene von 100 % und
auf Schülerebene von rund 95 % (gewichtet:
rund 92 %). Die Verteilung der Schü-

Qualitätssicherung 57
ler/innen auf die Schultypen entspricht jener der offiziellen
Schulstatistik.
Qualität der Übersetzung
Für die Übersetzung der Materialien (Testaufgaben, Fragebögen
und Handbücher) gibt es genaue Richtlinien, die von
allen Teilnehmerländern eingehalten werden müssen. Als
Basis für die Übersetzungen der Testaufgaben und Fragebögen
werden Quellversionen in englischer und französischer
Sprache vom internationalen Konsortium entwickelt, wobei
zwei unabhängige Übersetzungen – vorzugsweise je eine aus
jeder Quellsprache – anzufertigen sind, die dann von einer
dritten Person zur Endversion zusammengeführt werden.
Dies ist ein wichtiger Beitrag zur Optimierung der Qualität.
Ein weiterer Qualitätsaspekt ist die Zusammenarbeit der
deutschsprachigen Länder bei der Übersetzung: Durch
diese Kooperation findet Qualitätskontrolle durch die gemeinsame
Produktion einer deutschen Basisversion der
Testaufgaben und Fragebögen statt. Die damit verbundenen
Rückmeldeprozesse zwischen den Expertinnen und
Experten sowie den nationalen PISA-Projektzentren aller
deutschsprachigen Länder tragen zu einer hohen Qualität
der Übersetzungen bei. Auf internationaler Ebene sichert
die „Verifikation“ der Übersetzungen und des Layouts der
Testaufgaben und der Fragebögen die hohe Qualität der nationalen
Versionen, die für die deutschsprachigen Länder
vom internationalen Konsortium mehrfach bestätigt wurde.
Qualität der Durchführung der Studie
Die Durchführung des PISA-Tests an den Schulen ist standardisiert
und läuft in allen Teilnehmerländern gleich ab.
Die PISA-Tests werden von eigens geschulten Personen
abgehalten, die pädagogisch versiert sind. Diese Testleiter/
innen können nach internationalen Vorgaben schulintern
sein – solange sie keine teilnehmenden Schüler/innen selbst
unterrichten – oder externe Personen. In Österreich werden
für die Durchführung des Tests schulexterne Testleiter/
innen eingesetzt. Dies ist ein wesentlicher Bestandteil der
umfassenden Qualitätssicherungsmaßnahmen bei der Testdurchführung
und hat zahlreiche Vorteile:
Objektive Testdurchführung
Schulexterne Testleiter/innen sind unbefangen und haben
kein Interesse an der Beeinflussung der Testergebnisse
einzelner Schüler/innen bzw. Schulen. Auch wenn
schulinterne Testleiter/innen die Schüler/innen selbst
nicht unterrichten, steigert der Einsatz von schulexternen
Testleiterinnen und Testleitern die Durchführungsobjektivität
darüber hinaus.
Wahrung der Vertraulichkeit
Da die externen Testleiter/innen nicht in das Schulgeschehen
der jeweiligen Testschule involviert sind, ist der
vertrauliche Umgang des Testleiters/der Testleiterin mit
den Schülerantworten gewährleistet. Zudem steigert die
Durchführung durch eine schulexterne Person die Bereitschaft
der Schüler/innen, die Fragen offen zu beantworten
und beeinflusst so das Antwortverhalten positiv.
Standardisierter und kontrollierter Ablauf der Testsitzung
Für die Vergleichbarkeit der Ergebnisse ist es von großer
Bedeutung, dass die international vorgegebenen Richtlinien
zur Durchführung der PISA-Testsitzungen an
den Schulen exakt eingehalten werden. Im Rahmen
einer verpflichtenden Schulung wurden die Testleiter/
innen ergänzend zum Selbststudium des Test leiterhandbuches
vom BIFIE in Hinblick auf die einheitliche
administrative Durchführung der Tests instruiert. Bei
PISA 2012 wurde auf eine Reihe von pädagogisch erfahrenen
Personen zurückgegriffen, die bereits in vorhergehenden
PISA-Zyklen bzw. im Feldtest 2011 oder
im Rahmen an derer internationaler Schülerleistungsstudien
als Testleiter/in tätig waren. Der Einsatz versierter
Personen, die gezielte Schulung und die in vorhergehenden
Erhebungen gesammelten Erfahrungen
unterstützen die Standardisierung des Testablaufs und
führen zu einer hohen Durchführungsreliabilität.
Minimierung des Aufwands für die Schulen
Der Einsatz externer Testleiter/innen führt zu einer Minimierung
des organisatorischen Aufwands für die
Schu len. Diese sind weder mit der konkreten Testdurchführung
noch mit der Administration der Erhebungsmaterialien
befasst.
Sicherheit der Testmaterialien
Die Sicherheit der Testmaterialien ist bei PISA ein sehr
wichtiger und sensibler Punkt. Da bei PISA ein Teil der
Testaufgaben auch in künftigen Erhebungen eingesetzt
wird, dürfen diese nicht an die Öffentlichkeit gelangen.
Da die Testleiter/innen mit dem gesamten Testmaterial
an die Schule kommen und dieses nach der Durchführung
der Testsitzung wieder mitnehmen, wird sichergestellt,
dass sich zu keinem Zeitpunkt Material unbeaufsichtigt
an der Schule befindet.
Um zu überprüfen, ob die nationalen Zentren ihre Testleiter/innen
entsprechend in die standardisierte Durchführung
eingewiesen haben und ob sie diese auch korrekt
abwickeln, besuchen PISA-Quality-Monitors (PQM) im
Auftrag des internationalen Konsortiums einige Testsitzungen.
Die PQMs kommen am Testtag unangekündigt zur
Schule, beobachten und protokollieren die Testdurchführung
und leiten ihre Aufzeichnungen an das internationale
Konsortium weiter.
In Österreich war beim Haupttest 2012 ein PISA-Quality-
Monitor im Einsatz, der im Auftrag des internationalen
Konsortiums sieben Testsitzungen beobachtete und dokumentierte.
Die Ergebnisse der Schulbesuche wurden vom

58 PISA 2012: Die Studie im Überblick
PQM direkt an das internationale Konsortium übermittelt
und werden im internationalen technischen Bericht der
OECD zu PISA 2012 publiziert.
Qualität der Daten
Die Qualität der Daten hängt von allen Phasen der Studie
ab, von der Entwicklung der theoretischen Rahmenkonzepte
und der Aufgaben, von der Übersetzung und Adaption
der Testinstrumente und deren Zusammenstellung bis hin
zur Testdurchführung und Datenverarbeitung.
Die automatische Verarbeitung der Test- und Fragebogen daten
(konkret das Scannen der Instrumente, die Verifikation
nicht eindeutig interpretierbarer Schülerantworten und deren
manuelle Nachbearbeitung) wurde von speziell geschulten
Personen durchgeführt, von denen einige bereits über
Erfahrung bei der Datenerfassung im Rahmen anderer Studien
am BIFIE verfügten. Vor Beginn jedes Arbeitsschritts
erfolgte eine Einschulung, die die Datenerfasser/innen auf
die neue Aufgabe vorbereitete. Insbesondere bei der Verifikation
wurde sichergestellt, dass die Codevergaben durch
alle Mitarbeiter/innen einheitlich erfolgten. So musste jede
Mitarbeiterin/jeder Mitarbeiter vor Beginn der Verifikation
eine Probeverifikation positiv absolvieren.
Während der Datenverarbeitung stellt die Bewertung der
Schülerantworten auf die offenen Testfragen einen sehr sensiblen
Bereich dar. Die „Coding Guides“, die eine exakte
Beschreibung der Bewertungsrichtlinien enthalten, sind dabei
die wichtigste Basis für die Qualitätssicherung. Diese
müssen den gleichen Übersetzungs- und Verifikationsprozess
durchlaufen wie die Aufgaben selbst. Dadurch wird
sichergestellt, dass in allen Teilnehmerländern die Basis für
die Bewertung der offenen Fragen gleich ist.
Folgende Maßnahmen sichern die Qualität des Coding-
Prozesses:
Stichprobenartige Kontrollen der vergebenen Codes sichern
die korrekte Anwendung der Bewertungsrichtlinien
bereits während des Coding-Prozesses. Wurden bei
diesen Kontrollen Fehler entdeckt, fand für die jeweils
betroffenen Coder/innen eine Nachschulung statt und
die bereits vercodeten Schülerantworten mussten nachbearbeitet
werden.
Mithilfe der Control scripts (standardisierte Schülerantworten,
die vom internationalen Konsortium vorgegeben
und in alle Sprachen übersetzt werden) ist es möglich,
die Übereinstimmung zwischen den Coderinnen/
Codern auch international zu prüfen (Inter-Country-
Rater-Reliability-Study). Zudem werden die national
vergebenen Codes für die standardisierten Schülerantworten
mit den vorab vergebenen Expertencodierungen
des Konsortiums abgeglichen.
Durch diese Maßnahmen wird sichergestellt, dass die Codes
zum einen innerhalb jedes Landes auf vergleichbare Weise
vergeben werden und dass zum anderen zwischen den Ländern
keine systematischen Unterschiede darin bestehen, wie
strikt die Bewertungsvorschriften angewendet werden. Die
Ergebnisse des Multiple Codings und der Inter-Country-
Rater-Reliability-Study waren für Österreich bei PISA 2012
unauffällig. Dies zeugt von der hohen Qualität der Beurteilung
der offenen Fragen durch das BIFIE und den kompetenten
Coderinnen und Codern.
Zur Feststellung ungünstiger (statistischer) Eigenschaften
von Aufgaben auf Länderebene werden zudem vom internationalen
Konsortium psychometrische Analysen durchgeführt.
Sie bilden einerseits die Grundlage für die Auswahl
bzw. Überarbeitung der Aufgaben für den Haupttest, andererseits
werden auch Aufgaben, die im Haupttest Auffälligkeiten
zeigen, aus der Datenbasis ausgenommen. Somit
wird gewährleistet, dass letztlich nur jene Aufgaben in die
Skalierung der Daten einfließen, die in den jeweiligen Teilnehmerländern
einwandfrei funktionieren.
Ebenso sorgt eine umfassende, abschließende „Data Adjudication“
durch die Technical Advisory Group der OECD für
die Sicherung der Qualität der Daten. Dabei wird festgehalten,
inwieweit die vorab definierten „Technical Standards“
von den Teilnehmerländern eingehalten wurden. Für Österreich
gab es für PISA 2012 diesbezüglich keine Vermerke,
was bedeutet, dass die Qualität der österreichischen PISA-
2012-Daten einwandfrei ist. Generell zeugen die Rückmeldungen
des internationalen Konsortiums an das BIFIE von
der hohen Zufriedenheit mit der Durchführung des PISA-
Tests in Österreich – auch aus internationaler Sicht.
Beim Multiple Coding wurden pro Aufgabe des Schwerpunkts
Mathematik 100 Schülerantworten und in jedem
anderen Bereich 50 Antworten mehrfach (von vier
verschiedenen Coderinnen bzw. Codern) codiert. Die
Antworten wurden durch die Codiersoftware zufällig
zugeteilt. Die Vergleiche zwischen den vergebenen Codes
ermöglichen Rückschlüsse auf die Qualität bzw.
Übereinstimmung der Coder/innen bei den Bewertungen
(Interrater-Reliability).

10 Ergebnisse und Produkte von PISA
Ein zentrales Produkt von PISA ist die umfassende
internationale Datenbasis, anhand
derer die Daten über die Schülerleistungen
und die damit verbundenen Kontext informationen
analysiert und international verglichen
werden können. Die Datenbasis
enthält die Leistungswerte in den getesteten
Kompetenzbereichen, die Antworten
der Schüler/innen und Schulleiter/innen
aus den Kontextfragebögen sowie die entsprechenden
Gewichtungsvariablen. Diese
Daten bilden die Grundlage für alle Analysen
und Berichte über die Ergebnisse von
PISA.
Die internationalen Daten werden nach
Publikation der ersten Ergebnisse durch
die OECD öffentlich zugänglich gemacht
und sind für interessierte Personen auf der
ganzen Welt über das Internet kostenlos
verfügbar (http://www.oecd.org/pisa).
Die OECD veröffentlicht hierbei zwei Versionen:
Erstens, eine interaktive Webseite,
auf der man (ohne selbst die umfangreiche
Datenbasis technisch und statistisch handhaben
zu müssen) verschiedenartige Abfragen
durchführen kann. Darüber hinaus
können über eine zweite Web-Anwendung
multidimensionale Analysen angefordert
werden. Zweitens wird die vollständige
Datenmatrix für die zwei großen gängigen
Statistikpakete SPSS und SAS zur Verfügung
gestellt. Die interaktive Webseite ist
dabei auch für Personen gedacht, die keine
großen statistischen Erfahrungen besitzen,
während die gesamte Datenmatrix interessierten
Wissenschafterinnen und Wissenschaftern
für umfassende und detaillierte
Analysen zur Verfügung steht.
Zudem erstellt das internationale Konsortium
eine umfangreiche Dokumentation,
die auch als Unterstützung bei der Datenanalyse
dient: die PISA-Frameworks, die die
Kompetenzbereiche definieren, beschreiben
und organisieren, das PISA Data Analysis
Manual, welches vor allem die Methodik
von Skalierung und Gewichtung
der PISA-Daten beschreibt und konkrete
Anleitungen zur Verwendung der Datenmatrix
gibt, sowie den internationalen
Technischen Bericht, der alle Vorgänge der
Studie von internationaler Seite genau dokumentiert.
Eine detaillierte Dokumentation speziell
der österreichischen Umsetzung der internationalen
Richtlinien von PISA 2012 wird
im nationalen technischen Bericht publiziert
(www.bifie.at/pisa). Dieser liefert Informationen
für ein vertieftes methodisches Verständnis
der Ergebnisse. Die vorliegende
Broschüre ist ebenfalls als – allerdings kurz
gefasste – technische Dokumentation der
Studie zu verstehen. Ihr Schwerpunkt liegt
darauf, alle Informationen übersichtlich
zusammenzufassen, die für die Interpretation
der Ergebnisse in österreichischen
PISA-2012-Publikationen notwendig sind.
Neben der Dokumentation der Abläufe
publiziert die OECD die Ergebnisse von
PISA 2012 in verschiedenen Berichten.
Die Erstveröffentlichung der Ergebnisse
erscheint in sechs Bänden, von denen vier
gemeinsam am 3. Dezember 2013 erstveröffentlicht
werden. Sie beinhalten neben
der Einführung in PISA 2012 eine Betrachtung
der ersten Ergebnisse hinsichtlich
der folgenden Themen:
Band 1: Schülerleistungen bei PISA
2012 – Mathematik, Lesen und Naturwissenschaft
im internationalen Vergleich
Band 2: Chancengerechtigkeit – Einfluss
sozialer Merkmale sowie des Migrationshintergrunds
auf die Schülerleistungen

60 PISA 2012: Die Studie im Überblick
Band 3: Allgemeine individuelle Merkmale der Schüler/
innen und mathematikbezogene Faktoren wie Engagement,
Motivation, Selbstwahrnehmung, Unterricht
Band 4: Schul- und Systemcharakteristiken – Ressourcen,
Richtlinien und Praktiken
Die Veröffentlichung des fünften Bandes, der die Ergebnisse
zum Kompetenzbereich Problemlösen enthalten wird,
ist im Frühjahr 2014 geplant. Band sechs widmet sich dem
Bereich Financial Literacy, an dem Österreich nicht teilgenommen
hat.
Darüber hinaus plant die OECD die Herausgabe von Berichten
mit speziellen inhaltlichen Schwerpunkten sowie
die regelmäßig erscheinenden Kurzinformationen, genannt
„PISA in Focus“.
Auf nationaler Ebene werden parallel zur internationalen
Erstveröffentlichung die ersten PISA-Ergebnisse aus nationaler
Perspektive (Schwantner, Toferer & Schreiner, 2013),
die vorliegende Studienbeschreibung und der nationale
technische Bericht zu PISA 2012 (Schwantner & Schreiner,
2013) veröffentlicht. Zusätzlich zu diesen offiziell im
Auftrag des BMUKK herausgegebenen Publikationen sind
auch auf nationaler Ebene weitere Publikationen mit verschiedenen
inhaltlichen Schwerpunkten geplant.
Interessierte Wissenschafter/innen und Forschergruppen in
Österreich können zudem die Möglichkeit nutzen, die auf
der OECD-Webseite kostenlos zugänglichen PISA-Daten
zur Bearbeitung eigener wissenschaftlicher Fragestellungen
heranzuziehen.
LESEHINWEIS
Die nationalen PISA-2012-Publikationen sowie Beispielaufgaben
zu PISA sind über die Webseite des
BIFIE verfügbar: www.bifie.at/pisa
Alle Produkte der OECD von PISA 2012 sind über
die Webseite der OECD verfügbar:
www.oecd.org/pisa/pisaproducts

Bibliografie
B Bruneforth, M. & Lassnigg, L. (Hrsg.). (2012). Nationaler Bildungsbericht Österreich 2012.
Band 1. Das Schulsystem im Spiegel von Daten und Indikatoren. Graz: Leykam.
H
Herzog-Punzenberger, B. (Hrsg.). (2012). Nationaler Bildungsbericht Österreich 2012. Band
2. Fokussierte Analysen bildungspolitischer Schwerpunktthemen. Graz: Leykam.
N
Neuwirth, E. (2006). PISA 2000: Sample Weight Problems in Austria. OECD Education
Working Papers, No. 5, OECD Publishing. Zugriff am 21. 08. 2013. Verfügbar unter
http://dx.doi.org/10.1787/220456725273
O
OECD (2000). Measuring Student Knowledge and Skills. The PISA 2000 Assessment of
Reading, Mathematical and Scientific Literacy. Paris: OECD.
OECD (2007). PISA 2006. Schulleistungen im internationalen Vergleich. Naturwissenschaftliche
Kompetenzen für die Welt von morgen. Paris: OECD.
OECD (2011). Students On Line: Digital Technologies and Performance. Volume VI. Paris:
OECD.
OECD (2012). Bildung auf einen Blick 2012. OECD-Indikatoren. Paris: OECD.
OECD (2013a). PISA 2012 Assessment and Analytical Framework: Mathematics, Reading,
Science, Problem Solving and Financial Literacy. Paris: OECD Publishing. Verfügbar unter:
http://dx.doi.org/10.1787/9789264190511-en
OECD (2013b). PISA 2012 Results. What Students Know and Can Do: Student Performance
in Mathematics, Reading and Science. Volume I. Paris: OECD Publishing.
OECD (2013c). PISA 2012 Results. Excellence through Equity: Giving Every Student the
Chance to Succeed. Volume II. Paris: OECD Publishing.
OECD (2013d). PISA 2012 Results. Ready to Learn: Student Engagement. Volume III.
Paris: OECD Publishing.
OECD (2013e). PISA 2012 Results. What Makes a School Successful? Resources, Policies
and Practices. Volume IV. Paris: OECD Publishing.
OECD (forthcoming). PISA 2012. Technical Report. Paris: OECD.
P
Pareiss, M. (2013a). Sampling-Design und Stichproben. In U. Schwantner & C. Schreiner
(Hrsg.), PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht.
Zugriff ab 03. 12. 2013. Verfügbar unter www.bifie.at/pisa
Pareiss, M (2013b). Rücklauf, Stichprobenausfälle und Stichprobengrößen bei PISA 2012. In
U. Schwantner & C. Schreiner & (Hrsg.), PISA 2012. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. Zugriff ab 03. 12. 2013. Verfügbar unter: www.bifie.at/pisa

62 PISA 2012: Die Studie im Überblick
R Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengrößen. In C. Reiter, B.
Lang & G. Haider (Hrsg.), PISA 2003: Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. Zugriff am 18.02.2013. Verfügbar unter www.bifie.at/node/267
S
Schwantner, U. & Schreiner, C. (Hrsg.). (2010). PISA 2009. Internationaler Vergleich von
Schülerleistungen. Die Studie im Überblick. Graz: Leykam.
Schwantner, U. & Schreiner, C. (Hrsg.). (2011). PISA 2009. Lesen im elektronischen
Zeitalter. Die Ergebnisse im Überblick. Zugriff am 13. 11. 2013. Verfügbar unter:
www.bifie.at/pisa
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler Vergleich von
Schülerleistungen. Technischer Bericht. Zugriff ab 03. 12. 2013. Verfügbar unter:
www.bifie.at/pisa
Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). PISA 2012. Internationaler
Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft.
Graz: Leykam.

www.bifie.at
Leykam Buchverlag
office@leykamverlag.at
www.leykamverlag.at
ISBN 978-3-7011-7888-9