PISA 2006 Technischer Bericht - Bifie

PISA 2006
INTERNATIONALER VERGLEICH
VON SCHÜLERLEISTUNGEN
Claudia Schreiner,
Günter Haider (Hrsg.)
TECHNISCHER BERICHT
Naturwissenschaft
Mathematik
Lesen
ZVB
Österreichisches Projektzentrum für
Vergleichende Bildungsforschung

Bundesministerium für Unterricht, Kunst und Kultur 1014 Wien Minoritenplatz 5
Das Bundesministerium hat die Errichtung des Projektzentrums für Vergleichende Bildungsforschung an der Universität
Salzburg initiiert und finanziert. Das Projektzentrum ist vom Bundesministerium mit der Durchführung
der OECD-Studie PISA in Österreich beauftragt. Die Kosten der österreichischen Teilnahme an PISA insgesamt
werden vom Bundesministerium getragen.
Projektzentrum für Vergleichende Bildungsforschung
Universität Salzburg Fachbereich Erziehungswissenschaft 5020 Salzburg Akademiestr. 26
Leiter: DDr. Günter Haider
PISA 2006. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. Claudia Schreiner, Günter Haider (Hrsg.). (2007).
Satz: Ursula Schwantner, ZVB
Die Verwendung dieses Werkes in anderen Publikationen ist nur unter Angabe
der Quelle erlaubt.

INHALT
I. PISA – Schulsysteme im internationalen Vergleich ..................................................................................... 6
Günter Haider
1. Die Qualität von Unterricht, Schulen und Schulsystemen ...............................................................................11
2. PISA – Steuerungsinformation für die Bildungspolitik ....................................................................................14
3. Resümee .......................................................................................................................................................16
II. Grundkonzeption, Ziele und Organisation von PISA ............................................................................. 19
Simone Breit
1. Die PISA-Studie und ihre Bedeutung für Österreich .......................................................................................20
2. Die internationale Organisation von PISA .....................................................................................................23
3. Die Organisation innerhalb Österreichs .........................................................................................................26
III. Testinstrumente ..................................................................................................................................... 31
Ursula Schwantner
1. Die Frameworks ...........................................................................................................................................32
2. Testdesign .....................................................................................................................................................41
3. Itementwicklung ...........................................................................................................................................43
4. Übersetzung und Verifikation ........................................................................................................................48
5. Qualitätssicherung im Bereich Testinstrumente ...............................................................................................52
IV. Kontextfragebögen ................................................................................................................................. 55
Ursula Schwantner
1. Konzeption der Kontextfragebögen – das Kontext-Framework ..........................................................................56
2. Entwicklung der internationalen Fragebögen ..................................................................................................60
3. Der internationale Schülerfragebogen im Haupttest 2006 ...............................................................................62
4. Der internationale Schulfragebogen im Haupttest 2006 ..................................................................................63
5. Nationale Optionen ......................................................................................................................................64
6. Qualitätssicherung im Bereich Kontextfragebögen ...........................................................................................68
V. Sampling-Design und Stichproben .......................................................................................................... 71
Simone Breit & Claudia Schreiner
1. Die Zielgruppe von PISA ..............................................................................................................................72
2. Von der allgemeinen Definition zum konkreten Stichprobenplan ......................................................................74
3. Das allgemeine Sampling-Design ...................................................................................................................75
4. Vorgaben bezüglich der zu erzielenden Rücklaufquoten ...................................................................................79
5. Die österreichische Stichprobe im Feldtest 2005 ..............................................................................................80
6. Die österreichische Stichprobe im Haupttest 2006 ...........................................................................................82
7. Qualitätssicherung ........................................................................................................................................88
VI. Testorganisation und Durchführung ..................................................................................................... 89
Simone Breit
1. Chronologischer Überblick über den Ablauf der Testorganisation .....................................................................90
2. Kooperation mit Schulen und Schulbehörden ..................................................................................................90
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK) .......................................................................91
4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente .........................................................................93
5. Aufgaben der Testleiter/innen (TL) ................................................................................................................94
6. Qualitätssicherung bei der Testorganisation und -durchführung .....................................................................102
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen ...................................................................... 107
Simone Breit & Claudia Schreiner
1. Rücklauf im PISA-Feldtest 2005 .................................................................................................................108
2. Rücklauf im PISA-Haupttest 2006 ..............................................................................................................114
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobenziehung ...............................................................131
Inhalt
Seite 3

VIII. Coding .............................................................................................................................................. 133
Simone Breit & Andrea Grafendorfer
1. Was ist „Coding“? .......................................................................................................................................134
2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten .............................................................135
3. Aufbau der Coding-Instrumente ..................................................................................................................137
4. Internationale Umsetzungsrichtlinien ..........................................................................................................141
5. Ablauf des Codings im Haupttest 2006 ........................................................................................................144
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess .........................................................................147
IX. Berufsklassifikation ............................................................................................................................. 151
Ursula Schwantner
1. Berufsklassifikation nach ISCO .....................................................................................................................52
2. Die ISCO-Codierung bei PISA 2006 ..........................................................................................................156
3. Qualitätssicherung bei der ISCO-Codierung ................................................................................................164
X. Dateneingabe ....................................................................................................................................... 167
Martin Pointinger
1. Der zeitliche und organisatorische Ablauf der Dateneingabe ..........................................................................168
2. Software KeyQuest© ...................................................................................................................................169
3. Dateneingabe nach Instrumenten ................................................................................................................169
4. Qualitätssicherung bei der Dateneingabe ......................................................................................................171
5. Data Submission – Übermittlung der Daten an das internationale Zentrum ..................................................174
XI. Web-Based Assessment ......................................................................................................................... 177
Simone Breit & Andrea Grafendorfer
1. Ziele von CBAS ..........................................................................................................................................178
2. Stichprobe ..................................................................................................................................................178
3. Testinstrumente ...........................................................................................................................................183
4. Technische Voraussetzungen .........................................................................................................................183
5. Testorgabnisation und -durchführung ...........................................................................................................186
6. Datenverarbeitung ......................................................................................................................................187
7. Qualitätssicherung und -kontrolle bei CBAS ................................................................................................187
8. Erkenntnisse aus der Machbarkeitsstudie ......................................................................................................188
XII. Qualitätssicherung bei PISA .............................................................................................................. 191
Claudia Schreiner
1. Einleitung ..................................................................................................................................................192
2. Qualitätssicherung in der Vorbereitungsphase ................................................................................................196
3. Qualitätssicherungsmaßnahmen während der Datenerhebung .......................................................................207
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung ...........................................................................213
Seite 4
Inhalt

Einleitung Technischer Bericht PISA 2006
Periodische Bestandsaufnahmen von Ergebnissen, wichtigen Fakten und langfristigen Effekten eines
Bildungssystems dienen als Basis für Steuerungs- und Entwicklungsentscheidungen in der Bildungspolitik.
Ein Schwerpunkt eines solchen Informationssystems liegt auf den Resultaten der schulischen Prozesse – dem
Output. Durch eine regelmäßige Erfassung des Outputs können Entwicklungen verfolgt, Stärken und
Schwächen identifiziert und Fehlentscheidungen rechtzeitig entdeckt werden. Outputmessungen objektivieren
die pädagogischen Leistungen und machen sie für die Öffentlichkeit sichtbarer.
International vergleichende Studien wie OECD/PISA oder PIRLS und TIMSS der IEA, ermöglichen
regelmäßige standardisierte Leistungsmessungen, die dem Aufbau eines Informationsbestands über
Entwicklungstrends im Kompetenzbereich der Schüler/innen dienen. Darüber hinaus werden verlässliche
Qualitätsindikatoren gewonnen, wodurch eine detaillierte Rückmeldung an die Verantwortlichen der
Bildungssysteme erfolgen kann.
Die vorliegende aktuelle Studie PISA 2006 – zu der dieser Technische Bericht verfasst wurde – soll einen
weiteren Baustein bilden, eine Ausweitung unseres Wissens über Schülerleistungen, ihre Evidenz
und ihre Abhängigkeiten. Die Erhebung des „Ist-Zustands der Schülerleistungen“ ist wichtig, damit die
Verantwortlichen im Bildungssystem wissen, wo wir stehen – absolut in der Erreichung unserer Ziele,
relativ gesehen zu unseren Nachbarstaaten, EU- und OECD-Partnern.
Der Technische Bericht des österreichischen PISA-Projektzentrums ist die Dokumentation der bei PISA
angewandten Methoden. Er wendet sich in dieser Detailliertheit in erster Linie an nationale Wissenschafter/in
nen und interessierte Laien, die genau nachvollziehen wollen, wie die Daten und Ergebnisse
der Studie zustande kommen. Bereits der erste Bericht (Haider [2001]. PISA 2000. Technischer Bericht.
Innsbruck:Studienverlag) war eine sehr umfangreiche Beschreibung der Instrumente und Abläufe bei
OECD/PISA. Ebenso der zweite nationale Technische Bericht zu PISA 2003.
Beide Publikationen sowie die vorliegende können als PDF auf www.pisa-austria.at heruntergeladen werden.
Für jene, die an der Methodik, den Zielen und der Organisation von PISA interessiert sind, jedoch weniger
„technische“ Details bevorzugen, ist die Studienbeschreibung PISA 2006 zu empfehlen (Schreiner et
al. [2007]. PISA 2006. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz:
Leykam).
Über die inzwischen existierenden Technischen PISA Dokumentationen des österreichischen
Projektzentrums hinaus, wird Anfang 2008 ein sehr umfangreicher PISA-International Technical Report
der OECD zur Verfügung stehen (Download von der OECD Homepage; www.pisa.oecd.org).
Wenn Sie darüber hinaus technische Fragen haben, die durch das Studium dieser Unterlagen nicht zu
beantworten sind, kontaktieren Sie bitte das Nationale PISA-Projektzentrum.
Ursula Schwantner
Projektzentrum für Vergleichende Bildungsforschung (PISA-PIRLS-TIMSS)
Fachbereich Erziehungswissenschaft
Universität Salzburg
A-5020 Salzburg, Akademiestraße 26
0662/8044-4280
office@zvb-austria.at

I
PISA-SCHULSYSTEME IM
INTERNATIONALEN VERGLEICH
Günter Haider
1. Die Qualität von Unterricht, Schule und Schulsystem
1.1 Qualität, empirisch definiert
1.2 PISA-Daten: aggregiert und kumuliert
2. PISA – Steuerungsinformation für die Bildungspolitik
2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert
2.2 Auf dem Weg zur „Output“-Steuerung
3. Resümee
Dieser Text basiert auf Kapitel 1 in Haider & Schreiner, 2006.

Das Bildungswesen und seine Entwicklung sind Bestandteil gesellschaftlicher und ökonomischer Prozesse
und tief in diese eingebettet. Sie haben erhebliche Auswirkungen auf das Bildungswesen und müssen dort
berücksichtigt bzw. „aufgearbeitet“ werden und die Ergebnisse des Bildungssystems haben wiederum
wesentlichen Einfluss auf Wirtschaft, Politik und Kultur.
Wir befinden uns am Beginn des neuen Millenniums in einer dynamischen Entwicklung von Technologie
und Wissenschaft, in Wirtschafts- und Gesellschaftssystemen. Die Globalisierung, die weltweite
Vernetzung als ein neues komplexes Phänomen, das inzwischen seine ursprünglich rein wirtschaftliche
Interpretation deutlich übersteigt, wirft neue Fragen und Herausforderungen für alle Gesellschaftsbereiche
auf. Auf Grund der hohen Lohnkosten sind entwickelte Länder – wie Österreich bzw. die gesamte
EU – mit ungelernter oder wenig qualifizierter Arbeit im klassischen Produktionsgewerbe auf den globalisierten
Märkten nicht mehr konkurrenzfähig. Der Rückfall in der Wachstumsdynamik Europas, vor
allem im Verhältnis zu den USA, aber auch gegenüber Asien und den neuen Wirtschaftsgroßmächten
China und Indien wirft ernste Zweifel auf, ob das europäische sozioökonomische Modell geeignet ist,
unter den neuen und kommenden Bedingungen zu bestehen.
Betrachtet man aber beispielsweise den Erfolg der nordischen Wohlfahrtsstaaten, so gibt
dies Hoffnung auf Konkurrenzfähigkeit, auf eine aussichtsreiche qualitative und quantitative
Wachstumsstrategie – zeigt aber auch deutlich auf, wo der Veränderungs-, Verbesserungs- und
Reformbedarf hierzulande besteht (vgl. dazu die sorgfältige Analyse von Aiginger, 2006, S. 25f.).
Denn ihr Erfolg beruht auf drei Säulen: dem privaten und öffentlichen Kostenbewusstsein und der
Reform der Institutionen, der Reform des Arbeitsmarktes (mehr Flexibilität für Firmen, mehr Sicherheit,
Qualifikation und Beratung für Arbeitnehmer) und vor allem der Forcierung der Zukunftsinvestitionen
Wissenschaft, Forschung, Technologie, Qualität von Bildung, Ausbildung und Weiterbildung (Aiginger,
2006, S. 40).
Nicht von ungefähr ist es ein nordisches Land (Finnland), das trotz widriger wirtschaftlicher Ausgangslage
in den 80er-Jahren nun alle Innovationsstatistiken des Jahres 2006 anführt. Enorm hohe Abschlussquoten
bei Maturant/innen und Akademiker/innen (fast doppelt so hoch wie in Österreich) und das hervorragende
Abschneiden der Schüler/innen bei allen internationalen Vergleichstests des PISA-Typs zeigen den
Erfolg jener Bemühungen auf dem Bildungssektor, die Ende der 80er-Jahre in Angriff genommen wurden.
Auf dem Weg zur Wissensgesellschaft
Wir können mit großer Sicherheit von einer weiter steigenden Abhängigkeit der individuellen
und unternehmerischen Wettbewerbsfähigkeit und des wirtschaftlichen Gesamterfolgs von einem
Vorsprung an Wissen und Qualifikationen ausgehen. Erfolg (und Arbeitsplätze) versprechen vor allem
Wirtschaftszweige, die mit ihren Mitarbeiter/innen Leistungen erbringen, die an Innovationsvorsprünge
oder technologische Weiterentwicklungen gekoppelt sind. „Ein höheres Pro-Kopf-Einkommen ist längerfristig
... mit höherer Forschung, Ausbildung, Weiterbildung und moderner Infrastruktur [zu erreichen]“
(Aiginger, 2006, S. 32).
Analog dazu wird es für Individuen heute zunehmend schwieriger, ohne qualifizierte Bildung auf
dem Arbeitsmarkt zu bestehen; der Zusammenhang zwischen formaler Bildung und individuellen
Lebenschancen besteht unvermindert weiter und verschärft sich noch (Haider, 2006, S. 61f.).
Die Industriegesellschaft des 20. Jahrhunderts transformiert sich am Beginn des 21. Jahrhunderts über
eine Informations- in eine globalisierte Wissensgesellschaft – allerdings werden beide Strukturen noch längere
Zeit nebeneinander bestehen. „Wissen“ wird dabei zum wichtigsten Produktionsfaktor gegenüber
Arbeit, Kapital und Bodenschätzen. Der gesamte Sektor Bildungssystem, Wissenschaft, Forschung und
Entwicklung sowie die dazugehörende Infrastruktur, Logistik und Qualitätssicherung erhalten eine herausragende
Bedeutung.
„Wissen“ und erfolgreiches lebensbegleitendes Lernen wachsen jedoch auch in der zentralen Bedeutung
in der Biografie der Bürgerinnen und Bürger – die erworbene Bildung bestimmt über die sozial, ökono-
Seite 8
I. PISA – Schulsysteme im internaionalen Vergleich

misch und demokratisch befriedigende Teilhabe jedes Bürgers und jeder Bürgerin am gesellschaftlichen
Leben.
Bildung ist die wichtigste Ressource, die wir als Österreicher, auch als Europäer, im Wettbewerb vorteilhaft
einsetzen können. Der Erfolg in diesen Bereichen wird entscheiden, ob die bisher geschaffenen Werte
erhalten, das Land weiterentwickelt und die hohe Lebensqualität zumindest bewahrt, vielleicht noch
gesteigert werden kann.
Wettbewerb im Bildungsbereich
Die Bedeutung von Bildungserfolgen nimmt daher weiter zu: Die Qualität des Wissens (der erworbenen
Kompetenzen) und die Höhe der Bildungsabschlüsse sind dabei ausschlaggebende Faktoren. Die
Schulsysteme in den entwickelten Ländern befinden sich somit in einer zunehmend schärfer werdenden
Wettbewerbssituation, genauso wie die Universitäten, die Forschungs- und die Erwachsenenbildungsein
richtungen.
Mit der Lissabon-Strategie der EU (2000), die die Entwicklung zum „wettbewerbsfähigsten und dynamischsten
wissensbasierten Wirtschaftsraum bis 2010“ 1 sichern sollte, hat diese Überzeugung eine gewisse
Verbreitung gefunden. Die Lissabon-Ziele und die Lissabon-Strategie der EU stellen einen globalen
Führungsanspruch Europas bis 2010 im Bereich der „Wissensgesellschaft“ – im schulischen Bereich z. B.
durch verlässliche Absicherung hoher Grundkompetenzen beim Lesen, und durch die gezielte Förderung
des lebenslangen Lernens. Folgerichtig gehören Bildungsstand- und Leistungsdaten auch zu den zentralen
Indikatoren, die die EU-Kommission zur Beurteilung des Fortschritts heranzieht. 2
Damit ist knapp umrissen, was mit der Entwicklung hin zur globalen „Wissensgesellschaft“
gemeint ist: Diese ist wesentlich darauf angewiesen, höchstmögliche Qualität im
Bildungssystem, für Aus- und Weiterbildung bereitzustellen, um gleichermaßen wirtschaftlich
wettbewerbsfähig zu bleiben und den Bürger/innen optimale Lebenschancen zu eröffnen. Das verlangt
nach einer „pro-aktiven Wachstumspolitik“ (Aiginger), einer Forcierung der zukunftsträchtigen
Faktoren.
Unter diesem Gesichtspunkt gesehen ist das Bildungssystem permanent reformbedürftig: Die
Verantwortlichen sind herausgefordert, ständig zu prüfen, ob die Kenntnisse, Kompetenzen und
Qualifikationen, die wir vermitteln (wollen), noch den Anforderungen der Zeit entsprechen, ob wir
tatsächlich alle Heranwachsenden mit unserem schulischen Angebot erreichen und welche nachhaltigen
Ergebnisse wir damit tatsächlich erzielen (Haider et al., 2003, S. 11).
Die operative Aufgabe besteht dann darin, durch wirksame Steuerungsentscheidungen im
Bildungsmanagement möglichst optimale Gesamtqualität herzustellen:
• Strategie 1: die notwendigen Verbesserungen hinsichtlich der entdeckten Schwächen oder Defizite
umzusetzen (Kompensation) und/oder
• Strategie 2: eine allgemeine Qualitätssteigerung herbeizuführen, bei der man sich einerseits an Benchmarks,
also an den Methoden der Besten, orientiert und andererseits neue Erkenntnisse der Grundlagenwissenschaften
(Psychologie, Unterrichtsforschung) anwendet. Denn die Entwicklung der letzten
Jahre eröffnet auch eine Reihe neuer Chancen, z. B. durch neue technologische Möglichkeiten.
Beide Strategien streben eine Erhöhung der Gesamtqualität des Systems an, wobei es eine empirisch
entscheidbare Frage ist, bei welcher Strategie das Verhältnis von Innovationskosten
zur erzielten Gesamtleistung am günstigsten ist (Terhart, 2002, S. 59). Jedenfalls ist ein
Höchstmaß an Qualität mit einem ebenso hohen Maß an Effizienz zu verbinden (Haider et al.,
2003, S. 11f.).
Bildungsforschung und PISA
Um die gewünschte optimale Qualität im Bildungssystem entwickeln zu können, ist die Bildungsforschung
in drei Bereichen gefordert:
I. PISA – Schulsysteme im internationalen Vergleich
Seite 9

1. in der Grundlagenforschung (Terhart [2002] bezeichnet sie in diesem Zusammenhang als
„Problemerschließende Forschung“, S. 136), klassische Beispiele sind theoriegeleitete Unterrichtsund
Lernforschung;
2. im Rahmen der Praxisforschung (Praxisentwicklung, Handlungsforschung) zur vorläufigen Erprobung
und Evaluation neuer Entwicklungen bzw. Modelle, und
3. in der „externen“ Systembeobachtung, einer möglichst objektiven und kritischen Überprüfung der
Prozesse und Wirkungen in den Bildungsinstitutionen – „extern“ deswegen, weil sie sich vom „internen“
Berichtswesen unterscheidet (die Teil des Systems ist) und von selbstständigen bzw. möglichst
unabhängigen Wissenschaftern betrieben werden sollte.
Internationale Leistungsvergleiche wie PISA fallen zum größten Teil in diesen dritten Bereich, die
Systembeobachtung. Analog zu allen großen Organisationen in Gesellschaft und Wirtschaft benötigt
auch das Bildungssystem Managementinformationen als Entscheidungsgrundlage. Im
Zentrum steht – analog dem jährlichen Geschäftsbericht einer Wirtschaftsorganisation – ein periodischer
nationaler Bildungsbericht, der alle wesentlichen nationalen Qualitätsinformationen enthält.
Ein solcher Bildungsbericht wird in vielen Staaten (USA, Kanada, Frankreich, England u. a. m.) seit Jahren
vorgelegt, seit 2006 auch in Deutschland („Bildung in Deutschland“ Konsortium Bildungsberichterstattun
g, 2006). „Er soll in regelmäßigen Abständen einer möglichst breiten Öffentlichkeit darüber Auskunft geben,
ob es dem Bildungswesen als einem komplexen Institutionengefüge gelingt, die an es gestellten gesellschaftlichen
Anforderungen zu erfüllen. Darüber hinaus soll ein solcher Bericht zumindest erste Informationen
dafür liefern, wo für die Bildungspolitik Veränderungsbedarf und Gestaltungsmöglichkeiten zu lokalisieren
sind“ (Rürup, 2003, S. 1). In Österreich befindet sich ein Bildungsbericht derzeit noch im Planungsstadium 3 .
Die PISA-Studie liefert zu einem solchen nationalen Bildungsbericht im 3-Jahres-Rhythmus sowohl
Informationen zum IST-Zustand im Bereich Schülerleistungen als auch die interessante Möglichkeit des
Benchmarkings (Vergleich mit den Besten). PISA zeigt die kombinierte Wirkung der Bildungseinrichtungen
und Sozialsysteme am erreichten Leistungsstand der 15-/16-Jährigen, gibt Hinweise auf den relativen Stand
des Bildungserfolgs im Vergleich mit anderen Schulsystemen und liefert wichtige Steuerungsinformationen
und Entscheidungsgrundlagen für operative Maßnahmen zur Qualitätsverbesserung.
Ohne solche sorgfältig gewonnenen empirischen Informationen könnten bildungspolitische
Entscheidungen rasch in die Gefahr des „Blindflugs“ geraten – ohne Studien wie PISA verhindern „blinde
Flecken“ die freie Sicht auf den tatsächlichen Zustand und ohne brauchbare Informationen kann auch
keine gezielte Weiterentwicklung stattfinden.
Exkurs: Stand der „systembeobachtenden“ Bildungsforschung
Die Makroebene von Schule, d. h. die unterschiedlichen Systemstrukturen und die jeweiligen
Entwicklungen auf nationaler Ebene, geriet erst nach dem Zweiten Weltkrieg stärker in das Blickfeld
wissenschaftlicher Forschung. Ausschlaggebend waren dafür politisch definierte Anforderungen (z. B. die
systematische Verbesserung der Schulsysteme, etwa in den USA nach dem Sputnik-Schock 1957), wissenschaftliche
Entwicklungen (wie das Entstehen der Evaluationsforschung) sowie verbesserte praktische
und methodische Rahmenbedingungen, z. B. die modernen Reise- und Kommunikationsmöglichkeiten
und die zunehmende internationale Verflechtung und Kooperation (UNO, UNESCO, OECD, EU etc.)
sowie später die Möglichkeit der elektronischen Verarbeitung großer Datenmengen.
Aus zwei wissenschaftlichen Entwicklungssträngen hat sich in den letzten Jahrzehnten ein selbstständiger
und rasch wachsender Zweig der Erziehungswissenschaft herausgebildet, der auf die Systembeobachtung
spezialisiert ist:
• Die ältere Vergleichende Erziehungswissenschaft (comparative education), die in der Beschreibung der
verschiedenen Schulsysteme, ihrer Strukturen und deren (historischer) Entwicklung ihren Schwerpunkt
hat, und diese mit politischen, soziologischen oder wirtschaftlichen Faktoren in Zusammenhang
Seite 10
I. PISA – Schulsysteme im internaionalen Vergleich

ingt bzw. zu erklären versucht. Im Vordergrund standen ursprünglich hermeneutische Verfahren
und keine eigenen empirischen Erhebungen.
Ein hervorragendes (Basis-)Produkt, das die Weiterentwicklung in diesem Bereich zeigt, bietet
EURYBASE, Teil des Eurydice-Informationsnetzes über Bildung in Europa (www.eurydice.org). Es
enthält die mit Abstand größte Datenbank zu Merkmalen der Bildungssysteme Europas.
• Strikt empirisch-quantitativ ausgerichtet sind dagegen neuere erziehungswissenschaftliche
Evaluationsstudien der Vergleichenden Bildungsforschung (large scale assessments). Im Zentrum stehen
Surveys und Tests, die Input-, Prozess- und vor allem Outputvariablen erfassen und mit Kriterien
(Standards) in Verbindung bringen, um Hinweise auf die Qualität zu erhalten:
Studien der nationalen Evaluation von Schulqualität (educational evaluation, USA ab 1965 durch
NAEP – National Assessment of Educational Progress) d. h. dem Vergleich von Ziel und Ergebnis
auf nationaler bzw. regionaler Ebene zur Verbesserung der Qualität (typische Produkte: nationale
Standard-Überprüfungen und nationale Bildungsberichte), Studien des internationalen (überregionalen)
Vergleichs wichtiger Systemvariablen – wie z. B. die Weiterentwicklung der OECD-
Bildungsindikatoren. Jedes Jahr veröffentlicht die OECD die beiden Bände „Bildung auf einen Blick“
(Education at a Glance) und „Bildungspolitische Analyse“ (Education Policy Analysis, zuletzt 2005)
mit einem umfassenden Vergleich von Qualitätsindikatoren. In diese Kategorie fallen auch alle internationalen
Schülerleistungsvergleiche der IEA und OECD wie PISA, PIRLS, TIMSS u. a. 4
Der gesamte wissenschaftliche und administrative Prozess dieser regelmäßigen Untersuchungen wird
häufig als (Schul-)System-Monitoring bezeichnet – es objektiviert die pädagogischen Leistungen und
macht sie für die Öffentlichkeit sichtbarer. Viele Regierungen bzw. Schulbehörden weltweit lassen daher
die Leistungen ihrer Schülerinnen und Schüler und andere wichtige Qualitätsindikatoren regelmäßig
von der Vergleichenden Bildungsforschung untersuchen – auch um Rechenschaft abzulegen und
Fortschritte zu dokumentieren. Nützlich ist auch die Analyse der gewonnenen Ergebnisse im Hinblick
auf die Identifikation erfolgreicher Merkmale von Unterricht, Schule und Schulsystem (Ursachen- bzw.
Wirkungsforschung). Das führt zu Hypothesen, die dann meist von der Schulqualitätsforschung im engeren
Sinne weiterbearbeitet werden, der „problemerschließenden Forschung“.
1. Die Qualität von Unterricht, Schule und Schulsystem
„Die eindeutigen Vorteile, die dem Einzelnen, der Volkswirtschaft und der Gesellschaft aus einer Anhebung
des Bildungsniveaus erwachsen, sind der Beweggrund für das Bestreben der Regierungen, die Qualität
der Bildungsdienstleistungen zu verbessern. Der Wohlstand der OECD-Länder leitet sich heute großteils
von ihrem Humankapital und den Möglichkeiten ihrer Staatsbürger ab, Wissen und Qualifikationen zu
erwerben, die ihnen das nötige Rüstzeug für einen Prozess des lebenslangen Lernens an die Hand geben“
(OECD, 2002, S. 3).
Bei der Bewältigung der Herausforderungen der globalisierten Wissensgesellschaft richtet sich der Fokus
auf vermehrte Anstrengungen im Bereich des Schulsystems, auf eine Optimierung des großteils staatlichen
Bildungsangebots in Umfang, Struktur und Inhalt vom Kindergarten bis zur Matura, von den 4-Jährigen bis zu
den 18-Jährigen. Im Mittelpunkt steht dabei die Steigerung der „Qualität der Schule“, der Beitrag der Schule
(inklusive der Frühförderung) für die Entwicklung und Sicherung der allgemeinen Grundkompetenzen,
zum Einstieg in das lebensbegleitende Lernen und in die berufliche Bildung. Ziel ist die möglichst optimale
Ausschöpfung des Potenzials an Begabungen, von wo aus das Land in allen Bereichen weiterentwickelt
und die hohe Lebensqualität gesichert und weiter verbessert werden soll.
1.1 Qualität, empirisch definiert
Die Frage der Qualität wird hier versucht empirisch zu bestimmen: Erfasst werden sollen die tatsächlichen
Wirkungen bzw. Erfolge von Bildungseinrichtungen – und diese erfassten Wirkungen werden auf zwei
Arten in Beziehung gebracht:
I. PISA – Schulsysteme im internationalen Vergleich
Seite 11

• in absolute Beziehung zu den (normativ gesetzten) Zielen bzw. zum Auftrag dieser Einrichtungen –
Qualität als empirisch feststellbares Ausmaß der Zielerreichung, und
• in relative Beziehung zu den Erfolgen vergleichbarer Einheiten (Systeme) – Qualität im Vergleich zu
den Benchmarks im Feld.
„Empirische Bestimmungsversuche erfassen die angestrebten Ziele, die eingesetzten Ressourcen, die verwendeten
Programme und die eingetretenen Wirkungen und versuchen dann, auf der Basis des Vergleichs
von Absicht, Ressourcenverbrauch und Wirkung das Verhältnis von Aufwand und Ertrag zu bestimmen.
Es handelt sich also um eine Wirkungskontrolle mit dem Ziel, wirkungsstarke von wirkungsarmen
Einrichtungen und Prozessen zu unterscheiden, wobei die jeweils unterschiedliche Ausgangslage sowie
auch der jeweils unterschiedliche Aufwand mit berücksichtigt werden“ (Terhart, 2002, S. 55f).
Wichtig ist hier anzumerken, dass für Schulsysteme andere Qualitätskriterien anzulegen sind als für einzelne
Schulen – und wieder andere Kriterien gelten für guten Unterricht (in der Klasse). Diese Unterscheidung
ist bei einer Diskussion von Qualitätsfragen, bei der Zuschreibung von Verantwortung und bei der
Erörterung von möglichen Steuerungsentscheidungen sinnvoll.
Einige Beispiele für Qualitätskriterien auf den drei Ebenen eines Schulsystems:
Unterrichtsqualität (die Qualität von Lehre in der Klasse)
„Guter Unterricht“ bedeutet unter anderem, dass relevante, bedeutsame Themen behandelt werden,
Unterricht sich konsequent am Schüler/an der Schülerin orientiert (Individualisierung) und in einem
positiven sozialen Klima und einer konstruktiven, belastungsarmen Atmosphäre stattfindet, Inhalte überzeugend
und verständlich dargestellt und erarbeitet werden, Unterrichten ergebnisorientiert ist, d. h.
Erfolg und Misserfolg an den langfristigen Lernergebnissen gemessen wird (Nachhaltigkeit) und dass
man Schüler/innen zu selbstständigen, aktiven Wissenskonstrukteuren macht (Haider et al., 2003, S.
38).
Die professionelle Verantwortung für die Qualität von Unterricht trägt zuallererst der jeweilige Lehrer, die
jeweilige Lehrerin – allerdings ist diese Qualität auch von Rahmenbedingungen an der jeweiligen Schule
abhängig, von der Qualität der Lehrer/innen-Bildung und (in geringerem Maße) von allgemeinen, systemischen
Randbedingungen und Ressourcen.
Schulqualität (die Qualität in einer bestimmten Schule)
Darüber sagen Eder et al. (2002): „ ‚Gute‘ Schulen sind – abgesehen davon, dass sie gute Lehrer/innen haben
– charakterisiert durch eine ausgeprägte Schulkultur, ein positives Klima, ein reichhaltiges Schulleben
mit vielfältigen Anreizen zur Partizipation sowie durch aktive Beziehungen zum lokalen Umfeld. ... Gute
Schulen sind wirksame Schulen. Sie sind gekennzeichnet durch aktive Beteiligung aller Betroffenen am
Unterricht und am Schulleben, durch eine positive Befindlichkeit von Schülern, Eltern und Lehrern, sie
fördern den Erwerb von Leistungshaltungen und Leistungen und regen die Persönlichkeitsentwicklung
an“ (S. 24).
Solche Schulqualität entsteht im Zusammenwirken aller Schulpartner (Schüler/innen – Lehrer/innen –
Eltern), die größte Verantwortung tragen und den größten Einfluss dabei haben jedoch die Lehrer/innen
und die Führungskräfte (Schulleiter/innen).
(Schul-)Systemqualität
Bestimmte Qualitätskriterien für ein Schulsystem lassen sich sowohl aus individuellen Rechten der Bürger/innen
als auch aus allgemeinen Verpflichtungen der Gesellschaft ableiten:
1) Zu den wesentlichen individuellen Rechten gehören
• aus gesetzlichen Vereinbarungen wie der UN-Menschenrechtskonvention (speziell dem Sozialpakt;
Motakef, 2006), der Europäischen Menschenrechtskonvention (EMRK), der österreichischen
Seite 12
I. PISA – Schulsysteme im internaionalen Vergleich

Verfassung (z. B. Art. 14 Abs. 5a 5 ) oder dem SCHOG (Schulorganisationsgesetz, z. B. §2 6 ) abgeleitete
Rechte, wie die allgemeine Verfügbarkeit von Bildung; die freie (vor allem diskriminierungsfreie)
Zugänglichkeit ohne Ansehen der Hautfarbe, Sprache, Religion, der ethnischen oder sozialen
Herkunft; die obligatorische und unentgeltliche Grundbildung für alle; die Annehmbarkeit
der Inhalte, die relevant, kulturell angemessen und hochwertig sein sollen; die Adaptierbarkeit und
Flexibilität hinsichtlich der sich verändernden Gesellschaften und Bedürfnisse der Schüler/innen; die
Sicherung und Weiterentwicklung bestmöglicher Qualität für ein höchstmögliches Bildungsniveau
u. a. m.;
• spezielle Postulate der kulturellen und politischen Teilhabe und sozialen Identität, der individuellen
Chance auf Berufsfähigkeit und das Recht auf eine selbstständige, auf eigener Anstrengung und
Qualifikation basierenden Lebensplanung (Fend, 2006, S. 53f.).
2) Zu den gesellschaftlichen Verpflichtungen rechnet Fend (2006, S. 49f.) die Aufgabe des Staates zur
Enkulturation der Schüler/innen (Beherrschung von Sprache und Schrift, Internalisierung grundlegender
Wertorientierungen), zu ihrer Qualifikation (Erwerb grundlegender und berufsbildender Kompetenzen
zur Ausübung „konkreter“ Arbeit), zur Allokation (Zuordnung von bestimmten Personen mit bestimmten
Qualifikationen zu weiteren Aufgaben mit bestimmten Anforderungen – i. A. zur weiteren Bildungsund
Berufslaufbahn) und zur Förderung der sozialen Integration und politischen Teilhabe.
Eder et al. (2002; Weißbuch zur Qualitätsentwicklung und Qualitätssicherung, erstellt im Auftrag des
BMBWK) kommen zu ähnlichen, weiteren und detaillierteren Kriterien: „Auf der Ebene des
Gesamtsystems bedeutet Qualität die Gewährleistung gesellschaftlicher Ansprüche an das
Bildungswesen, die Bereitstellung ausreichender Ressourcen für die einzelnen Teilsysteme sowie
die Vorsorge für die Weiterentwicklung des Systems im Hinblick auf den sozialen
Wandel“ (S. 25).
Obwohl jede Ebene ihre eigenen Qualitätskriterien hat, sind alle drei – die Mikro-Ebene des Unterrichts,
die Meso-Ebene der Schule am Standort und die Makro-Ebene des Gesamtsystems – miteinander erheblich
verzahnt. Zur Erreichung bestimmter aggregierter Systemziele (z. B. möglichst viel problemlöseorientiertes,
nachhaltiges Wissen bei den Schüler/innen) tragen Maßnahmen auf allen Ebenen wesentlich
bei. Für die strategische Analyse und die Planung und Umsetzung von Qualitätsverbesserungen ist der
systemische Zusammenhang enorm wichtig, also die Interdependenz der meisten Variablen auf derselben
Ebene und das Verhältnis der verschiedenen Ebenen zueinander. Politische Zielsetzungen oder administrative
Maßnahmen, die dieses komplexe Gefüge mit ihren Zusammenhängen und Wechselwirkungen
zuwenig beachten, stehen in großer Gefahr zu scheitern.
1.2 PISA-Daten: aggregiert und kumuliert
Die Informationen, die Bildungsforschungsstudien wie PISA in Form von Qualitätsindikatoren liefern,
sind (mehr oder weniger)
• „aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen drei Ebenen hinweg summiert (Beispiel: Die
erreichten Punkte der österreichischen Schüler/innen in PISA-Lesen spiegeln den Ertrag der Arbeit
bzw. deren Qualität auf allen drei Ebenen, Unterricht – Schule – Systemorganisation, wider),
• und „kumuliert“, d. h. sie sind die Summe der Einwirkungen aller Elemente im Feld (von der Selbstorganisation
des Schülers/der Schülerin über die Unterstützung der Eltern, die Kompetenz des
Lehrers, das soziale Klima in der Klasse und den Einfluss von Mitschüler/innen bis zur Wirkung von
Medien).
Damit sind evaluative Studien vom PISA-Typ zwar prinzipiell zum Monitoring gut geeignet, also um den
Zustand von Qualitätsmerkmalen wie die erworbenen Kompetenzen relativ präzise zu beschreiben. Sie
sind jedoch weniger gut geeignet, die vielfältig aggregierten und kumulierten Wirkungen kausal „aufzuspalten“
und die entscheidenden Faktoren für Erfolg und Misserfolg zu identifizieren bzw. ihren Einfluss
größenmäßig zu bestimmen.
I. PISA – Schulsysteme im internationalen Vergleich
Seite 13

Es ist also möglich, die offensichtliche Wirkungsstärke des finnischen oder kanadischen Schulsystems mit
PISA festzustellen (im Vergleich zu den anderen), es ist jedoch ungleich schwieriger, jene Merkmale auf
den unterschiedlichen Ebenen zu identifizieren, die maßgeblich zu diesem Erfolg beitragen.
So wird die Kernaufgabe von PISA – das Benchmarking der Leistungen – stets begleitet vom zweckmäßigen
Versuch, mit moderner Analytik wie Pfadanalysen, Strukturgleichungsmodellen oder
Mehrebenenanalysen bestimmte Zusammenhänge zwischen Leistungen und Merkmalen auf verschiedenen
Ebenen zu entdecken. Zusammenhänge, die zum Verständnis der Wirkungen beitragen
können (etwa die Korrelation zwischen sozioökonomischem Status der Eltern und dem
Leseverständnis der Schüler/innen) oder zumindest zu neuen Hypothesen mit der Chance auf mögliche
neue Einsichten führen. Für solche Analysen werden in PISA umfangreich Schüler/innen und
Schulleiter/innen über bestimmte pädagogisch relevante Hintergrundvariablen befragt, demografische
Daten gesammelt und Systeminformationen aus anderen Erhebungen (z. B. der OECD-Indikatoren)
beigefügt.
2. PISA – Steuerungsinformation für die Bildungspolitik
Ergebnisse und Analysen aus Systembeobachtungsstudien des PISA-Typs richten sich an die
Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“).
An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsentwicklungsmaßnahmen
im System in Gang zu setzen bzw. zu veranlassen, um eine bessere Bewältigung
der übertragenen Sozialisationsaufgabe zu gewährleisten. Richtet sich ein Bildungsmanagement bei seinen
bildungspolitischen und administrativen Maßnahmen auf diese Weise stärker an den beobachteten
Ergebnissen (Output) aus, so spricht man von „Output-orientierter“ Steuerung.
2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert
Schule ist ein soziales Feld, dessen Funktion in der „gesellschaftlich kontrollierten und veranstalteten
Sozialisation“ liegt (Fend, 1981, S. 2). Schulsysteme sind formal strukturierte, komplexe Organisationen
zur Bewältigung dieser Sozialisationsaufgabe, ihr Hauptziel ist die „Veranstaltung von absichtlichen und
kontrollierten erzieherischen Kommunikationsprozessen“ (Szaday, Büeler & Favre, 1996, S. 89).
Jedes Schulsystem verfügt dazu über eine bestimmte „Raumstruktur“. Diese besteht aus hierarchisch
angeordneten Elementen unterschiedlicher Komplexitätsgrade (z. B. Personal, Schulen, Lehrpläne,
Schulbehörden, Infrastruktur) sowie ihren Beziehungsmustern untereinander zu einem bestimmten
Beobachtungszeitpunkt. Außerdem existiert eine bestimmte Prozessstruktur – die Elemente und ihre
Beziehungen sowie die Abläufe entwickeln und verändern sich mit der Zeit. Ein solch kompliziertes
Super-System, dessen wichtigste Elemente ja selbst wieder teils komplexe Systeme sind (z. B. Schulen,
Lehrerausbildung – siehe Abbildung 1.1), erfolgreich in eine gewünschte Richtung zu steuern bzw. zu
„kontrollieren“ (wie Fend, 1981, und Szaday, Büeler & Favre, 1996, es bezeichnen) ist keine einfache
Aufgabe.
Die bisher in Mitteleuropa vorherrschende Methode könnte man als „A-priori-Steuerung“ (Von Saldern,
1997, S. 58) bezeichnen: Der Staat bzw. die Politiker/innen definieren durch Gesetze praktisch die
gesamte Raumstruktur, d. h. legen die Organisation (z. B. Schularten), die Systemelemente und ihre
Eigenschaften bzw. die Handlungsspielräume fest und versuchen, durch systematische Beeinflussung dieser
Rahmenbedingungen/Ressourcen auch die gewünschten Prozesse anzustoßen, auf dass sie zu den
angezielten Ergebnissen führen mögen (eine Art von „system-engineering“-Ansatz).
Diese Art der Steuerung beruht implizit auf der Annahme, die Bildungspolitik kenne den IST-Stand
der Bildungsergebnisse, verfüge über die Kenntnis der Zusammenhänge und Wechselwirkungen aller
wesentlichen Systemelemente und könnte die „systemische“ Wirkung der Maßnahmen auf allen Ebenen
einigermaßen präzise vorhersagen und auch herstellen.
Seite 14
I. PISA – Schulsysteme im internaionalen Vergleich

NATIONALRAT – LANDTAGE
BILDUNGSPOLITIK
Gesetze zu Organisation, Rahmenbedingungen
& Ressorucen
SCHULBEHÖRDEN
Ministerium, Landes- & Bezirksbehörden
BILDUNGS-
ADMINISTRATION
AUS- UND FORT-
BILDUNGSINSTITUTE
Lehrer- und Erzieherbildung
UNIVERSITÄTEN
BILDUNGS-
FORSCHUNG
Grundlagenforschung – Systembeobachtung
Praxisentwicklung
Schulen
Lehrer/innen
Schüler/innen
Eltern
BILDUNGS-
PRAXIS
Unterricht
Abbildung 1.1: Ein einfaches Modell der wichtigsten Elemente unseres
Schulsystems (nach Ideen von Terhart, 2003)
Das Vorliegen der Annahmen darf in etlichen Fällen durchgeführter Maßnahmen ernsthaft bezweifelt
werden, insbesondere wenn etwa die Bildungspolitik verabsäumt, sich entsprechende Informationen
über eine entsprechend dotierte Bildungsforschung zu „besorgen“ bzw. wenn aus Mangel an „problemerschließender“
Forschung kein adäquates systemisches Modell vorhanden und kein zusammenhängender
strategischer Plan möglich ist. Dann folgen manche Bildungspolitiker stark vereinfachten kausalen
Attributionen oder die Maßnahmen werden gleich „aus dem Bauch heraus“ begründet – wenn
sie nicht ohnehin einflussreichen Lobby-Interessen folgen, mit den entsprechend langfristig negativen
Konsequenzen für die Systemwirkung.
Wie in vielen anderen (mittel-)europäischen Schulsystemen sind auch im österreichischen die bestimmenden
Elemente als Teil der zentralen staatlichen Bürokratie organisiert (im angloamerikanischen
Raum ist das z. B. aus historischen Gründen anders). Wir Österreicher verdanken diese Form
der Schule, die zentrale Gesetzgebung und die sehr komplexen Verschachtelungen der Durchführung
und Verantwortung ganz wesentlich der Tradition in der Habsburgermonarchie. Über Bundes- und
Landesgesetze, Verordnungen der Schulbehörden auf Bundes-, Landes- und Bezirksebene und allgemein
verbindliche Verwaltungsvorschriften des Staates werden das gesamte System und seine Relationen bis
heute „a priori“ und sehr detailliert festgelegt.
Das Gegenteil von strikter „A-priori-Steuerung“ wäre aus der Sicht der Bildungspolitik weitgehende
Autonomie der regionalen und peripheren Einheiten (d. h. der Schulen und der regionalen
Bildungsverwaltung) mit einer Verpflichtung zur Outputkontrolle und entsprechender Rechenschaftslegung.
In einem solchen System hoher Schulautonomie („Subsidiarität“ – wie es in manchen angloamerikanischen
oder skandinavischen Ländern der Fall ist) kümmert sich die Bildungspolitik nur mehr um die
Kernaufgaben (gerechte Ressourcenverteilung, Bildungsorganisation, Lehrerbildung, Qualitätskontrolle/
-entwicklung, Unterstützungssystem und Bildungsforschung), der überwiegende Teil der pädagogischen
Entscheidungen wird subsidiär, „vor Ort“, in der Region bzw. an den autonomen Schulen getroffen.
„Output-“ bzw. „Ergebnis-Orientierung“ ist dann ein zentrales Element in einem solchen System –
denn die Qualität der Ergebnisse (auf Schulebene und aggregiert auf Systemebene), insbesondere der
Schülerleistungen, bestimmen sehr stark mit, in welche Richtung sich Entwicklungen, Qualitätsverbesserungsprozesse
bzw.
Ressourcen in und zwischen
den Einheiten verlagern. Für
die brauchbare und handlungsrelevante
Erfassung
dieses Outputs sind allerdings
Schulrecherchen
bzw. Selbstevaluation an
den Schulen sowie die
regelmäßige überregionale
Überprüfung von
Bildungsstandards samt
Rückmeldung an die
Schulen notwendig.
Die PISA-Studie gibt
Auskunft über die aggregierte
und kumulierte
Gesamtleistung des Systems
und ist ein wichtiges Element
einer output-orientierten
Systemsteuerung. Auf
Grund des Studiendesigns
I. PISA – Schulsysteme im internationalen Vergleich
Seite 15

kann PISA allerdings nicht zur Beurteilung der detaillierten Leistung einzelner Schulen oder Schüler/innen
eines Landes herangezogen werden, regionale oder bundesländerbezogene Auswertungen sind wegen
der Größe der Teilstichproben nicht möglich.
2.2 Auf dem Weg zur „Output“-Steuerung
Lange Zeit glaubte man in Österreich, auf umfassende und systematische Evaluationen der Ergebnisse des
Bildungswesens (den „Output“) verzichten zu können. Die Bildungspolitik legte durchwegs – im falschen
Bewusstsein, alles über „System-Engineering per Erlass“ regeln zu können – keinen großen Wert auf die
Kontrollpflicht bezüglich der tatsächlichen Ergebnisse.
Ich denke, die Erfahrungen und Entwicklungen der letzten 10 Jahre mit TIMSS und PISA zeigen inzwischen
deutlich, dass – neben der Forcierung der Qualitätsentwicklung in den Schulen selbst – eine regelmäßige
externe Qualitätsevaluation des gesamten Systems unbedingt notwendig ist. Der Entscheidung
über den Erfolg des Systems, der Bestimmung seiner Stärken und Schwächen und der Entscheidung über
die notwendigen Maßnahmen sollten umfangreiche, periodisch erhobene Daten über die tatsächlichen
Bildungserfolge der Schüler/innen zu Grunde gelegt werden.
PISA erfüllt hier (gemeinsam mit PIRLS und TIMSS) die wichtige Funktion der internationalen Anbindung
österreichischer Qualitätsindikatoren und des Benchmarkings. Genauso wichtig wird jedoch künftig
die umfassende Prüfung von Bildungsstandards an den Schnittstellen des Systems – Bildungsstandards,
die an den nationalen Zielen und an gültigen Kompetenzmodellen ausgerichtet sind. Gemeinsam
mit den jährlichen schulstatistischen Daten sollen die Ergebnisse von PISA & Co. und die Resultate
der Bildungsstandard-Tests in einen Nationalen Bildungsbericht einfließen und die Leistungen und
Entwicklungen im Schulsystem verlässlich abbilden – als Basis für bildungspolitische Entscheidungen.
Ansonsten besteht die Gefahr, dass die Wünsche und Absichten der jeweils Verantwortlichen bereits automatisch
für Realität gehalten werden.
3. Resümee
Um wirtschaftlich wettbewerbsfähig zu bleiben und den Bürgern und Bürgerinnen optimale Lebenschancen
zu eröffnen, ist es in einem modernen Staat notwendig, höchstmögliche Qualität im Bildungssystem,
für Grund-, Aus- und Weiterbildung, bereitzustellen.
Bildungspolitik und Schulbehörden als Verantwortliche für das Schulsystem sind herausgefordert, ständig
zu prüfen, ob die Kompetenzen und Qualifikationen, die vermittelt werden (sollen), noch den
Anforderungen der Zeit entsprechen, ob tatsächlich alle Heranwachsenden mit dem schulischen Angebot
erreicht und welche nachhaltigen Ergebnisse damit tatsächlich erzielt werden.
Systembeobachtungen dieser Art liefert die Vergleichende Bildungsforschung (durch System-Monitoring).
Dazu gehören u. a. nationale und internationale Assessments – Tests und Vergleiche der von Schülerinnen
und Schülern erworbenen Kompetenzen. Sie geben Aufschluss über die Wirkungen des Systems und begründen
Handlungsprioritäten („Handlungsbedarf“).
Als OECD-Studie stellt PISA den größten internationalen Leistungsvergleich dar. Untersucht werden die
Beherrschung des Kulturwerkzeugs Lesen sowie die Grundkompetenzen in den Bereichen Mathematik
und Naturwissenschaft. Die Erfolge bei der beruflichen Bildung und der Einstieg in das lebenslange Lernen
hängen ganz wesentlich von der nachhaltigen Qualität dieses Fundaments ab.
Studien vom PISA-Typ sind über alle Ebenen des Systems aggregiert und enthalten die kumulierten Effekte
vieler Faktoren – damit können zwar die „Wirkungsstärken“ verschiedener Systeme festgestellt werden,
sie sind jedoch weniger gut geeignet, die entscheidenden Wirkungsfaktoren eindeutig zu identifizieren
bzw. ihren Einfluss größenmäßig zu bestimmen.
Ergebnisse und Analysen aus Systembeobachtungsstudien des PISA-Typs richten sich an die
Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“).
An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsent-
Seite 16
I. PISA – Schulsysteme im internaionalen Vergleich

wicklungsmaßnahmen im System in Gang zu setzen, um eine bessere Bewältigung der übertragenen
Sozialisationsaufgabe zu gewährleisten.
Bibliografie:
Aiginger, K. (2006). Die Zukunft Europas. In H. Androsch, H. Krejci & P. Weiser (Hrsg.), Das Neue Österreich. Denkanstöße
(S. 25–60). Wien: Carl Gerold’s Sohn Verlagsbuchhandlung.
Eder F., Posch P., Schratz M., Specht W. & Thonhauser J. (2002). Qualitätsentwicklung und Qualitätssicherung im österreichischen
Schulwesen. Innsbruck: StudienVerlag.
Fend, H. (1981). Theorie der Schule. München: Urban & Schwarzenberg.
Fend, H. (2006). Neue Theorie der Schule. Einführung in das Verstehen von Bildungssystemen.Wiesbaden: Verlag für
Sozialwissenschaften
Haider G., Eder F., Specht W. & Spiel C. (2003). zukunft:schule, Reformkonzept der österreichischen Zukunftskommission. Strategien
und Maßnahmen zur Qualitätsentwicklung. Wien: bm:bwk.
Haider G., Eder, F., Specht, W., Spiel, C. & Wimmer, M. (2005). Abschlussbericht der Zukunftskommissionan Frau Bundesministerin
Elisabeth Gehrer. Wien: bmbkw.
Haider, G. & Schreiner, C. (Hrsg.). (2006). Die PISA-Studie. Österreichs Schulsystem im internationalen Wettbewerb. Wien: Böhlau
Konsortium Bildungsberichterstattung (2006). Bildung in Deutschland. Ein indikatorengestützter Bericht mit einer Analyse zu
Bildung und Migration. Im Auftrag der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland
und des Bundesministeriums für Bildung und Forschung. Bielefeld: Bertelsmann.
Motakef, M. (2006). Das Menschenrecht auf Bildung und der Schutz vor Diskriminierung. Exklusionsrisiken und Inklusionschancen.
Berlin: Deutsches Institut für Menschenrechte.
OECD (Hrsg.).(2002). Lesen kann die Welt verändern. Leistung und Engagement im Ländervergleich. Ergebnisse von PISA 2000.
OECD: Paris.
Rürup, M. (2003). Ausländische und internationale Bildungsberichte – als Orientierung für die nationale Bildungsberichterstattung
in Deutschland. TiBi Nr. 7.
Saldern, M. Von (1997). Evaluation von Schulsystemen – neue Aufgaben für die empirische Pädagogik. In J. Thonhauser & F. Riffert,
Evaluation heute – zwölf Antworten auf aktuelle Fragen (Band 36, S. 57–68). Braunschweig: Braunschweiger Studien zur
Erziehungs- und Sozialwissenschaft.
Szaday, C., Büeler, X. & Favre, B. (1996). Schulqualitäts- und Schulentwicklungsforschung: Trends, Synthese und Zukunftsperspektiven.
Schweizerische Koordinationsstelle für Bildungsforschung.
Terhart, E. (2002). Nach PISA. Bildungsqualität entwickeln. Hamburg: Europäische Verlagsanstalt.
1
Die Lissabon-Strategie ist ein Programm, das auf einem Sondergipfel der europäischen Staats- und Regierungschefs im März
2000 in Lissabon verabschiedet wurde. Mit dieser Strategie will die EU „im Rahmen des globalen Ziels der nachhaltigen
Entwicklung ein Vorbild für den wirtschaftlichen, sozialen und ökologischen Fortschritt in der Welt sein“ (Europäischer Rat
[Lissabon] – Schlussfolgerungen des Vorsitzes 23. und 24. März 2000, S. 3).
2
Leider zeigen die bisherigen Zwischenergebnisse des Lissabon-Prozesses, dass es in der ersten Hälfte des Jahrzehnts der EU
nicht gelungen ist, die gewünschte Dynamik in der Bildungsentwicklung tatsächlich zu erzeugen und messbare Fortschritte
gegenüber anderen großen Wirtschaftsräumen wie Nordamerika oder Ostasien zu erzielen. Was unter anderem auch an der
Tatsache liegt, dass die tatsächlichen Entscheidungen und die Finanzierung auf nationaler Basis bleiben und in vielen Staaten
Fortschritte im Bildungssystem nur in sehr langen Zeiträumen passieren und der politische und wirtschaftliche Ertrag nur
langfristig „geerntet“ werden kann.
3
Ein erster (von den Kammern unterstützter) Versuch wurde aber bereits 1997 von einer Gruppe von Wissenschaftern unternommen
(„Indikatoren zum Bildungssystem“, Haider,1997).
4
Österreich hat bisher an folgenden Leistungsvergleichen teilgenommen: COMPED (Computers in Education 1989/91, Haider,
1994), TIMSS 1995 (Third International Mathematics and Science Study, u. a. Haider, 1996) und PISA (2000, 2003). Im
Zeitraum 1960 bis 2005 haben aber mehr als 20 solcher internationaler Vergleiche stattgefunden – Österreichs Beteiligung an
nur drei solcher Studien in vier Jahrzehnten bedeutet das Schlusslicht innerhalb der EU (Übersicht dazu siehe Haider, 2001,
S. 29).
5
Ausschnitt aus Art. 14 Abs. 5a BVG: „Demokratie, Humanität, Solidarität, Friede und Gerechtigkeit sowie Offenheit und
Toleranz gegenüber den Menschen sind Grundwerte der Schule, auf deren Grundlage sie der gesamten Bevölkerung, unabhän-
I. PISA – Schulsysteme im internationalen Vergleich
Seite 17

gig von Herkunft, sozialer Lage und finanziellem Hintergrund, unter steter Sicherung und Weiterentwicklung bestmöglicher
Qualität ein höchstmögliches Bildungsniveau sichert. ...“
6
Ausschnitt zu SCHOG § 2. (1) „Die österreichische Schule hat die Aufgabe, an der Entwicklung der Anlagen der Jugend
nach den sittlichen, religiösen und sozialen Werten sowie nach den Werten des Wahren, Guten und Schönen durch einen
ihrer Entwicklungsstufe und ihrem Bildungsweg entsprechenden Unterricht mitzuwirken. Sie hat die Jugend mit dem für das
Leben und den künftigen Beruf erforderlichen Wissen und Können auszustatten und zum selbsttätigen Bildungserwerb zu
erziehen. ...“
Seite 18
I. PISA – Schulsysteme im internaionalen Vergleich

II
GRUNDKONZEPTION, ZIELE UND
ORGANISATION VON PISA
Simone Breit
1. Die PISA-Studie und ihre Bedeutung für Österreich
1.1 Was ist PISA?
1.2 Ziele und Forschungsfragen
1.3 Die Bedeutung von PISA für Österreich
2. Die internationale Organisation von PISA
2.1 PISA im Kontext der OECD
2.2 Das OECD-Sekretariat und das PISA Governing Board
2.3 Das internationale Konsortium
2.4 Internationale Expertengruppen
3. Die Organisation innerhalb Österreichs
3.1 Auftraggeber und beteiligte Arbeitsgruppen
3.2 Das österreichische PISA-Projektzentrum
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Lang, 2001) und PISA 2003 (Bergmüller & Lang, 2004).
Die Autorin dieses Kapitels dankt Silvia Bergmüller und Birgit Lang für die Bereitstellung der Texte.

Dieses Kapitel umfasst einen kurzen Überblick über PISA (Programme for International Student
Assessment) und beschreibt die Ziele dieser Schülerleistungsstudie. Anschließend wird die internationale
und nationale Organisation von PISA dargestellt.
1. Die PISA-Studie und ihre Bedeutung für Österreich
1.1 Was ist PISA?
PISA (Programme for International Student Assessment) ist eine von der OECD (Organisation for
Economic Cooperation and Development) initiierte, internationale Schülerleistungsstudie. Zielpopulation
von PISA sind 15-/16-jährige Schüler/innen, wobei in jedem Teilnehmerland so viele Schüler/innen getestet
werden müssen, dass von mindestens 4500 Schülerinnen und Schülern auswertbare Daten vorliegen.
An PISA 2006 nehmen 57 Staaten, darunter alle 30 OECD-Mitgliedsstaaten, teil (vgl. Abbildung II.1),
was bedeutet, dass insgesamt die Leistungen von über 260.000 Schülerinnen und Schülern erhoben werden.
Die österreichischen Daten für PISA 2006 stammen von ca. 4900 Jugendlichen aus 200 Schulen.
Teilnehmerländer bei PISA 2006
Argentinien* Japan Qatar*
Aserbaidschan* Jordanien* Montenegro*
Australien Kanada Rumänien*
Belgien Kirgisische Republik* Russland*
Brasilien* Kolumbien* Schweden
Bulgarien* Korea Schweiz
Chile* Kroatien* Serbische Republik*
Dänemark Lettland* Slowakische Republik
Deutschland Liechtenstein* Slowenien*
Estland* Litauen* Spanien
Finnland Luxemburg Taipei*
Frankreich Macao-China* Thailand*
Griechenland Mexiko Tschechische Republik
Hong Kong-China* Neuseeland Tunesien*
Indonesien* Niederlande Türkei
Irland Norwegen Ungarn
Island Österreich Uruguay*
Israel* Polen Vereinigte Staaten
Italien Portugal Vereinigtes Königreich
* OECD-Partnerländer
1.1.1 Erfasste Kompetenzbereiche
Abbildung II.1: Teilnehmerländer bei PISA 2006
Im Rahmen der Leistungstests von PISA 2006 werden drei inhaltliche Bereiche (Domänen) erfasst:
Naturwissenschafts-Kompetenz, Mathematik-Kompetenz und Lese-Kompetenz. Die Aufgaben der
PISA-Tests beruhen auf dem dynamischen Modell des lebenslangen Lernens. Dieses geht davon aus, dass
Kenntnisse und Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich
sind, kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Den Annahmen
dieses Modells entsprechend fokussiert PISA nicht die Überprüfung von Lehrplan-Wissen, sondern die
Erhebung allgemeiner Basiskompetenzen, die die Voraussetzung für zukünftigen Wissenserwerb bilden.
Seite 20
II. Grundkonzeption, Ziele und Organisation

Ausgehend vom Modell des lebenslangen Lernens werden die PISA-Frameworks (vgl. Abschnitt 1 in
Kapitel III) entwickelt. Diese können als „PISA-Lehrpläne“ verstanden werden, in denen für jede PISA-
Domäne die allgemeinen Fähigkeiten, die für das lebenslange Lernen notwendig sind, festgelegt und
definiert werden. Die Frameworks stellen wiederum die Grundlage für die Entwicklung der konkreten
Testaufgaben dar. Hierdurch wird sichergestellt, dass alle PISA-Aufgaben dem Modell des lebenslangen
Lernens gerecht werden.
1.1.2 Methoden
Die Leistungsmessung erfolgt bei PISA mittels Papier-und-Bleistift-Tests, wobei die Testzeit pro Schüler/in
genau zwei Stunden beträgt. Die Tests bestehen aus einer Mischung von Multiple-Choice-Aufgaben und
Fragen, für die die Schüler/innen selbstständig Antworten formulieren müssen. Die einzelnen Fragen sind
zu Gruppen (Units) zusammengefasst, die sich in der Regel auf einen realitätsnahen Kontext beziehen.
Insgesamt werden über 180 verschiedene Fragen eingesetzt, von denen die getesteten Schüler/innen aber
jeweils nur unterschiedliche Teil-Kombinationen (Cluster) bearbeiten. Die Schüler/innen beantworten
außerdem einen Schülerfragebogen, der international vorgegebene Kontextinformationen wie den sozioökonomischen
Hintergrund oder Einstellungen zu Naturwissenschaft erfasst und darüber hinaus nationale
Ergänzungsteile (z. B. einen Fragebogen zum Befinden in der Schule) enthält. Weiters beantworten
die Schulleiter/innen einen Fragebogen, mit dem Informationen zur Schule (z. B. Schulressourcen,
Struktur und Organisation der Schule) erhoben werden.
1.1.3 Erhebungszyklus
Die Erhebungen erfolgen bei PISA in einem Dreijahreszyklus (2000 – 2003 – 2006 usw.). Bei jeder
Erhebung fungiert eine der drei Kerndomänen (Lesen, Mathematik, Naturwissenschaft) als Hauptdomäne.
Da der jeweiligen Hauptdomäne zwei Drittel der Testzeit gewidmet sind, kann diese sehr ausführlich erhoben
werden. In den Nebendomänen werden weniger differenzierte Leistungsprofile erhoben. Im Jahr
2000 war die Hauptdomäne Lese-Kompetenz, bei PISA 2003 war es die Mathematik-Kompetenz und bei
der aktuellen Erhebung von 2006 liegt das Hauptaugenmerk auf der Naturwissenschafts-Kompetenz. Bei
der nächsten Erhebung im Jahr 2009 steht die Lese-Kompetenz erneut im Mittelpunkt des Interesses, so
dass neunjährige Trendanalysen möglich werden.
1.2 Ziele und Forschungsfragen
Ziel von PISA ist es, die Qualität von nationalen Bildungssystemen zu erfassen und Informationen über
qualitätsrelevante Merkmale, sowohl auf kollektiver Ebene (System und Schule) als auch auf individueller
Ebene (einzelne Schüler/innen), bereitzustellen. Dies geschieht bei PISA durch die regelmäßige und
international standardisierte Messung von Schülerleistungen und durch die Erhebung von Merkmalen,
von denen angenommen wird, dass sie die Leistung der Schüler/innen beeinflussen. Durch die Ergebnisse
dieser Erhebungen lassen sich Basis-, Kontext- und Trendindikatoren gewinnen sowie eine systematische
Datenbasis aufbauen.
1.2.1 Erhebung von Basisindikatoren
Basisindikatoren sind die Ergebnisse der PISA-Leistungsmessung in Lesen, Mathematik und
Naturwissenschaft, welche mittels standardisierter Tests erhoben werden. Diese Leistungsdaten liefern
Informationen über das Wissen, die Fähigkeiten und Kompetenzen der Schüler/innen gegen
Ende der Pflichtschulzeit. Der direkte Vergleich dieser Ergebnisse mit den Leistungsdaten der übrigen
Teilnehmerländer ermöglicht die Identifizierung von Stärken und Schwächen im österreichischen
Bildungssystem und unterstützt damit die Qualitätsentwicklung auf Systemebene.
1.2.2 Erhebung von Kontextindikatoren
Bei den Kontextindikatoren handelt es sich um Merkmale, von denen angenommen wird, dass sie mit der
Kompetenz der Schüler/innen in Zusammenhang stehen und somit einen wichtigen Erklärungsbeitrag
für Unterschiede bei den Leistungen liefern. Die Kontextindikatoren werden im Rahmen von PISA durch
II. Grundkonzeption, Ziele und Organisation
Seite 21

die Schüler- und Schulfragebögen erhoben und beinhalten Informationen über demografische, soziale,
ökonomische und pädagogisch-psychologische Merkmale (vgl. Abschnitt 3 und Abschnitt 4 in Kapitel
IV). Über die verpflichtende Erhebung der von internationaler Seite vorgegebenen Kontextvariablen hinaus
hat jedes Teilnehmerland die Möglichkeit, auf freiwilliger Basis an internationalen Optionen teilzunehmen.
Wie bereits bei PISA 2003 setzt Österreich auch in PISA 2006 den internationalen Fragebogen
über Informations- und Kommunikationstechnologien (ICT) ein (vgl. Abschnitt 3 in Kapitel IV). Zudem
besteht für jedes Land die Möglichkeit, weitere Kontextinformationen auf nationaler Ebene zu erheben
(vgl. Abschnitt 5 in Kapitel IV).
Auf internationaler Ebene können zusätzlich spezifische Merkmale der unterschiedlichen Schulsysteme
als Kontextvariablen herangezogen werden. Diese Merkmale, wie z. B. Ausgaben für das Schulwesen,
Zahl der gemeldeten Schüler/innen, Zahl der Schüler/innen, die einen bestimmten Abschluss machen,
Differenzierung innerhalb des Schulwesens, Ausbildung der Lehrkräfte etc., werden von der OECD regelmäßig
erhoben und berichtet. Durch die gemeinsame Analyse der PISA-Leistungsdaten mit den durch
PISA sowie durch andere OECD-Programme erhobenen Kontextindikatoren, wird ermöglicht:
• Unterschiede in Schülerleistungen mit Unterschieden zwischen Bildungssystemen und Unterrichtskontexten
zu vergleichen;
• Unterschiede in Schülerleistungen mit Unterschieden zwischen Lehrplänen und pädagogischen Prozessen
zu vergleichen;
• Beziehungen zwischen Schülerleistungen und bestimmten schulbezogenen Faktoren wie Größe und
Ressourcen zu untersuchen sowie länderspezifische Unterschiede hinsichtlich dieser Beziehungen zu
betrachten;
• Unterschiede zwischen den einzelnen Ländern hinsichtlich der Frage zu untersuchen, inwieweit
Schulen jenen Einfluss verringern oder verstärken, den Hintergrundmerkmale von Schülerinnen und
Schülern auf ihre Leistung haben;
• Unterschiede zwischen Bildungssystemen und nationalen Kontexten zu betrachten, die mit Unterschieden
in Schülerleistungen zusammenhängen.
1.2.3 Erhebung von Trendindikatoren
PISA ist ein zyklisches Programm, das alle drei Jahre die Leistungen der Schüler/innen am Ende ihrer
Pflichtschulzeit erhebt. Langfristig wird damit ein Bestand an Informationen aufgebaut, der eine
Beobachtung von Entwicklungstrends im Wissens- und Kompetenzbestand von Schülerinnen und
Schülern aus verschiedenen Ländern und aus verschiedenen demografischen Untergruppen erlaubt. Durch
den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst und gleichzeitig
sichtbar gemacht werden, welche Konsequenzen zwischenzeitliche Änderungen im System haben. Wichtig
ist hierbei nicht bloß die isolierte Betrachtung von Änderungen in den Basis- bzw. Kontextindikatoren,
sondern auch die Untersuchung von Veränderungen in den Zusammenhängen zwischen Leistungs- und
Hintergrundvariablen.
1.2.4 Systematischer Aufbau einer Datenbasis
Durch die regelmäßige Erfassung der Schülerleistungen kann systematisch eine Datenbasis aufgebaut
werden, die alle erhobenen Informationen im Zusammenhang berücksichtigt und eine weitgehende und
fundierte bildungspolitische Analyse erlaubt, u. a. im Hinblick auf die Effektivität der Schulsysteme.
Bildungspolitiker/innen und -forscher/innen können diese Datenbasis für viele wichtige Zwecke nutzen:
z. B. um den erreichten Bildungsstand zu prüfen und zu vergleichen, um den Fortschritt der Schüler/innen
zu beobachten oder um relative Stärken und Schwächen zu identifizieren. Darüber hinaus fördert eine solche
internationale Datenbasis den Austausch von Informationen und Ideen, und es ist für die Beteiligten
möglich, sich durch Gespräche, Diskussionen und/oder gemeinsame Aktionen mit den führenden
Wissenschafterinnen und Wissenschaftern sowie Expertinnen und Experten neue, wertvolle Sichtweisen
und Methoden anzueignen.
Seite 22
II. Grundkonzeption, Ziele und Organisation

1.2.5 Publikation von Informationen
Ein wesentliches Ziel von PISA ist, die Ergebnisse der Analysen zu den Forschungsfragen so aufzubereiten,
dass sie möglichst vielen Personen zugänglich sind und Verbesserungsmaßnahmen für die Schulund
Systemebene abgeleitet werden können. PISA legt daher sowohl auf nationaler als auch auf internationaler
Ebene besonderes Augenmerk auf die Publikation von verständlichen und praxisrelevanten
Forschungsberichten. Die internationalen Berichte erscheinen nicht nur in Buchform, sondern können
auch kostenlos aus dem Internet heruntergeladen werden (www.pisa.oecd.org). Auf der österreichischen
Web-Seite www.pisa-austria.at können darüber hinaus Broschüren bezogen und ein Newsletter abonniert
werden sowie Beispielaufgaben angesehen werden.
1.3 Die Bedeutung von PISA für Österreich
PISA liefert Verantwortlichen in Politik und Schule Informationen über die Leistungen österreichischer
Schüler/innen im internationalen Vergleich und zeigt, welche Faktoren mit Schulleistung zusammenhängen.
Die Ergebnisse von PISA sind daher ein zentraler Ansatzpunkt für Maßnahmen zur
Qualitätsverbesserung auf Schul- und Systemebene. Detaillierter betrachtet erfüllt PISA auf nationaler
Ebene unter anderem die folgenden wichtigen Funktionen:
• PISA liefert wichtige Anhaltspunkte und Daten für wesentliche Bereiche von Schulqualität.
• Durch die langfristige kontinuierliche Messung können die Effekte von neuen Maßnahmen/Reformen
im Schulwesen auf die Schulleistung und damit zusammenhängenden Hintergrundmerkmalen
gemessen und beurteilt werden.
• PISA bietet zentrale Anknüpfungspunkte für zusätzliche, österreichspezifische Forschungsprojekte,
vor allem im Bereich der Bildungsforschung.
• PISA erlaubt österreichischen Bildungsforscherinnen und -forschern durch die Beteiligung an Stateof-the-Art-Projekten
ihre Kompetenz und ihre Kenntnisse einzubringen und zu erweitern.
• PISA fördert in den beteiligten Schulen und in der Öffentlichkeit das Verständnis für Schülerleistungserhebungen
und Schülerleistungsvergleiche und macht deren Wert für das Bildungswesen transparent.
2. Die internationale Organisation von PISA
Für die internationale Projektorganisation und die Sicherstellung der Qualität der Studie sind mehrere
Einrichtungen zuständig. Die übergeordnete Projektverantwortung trägt die OECD, die zugleich Initiator
von PISA ist.
2.1 PISA im Kontext der OECD
Die Organisation for Economic Cooperation and Development (OECD) ist eine weltweite Organisation
mit derzeit 30 Mitgliedsländern und über 70 Partnerländern. Vorrangiges Ziel der OECD – laut
Artikel 1 der OECD-Konvention (OECD, 1960) – ist es, „eine nachhaltige Wirtschaftsentwicklung
und Beschäftigung sowie einen steigenden Lebensstandard in den Mitgliedsländern unter Wahrung der
finanziellen Stabilität zu erreichen, um zur Entwicklung der Weltwirtschaft beizutragen“. Auf Grund
der Tatsache, dass die wirtschaftliche Entwicklung eines Landes sehr eng mit dem Bildungsstand seiner
Bevölkerung verknüpft ist, hat sich die OECD dazu entschlossen, internationale Bildungsstudien durchzuführen.
Diese sollen das Bildungsniveau der Bevölkerung in den Mitgliedsstaaten systematisch erheben
und Stärken-Schwächen-Analysen der einzelnen Bildungssysteme ermöglichen. Auf dieser Grundlage sollen
Anstrengungen zur Verbesserung der Ausbildung der Bürger/innen unternommen werden, so dass über
längere Sicht auch ein höheres Wirtschaftswachstum und steigender Wohlstand in den Mitgliedsländern
und den assoziierten Staaten erreicht wird.
Organisatorisch betrachtet ist PISA Teil des OECD-Indikatorenprogramms INES (Indicators of Education
Systems). Ziel von INES ist es, international vergleichbare Bildungssystemdaten zur Verfügung zu stellen.
II. Grundkonzeption, Ziele und Organisation
Seite 23

PISA trägt zur Umsetzung dieses Programms bei, indem es unterschiedliche Arten von Systemindikatoren
(vgl. Abschnitt 1.2 in diesem Kapitel [idK.]) international standardisiert erhebt. INES gliedert sich in
mehrere Netzwerke mit unterschiedlichen Aufgaben. Von besonderer Bedeutung für PISA ist das INES-
Netzwerk A, da dieses die folgenden Aufgaben hat 1 :
• Bereitstellung von Indikatoren über Bildungsergebnisse und die Auswirkungen des Lernens;
• Langfristige Entwicklung und Evaluation von PISA durch Sicherung der Kohärenz der Studie über
die Zeit, ihre Anpassung an wachsende Bedürfnisse und an methodische Innovationen in der Datenerhebung;
• Entwicklung von Methoden zur Erhebung von fächerübergreifenden Kompetenzen (Cross-Curricular-Competencies
wie Problemlösen, Selbstreguliertes Lernen etc.);
• Entwicklung von Instrumenten zur Erfassung von Kompetenzen im Umgang mit neuen Kommunikations-
und Informationstechnologien (ICT skills);
• Fachliche Bewertung von Datenskalierung, Auswertungen und Berichten, Identifizierung verbesserter
Wege der Datenanalyse sowie Präsentation von Indikatoren in der Art, dass die gesammelte Information
den größtmöglichen Nutzen für die Bildungspolitik bereitstellt.
In den folgenden Abschnitten werden die an der Organisation von PISA beteiligten internationalen
Einrichtungen beschrieben. Wie diese Instanzen zusammenwirken, wird in Abbildung II.2 dargestellt.
2.2 Das OECD-Sekretariat und das PISA Governing Board
Das OECD-Sekretariat (PISA-Gesamtkoordination: Dr. Andreas Schleicher) hat die übergreifende
Managementverantwortung für das Programm und verfolgt dessen praktische Umsetzung. Die OECD hat
die Aufgabe – in Absprache mit dem PISA Governing Board (PGB – siehe unten) Vertragsbedingungen für
jeden Zyklus vorzubereiten und einen internationalen Vertragspartner für die praktische Umsetzung von
PISA zu finden (vgl. Abschnitt 2.3 idK.). Das Sekretariat ist auch verantwortlich für die Konsensbildung
zwischen den teilnehmenden Ländern und dient als Ansprechpartner auf politischer Ebene. Weiters
fungiert das OECD-Sekretariat als Schnittstelle zwischen dem PISA Governing Board und dem internationalen
Vertragspartner. Das OECD-Sekretariat erstellt auch die Indikatoren, analysiert und arbeitet
die internationalen Berichte und Veröffentlichungen in Zusammenarbeit mit dem internationalen
Auftragnehmer und in Abstimmung mit den Teilnehmerländern aus.
Die wichtigsten Entscheidungen fallen im PISA Governing Board (PGB), in dem alle PISA-
Teilnehmerländer auf politischer Ebene vertreten, aber nur OECD-Mitgliedsländer stimmberechtigt
sind. Österreich wird im PGB durch OR Mag. Jürgen Horschinegg aus dem Unterrichtsministerium
(BMUKK) vertreten. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für
OECD/PISA fest und überwacht deren Einhaltung im Verlauf der Implementierung des Programms. Dies
betrifft die Auswahl von Indikatoren, die Entwicklung von Messinstrumenten und die Berichterstattung
über die Ergebnisse.
2.3 Das internationale Konsortium
Verantwortlich für das Design und die Implementierung der Erhebung innerhalb des vom PGB abgesteckten
Rahmens ist ein internationales Konsortium, das so genannte PISA-Konsortium. Im Konsortium
arbeiten unter der Führung des Australian Council for Educational Research (A.C.E.R.), folgende
Forschungseinrichtungen zusammen: das „Netherlands National Institute for Educational Measurement“
(Citogroep) in den Niederlanden, das „National Institute for Educational Research“ (NIER) in Japan und
„WESTAT“ in den USA.
Das PISA-Konsortium übernimmt die Verantwortung für die Operationalisierung des Projektdesigns
sowie für die Implementierung des Projekts innerhalb der Vertragsbedingungen. Weiters muss das
Konsortium umfangreiche Qualitätssicherungsmaßnahmen gewährleisten. Während der Durchführung
des Projekts muss das internationale Konsortium sicherstellen, dass:
Seite 24
II. Grundkonzeption, Ziele und Organisation

INES-Steuergruppe
PISA
Governing
Board (PGB)
INES
Netzwerk A
OECD-SEKRETARIAT
Internationales Konsortium
unter der Leitung von
A.C.E.R.
Technical
Advisory Group
(TAG)
Subject Matter
Expert Groups
(SMEGs)
Nationale Projektmanager
(NPMs)
Unterrichtsministerium
Abbildung II.2: Organisation von PISA auf internationaler Ebene
• für Belange, wo dies nötig ist, bereichsspezifische Expertinnen und Experten in das Projekt einbezogen
werden (z. B. durch Sub-Vertragspartner),
• die beteiligten Länder aktiv an der Entwicklung der Instrumente (Tests, Fragebögen) durch Expertengruppen
eingebunden werden und
• Konsens der teilnehmenden Länder auf dem operationalen und technischen Niveau erreicht wird.
II. Grundkonzeption, Ziele und Organisation
Seite 25

2.4 Internationale Expertengruppen
Für jeden der bei PISA 2006 getesteten Kompetenzbereiche gibt es eine Arbeitsgruppe (Subject Matter
Expert Group; SMEG), die sich aus international führenden Expertinnen und Experten zusammensetzt.
Dies soll gewährleisten, dass die politischen Zielsetzungen von PISA mit der größtmöglichen international
verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenz umgesetzt werden.
Aufgabe der SMEGs ist es, die in PISA verwendeten Materialien (Tests, Fragebögen) zu entwickeln und
dabei sicherzustellen, dass
• die Instrumente international valide sind und den kulturellen und curricularen Kontext der OECD-
Mitgliedsstaaten berücksichtigen,
• die Testmaterialien sehr gute messtechnische Eigenschaften aufweisen und
• die Instrumente sowohl authentisch als auch bildungspolitisch relevant sind.
Jedes PISA-Teilnehmerland hat die Möglichkeit selbst nationale Expertinnen und Experten zu entsenden,
die in einem nach der Hauptdomäne wechselnden Forum zusammenarbeiten und sich regelmäßig treffen.
Diese Expertinnen und Experten spielen eine wichtige Rolle bei der Begutachtung der von den internationalen
SMEGs ausgearbeiteten Frameworks und Aufgaben und stellen sicher, dass in diesen Belangen
die nationalen Interessen gewahrt werden. Insbesondere achten die Mitglieder des Forums darauf, dass
die Aufgaben nicht in unterschiedlichen kulturellen Kontexten unterschiedliche Schwierigkeitsniveaus
aufweisen. Da bei PISA 2006 Naturwissenschaft die Hauptdomäne ist, ist das Science Forum von besonderer
Bedeutung. Als Vertreter/innen Österreichs gehören Mitglieder der PISA Science Expert Group
(siehe unten) dem Forum an.
Eine weitere wichtige Expertengruppe auf internationaler Ebene ist die Technical Advisory Group (TAG).
Diese stellt sicher, dass alle in PISA angewandten Prozeduren dem aktuellen wissenschaftlichen Stand entsprechen
und trägt dadurch wesentlich zu einer hohen technischen Qualität der Studie bei. Die TAG vereint
Personen, die eine führende Rolle bei der Durchführung von PISA spielen, mit externen Expertinnen
und Experten.
3. Die Organisation innerhalb Österreichs
Im folgenden Abschnitt wird die Umsetzung von PISA auf der nationalen Ebene beschrieben. Abbildung
II.3 gibt einen Überblick über die in Österreich beteiligten Instanzen sowie deren Zusammenarbeit mit
dem internationalen Konsortium, dem PGB und den internationalen Expertengruppen.
3.1 Auftraggeber und beteiligte Arbeitsgruppen
Die Umsetzung von PISA wird in Österreich durch das Unterrichtsministerium in Auftrag gegeben,
finanziert und beaufsichtigt. Den Auftrag für PISA 2006 erteilte die damalige Frau BM Elisabeth
Gehrer. Auf Grund der Neustrukturierung der Ministerien nach den Wahlen im Herbst 2006 wurde das
Bundesministerium für Bildung, Wissenschaft und Kultur (BMBWK) mit 1. März 2007 aufgelöst und
die Agenden werden seither vom Bundesministerium für Unterricht, Kunst und Kultur (BMUKK) und
vom Bundesministerium für Wissenschaft und Forschung (BMWF) wahrgenommen. Für PISA ist seither
das BMUKK unter Frau BM Claudia Schmied verantwortlich 2 .
Die Interessen des Auftraggebers vertritt die Stabstelle internationale Assessments am BMUKK unter der
Leitung von OR Mag. Jürgen Horschinegg. Diese Stabstelle entsendet auch die österreichische Vertretung
in das PGB.
Wichtige Unterstützung für PISA auf nationaler Ebene kommt vom National Committee, einer
Expertenrunde, die bei Bedarf einberufen wird. Dem National Commitee gehören Schüler-, Eltern- und
Lehrervertreter/innen, Mitglieder der regionalen Schulbehörden und der Schulaufsicht sowie Wissenschafter/innen
an und es wird von SektChef. Dr. Anton Dobart geleitet. Die Aufgabe des National
Committees ist es, das Projekt zu unterstützen und sicherzustellen, dass nationale Interessen gewahrt
bleiben. Gemeinsam mit dem National Project Manager (NPM) werden in den Sitzungen Fortschritte
analysiert sowie Prozeduren und Ergebnisse des Projekts diskutiert.
Seite 26
II. Grundkonzeption, Ziele und Organisation

Bundesministerium für Unterricht,
Kunst und Kultur (BMUKK)
National
Commitee
(NC)
Nationale Projektmanager
(NPM)
Stabstelle
internationale
Assessments
am BMUKK
Projektzentrum für Vergleichende
Bildungsforschung (ZVB)
verantwortlich für
die nationale Implementation von PISA sowie
die Kooperation mit deutschspr. Ländern,
internationale und nationale Optionen
Mathematikund
Naturwissenschaftsexpertinnen
und
-experten
Forum
internationales Konsortium
unter der Leitung von
A.C.E.R.
Subject Matter
Expert Groups
(SMEGs)
Vertretung im
PGB (PISA
Governing
Board)
OECD-Sekretariat
Abbildung II.3: Organisation von PISA auf nationaler Ebene
Um sicherzustellen, dass die beteiligten Länder aktiv an der Entwicklung der Instrumente beteiligt sind,
implementierte die Stabstelle am BMUKK nationale Expertengruppen zu Mathematik (PISA Mathematics
Expert Group Austria) und Naturwissenschaft (PISA Science Expert Group Austria). Diese bestehen
aus nationalen Expertinnen und Experten (Wissenschafterinnen und Wissenschaftern, Didaktikerinnen
und Didaktikern, Testentwicklerinnen und -entwicklern) für den jeweiligen Kompetenzbereich. In
PISA 2006 ist vor allem die Science Expert Group unter der Leitung von HR Dir.i.R. Mag. Dr. Christa
II. Grundkonzeption, Ziele und Organisation
Seite 27

Koenne zum Einsatz gekommen, weil Naturwissenschaft die Hauptdomäne ist und deshalb viele neue
Testaufgaben für diesen Kompetenzbereich entwickelt wurden. Die PISA Science Expert Group hatte
folgende Hauptaufgaben:
• Begutachtung des von der internationalen Science Expert Group ausgearbeiteten Frameworks aus
fachtheoretischer bzw. fachdidaktischer Sicht – unter Berücksichtigung des nationalen Hintergrunds
(Lehrplan, Bildungsziele);
• Erstellung von Naturwissenschafts-Testmaterialien (Texte, Testaufgaben) als nationaler Beitrag zu den
internationalen Testinstrumenten von PISA;
• Begutachtung der von der internationalen Science Expert Group ausgearbeiteten Naturwissenschafts-
Testinstrumente und Verfassung einer österreichischen Stellungnahme zu den Item-Bundles aus fachtheoretischer
bzw. fachdidaktischer Sicht;
• Vertretung Österreichs beim Science-Forum.
3.2 Das österreichische PISA-Projektzentrum
3.2.1 Projektzentrum für Vergleichende Bildungsforschung
In Österreich ist das Projektzentrum für Vergleichende Bildungsforschung (ZVB) mit der Durchführung
von PISA 2006 beauftragt. Das ZVB ist an der Universität Salzburg am Fachbereich Erziehungswissenschaft
angesiedelt und neben PISA auch für die IEA-Studien PIRLS (Progress in Reading Literacy) und TIMSS
(Trends in Mathematics and Science Study) sowie die OECD Lehrerbegfragungsstudie TALIS (Teaching
and Learning International Survey) verantwortlich. Leiter des Zentrums ist Ass.Prof. DDr. Günter
Haider.
Als nationale Projektmanager für PISA 2006 sind DDr. Günter Haider und Mag. Dr. Claudia Schreiner
für die Koordination aller beteiligten nationalen Institutionen und Expertinnen und Experten sowie
für die Planung, Durchführung und Auswertung der PISA-Studie in Österreich verantwortlich. Seit
Jahresbeginn 2007 wird diese Funktion ausschließlich von Mag. Dr. Schreiner wahrgenommen.
3.2.3 Nationale Zusatzerhebungen
Zusätzlich zum internationalen Projekt gibt es österreichische Zusatzstudien, die ausgewählte Fragen der
Bildungsforschung detailliert untersuchen. Im Rahmen der nationalen Zusatzerhebungen von PISA 2006
werden fünf Themenbereiche genauer erforscht, wobei in jedem Bereich eine Expertin/ein Experte bei der
Konstruktion der Instrumente, der Durchführung der Datenauswertung und der Erstellung der Berichte
beteiligt ist. Im Folgenden sind die nationalen Zusatzprojekte und die dafür Verantwortlichen angeführt
(für eine detaillierte Beschreibung vgl. Abschnitt 5 in Kapitel IV):
• Nutzung von Informationstechnologien (Claudia Schreiner)
• Lesegewohnheiten (Margit Böck)
• Belastung in der Schule (Silvia Bergmüller)
• Befindlichkeit und Schulerfolg (Ferdinand Eder)
• Qualität in Schulen (Günter Haider)
3.2.4 Externe Mitarbeiter/innen
Da die Mitarbeiter/innen des ZVB den mit der Durchführung der Studie verbundenen Arbeitsaufwand
nicht alleine bewältigen können, werden für die folgenden Tätigkeiten externe Mitarbeiter/innen rekrutiert
und eingeschult:
• Materialkontrolle und -etikettierung: Die Kontrolle der Testhefte und Fragebögen auf Druckfehler
sowie das Etikettieren und Verpacken der Testmaterialien wird von Studierenden übernommen (vgl.
Kapitel VI).
• Testdurchführung: Die Durchführung der PISA-Tests an den Schulen erfolgt durch erfahrene Lehrpersonen
bzw. durch Mitglieder der Pädagogischen Institute, den so genannten Testleiterinnen und
Testleitern (vgl. Kapitel VI).
Seite 28
II. Grundkonzeption, Ziele und Organisation

• Coding: Die Bewertung der offenen Fragen der PISA-Leistungstests übernehmen Personen, die mit
dem Umgang von Schülerantworten vertraut sind und speziell für diese Aufgabe geschult werden (vgl.
Kapitel VIII).
• ISCO-Codierung: Die Vercodung von Beruf und Ausbildung der Eltern nach einem internationalen
Klassifikationsschema führen speziell geschulte Personen durch (vgl. Kapitel IX).
• Dateneingabe: Die elektronische Erfassung der Antworten zu den Fragen der Testhefte und Fragebögen
erfolgt durch eingeschulte Studierende (vgl. Kapitel X).
Bibliografie
Bergmüller, S. & Lang, B. (2004). Grundkonzeption, Ziele und Organisation von PISA. In G. Haider & C. Reiter (Hrsg.), PISA
2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.
pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 22.05.2007]
Lang, B. (2001). Ziele, Forschungsfragen und Organisation. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden
und Stichproben des österreichischen PISA Projekts (S. 39–51). Innsbruck: StudienVerlag.
OECD (1960). Convention on the Organisation for Economic Co-operation and Development. [WWW Dokument ] Verfügbar unter:
http://www.oecd.org/document/7/0,2340,en_2649_34483_1915847_1_1_1_1,00.html. [Datum des Zugriffs: 23.0.07]
1
vgl. [WWW Dokument] Verfügbar unter:http://nces.ed.gov/surveys/international/ines/index.asp?INESSection=A&SubSect
ion=3 [Datum des Zugriffs: 23.05.07]
2
Aus diesem Grund wird in dieser Publikation durchgängig die Bezeichnung BMUKK für das Unterrichtsministerium verwendet.
II. Grundkonzeption, Ziele und Organisation
Seite 29

Seite 30
II. Grundkonzeption, Ziele und Organisation

III
TESTINSTRUMENTE
Ursula Schwantner
1. Die Frameworks
1.1 Naturwissenschafts-Kompetenz
1.2 Mathematik-Kompetenz
1.3 Lese-Kompetenz
2. Testdesign
2.1 Organisation der Aufgaben, Testzusammenstellung und Bearbeitungszeit
2.2 Aufgabenformat und Testcharakteristiken
3. Itementwicklung
3.1 Itementwicklung und Erprobung im Feldtest
3.2 Die Itemauswahl für den Haupttest
4. Übersetzung und Verifikation
4.1 Übersetzungsrichtlinien
4.2 Übersetzungskooperation deutschsprachiger Länder bei PISA 2006
4.3 Internationale Verifikation und nationale Adaptionen
5. Qualitätssicherung im Bereich Testinstrumente
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Lang, 2001) und PISA 2003 (Lang, 2004). Die Autorin dieses
Kapitels dankt Birgit Lang für die Bereitstellung der Texte sowie Andrea Grafendorfer für die Unterstützung bei der Beschreibung der
Naturwissenschafts-Kompetenz.

Wie bereits bei PISA 2000 und PISA 2003 werden die 15-/16-jährigen Schüler/innen auch in PISA 2006
in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft getestet. Im Erhebungsjahr
2006 liegt der Fokus auf dem Bereich Naturwissenschaft (2000 Lesen, 2003 Mathematik), womit der erste
vollständige PISA-Zyklus seinen Abschluss findet. 2009 startet ein „neuer“ Testzyklus, wiederum mit dem
Kompetenzbereich Lesen als Hauptdomäne. In diesem Kapitel wird die Entwicklung der Testinstrumente,
anhand derer die Kompetenzen der Schüler/innen erfasst werden, beschrieben. Eingegangen wird dabei
auf die theoretische Konzeption der Tests, das Testdesign und wesentliche Aufgabencharakteristiken, die
Itementwicklung sowie die Übersetzung und Adaption der einzelnen Testaufgaben.
1. Die Frameworks
Das Hauptziel von PISA ist es, die Grundkompetenzen der Schüler/innen in den Teilnehmerländern am
Ende ihrer Pflichtschulzeit in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft
zu erfassen. Es gilt festzustellen, in welchem Ausmaß die Jugendlichen jene Fähigkeiten erworben haben,
die sie in ihrem weiteren Leben benötigen. Diese Fragestellung beruht auf dem Modell des lebenslangen
Lernens, bei dem davon ausgegangen wird, dass Kenntnisse und Fähigkeiten kontinuierlich über die gesamte
Lebensspanne hinweg erworben werden. Die Voraussetzungen für ein erfolgreiches lebenslanges
Lernen werden dabei u. a. in der Schule gelegt: einerseits durch den spezifischen Wissenserwerb, andererseits
durch den Erwerb breit gefächerter Konzepte und Fähigkeiten (z. B. Denkprozesse, Lernstrategien
und -methoden), welche es den Schülerinnen und Schülern ermöglichen, ihr Wissen in verschiedenen
Situationen anzuwenden und sich an veränderte Gegebenheiten anzupassen.
Als theoretische Basis für die Erhebung der Grundkompetenzen in PISA werden – ausgehend vom Modell
des lebenslangen Lernens – von internationalen Expertinnen und Experten für die drei Kompetenzbereiche
Lesen, Mathematik und Naturwissenschaft so genannte Frameworks entwickelt. Darin wird beschrieben
und definiert, welches Wissen und welche Fähigkeiten für die einzelnen Kompetenzbereiche relevant sind
und in PISA erfasst werden sollen. Die Inhalte der Frameworks stammen dabei nicht aus den unterschiedlichen
Lehrplänen der Teilnehmerländer, da dies den Fokus der Studie zu sehr auf Inhalte beschränken
würde, die in allen oder den meisten Ländern gleich sind. Darüber hinaus bestehen Lehrpläne großteils
aus Informationen über und Beschreibungen von Techniken, welche die Schüler/innen erwerben sollen,
wobei jedoch nicht auf die Entwicklung jener Fähigkeiten eingegangen wird, die eine Anwendung des
Wissens bzw. einen Transfer ermöglichen und welche für PISA relevant sind. Im Framework werden auch
Kompetenzen berücksichtigt, die fächerübergreifend ausgebildet werden (z. B. Problemlösen, Situationen
erfassen, Modelle bilden). Weitere Vorteile liegen laut OECD (2006) darin, dass bei der Entwicklung der
Frameworks der Zweck der Erhebung und die Kompetenzbereiche diskutiert werden, was wiederum zur
Konsensfindung rund um das Framework und die Ziele der Messung beiträgt. Die Frameworks liefern
eine gemeinsame Sprache dessen, was gemessen werden soll. Somit ermöglichen die Konstruktion und
Validierung der Frameworks eine präzise Messung der einzelnen Kompetenzbereiche.
Neben der Beschreibung und Definition der Kompetenzbereiche werden in den Frameworks die
Strukturen und Dimensionen der Tests dargestellt, die zu erreichenden Kompetenzniveaus beschrieben
und der Anteil an verschiedenen Aufgabentypen festgelegt (Lang, 2004).
Im Folgenden werden die Frameworks für die Kompetenzbereiche von PISA 2006 dargestellt. Das
Framework in Naturwissenschaft wurde im Vergleich zu PISA 2000 und 2003 erweitert, da die
Naturwissenschafts-Kompetenz im Erhebungsjahr 2006 die Hauptdomäne darstellt, und wird daher
im Folgenden auch detaillierter beschrieben als die beiden Nebendomänen. Für die Kompetenzbereiche
Lesen und Mathematik werden die Beschreibungen aus dem Technischen Bericht 2003 (Lang, 2004) in
gekürzter Form übernommen, da diese Frameworks weitgehend unverändert geblieben sind.
Eine Sammlung sämtlicher PISA-Beispielaufgaben aus den verschiedenen Kompetenzbereichen finden
Sie hier (PDF).
Seite 32
III. Testinstrumente

1.1 Naturwissenschafts-Kompetenz
1.1.1 Definition
Grundannahme des Konzepts der „Scientific-Literacy“ in PISA 2006 ist, dass wir im 21. Jahrhundert
in einer von (natur-) wissenschaftlichen und technologischen Fortschritten geprägten und zunehmend
globalisierten Gesellschaft leben. Damit Jugendliche in diese Gesellschaft kompetent hineinwachsen
können ist es von zentraler Bedeutung, dass sie naturwissenschaftliche Prozesse und Phänomene sowie
technologische Errungenschaften deuten und verstehen lernen. Ein umfassendes „Verständnis“ von
Naturwissenschaft und Technologie ermöglicht es den Jugendlichen, Prozesse und Fortschritte eigenständig
zu beurteilen bzw. deren Folgen und Auswirkungen auf das persönliche, soziale, berufliche und
kulturelle Leben einzuschätzen und somit verantwortungsbewusst zu handeln und zu entscheiden.
Grundlage für die Naturwissenschafts-Kompetenz in PISA 2006 ist ein multidimensionales Modell, das
sowohl Wissen und Fähigkeiten der Schüler/innen beinhaltet als auch deren Einstellungen gegenüber
Naturwissenschaft einbezieht. Die Definition der Naturwissenschafts-Kompetenz wurde in PISA 2006
im Vergleich zu PISA 2000 und 2003 erweitert. Dies bezieht sich insbesondere auf jene Aspekte, die
das Wissen der Schüler/innen über die charakteristischen Merkmale von Naturwissenschaft hervorkehren.
Weiters wird in dieser Version der enge Zusammenhang von Naturwissenschaft und Technologie, der bei der
vorhergehenden Definition nur implizit vorhanden war, durch Einbezug des Terminus „Technologie“
explizit gemacht. Zusätzlich werden in diese Definition einstellungsbezogene Aspekte der Schüler/innen
hinsichtlicht naturwissenschaftlicher und technologischer Themen einbezogen.
Naturwissenschafts-Kompetenz ist definiert als ...
• „...naturwissenschaftliches Wissen und die Anwendung dieses Wissens, um Fragestellungen zu identifizieren,
neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Belegen
Schlussfolgerungen in Bezug auf naturwissenschaftsbezogene Sachverhalte zu ziehen, sowie
• das Verständnis der charakteristischen Eigenschaften der Naturwissenschaften als eine Form menschlichen
Wissens und Forschens,
• die Fähigkeit zu erkennen, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle
und kulturelle Umgebung prägen und
• die Bereitschaft, sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger [reflektierende
Bürgerin] auseinanderzusetzen.“
(OECD, 2006a, S. 23; Übersetzung der OECD)
In dieser Definition von Naturwissenschafts-Kompetenz wird deutlich, dass es um die Erfassung von
Wissen geht, das für die Lebenssituationen der Schüler/innen relevant ist. „Naturwissenschaftliches Wissen“
bedeutet in diesem Zusammenhang weit mehr als das bloße Reproduzieren von Informationen, Fakten
oder Namen. Vielmehr geht es um ein Verständnis grundlegender naturwissenschaftlicher Konzepte und
Theorien sowie darum, das Wesen der Naturwissenschaft als Form menschlichen Handelns zu begreifen
und die Macht, aber auch die Begrenztheit naturwissenschaftlichen Wissens zu erkennen. Dies schließt
Kenntnisse darüber mit ein, wie Wissenschafter/innen Daten generieren (z. B. durch Beobachtungen
oder Experimente), wie sie zu Erkenntnissen kommen und welche Arten von Erklärungen erwartet werden
können. Damit Jugendliche „aus Belegen Schlussfolgerungen ziehen“ können, müssen sie relevante
Informationen und Daten kennen und in der Lage sein, daraus auszuwählen, diese kritisch zu hinterfragen
und im Hinblick auf die Schlussfolgerung zu beurteilen. Dazu gehört auch, dass Jugendliche sich
neues Wissen durch die Nutzung von Informationsquellen aneignen können (z. B. indem sie im Internet
oder in Büchern bzw. in einer Bibliothek nach Informationen suchen).
Jugendliche, die sich mit naturwissenschaftsbezogenen Themen auseinandersetzen, zeigen ein anhaltendes
Interesse an naturwissenschaftlichen Themen und bilden sich eine Meinung darüber. Sich mit
den „Vorstellungen von Naturwissenschaft“ auseinanderzusetzen bezieht sich auf die unterschiedlichen
III. Testinstrumente
Seite 33

Einstellungen und Werthaltungen gegenüber Naturwissenschaft. Die „reflektierende Bürgerin“/der „reflektierende
Bürger“ interessiert sich für naturwissenschaftliche Themen, denkt über naturwissenschaftsbezogene
„Streitfragen“ nach, befasst sich mit Fragen der Technologie, der Ressourcen und der Umwelt
und erwägt die Wichtigkeit der Naturwissenschaft aus persönlicher und sozialer Perspektive.
1.1.2 Organisation der Domäne Naturwissenschaft
Die Definition der Naturwissenschafts-Kompetenz sieht in Hinblick auf die Einschätzung der gezeigten
Fähigkeiten ein Kontinuum von gering bis hoch entwickelter Kompetenz vor. Schüler/innen mit
einer geringen Naturwissenschafts-Kompetenz sind z. B. in der Lage, einfaches naturwissenschaftliches
Faktenwissen wiederzugeben und Schlüsse auf Grund von Allgemeinwissen über Naturwissenschaften
zu ziehen. Schüler/innen mit einer hohen Naturwissenschafts-Kompetenz hingegen können konzeptionelle
Modelle anwenden und somit auch Vorhersagen oder Erklärungen geben, naturwissenschaftliche
Untersuchungen analysieren, alternative Erklärungen desselben Phänomens evaluieren und Begründungen
präzise kommunizieren.
1.1.3 Die vier Komponenten der Naturwissenschafts-Kompetenz
Die zu erfassenden naturwissenschaftlichen Fähigkeiten bestehen aus vier miteinander verbundenen
Komponenten:
(1) den Kontexten (Lebenssituationen, die in Verbindung mit Naturwissenschaft und Technologie stehen),
(2) den Fähigkeiten (naturwissenschaftliche Fragestellungen erkennen, Phänomene naturwissenschaftlich
erklären sowie naturwissenschaftliche Beweise heranziehen),
(3) dem Wissen (Wissen in den und über die Naturwissenschaften) und
(4) den Einstellungen (Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, Befürwortung
naturwissenschaftlicher Forschung).
Im Folgenden werden diese vier Komponenten detailliert dargestellt. Es ist zu beachten, dass bei der
Erhebung der Naturwissenschafts-Kompetenz nicht die einzelnen Aspekte betrachtet werden, sondern
immer eine Kombination aller vier Komponenten.
(1) Naturwissenschaftlicher Kontext
Die drei Kontexte – persönlicher Kontext (sich selbst und die Familie), sozialer Kontext (Gesellschaft)
und globaler Kontext (Leben auf der ganzen Welt) – stellen einen geeigneten Bezugsrahmen dar, in
dem die Jugendlichen ihr naturwissenschaftliches Wissen, ihre naturwissenschaftlichen Fähigkeiten
und ihre Einstellungen zeigen können. Innerhalb dieser drei Kontexte gibt es jeweils fünf zentrale
Anwendungsgebiete, die konsistent mit jenen aus PISA 2000 und 2003 sind und als Basis für die Aufgaben
dienen: Gesundheit, natürliche Ressourcen, Umwelt, Gefahren sowie Grenzen von Naturwissenschaft und
Technik. Abbildung III.1 zeigt Beispiele für die Anwendungsbereiche innerhalb der drei Kontexte.
(2) Naturwissenschaftliche Fähigkeiten
Ein zentraler Aspekt der Naturwissenschafts-Kompetenz ist die Fähigkeit der Jugendlichen, ihr Wissen so
anzuwenden, dass sie aus Belegen Schlussfolgerungen ziehen können. Um diesen Aspekt zu erfassen, werden
drei Fähigkeiten als wichtig erachtet, für die wiederum bestimmte kognitive Prozesse relevant sind:
induktives und deduktives Schließen, Transformieren von Darstellungen (z. B. Daten in Grafiken oder
Tabellen darstellen), Erklärungen auf Grund von Daten geben sowie in Modellen und Systemen denken.
Die drei naturwissenschaftlichen Fähigkeiten stimmen mit den „naturwissenschaftlichen Prozessen“ aus
dem PISA-2003-Assessment-Framework (OECD, 2003) überein:
(1) Erkennen naturwissenschaftlicher Fragestellungen,
(2) Phänomene naturwissenschaftlich erklären sowie
(3) Heranziehen naturwissenschaftlicher Beweise.
Im Folgenden wird auf diese drei Fähigkeiten näher eingegangen.
Seite 34
III. Testinstrumente

Bereiche
Kontexte
Persönlicher Kontext Sozialer Kontext Globaler Kontext
Gesundheit
Erhaltung der
Gesundheit, Unfälle,
Ernährung
Kontrolle von Krankheiten,
Übertragung, Lebensmittelauswahl,
Gesundheit der
Gesellschaft
Epidemien, Ausbreitung
von Infektionskrankheiten
natürliche
Ressourcen
Persönlicher Materialund
Energieverbrauch
Erhalten der menschlichen
Population, Lebensqualität,
Sicherheit, Produktion und
Verteilung von Nahrung,
Energieversorgung
Erneuerbare und nichterneuerbare
Ressourcen,
natürliche Systeme,
Bevölkerungswachstum,
Artenschutz
Umwelt
Umweltfreundliches
Verhalten, Nutzung und
Entsorgung von
Materialien
Bevölkerungsverteilung,
Müllentsorgung, Auswirkungen
auf die Umwelt, lokales
Wetter
Biodiversität, Nachhaltigkeit,
Umweltverschmutzung
und Umweltschutz
Gefahren
Natürliche und vom
Menschen herbeigeführte
Gefahren
Schnelle Veränderungen
(Erdbeben, schwere Unwetter),
langsame und fortschreitende
Veränderungen
(Erosion, Ablagerung),
Risikoabschätzung
Klimawandel
Grenzen
von NW u.
Technik
Interesse an naturwissenschaftlichen
Erklärungen
von natürlichen Phänomenen,
naturwissenschaftsbezogene
Hobbies, Sport,
Freizeit und Musik
Neue Materialien, Geräte
und Prozesse, Genetische
Modifikation, Transport
Artensterben, Erforschung
des Weltraums, Entstehung
und Aufbau des Universums
Abbildung III.1: Kontexte in PISA 2006 –Beispiele für Anwendungsbereiche
Erkennen naturwissenschaftlicher Fragestellungen
Schüler/innen sollen naturwissenschaftliche Fragestellungen von anderen Fragestellungen unterscheiden
können. In Bezug auf eine gegebene Situation gilt es herauszufinden, welche Fragestellungen naturwissenschaftlich
untersucht werden können und Schlüsselwörter zu identifizieren, mit deren Hilfe nach
Informationen zum gegebenen Thema gesucht werden kann. Es geht u. a. darum, dass die Schüler/innen
jene Belege erkennen oder herausfinden, welche für eine naturwissenschaftliche Untersuchung relevant
sind (z. B. was verglichen werden soll, welche Variablen verändert oder kontrolliert werden sollen, welche
Zusatzinformation nötig ist oder was unternommen werden kann, um Daten zu bekommen).
Phänomene naturwissenschaftlich erklären
Hierbei sollen die Schüler/innen in einer vorgegebenen Situation ihr Wissen anwenden, indem sie
Phänomene erklären oder beschreiben und Veränderungen vorhersagen. Dies beinhaltet u. a. das Erkennen
und Identifizieren geeigneter Beschreibungen, Erklärungen und Vorhersagen.
Heranziehen naturwissenschaftliche Beweise
Schüler/innen sollen den Sinn von naturwissenschaftlichen Erkenntnissen wie Behauptungen oder
Schlussfolgerungen erkennen. Sie sollen in der Lage sein, aus mehreren Folgerungen eine auszuwählen,
die den Beweisen am meisten entspricht. Die Jugendlichen sollen Gründe für oder gegen eine vorgegebene
Schlussfolgerung angeben, wobei sie auf den Prozess und die dargebotenen Daten Bezug nehmen,
III. Testinstrumente
Seite 35

durch welche die Schlussfolgerung zu Stande gekommen ist. Es geht darum, die Annahmen zu erkennen,
die für eine Entscheidung ausschlaggebend sind, und über die gesellschaftlichen Auswirkungen naturwissenschaftlicher
Folgerungen zu reflektieren. Diese Fähigkeit verlangt von den Jugendlichen, dass sie
klare, logische Verbindungen zwischen Belegen und Schlussfolgerungen sowie Entscheidungen herstellen
können und diese auch präsentieren und kommunizieren können (z. B. durch eigene Formulierungen,
Diagramme oder andere geeignete Darstellungsformen).
(3) Naturwissenschaftliches Wissen
Der Wissens-Aspekt im Naturwissenschafts-Framework bezieht sich auf zwei Arten von Wissen: zum einen
auf das Wissen in den Naturwissenschaften (knowledge of science) zum anderen auf das Wissen über
die Naturwissenschaften an sich (knowledge about science).
Wissen in den Naturwissenschaften
Das getestete Wissen stammt aus den Hauptgebieten der Naturwissenschaft: Physik, Chemie, Biologie, Erdund
Weltraumwissenschaft sowie Technologie. Es ist nicht beabsichtigt, das gesamte Wissen, das Schüler/innen
haben können, zu testen, vielmehr soll die Ausprägung, inwieweit Jugendliche ihr Wissen im Kontext
relevanter Lebenssituationen anwenden können, beschrieben werden. Folgende Kriterien sind für die
Auswahl der Testinhalte ausschlaggebend:
(1) Es soll Wissen getestet werden, das für reale Lebenssituationen relevant ist.
(2) Das ausgewählte Wissen soll sowohl grundlegende naturwissenschaftliche Konzepte wiedergeben,
also auch solche, die von bleibender Bedeutung sind.
(3) Das notwendige Wissen soll dem Entwicklungsstand von 15-/16-Jährigen angemessen sein.
Das Wissen in den Naturwissenschaften wird in vier Kategorien („Systeme“) gegliedert. Das darin eingebettete
Wissen wird als notwendig erachtet, um die natürliche Welt verstehen und Erfahrungen im persönlichen,
sozialen und globalen Kontext einen Sinn geben zu können. Daher wird im Naturwissenschafts-
Framework die Bezeichnung „Systeme“ zur Beschreibung dieser vier Kategorien verwendet, um deutlich
zu machen, dass es um ein Zusammenspiel der verschiedenen Komponenten geht und nicht um einzelne –
voneinander unabhängige – Fachgebiete. Diese Systeme sind: Physikalische Systeme, Biologische Systeme,
Erd- und Weltraumsysteme und Technologische Systeme. Im Folgenden werden diese näher erläutert.
• Relevante inhaltliche Bereiche der Physikalischen Systeme sind u. a. Kenntnisse über die Struktur und
die Eigenschaften der Materie (z. B. thermische und elektrische Leitfähigkeit), physikalische und chemische
Veränderungen (z. B. Aggregatzustand, chemische Reaktionen), Bewegung und Kraft (z. B.
Geschwindigkeit, Beschleunigung), Energie (z. B. Erhaltung, Verlust) sowie Interaktionen von Energie
und Materie (z. B. Licht- und Radiowellen, Schall- und seismische Wellen).
• Zu den Biologischen Systemen gehören Kenntnisse über Themenbereiche wie Zellen (z. B. Strukturen
und Funktion, DNA, Pflanzen und Tiere), Menschen (z. B. Gesundheit, Krankheit, Ernährung,
Verdauung, Atmung, Blutkreislauf), Populationen (z. B. Arten, Evolution, Biodiversität, genetische
Variation), Ökosysteme (z. B. Nahrungsketten, Materie- und Energiefluss) und Biosphäre (z. B. Ökosysteme,
Nachhaltigkeit).
• Relevante inhaltliche Bereiche der Erd- und Weltraumsysteme sind u. a. Kenntnisse über Strukturen
der Erdsysteme (z. B. Lithosphäre, Hydrosphäre, Atmosphäre), die Energie der Erdsysteme (z. B. Energiequellen,
globales Klima), den Wandel in Erdsystemen (z. B. Plattentektonik, geochemische Zyklen,
konstruktive und destruktive Kräfte), die Erdgeschichte (z. B. Fossilien, Evolution) und schließlich
auch über die Erde im Weltraum (z. B. Schwerkraft, Sonnensysteme).
• Bei den Technologischen Systemen geht es u. a. um die Rolle der naturwissenschaftsbasierten Technologie
(z. B. Problemlösung, Bedürfnisbefriedigung, Entwerfen und Leiten von Untersuchungen), die
Beziehung von Naturwissenschaft und Technologie (z. B. Technologien tragen zum wissenschaftlichen
Fortschritt bei), Konzepte (z. B. Optimierung, Kosten, Risiken, Nutzen) sowie wichtige Prinzipien
(z. B. Kriterien, Zwänge, Innovationen, Erfindungen, Problemlösung) (OECD, 2006).
Seite 36
III. Testinstrumente

Wissen über die Naturwissenschaften
Für die Erfassung des Wissens über die Naturwissenschaften sind zwei Kategorien vorgesehen: naturwissenschaftliches
Forschen und naturwissenschaftliche Erklärungen.
• Zum Bereich naturwissenschaftliches Forschen gehören u. a. Kenntnisse über den Ursprung naturwissenschaftlicher
Untersuchungen (Neugier, naturwissenschaftliche Fragestellungen), Kenntnisse über
die Ziele naturwissenschaftlicher Untersuchungen (Belege finden, die helfen, naturwissenschaftliche
Fragen zu beantworten; leitende Modelle und Theorien), Wissen über Untersuchungsmethoden wie
Beobachtungen und Experimente, Kenntnisse über die Generierung von Daten (quantitative und
qualitative Methoden) und das Durchführen von Messungen (Nachvollziehbarkeit, „Rest-Unsicherheit“,
Präzision) sowie Kenntnisse über die Charakteristiken der Ergebnisse von naturwissenschaftlichen
Untersuchungen (empirisch, vorläufig, testbar, falsifizierbar, selbst-korrigierend).
• Die Kategorie naturwissenschaftliche Erklärungen beinhaltet u. a. Kenntnisse über die Typen naturwissenschaftlicher
Erklärungen (Hypothesen, Gesetze, Theorien und Modelle), Gestaltung naturwissenschaftlicher
Erklärungen (Darstellung von Daten, Rolle von bestehendem Wissen und neuen Erkenntnissen,
Kreativität und Vorstellung, Logik), Kenntnisse von Regeln, die naturwissenschaftlichen
Erklärungen zu Grunde liegen (logische Konsistenz; Erklärungen basieren auf Belegen, historischem
und aktuellem Wissen) und Kenntnisse über Ergebnisse naturwissenschaftlicher Erklärungen (neues
Wissen, neue Methoden und Technologien; Aufwerfen neuer Fragestellungen und Untersuchungen)
(OECD, 2006).
(4) Einstellungen zu Naturwissenschaft
Die Einstellungen der Schüler/innen spielen eine große Rolle hinsichtlich ihres Interesses an Naturwissenschaft
und ihrem Zugang zu naturwissenschaftlichen Themen. In PISA 2006 werden die Einstellungen
der Schüler/innen erstmals nicht nur mittels Fragebogen erfasst (vgl. Kapitel IV), sondern es werden
zudem kontextualisierte Fragen in den Test integriert (sogenannte „embedded items“). Dadurch können
die Einstellungen der Schüler/innen direkt mit Themengebieten aus dem Naturwissenschafts-Test in
Verbindung gebracht werden.
Theoretisch basiert die Erfassung der Einstellungen und die Auswahl der spezifischen Bereiche auf der
Gliederung des affektiven Bereichs in der naturwissenschaftlichen Bildung von Klopfer (1976, zitiert
nach OECD, 2006) sowie weiterer Literatur aus der Einstellungsforschung (z. B. Gardner, 1975, 1984;
Gauld & Hukins, 1980; Blosser, 1984; Laforgia, 1988; Schibeci, 1984, zitiert nach OECD, 2006).
In PISA 2006 werden die Einstellungen der Jugendlichen zu zwei Gebieten – integriert und kontextualisiert
in den Testaufgaben – erfasst: Interesse, über bestimmte naturwissenschaftliche Themen zu lernen und
Befürwortung naturwissenschaftlicher Forschung.
• Die Komponente Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, welche im Rahmen
der Tests erfasst wird, ist ein Teil des Konstrukts „Interesse an Naturwissenschaft“, welches auch im
Schülerfragebogen erhoben wird. Der Zusammenhang zwischen Interesse an Naturwissenschaft und
Leistung ist seit mehr als 40 Jahren Thema der Forschung (z. B. Baumert & Köller, 1998; Osborne,
Simon & Collins, 2003, zitiert nach OECD, 2006). Ebenso werden Zusammenhänge von Interesse
und Kurswahl, Laufbahnentscheidung und lebenslangem Lernen vermutet. Kennzeichnend für das
Interesse an Naturwissenschaft ist, dass der/die Schüler/in Neugier gegenüber Naturwissenschaft und
naturwissenschaftsbezogenen Themen zeigt, sich zusätzliches Wissen und Fähigkeiten durch Nutzung
unterschiedlicher Ressourcen und Methoden aneignet sowie gewillt ist, sich anhaltend für Naturwissenschaft
zu interessieren.
• Die Komponente Befürwortung naturwissenschaftlicher Forschung gehört dem Konstrukt „Wertschätzung
der Naturwissenschaft“ an, welches durch zwei weitere Indizes auch im Fragebogen abgedeckt
wird. Das Befürworten naturwissenschaftlicher Forschung wird erhoben, da es sich um einen grundlegenden
Aspekt naturwissenschaftlicher Erziehung und Bildung handelt. Schüler/innen, die naturwissenschaftliche
Forschung unterstützen, finden es wichtig, dass alternative Perspektiven, Ideen und
III. Testinstrumente
Seite 37

Erklärungen in Betracht gezogen werden. Sie schätzen die Nutzung von Fakten und rationalen Erklärungen
bei Analysen und Evaluationen, achten soziale Interaktionen um zu rationalen, auf Belegen
basierenden Schlussfolgerungen zu gelangen und schätzen logische und vorsichtige Prozesse beim
Ziehen von Schlüssen.
Es wird hier ausdrücklich darauf hingewiesen, dass die in den Testheften integrierten Fragen zur Erfassung
der Einstellungen der Schüler/innen nicht in die Bewertung des Tests aufgenommen, sondern auf einer
eigenen Skala erfasst werden (vgl. Abschnitt 2.2 idK.). Die Schüler/innen werden darauf auch in den
Instruktionen eingangs im Testheft hingewiesen. Durch die Einbettung dieser Fragen in den Test können
spezifische – bereichsbezogene – Einstellungen der Schüler/innen herausgefunden werden, im Gegensatz
zu den mehr allgemein gehaltenen Kontextfragen im Schülerfragebogen. So kann z. B. in weiterer Folge
unterschieden werden, ob das Interesse einer Schülerin/eines Schülers an Naturwissenschaft spezifisch
ausgeprägt, oder mehr generell ist.
Abbildung III.2 zeigt die Organisation der Domäne Naturwissenschaft im Überblick.
1.1.4 Erfassen der Naturwissenschafts-Kompetenz
Zur Erfassung der Naturwissenschafts-Kompetenz ist es wichtig, dass die verschiedenen Komponenten des
Naturwissenschafts-Frameworks durch die Testitems ausgewogen repräsentiert werden. Die gewünschte
Verteilung wird durch den Prozentanteil an den Gesamtpunkten (Score points) jeder Kategorie ausgedrückt.
Erreicht werden soll eine ausgewogene Verteilung der Items über die beiden Wissenskategorien
Wissen in den und Wissen über die Naturwissenschaften, über die drei naturwissenschaftlichen Fähigkeiten
(Fragestellungen erkennen, Phänomene erklären, Beweise heranziehen) sowie über die drei Kontexte (persönlicher,
sozialer und globaler Kontext). Schließlich soll auch die Anzahl der einstellungsbezogenen
Items ausgewogen sein (Interesse und Befürwortung. Ungefähr 60 % der Units (vgl. Abschnitt 2 idK.)
enthalten ein- oder zwei einstellungsbezogene Fragen. Die Link-Items (Items aus PISA 2000 und 2003)
enthalten keine einstellungsbezogenen Fragen.
Kontexte
lebensnahe Situationen in
Verbindung mit NW:
• persönliche,
• soziale und
• globale Kontexte
Fähigkeiten
• Erkennen naturwiss.
Fragestellungen
• Phänomene naturwiss.
erklären
• Heranziehen naturwiss.
Beweise
Wissen
• in den Naturwissenschaften
(physikalische-,
biologische-, technologische-,
Erd- und Weltraumsysteme)
• über die Naturwissenschaften
(naturwiss.
Forschen und Erklärungen)
Einstellungen
• Interesse, über bestimmte
naturwiss. Themen
zu lernen
• Befürwortung naturwiss.
Forschung
Abbildung III.2: Organisation der Domäne Naturwissenschaft in PISA 2006
Seite 38
III. Testinstrumente

1.2 Mathematik-Kompetenz
1.2.1 Definition
Im Alltag sehen wir uns ständig mit mathematischen Problemen konfrontiert: Einkaufen, Reisen, der
Umgang mit den persönlichen Finanzen, Interpretieren von Statistiken etc. Während Mathematik in der
Schule meist in einem relativ hoch strukturierten Kontext erlernt wird, müssen wir im täglichen Leben
Entscheidungen darüber treffen, welches (mathematische) Wissen in welchem Kontext relevant ist und
wie wir es sinnvoll einsetzen können. Die Definition der Mathematik-Kompetenz in PISA bezieht sich
vor allem auf den Aspekt der Anwendung des mathematischen Wissens, beinhaltet jedoch auch weitere
Aspekte: Mathematik-Kompetenz („Mathematical Literacy“) ist…
„…die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte
Urteile abzugeben und die Mathematik zu nutzen und sich mit ihr in einer Weise zu befassen, die den
Anforderungen im Leben dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht“
(OECD, 2003b, zitiert nach OECD, 2004).
Aus der Definition wird deutlich, dass es bei der Mathematik-Kompetenz um die funktionelle Anwendung
mathematischen Wissens in unterschiedlichen Situationen geht, wie z. B. Probleme stellen und diese formulieren,
mit Hilfe der Mathematik lösen und das Ergebnis interpretieren. Dies setzt sowohl grundlegendes
Wissen über mathematische Terminologien, Fakten und Prozeduren voraus, als auch die Fähigkeit,
bestimmte Operationen durchführen und adäquate Methoden anwenden zu können.
1.2.2 Organisation der Domäne Mathematik
Zur Erfassung der Kompetenz ist die Mathematik-Domäne in drei Komponenten organisiert: mathematische
Inhalte, mathematische Prozesse und Kompetenzen sowie Situationen und Kontexte, in denen die
Probleme angesiedelt sind.
Mathematische Inhalte
Der mathematische Inhalt ist in vier Subskalen unterteilt, welche als essentielle Bestandteile der Mathematik
gelten und in jedem Curriculum eine zentrale Stelle einnehmen: Größen, Unsicherheit, Veränderung &
Zusammenhänge sowie Raum & Form. Bei der Subskala Größen geht es um numerische Phänomene und
Muster sowie quantitative Zusammenhänge. Die Skala Unsicherheit beinhaltet Bereiche wie die Analyse
und Darstellung von Daten sowie Wahrscheinlichkeiten und Schlussfolgerungen. Bei der Subskala
Veränderung & Zusammenhänge geht es um mathematische Ausdrucksformen für Veränderungen, funktionale
Zusammenhänge und Abhängigkeiten zwischen Variablen. Die Subskala Raum & Form beinhaltet
räumliche und geometrische Phänomene und Zusammenhänge.
Mathematische Prozesse und Kompetenzen
Die Tests zur Erfassung der Mathematik-Kompetenz beinhalten nur wenige Aufgaben, deren Kontext
rein die „mathematische Welt“ betrifft und in denen der mathematische Inhalt explizit ist (z. B. Löse
die Gleichung x + 3 = 8). Für PISA relevant sind vor allem Aufgaben, bei denen jene Kompetenzen angesprochen
werden, die es den Schülerinnen und Schülern ermöglichen, eine reale Problemstellung mit
der Mathematik zu verknüpfen. Dieser Prozess der Mathematisierung erfordert von den Schülerinnen und
Schülern, ein gegebenes reales Problem nach mathematischen Konzepten zu organisieren und die relevanten
mathematischen Inhalte zu identifizieren. Die Realität muss schrittweise durch Formalisierungs- und
Generalisierungsprozesse reduziert werden, bis das Problem in seiner mathematischen Form vorliegt.
Nachdem die Schüler/innen das Problem auf mathematischem Weg gelöst haben, müssen sie die mathematische
Lösung in Bezug auf das reale Problem reflektieren, indem sie die Sinnhaftigkeit, das Ausmaß
und die Grenzen der Lösung erkennen, das Ergebnis erläutern und das Modell gegebenenfalls kritisieren.
Die erforderlichen Kompetenzen (z. B. Schlussfolgern, Argumentieren, Kommunizieren, Modelle bilden,
Probleme lösen und darstellen, formale, technische Sprache und Operationen anwenden) liegen bei jeder
III. Testinstrumente
Seite 39

Schülerin/jedem Schüler in unterschiedlichen Ausprägungen vor. Um diese zu klassifizieren, wurden drei
aufeinander aufbauende Kompetenz-Cluster gebildet, welche von zunehmender Komplexität gekennzeichnet
sind: der Reproduktions-Cluster, der Beziehungs-Cluster und der Reflexions-Cluster.
Der Reproduktions-Cluster bezieht sich hauptsächlich auf die Wiedergabe praktizierten Wissens und das
Ausführen von Routine-Operationen. Beim Beziehungs-Cluster geht es darum, reale Probleme in die Mathematik
zu übersetzen, mathematische Modelle zu entwickeln, zu prüfen, ob die Lösung zum ursprünglichen
Problemkontext passt und das Ergebnis zu kommunizieren. Es werden jedoch geläufige Rahmenbedingungen
und Operationen einbezogen. Der Reflexions-Cluster beinhaltet sehr komplexe Aufgaben,
bei denen die Schüler/innen Lösungsstrategien planen und auch auf neue Kontexte übertragen müssen.
Detaillierte Beschreibungen des Mathematisations-Prozesses und der Kompetenz-Cluster sind bei Lang
(2004) dargestellt.
Situationen und Kontexte
Die zu lösenden Probleme sind in unterschiedlichen realitätsnahen Situationen in einem spezifischen
Kontext angesiedelt. Im Mathematik-Framework werden vier Situationstypen festgelegt: persönliches
Umfeld, erzieherisches/berufliches Umfeld, öffentliches Umfeld und wissenschaftliches Umfeld. Der Kontext
wird je nachdem wie stark sich das Problem auf die Realität bezieht, als „innermathematisch“ oder „außermathematisch“
bezeichnet.
1.2.3 Hilfsmittel
Bezüglich Hilfsmittel (z. B. Taschenrechner) sieht PISA eine Verwendung vor, wie sie den Schülerinnen
und Schülern üblicherweise in der Schule – von einem Schulsystem – gestattet wird, da dies eine authentische
Erhebung der Schülerleistungen gewährleistet. Für Österreich bedeutet das, dass die Verwendung
von Taschenrechnern bei allen PISA-Testsitzungen erlaubt ist.
1.3 Lese-Kompetenz
1.3.1 Definition
Die Lese-Kompetenz („reading literacy“) wird in PISA wie folgt definiert:
„Die Fähigkeit, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu
erreichen, das eigene Wissen und Potential weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“
(OECD, 2003a, zitiert nach OECD, 2004).
Diese Definition zeigt deutlich, dass die bei PISA gemessene Lese-Kompetenz über ein reines Dekodieren
von Texten und ein rein wörtliches Textverständnis hinausgeht. Lese-Kompetenz beinhaltet das Verstehen,
Verwenden und Reflektieren geschriebener Informationen für verschiedene Zwecke. Die Definition bezieht
sich dabei auf ein breites Spektrum an Situationen in denen Lese-Kompetenz eine Rolle für junge
Erwachsene spielt, vom Privatleben bis zur Öffentlichkeit, von der Schule bis zum Beruf, von der aktiven
Beteiligung am gesellschaftlichen Leben bis hin zum lebenslangen Lernen. Es steckt die Idee dahinter,
dass Lese-Kompetenz maßgeblich dazu beiträgt, individuelle Ziele zu erreichen – von klar definierten
Bildungs- und/oder Berufszielen bis hin zu solchen Zielen, die den persönlichen Spielraum jeder einzelnen
Person erweitern und deren Leben bereichern.
1.3.2 Organisation der Domäne Lesen
Lesen ist ein dynamischer Prozess, bei dem jede Leserin/jeder Leser auf unterschiedliche Art und Weise
versucht, den Inhalt des Textes zu verstehen. Faktoren, die diesen Prozess beeinflussen sind u. a. die
Lesesituation, die Textstruktur und die Charakteristiken der Fragen, die zu einem Text gestellt werden. All
diese Faktoren werden bei der Aufgabenentwicklung für die Erhebung berücksichtigt. Die Lese-Aufgaben
bei PISA können mittels folgender Aspekte differenziert werden: Texttypen, Leseprozesse und Situationen.
Seite 40
III. Testinstrumente

Texttypen
Personen werden im Laufe ihres Lebens mit einer Bandbreite von geschriebenen Texten konfrontiert.
Daher reicht es nicht aus, eine kleine Anzahl von Texttypen, die meist in der Schule verwendet werden,
lesen zu können. Das Herzstück der Erfassung der Lese-Kompetenz in PISA bildet die Unterscheidung in
kontinuierliche und nicht-kontinuierliche Texte, die einen unterschiedlichen Zugang der Leserin/des Lesers
erfordern.
Kontinuierliche Texte bestehen aus Sätzen, die in Paragraphen organisiert sind, und zu Bereichen, Kapiteln
und Büchern zusammengefasst werden können. Dazu zählen z. B. Erzählungen, Beschreibungen,
Darlegungen, Argumentationen, Anweisungen und Hypertexte (Texte, die miteinander verknüpft sind
und der Leserin/dem Leser ermöglichen, auf verschiedenen Wegen zu Informationen zu gelangen).
Nicht-kontinuierliche Texte sind anders organisiert und verlangen daher auch eine unterschiedliche
Herangehensweise. Zu den nicht-kontinuierlichen Texten zählen z. B. Listen, Tabellen, Graphen oder
Diagramme, Land- und Straßenkarten, Formulare, Anzeigen und Inserate sowie Zertifikate.
Leseprozesse
Mit den PISA-Lese-Aufgaben können Informationen über die folgenden fünf Lese-Prozesse bei Schülerinnen
und Schülern gewonnen werden:
• Heraussuchen von Information: Um eine spezifische Information aus einem Text herauszusuchen, muss
die Leserin/der Leser den Text absuchen, die relevante Information lokalisieren und selektieren.
• Entwickeln eines allgemeinen Verständnisses dessen, was gelesen wird: Dazu muss die Leserin/der Leser
den Text als Gesamtes oder in einer breiten Perspektive betrachten. Das Wesentliche des Textes muss
als Ganzes erfasst werden. Die Schüler/innen müssen erklären können, wovon der Text handelt.
• Entwickeln einer Interpretation: Dieser Prozess verlangt von der Leserin/vom Leser, den ursprünglichen
Eindruck so zu erweitern, dass sie/er ein spezifischeres oder vollständigeres Verständnis des Gelesenen
entwickelt. Dazu müssen Informationen aus unterschiedlichen Textteilen verknüpft werden
sowie bestimmte Details als Bestandteile des Ganzen identifiziert werden.
• Über den Textinhalt reflektieren und diesen bewerten: Verlangt von der Leserin/vom Leser, dass sie/er die
Information in einem Text mit dem Wissen aus anderen Quellen verbindet.
• Über die Textform reflektieren und diese bewerten: Die Leserin/der Leser muss über den Text nachdenken
und die Qualität und Angemessenheit evaluieren.
Aus diesen fünf Lese-Prozessen können drei Subskalen generiert werden: Heraussuchen von Informationen,
Interpretieren von Texten sowie Reflektieren und Bewerten. Etwa 50 % der Lese-Aufgaben in PISA 2006
sind der Subskala „Interpretieren von Texten“ zuzuordnen, wobei die Schüler/innen entweder aufgefordert
werden, ein allgemeines Verständnis oder eine Interpretation zu entwickeln (Punkt 2 und 3). 29 %
der Lese-Aufgaben sind der Subskala „Heraussuchen von Informationen“ (Punkt 1) zuzuordnen. Jeder
dieser Prozesse – Heraussuchen, allgemeines Verständnis, Interpretation – fokussiert dabei den Grad an
Verständnis und Nutzung der Informationen, die primär im Text enthalten sind. Die restlichen Lese-
Aufgaben (ungefähr 20 % – durch Rundung ergeben sich Abweichungen auf 100 %) verlangen von den
Schülerinnen und Schülern entweder über den Inhalt oder über Informationen, die im Text enthalten
sind, oder über die Struktur und Form des Textes an sich zu reflektieren (OECD, 2006).
Situationen
Dieser Aspekt beschreibt die Kontexte, aus denen die Texte stammen. Bei PISA werden folgende Kontexte
unterschieden: Texte für den privaten Gebrauch (Novellen, Briefe, Biographien), Texte für den öffentlichen
Gebrauch (offizielle Dokumente, Werbung), Texte für den Beruf und für Bildungszwecke (Manuale,
Berichte, Arbeitsblätter).
2. Testdesign
Auf Basis der in Abschnitt 1 idK. dargelegten Frameworks werden für jeden Kompetenzbereich Aufgaben
entwickelt, die der Erfassung des Wissens und der Fähigkeiten der Schüler/innen dienen. Bevor in Abschnitt
III. Testinstrumente
Seite 41

3 idK. dargestellt wird, wie diese Aufgaben entwickelt werden, wird an dieser Stelle das Testdesign von
PISA beschrieben, da hier Aspekte behandelt werden, die auch für die Itementwicklung relevant sind.
2.1 Organisation der Aufagben, Testzusammenstellung und Bearbeitungszeit
Die einzelnen Aufgaben in PISA, auch Items genannt, sind in Form von Units organisiert. Eine Unit
stellt quasi den inhaltlichen Rahmen für die einzelnen Aufgaben dar, bzw. stehen die Items innerhalb einer
Unit in einem inhaltlichen Zusammenhang. Jede Unit beinhaltet einen oder mehrere Stimuli (Texte,
Diagramme etc.) gefolgt von einer oder mehreren Aufgaben (Items). Ebenso sind die Richtlinien zur
Bewertung der betreffenden Schülerantworten (Coding Instructions), die später im Coding Guide enthalten
sind (vgl. Kap. VIII), in den Units enthalten.
Die für den Haupttest ausgewählten Items bzw. Units werden je Kompetenzbereich zu Aufgabenblöcken
(Cluster) zusammengefasst, wobei eine Bearbeitungszeit pro Cluster von 30 Minuten vorgesehen ist.
In PISA 2006 sind im Bereich Naturwissenschaft 7 Cluster enthalten: 37 Units mit insgesamt 140 Items.
Für Mathematik sind es 4 Cluster: 31 Units mit 48 Link-Aufgaben; im Bereich Lesen sind 2 Cluster
enthalten: 8 Units mit insgesamt 32 Items. Abbildung III.3 zeigt die Anzahl der ausgewählten Items nach
Units und Cluster für den Haupttest 2006.
Für die Erstellung eines Testhefts (Booklet) werden jeweils vier verschiedene Cluster zusammengefasst.
Die Cluster werden über die einzelnen Testhefte rotiert, so dass jeder Cluster in vier Testheften und jeweils
an verschiedenen Stellen innerhalb der Testhefte vorkommt. In PISA 2006 gibt es insgesamt 13 Testhefte;
pro Testheft steht den Schülerinnen und Schülern eine Bearbeitungszeit von 2 Stunden zur Verfügung.
Für Schüler/innen in Sonderschulen gibt es ein eigenes Testheft, das eine Bearbeitungszeit von 60
Minuten aufweist. Für das „UH Booklet“ (une heure = eine Stunde) werden Aufgaben aus allen drei
Kompetenzbereichen mit geringem Schwierigkeitsgrad ausgewählt.
Items Haupttest 2006
neu entwickelt Link-Items gesamt Units
Naturwissenschaft 86+32 Einst. 22 108+32 37
Mathematik 0 48 48 31
Lesen 0 28 28
8
GESAMT 118 98 216 76
Cluster
7
4
2
13
2.2 Aufgabenformat und Testcharakteristiken
Bei der Erhebung der Schülerleistungen kommen verschiedene Frageformate zum Einsatz, die es ermöglichen,
die unterschiedliche Ausprägung der Fähigkeiten der Jugendlichen zu erfassen. Bei einigen Aufgaben
müssen die Schüler/innen lediglich einfache Antworten selektieren oder wiedergeben, die direkt mit einer
richtigen Antwort verglichen werden können. Andere Frageformen erfordern die Entwicklung und
Formulierung einer eigenständigen Antwort, wodurch komplexe Konstrukte gemessen werden können.
Die Einstellungen der Schüler/innen zu Naturwissenschaft werden mit Hilfe einer vierstufigen Likert-
Skala erfasst.
Multiple-Choice-Aufgaben
Abbildung III.3: Anzahl der Items in PISA 2006
Bei diesen Aufgaben muss aus 4–5 vorgegebenen Antwortalternativen die richtige ausgewählt werden. Die
Multiple-Choice-Aufgaben sind für die Erhebung von Prozessen geeignet, die unter anderem das Erfassen
bzw. Selektieren von Information betreffen. In Bezug auf die Bewertung sind die Multiple-Choice-Items
sehr einfach zu handhaben, da die richtige Antwort bereits vorliegt und der entsprechende Code direkt
Seite 42
III. Testinstrumente

in den Computer eingegeben werden kann. Die komplexen Multiple-Choice-Items stellen eine erweiterte
Form der Multiple-Choice-Fragen dar, bei denen aus einer Serie von Ja/Nein- oder Richtig/Falsch-
Antworten die jeweils richtige ausgewählt werden muss.
Geschlossene Aufgaben
Mit Hilfe des geschlossenen Aufgabenformats können komplexere Prozesse kontrolliert erfasst werden.
Die Schüler/innen müssen selbst eine Antwort notieren, die meist aus einem Wort oder einer Zahl besteht,
die direkt dem Text oder einer Tabelle entnommen werden kann. Vom Prinzip her ist dieser Aufgabentyp
mit Multiple-Choice-Aufgaben vergleichbar, hat aber den Vorteil, dass Raten weniger leicht möglich ist.
Weiters können auch hier die Antworten relativ leicht als richtig oder falsch beurteilt werden.
Offene Aufgaben
Bei diesem Aufgabentyp müssen die Schüler/innen selbst eine Antwort entwickeln, wobei zwischen
langen und kurzen offenen Aufgaben unterschieden wird. Bei der kurzen Version müssen die
Schüler/innen ein numerisches Ergebnis, einen richtigen Namen oder die Klassifikation für eine Gruppe
von Objekten (o. ä.) darstellen und erläutern. Bei langen offenen Aufgaben werden die Schüler/innen
aufgefordert, auch den Lösungsweg vollständig zu beschreiben oder zu begründen. Dadurch kann erfasst
werden, was Schüler/innen auf Basis ihres
eigenen Verständnisses bei einer Aufgabe produzieren
können. Die Antworten auf die offenen
8 % 8 %
31 %
21 %
Aufgaben erfordern eine umfassende Beurteilung
durch geschulte Coder/innen. Der Vorgang des
Coding wird in Kapitel VIII ausgeführt.
Abbildung III.4 zeigt die Prozentanteile der
Aufgabenformate im Haupttest 2006 (ohne
einstellungsbezogene Items). Von den 184
Testaufgaben des Haupttests erfordern 39 % eine
Antwort durch die Schüler/innen (kurzes und
langes offenes Format). Bei etwas mehr als der
Hälfte der Aufgaben wählen die Schüler/innen
aus mehreren vorgegebenen Antwortalternativen
eine aus (Multiple-Choice oder komplexe Multiple-Choice-Aufgabe),
die geschlossenen Aufgaben
haben einen Anteil von 8 %.
32 %
lange, offene Aufgaben
kurze, offene Aufgaben
geschlossene Aufgaben
komplexe Multiple-Choice-Aufgaben
Multiple-Choice-Aufgaben
Abbildung III.4: Überblick über die Verteilung der
Itemformate in PISA 2006
3. Itementwicklung
Die Entwicklung der Testaufgaben ist ein zentrales Element von PISA. Als theoretische Basis für
die Itementwicklung dienen die in Abschnitt 1 idK. beschriebenen Frameworks. Der Prozess der
Itementwicklung gliedert sich in zwei Phasen: zum einen werden Aufgaben von internationalen
Expertenzentren entworfen, zum anderen werden die Teilnehmerländer eingeladen, Items einzureichen.
Bevor die Aufgaben zur Erprobung im Feldtest eingesetzt werden, werden diese von internationalen und
nationalen Expertinnen und Experten begutachtet und überarbeitet. Nach dem Feldtest werden umfangreiche
Itemanalysen durchgeführt, auf deren Basis die Aufgaben für den Haupttest ausgewählt und überarbeitet
werden. Durch diese Vorgehensweise wird sichergestellt, dass letztlich jene Aufgaben ausgewählt
werden, die in allen Teilnehmerländern einwandfreie Itemstatistiken aufweisen.
Zur Erfassung der Hauptdomäne Naturwissenschafts-Kompetenz in PISA 2006 wurde ein breites
Spektrum an neuen Aufgaben entwickelt. Für die beiden Subdomänen Mathematik und Lesen wurden
„alte“ Aufgaben (aus PISA 2000 und 2003) eingesetzt, die in unveränderter Form übernommen werden
III. Testinstrumente
Seite 43

können und somit keinem Feldtest mehr unterzogen werden brauchen. Durch den Einsatz dieser so genannten
Link-Items wird der Schwierigkeitsgrad der Leistungsskala verankert und somit sichergestellt,
dass die Fähigkeitswerte der Schüler/innen in PISA 2000 und 2003 mit jenen aus PISA 2006 vergleichbar
sind. Für die Naturwissenschafts-Aufgaben in PISA 2006 ist dieser Vergleich nicht möglich, da für
die Erfassung der Naturwissenschafts-Kompetenz als Hauptdomäne eine Neugewichtung der Testinhalte
vorgenommen wurde und die Naturwissenschaftsskala somit in PISA 2006 neu verankert wird.
Im Folgenden wird das Vorgehen bei der Itementwicklung chronologisch dargestellt.
3.1 Itementwicklung und Erprobung im Feldtest
Die Itementwicklung findet auf internationaler Ebene im Rahmen eines genau vorgeschriebenen
Entwicklungsprozesses statt. Dieser gliedert sich, wie bereits oben erwähnt, in zwei Phasen – die
Itementwicklung durch Expertenzentren und die Entwicklung von Items durch die Teilnehmerländer.
Die Testaufgaben sind in Form von Units zu erstellen, d. h. sie beinhalten einen oder mehrere Stimuli mit
einer oder mehreren Fragen (=Items) sowie die zu jeder Frage (Item) gehörenden Bewertungsvorgaben
(vgl. Abschnitt 2.1 idK.). Wenn im Folgenden von „Items“ oder „Aufgaben“ die Rede ist, sind damit die
einzelnen Testfragen gemeint, entwickelt werden die einzelnen Items jedoch immer in Form von Units.
3.1.1 Itementwicklung – Phase 1
In PISA 2006 waren fünf Expertenzentren an der Entwicklung der Naturwissenschaftsaufgaben beteiligt
(Item Development Centres/IDCs): ACER, Cito, NIER, ILS (Universität Norwegen) und IPN
(Universität Kiel) 2 . Jedes Item Development Centre entwickelt zunächst Items in einer Draftversion,
die im Anschluss „Cognitive Laboratory“ Prozessen unterzogen werden. Das sind Prozeduren wie z. B.
lautes Denken, die von Spezialisten durchgeführt werden und sehr viel Expertise und Training verlangen.
Anhand dieser Überprüfungen wird die jeweilige Aufgabe entweder abgelehnt oder revidiert. In einem
weiteren Schritt werden diese revidierten Aufgaben (bzw. Units) dann zwischen den verantwortlichen
Konsortiumspartnern ausgetauscht und nochmals in einem „Cognitive Laboratory“ überprüft. Die IDCs
werden zudem bei der Überprüfung der Items (bzw. Units) aus den Teilnehmerländern (Phase 2) eingebunden.
In Abbildung III.5 ist die erste Phase der Itementwicklung, welche durch die IDCs vorgenommen
wird, dargestellt.
3.1.2 Itementwicklung – Phase 2
Die Entwicklung von Aufgaben (bzw. Units) in den Teilnehmerländern stellt die zweite Phase des
Itementwicklungsprozesses dar (Richtlinien für die Itemerstellung in den Teilnehmerländern sind in
Lang [2004] dargestellt). Bis Ende Juni 2004 wurden von insgesamt 21 Teilnehmerländern an die 200
Aufgaben eingesendet, von denen letztlich 39 in den Feldtest aufgenommen wurden. Die Überprüfung
der eingesendeten Aufgaben erfolgt durch die IDCs. Dabei wird sichergestellt, dass die Aufgaben mit dem
Framework und anderen Richtlinien übereinstimmen und keine technischen Fehler aufweisen. Manche
Teilnehmerländer richteten zur Entwicklung der Naturwissenschafts-Items nationale Komitees ein und
pilotierten die entwickelten Aufgaben, wodurch eine deutlich bessere Qualität erzielt werden konnte,
als wenn die Entwicklung der Items an Einzelpersonen vergeben wurde und die Aufgaben ohne interne
Überprüfung eingesendet wurden (Report on PISA 2006 Science Item Development NPM (0409)19). In
Abbildung III.6 auf der nächsten Seite ist der Ablauf dieser zweiten Prozessphase dargestellt.
Nach diesem Entwicklungsprozess werden die neuen Aufgaben sowohl an die nationalen Zentren als
auch an die jeweiligen internationalen Expertengruppen zur Begutachtung weitergeleitet. Für jeden
Kompetenzbereich gibt es eine Expertengruppe auf internationaler Ebene (MEG = Mathematics Experts
Group, REG für „Reading“ und SEG für „Science“). Einige Teilnehmerländer, darunter auch Österreich und
Deutschland, arbeiten auch auf nationaler Ebene mit Fachexpertinnen und -experten zusammen, die u. a.
bei der Begutachtung der Aufgaben mitwirken. Die österreichische Naturwissenschafts-Expertengruppe
Seite 44
III. Testinstrumente

für PISA 2006 setzt sich aus 14 Personen zusammen (Fachwissenschafter/innen, Fachdidaktiker/innen
und Lehrer/innen) und wurde vom bm:bwk (jetzt: BMUKK) einberufen.
Die Begutachtung der Aufgaben durch die Teilnehmerländer läuft parallel zur Itementwicklung auf internationaler
Ebene (siehe Abbildung III.6). Ein standardisiertes Formular unterstützt dabei das Vorgehen
IDC schickt Unit an
ACER
Unit wird von einem
anderen IDC überprüft
Überarbeitung der Unit
am ursprünglichen IDC
Überprüfung und Überarbeitung
der Unit von
1
ACER
Aufnahme der Unit in das
nächste Item Bundle
Item Bundle wird an
NPMs, SEG und Haupt-
Übersetzer gesendet
Wenn notwendig werden
Grafiken überprüft und
überarbeitet
Units werden mit mindestens
50 Schüler/innen
erprobt
Items werden von ACER
auf Basis der Rückmeldungen
1
überarbeitet
Coding und Anlayse
Items werden zur Übersetzung
freigegeben und
zum Editor gesendet
1
Letzte Überprüfung
Unit kommt für den
Feldtest in Betracht
1
bzw. auch Ausschluss von Items/Units
Abbildung III.5: Prozessphase 1 – Itementwicklung durch die Item Development Centres (IDCs)
III. Testinstrumente
Seite 45

der nationalen Zentren sowie der Expertinnen und Experten. Folgende Kriterien sollen auf einer Skala
von 1 (niedrigste Zustimmung) bis 5 (höchste Zustimmung) bewerten werden:
• Lehrplan: Wie gut stimmt die Aufgabe mit dem Lehrplan der 15-/16-jährigen Schüler/innen in dem
betreffenden Land überein?
• Relevanz: Wie relevant ist die Aufgabe für die „Vorbereitung auf das Leben“ – wie es in den Frameworks
definiert ist?
• Interesse: Wie interessant ist die Aufgabe für die Schüler/innen? Werden die Jugendlichen durch
neue und interessante Informationen, die in der Aufgabe enthalten sind, motiviert?
• Kulturelle Färbung: Enthält die Aufgabe kulturelle, geschlechtsbezogene oder andere Färbungen,
durch die eine Benachteiligung beim Lösen der Aufgabe entstehen kann?
• Übersetzungsprobleme: Kann es durch die Übersetzung zu einer Veränderung der Aufgabenschwierigkeit
kommen?
Teilnehmerland
sendet Unit
Unit wird von einem
IDC überprüft
Unit erscheint ungeeignet
Unit erscheint geeignet
Rückmeldung durch ein
weiteres IDC
Ablehnung
Rückmeldung an
Teilnehmerland
über Ablehnung
Unit erscheint geeignet
Rückmeldung an Teilnehmerland,
dass Unit evtl.
verwendet wird
Überarbeitung oder
1
“Reserve”
Reserve
IDC überarbeitet Unit
ACER überprüft und
überarbeitet Unit
Aufnahme in das nächste
Item Bundle
Kriterien: Qualität, Einzigartigkeit, Abdeckung des Frameworks, Internationale Abdeckung
1
Abbildung III.6: Prozessphase 2 – Itementwicklung durch die Teilnehmerländer
Seite 46
III. Testinstrumente

Auf der Basis des Feedbacks von den Teilnehmerländern (inklusive beteiligter nationaler Expertinnen und
Experten), den internationalen Expertengruppen (IDCs und Sciene Expert Group) und den Erfahrungen
aus dem Pilot-Test werden die Items revidiert und verbessert (siehe Abbildungen III.5 und III.6).
Die endgültige Auswahl der Aufgaben für den Feldtest wird in den einzelnen internationalen
Expertengruppen getroffen und erfolgt anhand folgender Kriterien:
• Übereinstimmung mit dem Framework;
• Höchst mögliche Qualität des Items;
• Die Items sollen eine Mischung aus verschiedenen Stilen sein, um verschiedene mögliche Formen von
Verzerrungen (kulturelle, nationale, geschlechtsspezifische etc.) zu minimieren;
• Die Items sollten bezüglich der Schwierigkeit so breit wie möglich variieren.
Im Feldtest 2005 wurden 222 neue Naturwissenschafts-Aufgaben getestet sowie 25 Naturwissenschafts-
Link-Items eingesetzt. Zur Erfassung der Naturwissenschafts-Einstellungen wurden insgesamt 105
Items entwickelt und erprobt, wobei eine spezifische Auswahl der „bestehenden“ Units (vgl. Abschnitt
2 idK.) um die einstellungsbezogenen Komponenten erweitert wurde. Die in PISA 2006 enthaltenen
Mathematik- und Leseaufgaben brauchten nicht mehr erprobt zu werden, da diese ohne Änderungen aus
den vorangegangenen Zyklen übernommen wurden. Der Feldtest ist Bestandteil des Auswahlverfahrens
der neu entwickelten Test-Items und dient der Erprobung sämtlicher Materialien und Prozeduren rund
um die Testung. Er liefert keine Ergebnisse im inhaltlichen Sinn – bezogen auf die Schülerleistungen.
3.2 Die Itemauswahl für den Haupttest
Im Anschluss an den Feldtest führt das internationale Zentrum Itemanalysen auf internationaler Ebene
über alle Teilnehmerländer hinweg, als auch separat für jedes Land, durch. Diese Itemstatistiken werden jedem
Land in einem nationalen Feldtestbericht übermittelt, der bei der Begutachtung der nationalen Daten
als Unterstützung dient. Der Feldtestbericht ist in jedem Erhebungszyklus gleich aufgebaut. Beispiele für
den Aufbau und den Inhalt der Itemstatistiken finden sich in Lang (2004, Kapitel 3, Abschnitt 1.4). An
dieser Stelle wird der Inhalt nur mehr kurz – in Anlehnung an Lang (2004) – erläutert.
3.2.1 Deskriptive Statistiken aller Items
Dieser Teil des Feldtestberichts enthält für jedes Item getrennt alle möglichen Antwortkategorien mit den dazugehörigen
Scores (Bewertungspunkten), die Anzahl und den Prozentsatz der Antworten der Schüler/innen
mit der Punkt-Biserialen-Korrelation sowie einen Diskriminationsindex. Die Punkt-Biseriale-Korrelation
gibt Auskunft über den Zusammenhang zwischen dem Erfolg bei einem Item (Itemscore) und dem Gesamtwert
(Testheftscores) für die jeweiligen Antwortkategorien. Bei den richtigen Antwortkategorien soll
diese Korrelation positiv und bei den falschen Antwortkategorien negativ sein.
Der Diskriminationsindex (Trennschärfe) gibt an, wie hoch die Scores der Schüler/innen bei diesem Item
mit dem aggregierten Score über ein Set von Items derselben Domäne und im selben Testheft korrelieren.
Dadurch wird beschrieben, inwieweit die Modellanpassung (s. u.) zwischen Individuen mit hohen Testwerten
und Individuen mit geringen Testwerten unterscheidet. Items, die gut diskriminieren, weisen einen
Koeffizient zwischen 0.3 und 0.7 auf. Koeffizienten unter 0.2 zeigen hingegen geringe Korrelationen
zwischen Item- und Testheftscores an, negative lassen auf eklatante Probleme bei dem entsprechenden
Item schließen.
3.2.2 Vergleich des nationalen und internationalen Infit-Mean-Square und des Diskriminationskoeffizienten
Der Infit-Mean-Square ist ein Index für die Modellanpassung (Item Response Model Fit). Das Rasch-
Modell, mit dem die Daten skaliert werden, liefert für jeder Schülerin/jeden Schüler die Wahrscheinlichkeit
für das Erreichen der verschiedenen Scores (Fähigkeitsparameter). Daher ist es möglich, die Vorhersage
des Modells mit der Beobachtung für ein Item über alle Schülerinnen und Schüler hinweg zu vergleichen
(Vergleich eines beobachteten Wertes mit einem Vorhergesagten). Die Akkumulierung dieser Vergleiche
über die Schüler/innen hinweg liefert die Infit-Mean-Square-Statistik, bei der Werte nahe bei 1 wün-
III. Testinstrumente
Seite 47

schenswert sind. Je näher der Infit-Mean-Square bei 1 liegt, desto besser passt das Item zum verwendeten
statistischen Modell (Rasch-Modell), bzw. desto besser beschreibt das gewählte Modell die vorliegenden
Daten. Informationen zum Rasch-Modell und der Anwendung in PISA finden sich im internationalen
Technischen Bericht zu PISA 2003 (OECD, 2005a, S. 119ff), oder auch im PISA 2003 Data Analysis
Manual for SPSS Users (OECD, 2005b).
Diese Statistik wird sowohl auf internationaler als auch auf nationaler Ebene berechnet und miteinander
verglichen. Substantielle Unterschiede zwischen diesen beiden Werten (Land- und Gesamtwert) zeigen,
dass sich das Item in einem Land im Vergleich zu den anderen Ländern anders verhält, was z. B. einen
Fehler bei der Übersetzung reflektieren kann.
Weiters wird in diesem Teil des nationalen Feldtestberichts auch der bereits zuvor beschriebene
Diskriminationsindex auf nationaler und internationaler Ebene verglichen. Dieser Vergleich zeigt ebenso,
ob ein Item generell oder nur in bestimmten Ländern einwandfrei funktioniert oder problematisch ist.
3.2.3 Vergleich der nationalen und internationalen Itemschwierigkeits-Parameter und Schwellen
(Item-Thresholds)
Das oben erwähnte Rasch-Modell, mit dem die Leistungsdaten skaliert werden, liefert neben den Werten
der Schülerfähigkeit auch Werte für die Itemschwierigkeit – den Itemschwierigkeits-Parameter. Der
Vergleich des nationalen Itemschwierigkeits-Parameters mit dem internationalen gibt ebenso Aufschluss
darüber, ob sich ein Item generell anders verhält, als das Modell vorhersagt, oder ob dies nur in einem
Land vorkommt.
Eine weitere Kontrolle diesbezüglich ermöglicht die Gegenüberstellung der Item-Thresholds (Schwellen).
Die Item-Thresholds stellen jene Fähigkeitswerte dar, welche die Grenze zwischen den zu erlangenden
Scores bei einer Aufgabe mit einer bestimmten Schwierigkeit bilden (Unter- und Obergrenze). Bei der
Gegenüberstellung der nationalen und internationalen Item-Thresholds der einzelnen Aufgaben wird
wiederum kontrolliert, ob sich diese unterschiedlich verhalten.
3.2.4 Bericht über nationale „riskante“ Aufgaben (dodgy Items)
Dieser Bericht führt alle Aufgaben an, die in dem betreffenden Land aus der Norm der oben beschriebenen
Itemstatistiken fallen und aus diesem Grund genauer auf mögliche Übersetzungsfehler, kulturelle
Passung etc. überprüft und gegebenenfalls überarbeitet werden müssen.
Durch die Analyse der Feldtestdaten und deren Darstellung in den länderspezifischen Berichten wird
empirisch bestimmt, welche Aufgaben in allen oder den meisten Ländern zufrieden stellend funktionieren,
bzw. welche Aufgaben entfernt werden müssen, weil sie zu wenig differenzieren oder sich auf andere
Weise problematisch verhalten. Jedes Teilnehmerland hat die Items auf Grund des Feldtestberichts zu
überarbeiten. Die Vorschläge und Kommentare eines Landes zum Feldtestbericht werden anhand eines
standardisierten Formulars an das internationale Konsortium gesendet. Bei der Überarbeitung der Items
arbeiten die deutschsprachigen Länder zusammen.
Auf internationaler Ebene werden die Items ebenso auf Grund der Feldtestanalysen überarbeitet. Schließlich
wird die Auswahl der Items für den Haupttest vorgenommen. Anschließend werden die Haupttestitems
an die Teilnehmerländer gesendet, wo sie erneut einem Item-Review unterzogen werden, der nach denselben
Kriterien und Vorgaben wie im Feldtest erfolgt.
4. Übersetzung und Verifikation
Bei PISA werden die Schüler/innen in ihrer Unterrichtssprache getestet. Daher müssen in jedem Land entsprechend
der verwendeten Unterrichtssprachen der nationalen Stichprobe Versionen der Testinstrumente
erstellt werden. Zum Beispiel werden in Südtirol sowohl Testhefte in Italienisch als auch in Deutsch eingesetzt.
Seite 48
III. Testinstrumente

Die Übersetzung der Aufgaben in die jeweilige(n) Landessprache(n) ist ein sehr heikler Punkt, da
die Validität der Aufgaben (und somit deren Vergleichbarkeit) gewahrt bleiben muss. Es darf bei der
Übersetzung z. B. nicht passieren, dass das Verständnis des Textes, der Grafiken, Tabellen oder Fragen
schwerer oder leichter wird.
Um die Vergleichbarkeit zwischen den nationalen Versionen gewährleisten zu können, gibt es bei PISA
spezielle Übersetzungs- und Verifikationsprozeduren. Diese finden sowohl vor dem Feld- als auch vor
dem Haupttest statt, wobei der Verifikationsprozess vor dem Feldtest umfassender verläuft, da zu diesem
Zeitpunkt die hauptsächliche Übersetzungsarbeit geleistet wird. Da beim Haupttest nur Aufgaben
eingesetzt werden, die auch im Feldtest erprobt wurden, bezieht sich die Verifikation im Haupttest überwiegend
auf die Verbesserungen und Adaptionen einzelner Aufgaben sowie auf die genaue Überprüfung
jener Items, die sich bei den Feldtestanalysen auffällig verhalten haben (vgl. Abschnitt 3.2 idK.).
4.1 Übersetzungsrichtlinien
Für sämtliche Testmaterialien gibt es zwei Quellversionen, die zur Übersetzung herangezogen werden
sollen: eine Englische und eine Französische. Bei der Übersetzung der englischen Aufgaben ins
Französische durch das internationale Konsortium können viele Übersetzungsprobleme antizipiert und
kleine Modifikationen in den Ausgangsversionen vorgenommen werden, bevor die Units an die nationalen
Zentren weitergeleitet werden. Weiters bietet eine zweite Version eine bessere Veranschaulichung, bis zu
welchem Ausmaß Abweichungen vom Original (z. B. bei Namen, Straßen, ...) erlaubt sind.
Die Anforderungen an die nationalen Übersetzer/innen sind international festgelegt (z. B. perfekte
Beherrschung einer der Sprachen der Quellversionen sowie der jeweiligen Testsprache, Vertrautheit mit
dem Bereich Naturwissenschaft, Wissen über das Schulsystem). Die Richtlinien zur Qualifikation der
Übersetzer/innen sind im Technischen Bericht 2003 (Lang, 2004) dokumentiert, da Österreich in PISA
2003 im Zuge der Übersetzungskooperation für die Übersetzung der neuen Mathematikunits und für die
Koordination zur Erstellung der gemeinsamen deutschen Basisversion verantwortlich war (s. Abschnitt
4.2).
Double Translation
Jedes Land muss zunächst von jeder Unit zwei unabhängige Übersetzungen (von zwei Übersetzerinnen/
Übersetzern) erstellen lassen („double translation“). Dabei wird vom internationalen Zentrum empfohlen,
für eine Version das englische Original und für die andere das französische Original als Ausgangsbasis zu
verwenden. Im zweiten Schritt sollen dann diese beiden unabhängigen Versionen von einem/einer dritten
Übersetzer/in zu einer nationalen Version zusammengeführt werden. Diese soll den Quellversionen so
ähnlich wie möglich sein.
Wenn es nicht möglich ist, aus beiden Quellversionen Übersetzungen zu generieren, müssen dennoch
zwei unabhängige Versionen – wenn auch aus der gleichen Quellsprache – generiert und zusammengeführt
werden. Bei diesem Vorgehen müssen bei der Zusammenführung der beiden Versionen so genannte
„cross-checks“ mit der jeweils anderen Quellversion durchgeführt werden.
Alle nationalen Anpassungen, die beim Testmaterial vorgenommen werden, müssen von den zuständigen
Übersetzerinnen und Übersetzern in einem standardisierten Adaptionsformular dokumentiert werden,
welches mit den übersetzten Units zur Verifikation gesendet wird (vgl. Abschnitt 4.3 idK.).
4.2 Übersetzungskooperation deutschsprachiger Länder bei PISA 2006
Wie bereits in PISA 2000 und 2003 arbeiten die deutschsprachigen Länder (Deutschland, Schweiz,
Luxemburg und Österreich) bei der Übersetzung der Testinstrumente zusammen. Ziel dieser Kooperation
ist es, eine gemeinsame deutsche Basisversion („Common German Version“) aller Units zu erstellen,
die als Grundlage für die Adaptionen der einzelnen deutschsprachigen Länder dient. Der Vorteil der
Übersetzungskooperation der deutschsprachigen Länder ist, dass die Übersetzungsarbeit für jedes Land
geringer wird und die Versionen der einzelnen Länder besser vergleichbar sind. In PISA 2006 über-
III. Testinstrumente
Seite 49

nahm das IPN in Kiel (Leibniz-Institut für die Pädagogik der Naturwissenschaften, deutsches PISA-
Zentrum für 2006) die Übersetzung der neuen Naturwissenschaftsunits sowie die Koordination der
Übersetzungsvorschläge der anderen deutschsprachigen Länder zur Erstellung der deutschen Basisversion.
Dieser Vorgang wird im folgenden Abschnitt näher erläutert (vgl. Abschnitt 4.3 idK.).
In den beiden anderen Domänen Mathematik und Lesen werden in PISA 2006 nur Link-Items eingesetzt,
die in den deutschsprachigen Ländern bereits in der verifizierten Form aus PISA 2000 bzw. 2003
vorliegen.
4.3 Internationale Verifikation und nationale Adaptionen
Die internationale Verifikation der Testaufgaben erfolgt für die deutschsprachigen Länder in zwei Schritten:
Zuerst wird die gemeinsame deutsche Basisversion verifiziert, danach folgt die Verifikation der nationalen
Adaptionen, die an dieser Basisversion von den einzelnen Ländern vorgenommen wurden.
4.3.1 Die internationale Verifikation
Das wichtigste Ziel der internationalen Verifikation ist die Sicherung der Qualität und Vergleichbarkeit
aller nationalen Erhebungsinstrumente. Durchgeführt wird die Verifikation von professionellen
Englisch- und Französischübersetzerinnen/-übersetzern, die die jeweilige Sprache der zu begutachtenden
Testinstrumente als Muttersprache haben. Die Institution, die die Verifikation der nicht-englischsprachigen
Testinstrumente durchführt, ist Vertragspartner des internationalen Konsortiums. Die Verifikatorinnen
und Verifikatoren werden vom internationalen Zentrum geschult und erhalten eine Checkliste, anhand
derer sie jede einzelne Aufgabe verifizieren müssen. Zusätzlich zu den Testaufgaben werden auch die allgemeinen
Teile der Testhefte („Common Booklet Parts“) – wie z. B. die Einleitung – verifiziert.
4.3.2 Die nationalen Adaptionen
Damit die Schüler/innen die Aufgaben einwandfrei verstehen können ist es erforderlich, dass manche
Phrasen, Wörter oder Namen nicht wortwörtlich übersetzt bzw. übernommen werden, sondern dass diese
national adaptiert werden. Was adaptiert werden darf und was nicht, ist in den Übersetzungsrichtlinien
genau festgehalten. Zum Beispiel dürfen Eigennamen von Personen und Straßen, Symbole und
Abkürzungen sowie geografische Namen geändert werden. Nicht verändert werden dürfen z. B. das
Itemformat, Antwortkategorien und der Name der fiktiven Währung, welche bei einigen Aufgaben verwendet
wird. Um diesen Schritt der nationalen Anpassung zu vereinheitlichen, werden vom internationalen
Zentrum bei den betreffenden Aufgaben Übersetzungshinweise eingefügt, in denen angegeben
wird, ob eine nationale Adaption notwendig ist oder nicht. Eine weitere Erleichterung stellt das vom
internationalen Zentrum entwickelte Adaptionsformular dar. Dieses beinhaltet für jede Aufgabe bereits
jene Wörter, Namen oder Phrasen, die sehr wahrscheinlich an den nationalen Kontext angepasst werden
müssen, aber auch Hinweise auf Textteile, die keinesfalls verändert werden dürfen. Eine der wichtigsten
Aufgaben der Verifikatorinnen und Verifikatoren ist es zu prüfen, ob die vorgenommenen Adaptionen die
Validität der Aufgabe gefährden.
4.3.3 Ablauf der internationalen Verifikation
Nachdem die Übersetzung der neuen Naturwissenschafts-Items in Deutschland erfolgt war, wurden die
Units vom IPN an die nationalen Zentren der deutschsprachigen Länder zur Begutachtung gesendet. In
Österreich wurden die Items auch von der Naturwissenschaftsexpertengruppe des BMUKK begutachtet
und die Rückmeldungen der Expertinnen und Experten vom nationalen Zentrum bearbeitet. Im nächsten
Schritt wurden die Anmerkungen der nationalen Zentren an das IPN zur Bearbeitung der deutschen
Basisversion gesendet. Bei diesem Prozess wurde genau dokumentiert, welche Anregungen aufgenommen
und eingearbeitet wurden, welche Vorschläge noch diskutiert werden mussten und welche abgelehnt wurden.
Nach Fertigstellung der „Common German Version“ durch das IPN wurde diese zur internationalen
Verifikation gesendet.
Seite 50
III. Testinstrumente

Nach Abschluss der Verifikation der deutschen Basisversion erhielt jedes deutschsprachige Land die verifizierte
„Common German Version“ zur Einarbeitung der nationalen Adaptionen. Die adaptierten
Aufgaben und das dazugehörende Formular wurden nach Einarbeitung der Änderungen vom nationalen
Zentrum zur internationalen Verifikation gesendet, wo sie von dem/der zuständigen Verifikator/in im
Adaptionsformular beurteilt und wenn notwendig mit Verbesserungsvorschlägen ergänzt wieder zurückgesendet
wurden. Im nächsten Schritt wurden die Korrekturen am nationalen Zentrum eingearbeitet oder
gegebenenfalls nochmals mit dem/der zuständige/n Verifikator/in diskutiert. Nachdem alle Adaptionen
verifiziert wurden (d. h. allen Änderungen zugestimmt wurde), konnten die nationalen Testhefte zusammengestellt
werden.
4.3.4 Zusammenstellung der Testhefte
In PISA 2006 wurden insgesamt 13 verschiedene Testheftformen eingesetzt (vgl. Abschnitt 2.1 idK.).
Die Zusammenstellung der Testhefte erfolgt nach internationalen Richtlinien und darf erst dann erfolgen,
wenn alle Bestandteile der Testhefte vollständig verifiziert sind: das Deckblatt, die „Common
2003
Oktober
Erstes Meeting der SEG für PISA 2006: Framework-Erweiterung
und Itementwicklung
2004
Jänner-Oktober
Oktober
November
Dezember
Item Review (international und national)
Aussendung der Link-Aufgaben an die Teilnehmerländer
Übersetzung der Naturwissenschafts-Items (Erstellung der
deutschsprachigen Basisversion durch das IPN in Kiel)
Einarbeiten der nationalen Adaptionen in die deutschsprachige
Basisversion
2005
Jänner - Februar
März
April - Mai
August
Oktober
November
Dezember
Verifikation der nationalen Adaptionen
Druck der Testinstrumente
Feldtest
Aussendung der Link-Aufgaben für den Haupttest
Aussendung des Feldtest-Berichts, Überarbeitung der Items
(international, national)
Aussendung der Liste mit den für den Haupttest vorgeschlagenen
Naturwissenschafts-Items
Aussendung der Naturwissenschafts-Items
Einarbeiten der nationalen Adaptionen
Einarbeiten und Beginn der Verifikation der nationalen Adaptionen
2006
Jänner-Februar
Februar
April - Mai
Oktober-November
Verifikation der nationalen Adaptionen
Druck der Testinstrumente
Haupttest
Aussendung des Haupttest-Berichts, Itemanalysen (international,
national)
Abbildung III.7: Zeitlicher Überblick über die Erstellung der Testinstrumente für PISA 2006
III. Testinstrumente
Seite 51

Booklet Parts“ – das sind jene Teile, die in allen Testheften enthalten sind, wie z. B. die Anleitungen zum
Ausfüllen der Tests – und natürlich die Testaufgaben. Zuerst werden die Aufgaben zu Clustern (Blöcke
mit Aufgaben eines Kompetenzbereichs mit einer Bearbeitungszeit von 30 min, vgl. Abschnitt 2.1 idK.)
zusammengestellt, danach folgt die Zusammensetzung aus Deckblatt, „Common Booklet Parts“ und
jeweils vier Clustern (vgl. Abschnitt 2.1 idK.). Um zu überprüfen, dass alle Cluster richtig zusammengestellt
sind und alle Testheftformen die richtigen Cluster beinhalten, gibt es vom internationalen Zentrum
eine genaue Anleitung zur Zusammenstellung der Cluster und Testhefte sowie die Originalversionen der
Booklets, die als Ansichts- und Vergleichsexemplare herangezogen werden.
Zur Absicherung, dass bei der Zusammenstellung der Testhefte alle Vorgaben berücksichtigt werden und
die Testinstrumente richtig zusammengestellt sind, werden die fertigen Testhefte zu einer letzten optischen
Überprüfung zur Verifikation gesendet („Final Optical Check“ – FOC). Nach Abschluss dieser
Überprüfung erhält das nationale Zentrum einen Bericht mit den letzten Anmerkungen zum Layout, anhand
derer die Testhefte noch einmal überarbeitet werden. Bevor die Testhefte in die Druckerei gesendet
werden, werden diese am nationalen Zentrum noch einmal sorgfältig kontrolliert.
Abbildung III.7 auf der vorhergehenden Seite gibt einen Überblick über den zeitlichen Ablauf der
Erstellung der Testinstrumente.
5. Qualitätssicherung im Bereich Testinstrumente
Die Qualitätssicherung im Bereich der Testinstrumente ergibt sich durch die Anwendung sämtlicher
Prozeduren bei der Itemerstellung und Übersetzung der Testinstrumente – sie ist demnach ein integraler
Bestandteil bei der Entwicklung der Testinstrumente.
Einen zentralen Beitrag zur Sicherung der Qualität bei der Itementwicklung leistet das Framework, indem
sich die Itementwickler/innen strikt an dessen Vorgaben halten müssen. Damit wird sichergestellt,
dass Konsens herrscht in Bezug auf das, was getestet wird.
Die Qualität der Aufgaben wird zudem durch den Itementwicklungsprozess und die Feldtestanalysen
sichergestellt. Im Rahmen der Itementwicklung werden sämtliche Items von unterschiedlichen
Expertenzentren (IDCs) überprüft sowie einem Pre-Pilottest unterzogen. Zudem werden die Aufgaben
von den nationalen Zentren und nationalen Expertinnen und Experten begutachtet und auf Grund festgelegter
Kriterien wie z. B. die Abdeckung des Items durch den Lehrplan, zu erwartende Probleme bei der
Übersetzung, Bedenken bezüglich der Coding Instructions etc. beurteilt.
Ein weiteres Qualitätsmerkmal bei der Itementwicklung stellt der Feldtest dar. Anhand der umfangreichen
Datenanalysen werden die Aufgaben im Feld geprüft und schließlich jene Aufgaben für den Haupttest
ausgewählt, die in allen Ländern eine zufriedenstellende Itemstatistik aufweisen.
Ebenso werden nach dem Haupttest umfangreiche Itemanalysen nach den selben Kriterien wie beim
Feldtest ausgeführt und Itemstatistiken erstellt. Indem genau überprüft wird, wie sich die einzelnen Items
in den Teilnehmerländern verhalten haben, wird die Qualität der Aufgaben um ein weiteres überprüft
und sichergestellt.
Bei der Übersetzung der Aufgaben wird die Qualität der Testinstrumente durch umfangreiche Maßnahmen
gesichert. Dazu gehört u. a. die zur Verfügungstellung von zwei Quellversionen (eine Englische und
eine Französische) bzw. die Prozedur der doppelten Übersetzung durch zwei unabhängige Übersetzer/innen
(Double Translation) sowie die Zusammenführung durch eine/n unabhängige/n Dritte/n. Darüber
hinaus werden die Übersetzer/innen bei einem Training mit den spezifischen Bedingungen in PISA
(z. B. Wahrung der Validität der Aufgaben) vertraut gemacht. Weitere wichtige Maßnahmen stellen die
Übersetzungs- und Anpassungsvorschriften für das Testmaterial dar, der Einsatz von standardisierten
Formularen zur Dokumentation der Übersetzung und Adaptionen, die internationale Verifikation der
Testinstrumente durch speziell geschulte Verifikator/innen, die rasche Übermittlung der Testmaterialien
und Formulare über einen sicheren FTP-Server sowie der Abschlussbericht über die Verifikation an die
Teilnehmerländer.
Seite 52
III. Testinstrumente

Bibliographie
Haider, G. & Reiter, C. (Hrsg.). (2003). PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht.
[WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs:
08.02.2007]
Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und
Stichproben des österreichischen PISA Projekts (S. 67–143). Innsbruck: Studienverlag
Lang, B. (2004). Testinstrumente. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 08.02.2007]
OECD (Hrsg.). (1999). Measuring Student Knowledge and Skills. A new Framework for Assessment. Paris: OECD.
OECD (Hrsg.). (2003a). The PISA 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Kowledge
and Skills. PARIS : OECD
OECD (Hrsg.). (2003b). Literacy Skills for the world of Tomorrow – Further Results from PISA 2003. Paris : OECD
OECD (Hrsg.). (2004). Lernen für die welt von morgen – erste Ergebnisse von PISA 2003. Paris : OECD
OECD (Hrsg.). (2005a). PISA 2003. Technical Report. Paris: OECD
OECD (Hrsg.). (2005b). PISA 2003 Data Analysis Manual. SPSS Users. Paris: OECD.
OECD (Hrsg.). (2006). Assessing Scientific, Reading and Mathematical Literacy: A Framework fro PISA 2006. OECD Publications.
Paris
PISA-Konsortium Deutschland (Hrsg.). (2004). PISA 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des
zweiten internationalen Vergleichs.
1
ACER = Australian Council for Educational Research; Cito ist ein führendes Institut für Testentwicklung in den Niederlanden,
NIER = National Institute for Educational Policy Research of Japan, ILS = Institut für Lehrerbildung und Schulentwicklung,
Universität Oslo, IPN = Institut für die Pädagogik der Naturwissenschaften, Universität Kiel
III. Testinstrumente
Seite 53

Seite 54
III. Testinstrumente

IV
KONTEXTFRAGEBÖGEN
Ursula Schwantner
1. Konzeption der Kontextfragebögen – das Kontext Framework
1.1 Prioritäten des PGB und INES-Indikatoren
1.2 Konzeptionelle Modelle
1.3 Kontextbereiche in PISA 2006
2. Entwicklung der internationalen Fragebögen
2.1 Feldtest und Auswahl der Fragen für den Haupttest
2.2 Übersetzung und Verifikation der Kontextfragebögen
3. Der internationale Schülerfragebogen im Haupttest 2006
4. Der internationale Schulfragebogen im Haupttest 2006
5. Nationale Optionen
5.1 Nutzung von Informationstechnologien
5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung
5.3 Belastung in der Schule
5.4 Befindlichkeit und Schulerfolg
5.5 Qualität in Schulen
6. Qualitätssicherung im Bereich Kontextfragebögen
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Böck, 2001; Eder, 2001; Haider, 2001; Lang, 2001; Reiter,
2001) und PISA 2003 (Lang, 2004). Die Autorin dieses Kapitels dankt Margit Böck, Ferdinand Eder, Günter Haider, Birgit
Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.

Zusätzlich zu den Leistungsdaten werden in PISA Kontextinformationen mittels Fragebögen auf
Schul- und Schülerebene erhoben. Diese Kontextdaten ermöglichen es, Bildungsindikatoren zu entwickeln
und diese in regelmäßigen Abständen zu erfassen. Dazu gehört u. a. die Bildung der Eltern, der
sozioökonomische Status der Familie, aus der die Schüler/innen stammen, der Migrationshintergrund
oder auch die formale Schulbildung der Jugendlichen.
Außerdem werden Informationen in Bezug auf die jeweilige Hauptdomäne – in PISA 2006 die Naturwissenschafts-Kompetenz
– erhoben, wie z. B. genereller und persönlicher Wert der Naturwissenschaft für
die Schüler/innen, Interesse und Freude an naturwissenschaftlichen Fächern (Chemie, Biologie, Physik),
Selbstwirksamkeit und Selbstkonzept der Schüler/innen in Bezug auf Naturwissenschaft, Unterricht und
Lernen in den naturwissenschaftlichen Fächern sowie Kenntnisse über Berufe, die mit Naturwissenschaft
zu tun haben etc.
Die Kontextdaten stellen einen zentralen Punkt in der Ergebnisanalyse dar, da sie mit den Schülerleistungen
in Verbindung gebracht werden können und somit Aufschluss über Zusammenhänge verschiedener
Merkmale geben (z. B. Zusammenhang von sozioökonomischem Status, Migrationshintergrund und
Schülerleistung oder von motivationalen Faktoren und Leistung).
Die Fragebögen zur Erhebung der Kontextinformationen umfassen verschiedene Teile. Auf Schülerebene
gibt es einen vom internationalen Zentrum entwickelten Fragebogen, der für alle Länder verpflichtend ist
(„internationaler Schülerfragebogen“). Weiters gibt es als internationale Option einen Fragebogen über
Informations- und Kommunikationstechnologien, der ebenfalls vom internationalen Zentrum entwickelt
wird und von den Teilnehmerländern eingesetzt werden kann. In Österreich ist diese Option in PISA 2003
und 2006 enthalten. Zusätzlich – wie bereits in PISA 2000 und 2003 – enthält der Schülerfragebogen in
Österreich auch nationale Ergänzungen.
Auf Schulebene gibt es ebenfalls einen internationalen Fragebogen, der in allen Teilnehmerländern einzusetzen
ist; in Österreich wird dieser wiederum durch nationale Optionen ergänzt.
Neu in PISA 2006 ist die internationale Option des Elternfragebogens, an der sich 16 Länder beteiligt
haben. Da Österreich nicht teilgenommen hat, wird an dieser Stelle nicht näher auf diesen Fragebogen
eingegangen. Der internationale Technische Bericht der OECD wird voraussichtlich Informationen zum
Elternfragebogen enthalten.
Im Folgenden wird auf die Konzeption und Entwicklung der Kontextfragebögen eingegangen, die
Übersetzungsprozeduren werden beschrieben und die Erprobung im Feldtest bis hin zum Einsatz der
Fragebögen im Haupttest dargestellt. Die nationalen Zusatzerhebungen auf Schul- und Schülerebene
werden im Anschluss an diese Ausführungen näher erläutert. Abbildung IV.1 zeigt eine Übersicht über
alle in Österreich in PISA 2006 verwendeten Fragebögen.
1. Konzeption der Fragebögen – das Kontext-Framework
Die Kontextfragebögen werden ebenso wie die Testinstrumente auf Basis eines Frameworks konzipiert
(Contextual Framework). Dieses Kontext-Framework wird unter Berücksichtigung von drei Aspekten
von internationalen Expertinnen und Experten in der Questionnaire Expert Group (QEG) entwickelt:
(1) Einbezug aller relevanten Dimensionen durch Verbinden wesentlicher Komponenten bereits existierender
theoretischer Modelle; (2) Vergleich dieser Komponenten mit den Prioritäten des PGB für PISA
2006 mit dem grundlegenden Framework der OECD-Bildungsindikatoren (International Indicators of
Education Systems = INES, Network A 1 ) und (3) Beurteilung der Durchführbarkeit und Eignung innerhalb
des Designs von PISA.
1.1 Prioritäten des PGB und INES-Indikatoren
Das PISA Governing Board (PGB, vormals BPC = Board of Participating Countries) setzt Prioritäten
hinsichtlich bestimmter Themenbereiche, über welche die Politiker/innen mit Hilfe der gewonnenen
Daten Aussagen treffen möchten. Während die Prioritätenliste des PGB für PISA 2000 hauptsächlich den
Seite 56
IV. Kontextfragebögen

PISA 2006: Internationaler Schülerfragebogen
Der internationale Schülerfragebogen zur Erhebung der Kontextdaten auf Schülerebene ist in sieben
inhaltliche Bereiche gegliedert. Die Bearbeitungszeit beträgt ca. 30 Minuten. Erfasst werden
Informationen zu folgenden Themen:
• Schülercharakteristiken (Alter, Geschlecht etc.)
• Familiärer Hintergrund (Beruf und Schulbildung der Eltern, Migrationshintergrund, Besitztümer
zuhause wie z. B. Computer oder Bücher)
• Einstellungen zu Naturwissenschaft, Umweltthemen und Berufe, die mit Naturwissenschaft zu tun
haben
• Unterricht und Lernen in den naturwissenschaftlichen Fächern (u. Unterrichtszeit in anderen Fächern)
Zusätzlich wurde in Österreich der internationale Fragebogen zur Nutzung von Informations- und
Kommunikationstechnologien (ICT) eingesetzt.
PISA 2006: Internationaler Schulfragebogen für Schulleiter/innen
Der internationale Schulfragebogen, der von den Schulleiter/innen ausgefüllt wird, hat eine Bearbeitungsdauer
von ca. 30 Minuten und dient der Erhebung von Kontextvariablen auf Schulebene. Themen des
Schulfragebogens sind u. a.:
• Struktur und Organisation der Schule
• Schulpersonal
• Schulressourcen
• Rechenschaftspflicht und Aufnahmepraktiken
• Angebote in den Bereichen Naturwissenschaft und Umwelt
• Berufsorientierung und weiterführende Ausbildung
PISA 2006: Nationale Zusatzerhebungen
Die nationalen Zusatzerhebungen sind in den Schüler- und Schulfragebögen im Anschluss an den
internationalen Teil enthalten.
• Rahmenbedingungen der Leseförderung (Schul- und Schülerfragebogen)
• Nutzung von Informationstechnologien (Schul- und Schülerfragebogen)
• Qualität in Schulen (Schul- und Schülerfragebogen)
• Befindlichkeit und Schulerfolg von Schülerinnen und Schülern am Übergang zur Sekundarstufe II
(nur Schülerfragebogen)
• Belastungen in der Schule (nur Schülerfragebogen)
Abbildung IV.1: Kontextfragebögen in PISA 2006
Familienhintergrund der Schüler/innen fokussierte und in PISA 2003 das Lernen und das Engagement
der Schüler/innen in Mathematik, liegt der Schwerpunkt in PISA 2006 auf den Einstellungen der Schüler/innen
zu Naturwissenschaft, den Erfahrungen der Jugendlichen mit Naturwissenschaft in und außerhalb
der Schule, auf der Motivation der Schüler/innen sowie ihrem Interesse an Naturwissenschaft und
ihrem Engagement für naturwissenschaftsbezogene Aktivitäten. Darüber hinaus ist dem PGB wichtig,
dass grundlegende demografische Daten, welche Schlüsselfragen aus vorhergehenden Zyklen abbilden, als
Kernbestandteile wieder eingefügt werden (Contextual Framework for PISA 2006, Draft Version, NPM
[0510]5).
Das INES Network A schlägt Kriterien vor, mit Hilfe derer die politischen Prioritäten des PGB definiert
und operationalisiert werden können und die in weiterer Folge auch für die Entwicklung verschiedener
thematischer Berichte relevant sind. Folgende Kriterien wurden für PISA 2006 vorgelegt:
IV. Kontextfragebögen
Seite 57

• Die Prioritäten müssen von einer andauernden politischen Relevanz und ebenso von andauerndem
Interesse sein. Dazu gehört u. a., dass Daten erhoben werden, die Auskunft über die Leistungen eines
Schulsystems geben sowie Bildungsergebnisse erklären und verbessern helfen. Ebenso sollen die Themen
für die Öffentlichkeit interessant sein.
• Die vorgeschlagenen Bereiche sollen einen internationalen Vergleich zulassen und eine Bereicherung
zu dem darstellen, was durch nationale Evaluationen erreicht werden kann.
• Die Konsistenz der Methoden zur Erfassung der Untersuchungsgebiete in PISA 2000 und 2003 soll
gewahrt werden.
• Die Themen müssen für das PISA-Design geeignet und technisch durchführbar sein.
Die Integration der vorgeschlagenen Themen sowie der genannten Kriterien erfolgt im Zuge der
Konzeption des Kontext-Frameworks durch die Questionnaire Expert Group.
1.2 Konzeptionelle Modelle
Grundlegend für das Kontext-Framework in PISA 2006 sind mehrere konzeptionelle Modelle der Evaluation
von Bildungsleistung (educational achievement), die bereits in IEA-Studien über Naturwissenschaft
und Mathematik eingesetzt wurden und sich hinsichtlich der thematischen Analysen als aussagekräftig
erwiesen haben. Die komplexen Modelle enthalten Variablen und Zusammenhänge, welche die
Schülerleistungen beeinflussen, und soziologischen, psychologischen und kognitiven Theorien entspringen
2 . Aus diesen Modellen abgeleitet werden für PISA zwei Dimensionen als relevant betrachtet (s.
Abbildung IV.2):
Auf der ersten Dimension sind vier Ebenen relevant: Systemebene, institutionelle Ebene (Schulebene),
Unterrichtsebene (Lernumgebung innerhalb der Institution – Klassenebene) sowie Schülerebene.
Auf der zweiten Dimension wird in Antezedens, Prozesse und Ergebnisse unterschieden, welche auf
allen vier Ebenen repräsentiert werden. „Antezedens“ bezieht sich auf jene Faktoren, die als vorgegeben
gelten (u. a. Makrokontexte, Charakteristiken der Institution, Charakteristiken einer Unterrichtseinheit,
Hintergrund und Charakteristiken der Schüler/innen). Mit „Prozessen“ werden Umstände bezeichnet,
welche die Ergebnisse auf den vier Ebenen gestalten (u. a. Schulorganisation, institutionelle Ausführung,
Lernumgebung, Lernen der Schüler/innen). Unter „Ergebnisse“ werden beobachtete Leistungen auf allen
Ebenen verstanden.
Die potenziellen Beziehungen und Zusammenhänge zwischen den einzelnen Komponenten – auch über
die vier Ebenen hinweg – sind sehr komplex und vielfältig. Das Konsortium verzichtet daher darauf,
explizite kausale Zusammenhänge auszuformulieren auch in Hinblick darauf, dass sich die vielen für
PISA potenziell relevanten Verbindungen nicht in einem „generellen Modell“ integrieren lassen. Dieses
zweidimensionale Modell soll daher mehr als „konzeptuelles Mapping“ verstanden werden, welches es
ermöglicht, die für PISA relevanten Variablen zu identifizieren.
In erster Linie werden in PISA die Elemente auf Schul- und Schülerebene erfasst. Informationen auf
der Unterrichtsebene können auf Grund des PISA-Designs nur subjektiv – über die Einschätzungen der
Schüler/innen darüber, wie sie ihren Unterricht erleben – gewonnen werden, wobei zu berücksichtigen
ist, dass die Schüler/innen nicht klassenweise, sondern jahrgangsmäßig (meist aus mehreren Klassen) erfasst
werden. Informationen auf Systemebene werden in PISA nicht direkt gewonnen, zum Teil können
dazu einige PISA-Variablen auf Schulebene aggregiert werden. Um Systeminformationen zu bekommen,
können jedoch auch andere Quellen herangezogen werden (z. B. OECD-Bildungsindikatoren/INES).
1.3 Kontextbereiche in PISA 2006
Folgende Forschungsgebiete sind auf Grund der Empfehlungen der Questionnaire Expert Group in PISA
2006 integriert:
• Schülerleistung und Geschlecht: Hier liegt der Fokus auf den Leistungen der Schüler/innen in allen
drei Domänen, u. a. auf der Feststellung von Trends aus vorhergehenden PISA-Zyklen, aber auch im
Vergleich mit anderen internationalen Studien wie PIRLS 3 und TIMSS 4 .
Seite 58
IV. Kontextfragebögen

Ebenen
Antezedens
Prozesse
Ergebnisse
Schulsystem-
ebene
Makroökonomischer und
demografischer Kontext
eines Landes
(z. B. BIP, Wohlstandsverteilung)
Richtlinien und Schulorganisation
(z. B. Lehrer-Ausund
Weiterbildung, Einschulungsalter)
Ergebnisse auf Schulsystemebene
(z. B. aggregierte
Daten über Leistungen auf
Systemebene, Gewohnheiten
und Einstellungen, Fertigkeiten
und Lernstrategien;
Ergebnisse in Bezug auf
Chancengerechtigkeit)
Schulebene
(schulische
Institutionen)
Charakteristiken schulischer
Institutionen
(z. B. Größe, Lage)
Institutionelle Richtlinien und
Praxis (z. B. Unterstützung des
Unterrichts durch Materialien
und Personal, Zugangsbeschränkungen,
Schulklima,
Schüler-Lehrer-Beziehung,
Schulleitung)
Ergebnisse auf Schulebene
(z. B. aggregierte Daten über
Leistungen auf Schulebene;
Gewohnheiten, Einstellungen,
Lernstrategien; Unterschiede
in Bezug auf Hintergrund der
Schüler/innen)
Unterrichtsebene
Unterrichtscharakteristiken
(z. B. Lehrereigenschaften
inkl. Qualifikation, Alter,
Erfahrung; Eigenschaften
der Klasse)
Lernumgebung
(z. B. Klassenzustand,
Ordentlichkeit, Unterstützung
durch Lehrperson, Unterrichtspraktiken
wie Hausübungen,
Umgang mit individuellen Unterschieden,
Unterrichtsstruktur,
Inhalte, Leistungserwartungen)
Ergebnisse auf Unterrichtsebene
(z. B. Lernmotivation,
Nutzung von Unterrichtsressourcen,
durchschnittliche
Klassenleistung)
Schülerebene Individueller Hintergrund
(z. B. sozioökonomischer
Status, Bildung der Eltern,
Bildungsressourcen zu
Hause, Sprache, Alter und
Geschlecht)
Individueller Lernprozess
(Engagement und Einstellungen
zur Schule, Ausdauer,
Beteiligung, Lernzeit, Nutzung
schulischer Ressourcen,
Hausübungen)
Individuelle Ergebnisse
(z. B. Mathematik-,
Naturwissenschafts- und
Lese-Kompetenz, Gewohnheiten,
Einstellungen, Fertigkeiten,
Lernstrategien)
Abbildung IV.2: Konzeptuelles Mapping – zweidimensionale Matrix mit Elementen
des Kontext-Frameworks (Seite 14 NPM Doc.)
• Engagement der Schüler/innen in Naturwissenschaft: Dieser thematische Aspekt weist zum Teil Parallelen
mit PISA 2003 (Engagement in Mathematik) auf. Dazu gehören u. a. selbstbezogene Kognitionen,
motivationale Präferenzen, emotionale Faktoren als auch verhaltensbezogene Variablen.
• Unterricht und Lernen in den naturwissenschaftlichen Fächern: Hier geht es darum zu erfahren, wie
Naturwissenschaft in der Schule unterrichtet wird und in welchem Ausmaß sich der Unterricht in
verschiedenen Bildungs- und Schultypen unterscheidet.
• Naturwissenschafts-Kompetenz und Umwelt: Die Schule wird als potenzielle Informationsquelle der
Schüler/innen für Umweltprobleme und diesbezügliche Herausforderungen angesehen.
• Organisation von Schulsystemen: Dieses Gebiet erforscht den Zusammenhang zwischen Naturwissenschafts-Kompetenz
und Strukturcharakteristiken der Bildungssysteme. Dazu zählen z. B., ob ein generelles
oder ein spezifiziertes Curriculum eingesetzt wird (integrierter Naturwissenschaftsunterricht
vs. spezifische naturwissenschaftliche Fächer), differenziertes- vs. nicht-differenziertes System oder
zentralisiertes vs. dezentralisiertes Schulmanagement.
IV. Kontextfragebögen
Seite 59

• Naturwissenschaft und Arbeitsmarkt: Bei diesem Forschungsgebiet geht es um die Rolle und den Wert
naturwissenschaftlicher Bildung und Naturwissenschafts-Kompetenz als Vorbereitung auf einen späteren
Beruf. Dazu gehören z. B. die Praxis der Schule und die Erwartungen der Schüler/innen in
Bezug auf Berufsorientierung und ob Information über Berufe, die in Verbindung mit Naturwissenschaft
stehen, vermittelt werden.
Alle Forschungsbereiche wurden im Feldtest hinsichtlich ihrer Aussagekraft untersucht. Auf Grund der
Feldtestanalysen wurden die relevanten Kontextfaktoren für den Haupttest ausgewählt. Dieser Vorgang
wird im Folgenden näher erläutert.
2. Entwicklung der internationalen Fragebögen
Die Entwicklung der internationalen Fragebögen findet wie die Konstruktion der Testaufgaben hauptsächlich
auf internationaler Ebene statt. Neben den neu entwickelten Fragen werden in jedem Zyklus
wesentliche demografische Basisdaten erfasst (z. B. Geschlecht, Schulstufe, sozioökonomischer Status,
die zu Hause gesprochene Sprache). Das regelmäßige Einbeziehen derartiger Fragen erlaubt Vergleiche
über die Zeit hinweg. Zudem werden relevante Fragen aus den vorangegangenen Zyklen in Abstimmung
mit der Prioritätenliste des PGB und dem Kontext-Framework übernommen oder für den neuen Zyklus
modifiziert.
Die neuen Fragen werden auf Basis des Kontext-Frameworks und den Prioritäten des PGB von der
Fragebogenexpertengruppe (Questionnaire Expert Group = QEG) entwickelt. Die QEG arbeitet dabei
mit der jeweiligen Expertengruppe der Hauptdomäne zusammen (in PISA 2006 ist dies die SEG
= Science Expert Group/Expertengruppe für die Hauptdomäne Naturwissenschaft) um die relevanten
Kontextvariablen für die Hauptdomäne zu identifizieren und zu definieren. In PISA 2006 kommt dabei
der Verknüpfung der einstellungsbezogenen Fragen, die über die Testhefte erfasst werden und jenen, die
in den Kontextfragebögen behandelt werden, ein besonderer Stellenwert zu (vgl. dazu Kapitel III).
Die neu entwickelten Kontextfragen werden vor dem Feldtest vom internationalen Zentrum in einem so
genannten „Cognitive Laboratory“ analysiert (verschiedene Verfahren, anhand derer die Fragen kognitiv
genau analysiert werden; wird auch bei den Testaufgaben angewendet) und in einer Pilotstudie getestet.
Für die Teilnehmerländer besteht die Möglichkeit, die Inhalte und Formulierungen der Fragen im
Rahmen der Meetings für Nationale Projektmanager (NPM-Meeting) zu besprechen.
Auf Basis der Analysen, den Ergebnissen aus der Pilotstudie und den Anregungen der nationalen
Projektmanager werden die Fragen nochmals überarbeitet und im Anschluss daran die Feldtestversion
der Fragebögen erstellt. Danach beginnt der Prozess der Übersetzung und Adaption der Fragebögen (vgl.
Abschnitt 2.2 idK.).
2.1 Feldtest und Auswahl der Fragen für den Haupttest
Der Feldtest dient dazu, die Kontextfragebögen zu prüfen. Die zu erprobenden Fragen aus dem
Schülerfragebogen wurden auf vier Versionen (A, B, C, D) aufgeteilt. Die einzelnen Fragen dieser vier
Versionen sind zum Teil inhaltlich ident, unterscheiden sich jedoch hinsichtlich ihrer Formulierung oder
in der Art der Antwortvorgaben bzw. der Skalierung. Somit kann im Feldtest geprüft werden, welche
Fragen und welche Antwortkategorien zu einem validen und reliablen Ergebnis führen. Mit den Daten
der Feldtestfragebögen werden – wie mit den Leistungsdaten – umfangreiche Analysen vom internationalen
Zentrum durchgeführt, welche die Grundlage für die Auswahl der endgültigen Fragen für den
Haupttest darstellen:
• Analyse der fehlenden Werte: Um die Länge der Fragebögen zu überprüfen und festzustellen, ob es
bestimmte Fragen gibt, die von vielen Schülerinnen und Schülern bzw. Schulleiterinnen und Schulleitern
nicht beantwortet werden, werden fehlende Antworten sowohl innerhalb der einzelnen Länder
als auch über alle Länder hinweg genau analysiert.
Seite 60
IV. Kontextfragebögen

• Analyse der Antwortmuster: Bei Fragen, die eine Antwort auf einer Skala mit mehreren Abstufungen
erfordern, kann es sein, dass diese nach einem bestimmten Muster beantwortet werden (z. B.
die Zustimmung zu einer Reihe von Statements auf einer vierstufigen Skala angeben). Da derartige
Antwortmuster die Validität der Ergebnisse beeinflussen, versucht man diese zu entdecken bzw. die
Wirkung verschiedener Skalen bei der Beantwortung miteinander zu vergleichen.
• Analyse der Item-Struktur: Um zu überprüfen, ob sich die einzelnen Konstrukte (die mithilfe von
Einzelitems gebildet werden) voneinander unterscheiden, werden hauptsächlich mit den neu entwickelten
Aufgaben Faktorenanalysen durchgeführt.
Die Ergebnisse dieser Analysen sind im Feldtestbericht über die Fragebögen enthalten, der an alle
Teilnehmerländer gesendet wird. Darin sind für jedes Teilnehmerland die Häufigkeitstabellen zu jeder
einzelnen Frage im Schul- und Schülerfragebogen enthalten sowie die Ergebnisse der Faktorenanalysen.
Die Feldtestanalysen dienen insbesondere der QEG zur Revision der Fragebogenitems. Darüber hinaus
wurde speziell in PISA 2006 ein Forum veranstaltet, bei dem die einstellungsbezogenen Fragen, die in den
Tests und Fragebögen beinhaltet sind, besprochen wurden. An einem Forum können sowohl die nationalen
Projektmanager als auch andere involvierte Personen eines Teilnehmerlandes, wie z. B. Expertinnen
und Experten, teilnehmen. Die nationalen Projektmanager haben darüber hinaus die Möglichkeit, bei einem
NPM-Meeting (National-Project-Manager-Meeting) auf die Feldtestanalysen der Fragebogenitems
einzugehen bzw. diese zu besprechen.
Auf Grund der Feldtestanalysen, der Anmerkungen aus dem Forum und der Rückmeldungen der nationalen
Projektmanager entscheidet die QEG, welche Fragen für den Haupttest überarbeitet und darin
aufgenommen werden.
2.2 Übersetzung und Verifikation der Kontextfragebögen
Das Wichtigste bei der Übersetzung der Fragebögen ist, dass die Fragen von den Schülerinnen und
Schülern sowie Schulleiterinnen und Schulleitern einwandfrei verstanden werden und gleichzeitig die
Vergleichbarkeit zwischen den Teilnehmerländern gesichert wird. Die Instruktionen für die Durchführung
der Befragung und die Fragen selbst müssen so deutlich wie möglich formuliert sein und für jede/n die
gleiche Bedeutung haben.
Für die Übersetzung der Fragebögen gelten dieselben Richtlinien wie für die Übersetzung der
Testinstrumente. Für eine genaue Beschreibung sei daher an dieser Stelle auf Abschnitt 4.1 in Kapitel III
verwiesen. Anhand der folgenden Ausführungen wird jedoch der spezifische Ablauf der Übersetzung und
Verifikation der Fragebögen erläutert.
2.2.1 Double Translation
Die internationalen Fragebögen (Schul- und Schülerfragebögen) und Optionen stehen den
Teilnehmerländern in einer englischen und einer französischen Originalversion zur Verfügung. Wie bei
den Testinstrumenten müssen auch hier zunächst zwei unabhängige Übersetzungen erzeugt werden, die
anschließend zu einer Version zusammengeführt werden. Die hauptsächliche Übersetzungsarbeit für die
Fragebögen erfolgt im Rahmen des Feldtests. In Österreich wurde dazu aus beiden Quellversionen übersetzt
(Englisch und Französisch) und am nationalen Zentrum zusammengeführt.
2.2.2 Nationale Anpassungen
Bei der Übersetzung der Fragebögen sind wesentlich mehr nationale Anpassungen nötig als bei den
Testaufgaben. Ein Grund dafür ist, dass es in erster Linie auf die Verständlichkeit der Fragen ankommt.
Einen weiteren Grund liefert die Tatsache, dass die einzelnen Schulsysteme so verschieden sind, dass die
Fragen international unmöglich so formuliert werden können, dass sie auf alle Schulsysteme zutreffen.
Alle Begriffe und Ausdrücke, die in vielen Ländern eine Anpassung verlangen, sind in der Quellversion
gekennzeichnet. Diese Ausdrücke müssen so übersetzt werden, wie sie tatsächlich von den Schülerinnen
und Schülern sowie Lehrerinnen und Lehrern verwendet werden (z. B. „Test“ wird in Österreich mit
„Schularbeit“ übersetzt und in Deutschland mit „Klassenarbeit“). Weiters gibt es zu jeder Frage Hinweise
IV. Kontextfragebögen
Seite 61

und Erklärungen zur Übersetzung. Wie bei den Testheften müssen auch hier alle Anpassungen in einem
standardisierten Adaptionsformular genau dokumentiert werden.
2.2.3 Internationale Verifikation
Auf Grund der teilweise sehr umfangreichen Anpassungen ist bei der Verifikation der Fragebögen
ein Zwischenschritt vorgeschrieben. Dabei beurteilt das internationale Zentrum die internationale
Vergleichbarkeit der adaptierten Fragen, bezogen auf den Inhalt der Fragestellung. Indem das nationale
Projektzentrum seinerseits das Funktionieren der Frage im eigenen Land sicherstellen muss, erfordert
diese Phase einen Diskussionsprozess, bei dem es darum geht, eine für beide Seiten akzeptable Lösung bei
allen Adaptionen zu finden.
Nach dieser ersten Genehmigung werden die Fragebögen mit der Liste der Anpassungen zur zweiten
Verifikation, bei der es vor allem um die sprachliche Verifikation geht, zum Vertragspartner des internationalen
Zentrums (der für die Verifikation der deutschsprachigen Testinstrumente zuständig ist) gesendet.
Dabei werden die Adaptionen noch einmal genau geprüft und, wenn nötig, Änderungsvorschläge von
den Verifikatorinnen und Verifikatoren vorgebracht, die mit dem nationalen Zentrum diskutiert werden.
Im Anschluss an die Einarbeitung der Verbesserungsvorschläge werden die Fragebögen (ebenso wie die
Testinstrumente) einem letzten optischen Check (Final Optical Check) unterzogen (Lang, 2004).
2.2.4 Übersetzungskooperation
Im Zuge der Übersetzungskooperation der deutschsprachigen Länder (vgl. Kapitel III) wurde vereinbart,
dass Österreich einen wesentlichen Teil der Übersetzung der Fragebögen übernimmt und eine deutsche
Basisversion erstellt („Common German Version“). Diese „Common German Version“ wurde aus zwei
unabhängigen Übersetzungen der englischen und französischen Quellversionen am nationalen Zentrum
zusammengeführt (siehe „Double Transaltion“). Anschließend wurde diese Version zur Adaption an
die deutschsprachigen Länder weitergesendet. Bei der Fragebogenverifikation wird – anders als bei der
Verifikation der Testaufgaben – nicht die deutschsprachige Basisversion verifiziert, sondern gleich die
jeweilige nationale Version. In Bezug auf die Adaptionen jener Ausdrücke, die in den Originalversionen
gekennzeichnet sind, tauschen sich die deutschsprachigen Länder untereinander aus.
3. Der internationale Schülerfragebogen im Haupttest 2006
Der internationale Teil des Schülerfragebogens für den Haupttest besteht aus sieben inhaltlichen Bereichen.
Zusätzlich wurde in Österreich die internationale Option über Informations- und Kommunikationstechnologien
eingesetzt. Zu folgenden Themen werden im Schülerfragebogen Informationen erfasst:
• Schülercharakteristiken: Schulstufe, Alter, Geschlecht;
• Familiärer Hintergrund: Beruf der Eltern, Schul- und Ausbildung der Eltern, Geburtsland und die
Sprache, die zu Hause am häufigsten gesprochen wird, Besitztümer zu Hause (kulturelle Besitztümer,
Computer, zu Hause vorhandene Lernunterlagen, Anzahl der Bücher zu Hause);
• Einstellungen zu Naturwissenschaft: Wertschätzung der Naturwissenschaft (allgemeiner und persönlicher
Nutzen für die Schüler/innen), Freude und Interesse an Naturwissenschaft, Selbstwirksamkeit
und Selbstkonzept in Naturwissenschaft, Informationsquellen für naturwissenschaftliche Themen,
Teilnahme an naturwissenschaftlichen Aktivitäten;
• Umweltthemen: Kenntnis von Umweltthemen, Besorgnis und Optimismus in Bezug auf Umweltthemen,
Verantwortung gegenüber Ressourcen und der Umwelt, Informationsquellen für Umweltthemen;
• Unterricht und Lernen in den naturwissenschaftlichen Fächern (Chemie, Biologie und Physik): besuchte
Fächer im laufenden Schuljahr, interaktiver Unterricht (Diskussionen im Unterricht), Experimentieren
im Unterricht, naturwissenschaftliche Untersuchungen entwickeln, durchführen und ausprobieren,
Anwendungsbezug des Unterrichts, instrumentelle Motivation, zukunftsorientierte Motivation;
relative Wichtigkeit, in Naturwissenschaft gut zu sein;
Seite 62
IV. Kontextfragebögen

• Unterricht und Lernen: Unterrichtszeit in den naturwissenschaftlichen Fächern, in Mathematik,
Deutsch und anderen Fächern;
• Berufe und Naturwissenschaft: Vorbereitung durch die Schule auf einen Beruf, der mit Naturwissenschaft
zu tun hat; Wissen über Berufe, die mit Naturwissenschaft zu tun haben; Frage nach den
Berufsvorstellungen der Schüler/innen;
Der Schülerfragebogen wird von den Schülerinnen und Schülern im Anschluss an die Bearbeitung des
Testhefts beantwortet, was etwa 30 Minuten in Anspruch nimmt (hinzu kommen 15 Minuten für die
Bearbeitung des nationalen Fragebogenteils).
Wie bereits in PISA 2003 nimmt Österreich auch in PISA 2006 an der internationalen Option über
Informations- und Kommunikationstechnologien (ICT) teil. Der Fragebogen wurde gegenüber
PISA 2003 gekürzt. Um der zunehmenden Vertrautheit der Schüler/innen mit ICT und der Bandbreite
an möglichen Aufgaben zu entsprechen, wurde die Skala zur Selbsteinschätzung der Fähigkeiten der
Schüler/innen für PISA 2006 aktualisiert. Die Fragen des ICT-Teils werden im Anschluss an den internationalen
Fragebogenteil gestellt. In Österreich stellt der ICT-Fragebogen auch eine gute Ergänzung zum
nationalen Zusatzprojekt über die Nutzung von Informationstechnologien dar (vgl. Abschnitt 5.1 idK.).
Der Fragebogen lässt sich in die folgenden zwei Themenbereiche gliedern:
• Nutzung von ICT: Dauer und Häufigkeit der Computernutzung, Nutzung des Computers zuhause,
in der Schule, an einem anderen Ort; Verwendung des Computers für Internet, Spiele, Unterhaltung,
Programme nutzen (Dokumente schreiben, Tabellen kalkulieren, Grafikprogramme), Umgang mit
Software (u. a. eigenständiges Programmieren)
• Einschätzung der eigenen ICT-Fähigkeiten: Routinetätigkeiten (z. B. ein Textverarbeitungsprogramm
verwenden, eine Datei auf dem Computer verschieben, Daten auf eine CD kopieren), Internetfähigkeiten
(z. B. chatten, Informationen im Internet suchen, E-Mails schreiben und versenden) sowie
„high level tasks“ (z. B. eine Website oder eine Multimedia Präsentation erstellen)
4. Der internationale Schulfragebogen im Haupttest 2006
Im internationalen Schulfragebogen, der von den Schulleiterinnen und Schulleitern ausgefüllt wird, sind
in PISA 2006 folgende Bereiche enthalten:
• Struktur und Organisation der Schule: Schulstandort und Schulgröße, Management und Finanzierung
(öffentliche/private Finanzierung), Schulstufen, Anzahl an Repetentinnen und Repetenten, Klassengrößen,
Unterrichtsorganisation;
• Personal und Schulressourcen: Schulpersonal (Anzahl und formale Qualifikation der Lehrpersonen),
Aufgabenverteilung und Einflussnahme, Schulressourcen (Anzahl der Computer, Unterrichtsressourcen,
Materialien, Lehrermangel);
• Rechenschaftspflicht und Aufnahmepraktiken: Vorgehen bei der Leistungsrückmeldung, Rechenschaftspflicht
gegenüber Eltern, Involvierung der Eltern in Bezug auf Leistungsforderungen, Möglichkeiten
der Eltern bei der Schulwahl, Aufnahmekriterien;
• Naturwissenschaft und Umwelt: Angebot an Aktivitäten für Schüler/innen, Lehrplan;
• Berufsorientierung und weiterführende Ausbildung: Berufsorientierung als Teil des Unterrichts, Möglichkeiten
für praktische Erfahrungen, Vermittlung von Fähigkeiten und Wissen, die für eine naturwissenschaftsbezogene
Berufslaufbahn relevant sind, Verantwortlichkeiten für Berufsorientierung.
Die Beantwortung der Fragen dauert etwa 30 Minuten. Die Schulleiter/innen erhalten die Schulfragebögen
rechtzeitig vor Beginn des Testfensters. Am Tag der Testung werden die ausgefüllten Bögen dann
von der Testleitung eingesammelt und mit den anderen Testmaterialien an das nationale Zentrum übermittelt.
IV. Kontextfragebögen
Seite 63

5. Nationale Optionen
Als nationale Option werden bei PISA alle zusätzlichen Fragebögen, die mehr als fünf Items enthalten
und die ein Land als Ergänzung zum internationalen Teil stellen möchte, behandelt. Diese nationalen
Optionen müssen dem internationalen Zentrum mit einer kurzen Beschreibung der Inhalte und einer
Angabe zur Bearbeitungsdauer vorgelegt werden. Die Zusatzerhebungen können an den internationalen
Teil des Schüler- und/oder Schulfragebogens angeschlossen werden.
In Österreich sind bei PISA 2006 fünf nationale Zusatzerhebungen und einige weitere kleinere
Ergänzungen, die in den internationalen Teil integriert wurden, enthalten. Die Zusatzerhebungen, die
aus PISA 2000 und 2003 stammen, werden vor jeder Erhebung von den Autorinnen und Autoren überarbeitet
und modifiziert, wobei die zentralen Bestandteile für den Längsschnitt erhalten bleiben. Folgende
Themen werden in PISA 2006 erfasst – in Klammer ist jeweils das Jahr, in dem der Fragebogen zum ersten
Mal eingesetzt wurde, angegeben:
Auf Schul- und Schülerebene:
• Nutzung von Informationstechnologien (Claudia Schreiner 5 ; PISA 2000)
• Lesegewohnheiten (Margit Böck; PISA 2000)
• Qualität in Schulen (Günter Haider; PISA 2000)
Auf Schülerebene:
• Befindlichkeit und Schulerfolg der Schüler/innen am Übergang zur Sekundarstufe II (Ferdinand Eder;
PISA 2000)
• Belastungen in der Schule (Silvia Bergmüller; PISA 2003)
Damit die Bearbeitungszeit der Schülerfragebögen nicht zu lang wird, werden die zusätzlichen Themen
wiederum – wie in PISA 2000 und 2003 – auf drei Formen (A, B, C) aufgeteilt und im Anschluss an den
internationalen Fragebogenteil (der für alle Schüler/innen ident ist) angehängt.
Die kürzeren nationalen Ergänzungen, die in den internationalen Teil des Schülerfragebogens integriert
wurden, behandeln folgende Themen:
• Schüler/innen mit Migrationshintergrund: Besitz der österreichischen Staatsbürgerschaft, die zuhause
am häufigsten gesprochene Sprache sowie Lesen und Schreiben in der Sprache, die zuhause überwiegend
gesprochen wird
• Zeit für Unterricht und Lernen: Unterrichtszeit in einer lebenden Fremdsprache, Nachhilfe- oder Förderunterricht
in einer lebenden Fremdsprache, Lernen oder Hausübungen machen in einer lebenden
Fremdsprache
• Schullaufbahn der Schüler/innen: diese Ergänzungen stammen aus PISA 2003, wobei nur jene Fragen
zur Schulkarriere, die für PISA 2006 relevant erscheinen, übernommen wurden; gefragt wird nach
dem Repetieren von Klassen in unterschiedlichen Schulstufen (Grundschule, Sekundarstufe 1 und 2),
den Schulnoten in Mathematik, Deutsch, in der ersten lebenden Fremdsprache und in den naturwissenschaftlichen
Fächern; der Zufriedenheit der Schüler/innen mit ihren schulischen Leistungen; den
bisher besuchte Schultypen und dem Kindergartenbesuch
Ebenso wurden im Schulfragebogen ergänzende Fragen zum Thema Schüler/innen mit Migrationshintergrund
gestellt, die aus dem internationalen Schulfragebogen 2003 mit geringfügigen Modifikationen übernommen
wurden 6 . Dabei wird der Anteil an Schülerinnen und Schülern nichtdeutscher Muttersprache in der
für PISA relevanten Schulstufe sowie das Angebot an speziellen Sprachkursen für Schüler/innen nichtdeutscher
Muttersprache (in der relevanten Schulstufe) erfasst.
Da in PISA 2006 keine neuen Zusatzerhebungen enthalten sind, wird an dieser Stelle nur eine
Kurzbeschreibung der einzelnen Zusatzprojekte gegeben, die auf den Ausführungen der Expertinnen und
Experten der jeweiligen Zusatzerhebungen im technischen Bericht zu PISA 2000 (Haider, 2001) und
2003 (Lang, 2004) beruht. Eine detaillierte Beschreibung der Entwicklung der Zusatzerhebungen sowie
deren Inhalte finden sich in Lang (2004, Kapitel IV, Abschnitt 7).
Seite 64
IV. Kontextfragebögen

5.1 Nutzung von Informationstechnologien
Die Zusatzerhebung „Nutzung von Informationstechnologien“ verfolgt drei zentrale Gesichtspunkte:
• Die Nutzung moderner Informationstechnologien wird als Voraussetzung zum lebenslangen Lernen
gesehen (vgl. Baumgartner, Gramlinger, Niedersüss & Neurater, 1998).
• Die Nutzung moderner Informationstechnologien gilt als wichtiger Aspekt von Schulqualität.
• Die Gewohnheiten der Schüler/innen im Bereich Informationstechnologien können mit anderen Daten
– insbesondere Leistungsdaten aus den PISA-Tests – in Verbindung gebracht werden, und somit
können Zusammenhänge analysiert und dargestellt werden (Reiter, 2001).
Der Schülerfragebogen „Computer in der Schule“ wurde unverändert aus PISA 2003 übernommen. Die
beiden inhaltlichen Bereiche über die Nutzung des Computers und die Verwendung des Internets beziehen
sich hauptsächlich auf das schulische Umfeld der Jugendlichen. Erfasst wird die Häufigkeit der
Computer- und Internetnutzung in den letzten beiden Schuljahren und in verschiedenen Unterrichtsfächern
(Deutsch, Fremdsprachen, Mathematik, naturwissenschaftliche Fächer, Geometrisches Zeichnen) sowie
Probleme im Zusammenhang mit der schulischen Computernutzung. Abschließend werden die
Schüler/innen zur Computer- und Internetnutzung verschiedener Personen aus dem familiären Umfeld
befragt.
Der Schulfragebogen „Die Nutzung von Informationstechnologien“ wurde gegenüber 2003 zum Teil aktualisiert
und ergänzt. Die Gliederung in drei inhaltliche Bereiche wurde beibehalten: der erste Teil beinhaltet
Fragen zur Ausstattung, zu Problemen und Praktiken in Bezug auf die Computernutzung an der
Schule, im zweiten Teil wird die Internet-Ausstattung der Schule sowie der Umgang der Schule mit dem
Internet erfasst. Der dritte Teil umfasst Fragen zur Einschätzung des Stellenwerts der Weiterentwicklung
im Bereich moderner Informationstechnologien.
Um dem aktuellen Entwicklungsstand im ICT-Bereich entsprechen zu können, wurden Aktualisierungen
bei den Fragen nach der Computer- und Internetausstattung vorgenommen. In diesen Bereichen wurden
auch Ergänzungen angefügt, um die ICT-Ausstattung der Schulen im Hinblick auf eine etwaige computerbasierte
bzw. internetbasierte PISA-Testung zu erfassen. Folgende Ergänzungen wurden dabei angefügt:
Bezüglich Computerausstattung für den Unterricht wurden zusätzlich zu Verfügbarkeit und Modernität,
Bildschirmgröße und Betriebssystem der Arbeitsplätze erfasst. Bezüglich Internetausstattung wurde die
Geschwindigkeit des Zugangs (inklusive downloaden einer vorgegebenen Datei, wobei die Zeit gestoppt
werden musste), die Verbindung des lokalen Netzwerkes mit dem Internet, der auf den Arbeitsplätzen
installierte Internetbrowser sowie die Anzahl an PC-Arbeitsplätzen, von denen aus gleichzeitig auf das
Internet zugegriffen werden kann, erhoben. Weiters wurde gefragt, ob die Schule ein Funknetzwerk besitzt,
wie dieses abgesichert ist, wer dazu Zugang hat und welche Schulbereiche damit abgedeckt sind. Alle
weiteren Bereiche wurden unverändert aus PISA 2003 übernommen.
5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung
Ziel des Zusatzprojekts „Lesegewohnheiten und Lesesozialisation der 15-/16-Jährigen“ ist die Ermittlung
zentraler Dimensionen der Lesegewohnheiten der Jugendlichen, die – vor allem im Zusammenhang mit
ihren Testleistungen – Ansatzpunkte für Maßnahmen vor allem der schulischen, aber auch der außerschulischen
Förderung des Lesens liefern sollen. Neben dem Buch als zentralem Lesemedium werden
u. a. Zeitungen, Zeitschriften, Comics oder E-Mails thematisiert. Eine kommunikationswissenschaftliche
Perspektive, die „Lesen“ als medienbezogenes soziales Handeln versteht, bildet den theoretischen
Hintergrund der Studie (z. B. Böck, 1998; Bonfadelli, 1999).
Die Erfassung der Lesegewohnheiten erfolgt anhand von Fragen über die Freude am Buchlesen, die
Zahl der in den letzten zwölf Monaten in der Freizeit gelesenen Bücher sowie die Zeitdauer, in der die
Jugendlichen zu ihrem Vergnügen lesen (Bücher als auch andere Lesemedien). Weiters werden Fragen
zum schulbezogenen Lesen gestellt, wobei zwischen verschiedenen Genres (Schulbüchern, Erzählungen,
Gedichten, Sachbüchern, Lexika, Zeitungen, Webseiten) unterschieden wird.
IV. Kontextfragebögen
Seite 65

Bei der Lesesozialisation werden vor allem der Stellenwert des Lesens in der Peergroup und die Einstellungen
der Schüler/innen zum Lesen erfasst. Ein zentrales Thema der schulischen Leseförderung stellt – neben
der Einbindung des Lesens in den Unterricht – die Schulbibliothek dar, wobei es um die Nutzung,
die Rahmenbedingungen und die Attraktivität des Angebotes der Schulbibliotheken geht. Ein weiterer
wichtiger Aspekt des Zusatzprojekts zur Leseförderung ist die Erfassung des Stellenwerts des Lesens im
Kontext anderer Medien, welcher anhand der Medienpräferenz der Jugendlichen ermittelt wird (Böck &
Wallner-Paschon, 2002).
Im Schulfragebogen „Rahmenbedingungen der Leseförderung an den Schulen“ werden im Speziellen die
Bedingungen der Lesesozialisation und Leseförderung erfasst. Dieser Fragebogenteil stellt eine Ergänzung
zum Schülerfragebogen dar. Wichtige Themen sind schülerzentrierte Formen der Leseförderung (z. B.
Diagnostik, Fördergruppen, Einzelförderung, kreatives Arbeiten mit Texten) und sonstige Maßnahmen
zur Leseförderung, insbesondere Aspekte der Schulbibliotheksnutzung.
Die Zusatzerhebungen zur Leseförderung im Schüler- und Schulfragebogen 2006 stellen geringfügig modifizierte
Versionen aus 2003 dar. Durch den Erhalt der zentralen Fragestellungen sind längsschnittliche
Betrachtungen möglich. Weitere Informationen zu dieser nationalen Option finden Sie in Böck (2001)
sowie in Lang (2004, Kapitel IV, Abschnitt 7.2).
5.3 Belastung in der Schule
Das Zusatzprojekt „Belastung in der Schule“, welches im Schülerfragebogen enthalten ist, gibt Auskunft
darüber, ob und wie sehr sich Schüler/innen im schulischen Kontext gestresst fühlen. Dabei wird sowohl
auf Belastungen durch Leistungsanforderungen, als auch durch Lehrpersonen, Mitschüler/innen
und Eltern eingegangen. Darüber hinaus werden subjektive Bewertungsprozesse und Strategien zur
Stressverarbeitung (Mediatorvariablen) erhoben. Der Inhalt wurde gegenüber PISA 2003 nur minimal
modifiziert, so dass Längsschnittanalysen möglich sein werden. Detaillierte Informationen zum theoretischen
Hintergrund und zur Entwicklung des Fragebogens finden sich in Bergmüller (2003, 2007), sowie
in Lang (2004, Kapitel IV, Abschnitt 7.3).
Bei der Bewertung der Belastungsintensität sollen die Schüler/innen einstufen, wie sehr sie sich durch vorgegebene
Ereignisse, die sie tatsächlich erlebt haben, geärgert, geängstigt oder gekränkt fühlen. Die Stressverarbeitungsstrategien
werden in Bezug auf zwei spezifische Auslöser (sozialer Stressor, Leistungsstressor)
erhoben, wobei sich diese Strategien in hinwendendes vs. abwendendes Coping gliedern. Zusätzlich wird
der Konsum von Alkohol und Zigaretten erhoben. Der Bereich Häufigkeit von Beschwerden umfasst sowohl
somatische als auch psychische Beschwerden, die in einem empirisch belegten Zusammenhang mit
Belastungen stehen (z. B. Eder, 1996).
Zusätzlich werden Informationen über die Auftretenshäufigkeit potenzieller Stressoren erfasst oder auch
über die Anzahl an Lehrpersonen und Mitschüler/innen durch die sich der/die Jugendliche gekränkt
gefühlt hat. Ebenso wird nach der Verteilung der Beschwerden auf Schul- und Ferienzeit gefragt, und ob
auf Grund der vorliegenden Beschwerden professionelle Hilfe in Anspruch genommen wurde.
5.4 Befindlichkeit und Schulerfolg
Der überwiegende Teil der bei PISA getesteten Schüler/innen hat den Übergang von der Sekundarstufe I
in die anschließenden Laufbahnen bereits vollzogen und ist soweit integriert, dass eine Abschätzung von
Erfolg, Bewährung und Befinden in der neuen Laufbahn mit einer gewissen Zuverlässigkeit erfolgen kann.
Damit besteht die Möglichkeit zu analysieren, inwieweit Erfolg und Bewährung in der neuen schulischen
oder beruflichen Laufbahn einerseits aus den bestehenden Voraussetzungen an der Schule bzw. bei den
Schülerinnen und Schülern, andererseits aus den Erfahrungen in der Sekundarstufe I vorhergesagt werden
können. Auf diese Weise können z. B. die prognostische Validität von Noten der Sekundarstufe I, die
Auswirkungen schulischer Rahmenbedingungen auf die Leistung (z. B. Schultyp, Lage, Schwerpunkte,
spezielle Angebote usw.) oder Einflüsse affektiver Voraussetzungen der Schüler/innen auf Erfolg und
Bewährung der Schule abgeschätzt werden.
Seite 66
IV. Kontextfragebögen

Der Fragebogen wurde bis auf den Allgemeinen Interessen-Strukur-Test (Bergmann & Eder, 1993; 1999;
2005), der in PISA 2000 und 2003 enthalten war, unverändert aus PISA 2003 übernommen. Inhaltlich
betrifft das die drei Merkmalsbereiche individuelle Lage der Schüler/innen, Selbstkonzept sowie biografische
und persönliche Merkmale. Die Zusammensetzung der Skalen und Items hat sich über die drei
Zyklen nicht geändert, wodurch mit den Daten aus 2006 wieder dieselben Indikatoren gebildet werden
können.
Die individuelle Lage der Schüler/innen wird auf Basis der Leistungssituation (Noten aus den
„Hauptgegenständen“), des individuellen Befindens (Gesamtzufriedenheit mit der Schule, Bewältigung
des Unterrichts, Integration bei den Lehrerinnen/Lehrern und Mitschülerinnen/Mitschülern) und der
Selbstwahrnehmung der Schüler/innen in ihrer schulischen Umwelt erfasst.
Die Erfassung des Selbstkonzepts erfolgt mithilfe einer Liste von 20 Statements (basierend auf der
Selbstkonzeptliste von Eder, 1995), anhand derer sich die Schüler/innen selbst beschreiben. Dabei werden
drei Aspekte des Selbstkonzepts erfasst: (1) Allgemeines Selbstwertgefühl (Ausmaß, in dem sich jemand
für eine wertvolle und wichtige Person hält), (2) Leistungsselbstkonzept (Ausmaß, in dem sich
jemand für tüchtig hält und über Vertrauen in die eigene Leistungsfähigkeit verfügt) und (3) Soziales
Selbstkonzept (Ausmaß, in dem jemand sozial integriert ist bzw. sich für fähig hält, mit anderen in positive
soziale Beziehungen einzutreten).
Die biografischen und persönlichen Merkmale beziehen sich auf die Erfassung der individuellen Passung
zwischen der Person und der jetzt besuchten Schule. Erfragt wird dabei, wie gut die Schule oder der Beruf
den Fähigkeiten und Interessen der Schüler/innen entspricht, und ob die Schule/der Beruf im Ganzen
gesehen die/der richtige ist. Zusätzlich werden die Jugendlichen noch gefragt, ob sie die Schule/den Beruf
ein zweites Mal wählen würden.
Eine detaillierte Beschreibung der Entwicklung des Fragebogens sowie der Merkmalsbereiche und
Indikatoren finden sich in Eder (2001) sowie in Lang (2004, Kapitel IV, Abschnitt 7.4).
5.5 Qualität in Schulen
Das Q.I.S.-Projekt (Qualität in Schulen, Haider, PISA 2000), bei dem zentrale Qualitätsaspekte von
Schulen erfasst werden, ist seit PISA 2000 fixer Bestandteil der nationalen Zusatzerhebungen. Dadurch
können Aussagen über Qualitätsentwicklungs- und Sicherungsmaßnahmen an Schulen über die Zeit
getroffen werden sowie die Qualitätsinformationen mit den PISA-Outputdaten in Verbindung gebracht
werden.
Die zentralen Aspekte von Schulqualität werden in fünf Bereiche zusammengefasst, welche die Grundlage
für die Konstruktion der Q.I.S.-Schüler- und Schulleiterfragebögen bilden:
(1) Qualität des Unterrichts (Lehr- und Erziehungsqualität)
(2) Qualität des Lebensraumes Schule/Klasse
(3) Schulpartnerschaft und Außenbeziehungen der Schule
(4) Qualität des Schulmanagements (Leitung, Organisation)
(5) Professionalität und Personalentwicklung bei Lehrerinnen und Lehrern
Eine hohe Qualität in allen Bereichen trägt dazu bei, dass Unterricht und Erziehung mit Erfolg stattfinden.
Zur Befragung der Schüler/innen werden die Feedback-Fragebögen, die von einer Salzburger Arbeitsgruppe
unter der Leitung von DDr. Günter Haider im Auftrag des BMUKK (vormals bm:bwk) entwickelten
wurden (Qualitätsskalen unter dem Titel: „Wie gut ist deine Schule?“), verwendet. Sie sind im Internet
unter www.qis.at im Bereich „Methodenpool – Fragebögen“ frei zugänglich. Der Schülerfragebogen zur
Qualitätsentwicklung umfasst folgende fünf große Bereiche: (A) Eigenschaften der Klassenlehrer/innen (9
Items), (B) Unterricht der Klassenlehrer/innen (18 Items), (C) Klassenklima (20 Items), (D) Schulklima
(22 Items) und (E) Schülerfeedback. Die einzelnen Bereiche werden in Lang (2004, Kapitel IV, Abschnitt
7.5) ausführlich beschrieben.
IV. Kontextfragebögen
Seite 67

Im Zentrum des Schulfragebogens stehen konkrete Maßnahmen zur Schulentwicklung und zur Sicherung
der Schulqualität. Folgende Informationen werden dabei erhoben: (1) Stand der Durchführung bestimmter
Qualitätsmaßnahmen – mit einem neuen Item über systematisches Qualitätsmanagement, (2) Beurteilung
wichtiger Rahmenbedingungen für die Qualitätsentwicklung an der Schule, (3) der derzeitige Stand an
gesetzlichen Regelungen in Sachen Schulprogramm/Leitbild und Selbstevaluation, der für diese Schule
gilt, (4) fördernde und hemmende Personen/Personengruppen in Sachen neuer Qualitätsmaßnahmen,
(5) Nutzung der Q.I.S.-Angebote im Internet sowie Kenntnis und Nutzung des Angebots von IMST
(Innovations in Mathematics, Science and Technology Teaching Projekt des BMUKK (vormals bm:bwk),
(6) eine Bewertung der aktuellen Dringlichkeit der fünf Q.I.S.-Bereiche für die eigene Schule sowie (7)
konkrete Maßnahmen im prioritär bewerteten Bereich.
Die Angabe konkreter Maßnahmen ist insofern von großer Bedeutung, als der Begriff Qualitätsentwicklung
im Zuge der Autonomisierung der Schulen zunehmend zu einem Modebegriff wird, mit dem alle möglichen
mehr oder weniger systematisierten Maßnahmen bezeichnet werden – darunter auch solche, die
nicht den fünf zentralen Aspekten von Schulqualität, wie sie im Rahmen dieses Fragebogens definiert
werden, entsprechen. Mehr Informationen dazu finden sich in Haider (2001) sowie Lang (2004, Kapitel
IV, Abschnitt 7.5).
6. Qualitätssicherung im Bereich Kontextfragebögen
Die Qualitätssicherung im Bereich der Kontextfragebögen erfolgt ähnlich wie bei den Testinstrumenten
und erstreckt sich von der Entwicklung und Konzeption der Fragebögen über die Übersetzung und
Adaptionsprozeduren bis hin zu Layout und Druck der Fragebögen.
Durch die Prioritätenliste des PGB und das vorläufige Framework werden die Themen festgelegt, über die
mithilfe der Kontextfragebögen Informationen gewonnen werden sollen. Die neu entwickelten Fragen
werden vor der Überprüfung im Feldtest mit verschiedenen Verfahren („Cognitive Laboratories“) analysiert
und in einer Pilotstudie getestet, um sicherzustellen, dass die Fragen richtig verstanden werden
und valide Informationen liefern. Durch die Analyse der Feldtestdaten können jene Fragen identifiziert
werden, die von vielen Schülerinnen und Schülern sowie Schulleiterinnen und Schulleitern nicht beantwortet
werden (Missings) bzw. zu einem bestimmten Antwortmuster führen, welches die Validität der
Ergebnisse beinträchtigen würde.
Auch im Übersetzungsprozess gibt es – wie bei den Testinstrumenten – Maßnahmen, die für hohe
Qualität sorgen. Dazu gehören unter anderem die Verwendung von zwei Quellversionen bei der
Übersetzung, Anmerkungen in den Quellversionen, wie bestimmte Ausdrücke zu übersetzen sind, sowie
Vorschriften für die nationale Anpassung von Fragen und der Einsatz von international speziell geschulten
Verifikatorinnen und Verifikatoren. Im Zuge der Übersetzung und Adaption der Fragebögen ist ein zusätzlicher
Zwischenschritt bei der Verifikation vorgeschrieben. Die angestrebten nationalen Anpassungen
der einzelnen Fragen müssen zunächst vom internationalen Zentrum verifiziert werden. Damit wird sichergestellt,
dass trotz der verschiedenen Schulsysteme und der daher notwendigen Anpassungen in jedem
Land bei den einzelnen Fragen dennoch dieselben Informationen gewonnen werden (Lang, 2004).
Bibliografie
Baumgartner, G., Gramlinger, F., Niedersüss, D. & Neurauter, T. (1998). Internet und Schule? Linz: Rudolf Trauner.
Bergmann, C. & Eder, F. (1993). Allgemeiner-Interessen-Struktur-Test. Weinheim: Beltz Verlag.
Bergmann, C. & Eder, F. (2005). Allgemeiner Interessen-Struktur-Test mit Umwelt-Struktur-Test (UST-R)-Revision (AIST-R).
Göttingen: Beltz Test GmbH.
Bergmann, C. & Eder, F. (1999). Allgemeiner Interessen-Struktur-Test/Umwelt-Struktur-Test. Manual (AIST/UST), 2., korrig.
Aufl. Göttingen: Beltz Test GmbH.
Bloom, B. S., Hastings, J. T. & Madaus, G. F. (Eds.) (1971). Handbook on Formative and Summative Evaluation of Student Learning.
New York: McGraw-Hill.
Seite 68
IV. Kontextfragebögen

Bergmüller, S. (2003). Der Stress-Fragebogen für Schüler/innen (SFS). Unveröffentlichte Diplomarbeit, Universität Salzburg.
Bergmüller, S. (2007). Schulstress unter Jugendlichen: Entstehungsbedingungen, vermittelnde Prozesse und Folgen: eine empirische
Studie im Rahmen von PISA 2003. Hamburg: Kovac
Böck, M. (1998). Leseförderung als Kommunikationspolitik. Zum Mediennutzungs- und Leseverhalten sowie zur Situation der
Bibliotheken in Österreich (Neue Aspekte in Kultur- und Kommunikationswissenschaft Nr. 14). Wien: Österreichischer Kunstund
Kulturverlag.
Böck, M. (2001). Lesegewohnheiten. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des
österreichischen PISA Projekts, S. 106–112. Innsbruck: StudienVerlag.
Böck, M. & Wallner-Paschon C. (2002). Lesen in der Medienvielfalt. In C. Wallner-Paschon & G. Haider (Hrsg.), PISA PLUS
2000. Thematische Analysen nationaler Projekte (Beiträge zur vergleichenden Schulforschung Bd. 3, S. 35-42). Innsbruck:
StudienVerlag.
Bonfadelli, H. (1999). Leser und Leseverhalten heute – Sozialwissenschaftliche Buchlese(r)forschung. In B. Franzmann, K. Hasemann,
D. Löffler & E. Schön (Hrsg.), Handbuch Lesen (S. 86-144). München: Saur.
Carroll, J. B. (1963). A model of school learning. Teacher College Record, 64(8), 723–733.
Carroll, J. B. (1975). The Teaching of French as a Foreign Language in Eight Countries. Stockholm: Almqvist and Wiksell, and New
York: Wiley
Eder, F. (Hg.). (1995). Das Befinden von Kindern und Jugendlichen in der Schule. Innsbruck: StudienVerlag.
Eder, F. (1996). Schul- und Klassenklima. Ausprägung. Determinanten und Wirkungen des Klimas an weiterführenden Schulen.
Innsbruck: StudienVerlag.
Eder, F. (2001). Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II. In G. Haider (Hrsg.), PISA 2000. Technischer
Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 116–125). Innsbruck: StudienVerlag.
Haider, G. (Hrsg.). ( 2001). PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts.
Innsbruck: StudienVerlag.
Haider, G. (2001). Qualität in Schulen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben
des österreichischen PISA Projekts (S. 128–135). Innsbruck: StudienVerlag.
Keeves, J. P. (1974). The IEA Science Project. Science Achievement in Three Countries – Australia, the Federal Republic of Germany,
and the United States. In: Implementation of Curricula in Science Education. Cologne, German Commission for the UNESCO,
158-178.
Keeves, J. P. (Hrsg.). (1992). The IEA Study of Science III : Changes in Science Education and Achievement: 1970 to 1984. Oxford:
Pergamon.
Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und
Stichproben des österreichischen PISA Projekts (S. 67–143). Innsbruck: Studienverlag
Lang, B. (2004). Kontextfragebögen. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 08.02.2007]
Martin, M. O. & Kelly, D. L. (Hrsg.). (1996). Third International Mathematics and Science Study (TIMSS). Technical Report,
Volume 1: Design and Development. Chestnut Hill, MA: Boston College
OECD (1999). PISA Newsletter. Issue 2. September 1999. [WWW Dokument]. Verfügbar unter: http://www.oecd.org/dataoecd/27/37/33672345.pdf;
Datum des Zugriffs: 21.02.2007)
Postlethwaite, T. N. & Wiley, D. E. (1992). Science Achievement in Twenty-Three Countries: The IEA Study of Science II. Oxford:
Pergamon.
Reiter, C. (2001). Nutzung von Informationstechnologien. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden
und Stichproben des österreichischen PISA Projekts (S. 125–128). Innsbruck: Studienverlag
Robitaille D. F. & Garden, R. A. (1989). The IEA Study of Mathematics II: Contexts and Outcomes of School Mathematics. Oxford:
Pergamon.
Rosier M. J. & Keeves, J. P. (1991). THE IEA Study of Science I: Science Education and Curricula I Twenty-Three Countries. Oxford:
Pergamon.
Schmidt, W.H. and Cogan, L.S. (1996). Development of the TIMSS Context Questionnaires. In M.O. Martin and D.L. Kelly
(Hrsg.), Third International Mathematics and Science Study (TIMSS). Technical Report, Volume 1: Design and Development.
Chestnut Hill, MA: Boston College
1
Das INES Network A der OECD unterstützt die analytische Arbeit der OECD im Bereich PISA. Es ist u. a. für die Sicherung
des globalen und zeitlichen Zusammenhangs von PISA verantwortlich, für die Adaption von PISA hinsichtlich sich verän-
IV. Kontextfragebögen
Seite 69

dernder Bedürfnisse und Bedingungen – vor allem in Bezug auf konzeptuelle und methodologische Innovationen im Bereich
der Schülerleistungserhebungen. Teil der Arbeit des Netzwerkes ist es auch, Maßnahmen zur Erhebung der cross-curricularen
Kompetenzen und deren Integration in PISA zu entwickeln, also z. B. auch neue Indikatoren zu entwicklen (OECD, 1999).
2
Als grundlegende Modelle des PISA-2006-Kontext-Frameworks sind anzuführen: Das Model of Curriculum Implementation
aus dem Handbook of Formative and Summative Evaluation of Student Learning (Bloom, Hastings & Madaus, 1971) – welches
in der ersten und zweiten IEA Science Study und in der zweiten IEA Mathematics Study (Keeves, 1974; Keeves, 1992a;
Postlethwaite and Wiley, 1992; Robitaille and Garde, 1998 und Rosier & Keeves, 1991) getestet wurde;
Carroll’s Model of school Learning (Carroll, 1963; Carroll, 1975);
A causal Model of School learning, welches in der zweiten IEA Science Study angewendet wurde und von Carroll’s Model of
School learning 1981 abgeleitet wurde (Keeves, 1992a);
Das Learning Opportunities Model, das aus dem SMSO stammt (Survey of Mathematics and Science Opportunities; Schmidt
et al., 1996) und als konzeptuelles Modell für IEA TIMSS diente (Martin & Kelly 1996).
3
PIRLS = Progress in Reading Literacy Study der IEA (International Association for the Evaluation of Educational Achievement);
für Informationen siehe http://www.iea-austria.at/pirls/
4
TIMSS = Trends in Mathematics and Science Study der IEA; für Informationen siehe http://www.iea-austria.at/timss/
5
geb. Reiter
6
Der Fragebogen über die Förderung von Schüler/innen nichtdeutscher Muttersprache wurde in PISA 2003 eingesetzt und
vom PISA-Zentrum in Deutschland für PISA 2003 entwickelt.
Seite 70
IV. Kontextfragebögen

V
SAMPLING-DESIGN UND STICHPROBEN
Simone Breit & Claudia Schreiner
1. Die Zielgruppe von PISA
1.1 „Schülerinnen und Schüler“
1.2 „des Altersjahrgangs“
1.3 „1990“
1.4 „ab der 7. Schulstufe“
2. Von der allgemeinen Definition zum konkreten Stichprobenplan
2.1 International Desired Target Population
2.2 National Desired Target Population
2.3 National Defined Target Population
3. Das allgemeine Sampling-Design
3.1 Stichprobenziehung in zwei Schritten
3.2 Stratifizierung
3.3 Kleine und sehr kleine Schulen
3.4 Die Auswahl der Schulen
3.5 Die Auswahl der Schüler/innen
4. Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten
4.1 Mindest-Rücklaufquoten auf Schulebene
4.2 Mindest-Rücklaufquoten auf Schülerebene
5. Die österreichische Stichprobe im Feldtest 2005
5.1 Vorgaben für die Feldteststichprobe
5.2 Struktur der österreichischen Feldteststichprobe
5.3 Auswahl der Schulen
6. Die österreichische Stichprobe im Haupttest 2006
6.1 Der österreichische Stichprobenplan
6.2 Stratifizierung der Stichprobe
6.3 Praktische Umsetzung
6.4 Die österreischische Hauptteststichprobe für PISA 2006
6.5 Zusatzstichproben
7. Qualitätssicherung
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Haider, 2001) und PISA 2003 (Reiter, 2004). Die Autorinnen
dieses Kapitels danken Günter Haider und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.

In diesem Kapitel werden grundlegende Festsetzungen und Richtlinien der PISA-Population und
Stichprobenziehung beschrieben, sowie die Realisierung der Stichprobe beim Feld- und Haupttest in
Österreich erläutert. Basis für dieses Kapitel bilden die entsprechenden Abschnitte der technischen
Berichte zu PISA 2000 und 2003: Population und Stichproben (Haider, 2001) bzw. Sampling-Design
und Stichproben (Reiter, 2004). Der vorliegende Text stellt eine Überarbeitung und Aktualisierung von
Reiter (2004) dar.
1. Die Zielgruppe von PISA
Die Definition der Zielpopulation ist eine der wichtigsten Festlegungen, die bei einer Studie getroffen
werden. Da PISA als zyklisches Projekt angelegt ist, und definiertes Ziel von PISA auch ist, Veränderungen
in den Grundkompetenzen abbilden zu können, müssen die Entscheidungen, die vor der ersten
Haupterhebung im Jahr 2000 getroffen wurden, weiterhin Gültigkeit behalten. Würde man bei so einem
wichtigen Merkmal wie der definierten Zielpopulation Änderungen zwischen den Erhebungszeitpunkten
akzeptieren, wären Vergleiche zwischen den Ergebnissen der Erhebungszeitpunkte nicht mehr zulässig.
Die Definition der Zielpopulation basiert auf mehreren Grundsatzentscheidungen, welche im Detail im
technischen Bericht zu PISA 2000 erläutert und im Folgenden nur kurz genannt werden:
(1) Aus Gründen der optimalen Vergleichbarkeit der Leistungen über die OECD-Länder hinweg entschied
man sich für eine altersbasierte Population. Im Vergleich zur Definition der Zielpopulation
über Schulstufen haben bei dieser Variante die getesteten Jugendlichen zwar unterschiedliche Schulkarrieren
hinter sich, sie sind aber in allen Länder etwa gleich alt.
(2) Um das kumulierte Ergebnis der Leistungsbemühungen von Elementar- und Sekundarstufe I zu
messen, überlegte man sich, die Schüler/innen ungefähr am bzw. nach dem Übergang von der Sekundarstufe
I auf die Sekundarstufe II zu erfassen. Da sehr viele OECD-Staaten eine neun bis zehn
Jahre dauernde Schulpflicht haben, entschied man sich dafür, Jugendliche eines Geburtsjahrgangs zu
testen, die zum Testzeitpunkt 15/16 Jahre alt sind.
(3) Die OECD entschied außerdem, dass eine reine Schülerkohorte getestet werden soll. PISA trifft daher
nur Aussagen über die beschulten Jugendlichen eines Altersjahrgangs, jedoch nicht über alle Personen
des Jahrgangs.
(4) Zu diesem Zeitpunkt wurde auch das zweistufige Sampling-Design festgelegt. Damit ist gemeint, dass
auf der ersten Stufe Test-Schulen und auf der zweiten Stufe die Schüler/innen für den Test ausgewählt
werden.
Für detaillierte Informationen darüber, wie vor PISA 2000 die notwendigen Grundsatzentscheidungen
getroffen wurden, sei auf die Ausführungen in Haider (2001) verwiesen. In diesem Kapitel wird nun lediglich
die verwendete Populationsdefinition genauer erklärt.
Hauptziel von PISA ist, Grundkompetenzen von Schülerinnen und Schülern am Ende der Pflichtschule
zu erheben, zu beschreiben und zwischen verschiedenen Ländern zu vergleichen. Die Population, über
die PISA Aussagen machen möchte, ist folgendermaßen definiert: Die Zielpopulation von PISA 2006
sind Schülerinnen und Schüler des Altersjahrgangs 1990 ab der 7. Schulstufe. Im Folgenden werden die
einzelnen Aspekte dieser Definition näher erläutert:
1.1 „Schülerinnen und Schüler“
Die OECD entschied, dass in PISA reine Schülerkohorten getestet werden – anstelle einer vollständigen
Alterskohorte. Personen des Zielalters, die nicht mehr zur Schule gehen, werden damit nicht erfasst.
Getestet werden müssen laut Vorgabe der OECD alle Personen des Zielalters, die im Schuljahr der
Erhebung an einer Schule („educational institution“) angemeldet sind; inkludiert sind auch Personen, die
diese Schule nur auf einer Teilzeitbasis besuchen (wie zum Beispiel Berufsschüler/innen in Österreich).
Das führt natürlich dazu, dass der durch PISA abgedeckte Anteil des gesamten Zielalters zwischen den
Ländern variiert. Alle Interpretationen der PISA-Ergebnisse beziehen sich ausschließlich auf die beschul-
Seite 72
V. Sampling-Design und Stichproben

te Population des Zielalters; das sind in Mexiko und der Türkei weniger als 60 % der Alterskohorte, in
Finnland und Japan praktisch 100 %.
Die Erhebung von Grundkompetenzen der Drop-Outs (jene 15-/16-Jährigen, die keine Schule mehr
besuchen) wäre zwar wissenschaftlich sehr interessant, wird aber von der OECD – vor allem wegen
der schweren Erreichbarkeit dieser Personen und der damit verbundenen Kosten – weiterhin nicht in
Erwägung gezogen. In Österreich machen diese Drop-Outs rund 5–6 % der Alterskohorte aus, was im
OECD-Vergleich (abgesehen von Mexiko und der Türkei) einen der höchsten Anteile darstellt. Da die
nicht erfassten Drop-Outs leistungsmäßig keine zufällige Gruppe sind, sondern großteils aus dem unteren
Bereich der Leistungsverteilung stammen, bedeutet dies in Vergleichen mit Staaten mit weniger
oder gar keinen Drop-Outs eine deutliche Überschätzung des PISA-Mittelwerts, als wenn der gesamte
Personenjahrgang verglichen würde.
1.2 „des Altersjahrgangs“
Die Populationsdefinition von PISA zeigt weiters, dass PISA eine altersbasierte Stichprobe – im Gegensatz
zu einer schulstufenbezogenen – zu Grunde liegt. Eine altersbasierte Populationsdefinition führt einen
etwas höheren administrativen Aufwand als schulstufenbezogenes Testen mit sich. Der große Vorteil
der Heranziehung des Alters ist, dass dieses leicht definierbar und gut verständlich ist. Unterschiede im
Einschulungsalter und eine in manchen Ländern relativ breite Streuung des Alters in den Klassen beeinflussen
die Merkmale der Stichprobe nicht so ungünstig wie bei schulstufenbezogenen Designs.
1.3 „1990“
Für PISA wurde eine Altersdefinition gewählt, die Schüler/innen erreicht, die sich in den meisten Ländern
gegen Ende der Pflichtschulzeit befinden. Nach den internationalen Vorgaben muss das Alter so festgelegt
werden, dass die Schüler/innen zu Beginn des 6-wöchigen Testfensters zwischen 15 Jahren und 3 Monate
und 16 Jahren und 2 Monate plus/minus einem Monat alt sind. Für die Testfenster im empfohlenen
Zeitraum zwischen März und Mai kann das Alter durch einen vollen Jahrgang, den Altersjahrgang 1990
definiert werden. Da das Testfenster in Österreich von Mitte April bis Ende Mai festgesetzt wurde, umfasst
die Zielpopulation Schüler/innen, die zwischen dem 1. Jänner 1990 und dem 31. Dezember 1990
geboren sind.
Vor allem in Ländern der südlichen Hemisphäre, in denen das Testfenster wegen des verschobenen
Schuljahres (meist etwa Februar bis Dezember) erst im Spätsommer angesetzt werden kann, muss eine
Altersadjustierung vorgenommen werden (also etwa für ein Testfenster beginnend im August Schüler/innen,
die von Mai 1990 bis inklusive April 1991 geboren sind).
1.4 „ab der 7. Schulstufe“
Eine kleine Änderung in der Definition der Population wurde zwischen PISA 2000 und PISA 2003 vorgenommen:
Schüler/innen des Altersjahrgangs 1990, die eine der Schulstufen 1 bis 6 besuchen, sind nicht
mehr in der Zielpopulation enthalten. Für OECD-Länder bedeutet das nur eine extrem kleine Änderung,
da in diesen Ländern ein vernachlässigbar kleiner Anteil der 15-/16-Jährigen unter Schulstufe 7 anzufinden
ist. In den meisten Nicht-OECD-Ländern befinden sich größere Teile des Zieljahrgangs in den
Schulstufen 1 bis 6. Die OECD begründet die Entscheidung, diese Schüler/innen in PISA nicht zu inkludieren,
wie folgt: „Considering the orientation of PISA as an assessment of the cumulative yield of education
systems and the nature of PISA instruments, it is not really meaningful to assess and report results
for students in grades 1-6 […]” (Zitat aus einem Brief des OECD-Sekretariats an die BPC-Mitglieder der
Teilnehmerländer).
Für Österreich bedeutet dies praktisch keine Änderung, da nur eine sehr kleine Gruppe an Personen
des Zieljahrgangs in den Schulstufen 1-6 sind, von denen nach früheren Erfahrungen nur sehr wenige
Schüler/innen getestete werden konnten (Details dazu entnehmen Sie Abschnitt 6 idK., das die konkrete
Umsetzung der Samplingvorgaben in Österreich für den Haupttest 2006 beschreibt).
V. Sampling-Design und Stichproben
Seite 73

2. Von der allgemeinen Definition zum konkreten Stichprobenplan
2.1 International Desired Target Population
Die „international desired target population“, die international gewünschte Zielpopulation, ist im Prinzip
jene Population, die durch die oben zitierte und erläuterte Populationsdefinition beschrieben ist. Getestet
werden sollen in allen Ländern Schüler/innen, die zu Beginn des Testfensters (das aus maximal 42 aufeinanderfolgenden
Kalendertagen bestehen darf) zwischen 15 Jahren und 3 Monate und 16 Jahren und 2
Monate alt sind. Nicht angezielt wird die Testung von Schülerinnen und Schülern unter Schulstufe 7 und
Schülerinnen und Schülern, die eine Schule im Ausland besuchen.
Von internationaler Seite her wird gewünscht, diese Population so weit wie möglich durch die Stichprobe
abzudecken, d.h. eine möglichst hohe Abdeckung, die in Form der Coverage-Rate festgehalten wird, zu
erzielen.
2.2 National Desired Target Population
Die Festlegung der „national desired target population”, der national gewünschten Zielpopulation, ist die
„Übersetzung“ der internationalen Vorgaben in die Begriffe und Strukturen eines Landes. Dabei ist es
notwendig, begründete Entscheidungen über Ausschlüsse von Populationsteilen zu treffen. Das internationale
Projekt-Konsortium und die OECD empfehlen allen Teilnehmerländern, möglichst eine vollständige
Abdeckung der international gewünschten Zielpopulation zu erreichen. Alle Abweichungen zwischen
der international und der national gewünschten Zielpopulation müssen genau dokumentiert und von
internationaler Seite bewilligt werden. Wenn größere Teile der international gewünschten Zielpopulation
durch die national gewünschte Zielpopulation nicht abgedeckt sind, führt das dazu, dass die Ergebnisse
aus PISA nicht für das gesamte nationale Schulsystem repräsentativ sind. Abweichungen zwischen international
und national gewünschter Zielpopulation können durch die Notwendigkeit entstehen, auf
Grund von politischen, organisatorischen oder operationalen Bedingungen zum Beispiel eine kleinere
geografisch abgelegene Region oder eine Sprachgruppe auszuschließen.
2.3 National Defined Target Population
Verschiedene Gründe können dazu führen, dass nicht die gesamte gewünschte Population („national desired
target population“) in der Stichprobe vertreten ist. Mögliche Gründe sind erhöhte Erhebungskosten,
hohe Komplexität des Sampling-Designs und/oder schwierige Testbedingungen. Gruppen von Schulen
oder Schülerinnen und Schülern, die Teil der national gewünschten, aber nicht Teil der national definierten
Zielpopulation sind, werden als ausgeschlossene Population bezeichnet. Ausschlüsse können in Form
von ganzen Schulen oder einzelnen Schülerinnen und Schülern innerhalb nicht ausgeschlossener Schulen
erfolgen. Die von einem Land definierte Zielpopulation, die „national defined target population“, ergibt
sich aus „national desired target population“ minus den ausgeschlossenen Schulen und Schülerinnen und
Schülern.
Das absolute Maximum an zulässigen Ausschlüssen beträgt laut den Vorgaben der OECD auf Schul- und
Schülerebene insgesamt 5 %, d. h. dass die „national defined target population“ mindestens 95 % der
„national desired target population“ enthalten muss.
Auf Schulebene dürfen durch die Teilnahmeländer folgende Ausschlüsse durchgeführt werden:
• einzelne Schulen, die auf Grund ihrer geografischen Lage nur sehr schwer erreichbar sind, aber trotzdem
in der national gewünschten Zielpopulation enthalten sind;
• Schulen, die extrem klein sind (unter bestimmten Bedingungen kann die Testung in Schulen mit
maximal 2 Schüler/innen unterlassen werden);
• Schulen, in denen die PISA-Testung nicht durchführbar ist.
Die Ausschlüsse, die im Sampling-Design eines Landes bei PISA auf Schulebene geplant werden, müssen
so klein gehalten werden, dass die ausgeschlossenen Schulen insgesamt maximal 0,5 % aller Schüler/innen
des Zieljahrgangs enthalten. Umfang, Art und Begründung von Ausschlüssen auf Schulebene müssen
dem internationalen Zentrum vorgelegt und von diesem verifiziert werden.
Seite 74
V. Sampling-Design und Stichproben

Außerdem besteht die Möglichkeit, Schulen auszuschließen, die ausschließlich Schüler/innen enthalten,
die auf Schülerebene ausgeschlossen werden müssen (siehe unten). Dies darf maximal Schulen mit insgesamt
2 % aller Schüler/innen des Zieljahrgangs betreffen.
Von internationaler Seite erlaubte Ausschlüsse einzelner Schüler/innen – so genannte Ausschlüsse auf
Schülerebene – betreffen Schüler/innen, denen die Teilnahme am Test auf Grund einer schweren dauernden
körperlichen oder geistigen Behinderung nicht zumutbar ist, sowie Schüler/innen, die die Testsprache
nicht ausreichend gut beherrschen, wobei dies nur bei Schülerinnen und Schülern Anwendung finden
darf, die weniger als ein Jahr in der Sprache des Tests unterrichtet worden sind (die deutschsprachigen
Definitionen dieser Ausschlusskategorien finden sich bei der Beschreibung der Umsetzung in Österreich,
vgl. Abschnitt 6.1.2 idK.). Das Ausmaß der Ausschlüsse auf Schülerebene muss so gering wie möglich
gehalten werden. Für Schüler/innen mit Behinderungen, die eine Sonderschule besuchen, existiert deshalb
ein eigenes Testheft mit einfacheren Aufgaben und kürzerer Bearbeitungszeit (vgl. Abschnitt 2.1 in
Kapitel III).
Schüler/innen, die aus einem der oben genannten Gründe ausgeschlossen werden, dürfen nicht von der
Schülerliste genommen, sondern nur durch die Verwendung entsprechender Codes markiert werden,
um die vollständige Dokumentation dieser Ausschlüsse sicherzustellen. Ausschlüsse auf Schülerebene aus
diesen Gründen dürfen maximal 2,5 % aller Schüler/innen des Zieljahrgangs ausmachen.
3. Das allgemeine Sampling-Design
Auch wenn PISA Aussagen über die Population der 15-/16-Jährigen machen möchte, ist es weder notwendig
noch sinnvoll, alle Schüler/innen des Zieljahrgangs zu testen. Um zuverlässige Schätzer für die
Leistungen und andere Merkmale der Schüler/innen zu erhalten, reicht die Testung einer Stichprobe aus,
sofern diese groß genug ist und die Auswahl der Schüler/innen gemäß theoretisch fundierten Methoden
erfolgt.
3.1 Stichprobenziehung in zwei Schritten
Da für PISA eine Stichprobe von Schüler/innen getestet werden soll, erfolgt die Stichprobenziehung in
zwei Schritten, nämlich über den Umweg der Schulen; man spricht von einem so genannten zweistufigen
Sampling-Design oder Cluster-Sampling (für Details vgl. z. B. Kish, 1995, S. 148ff). Der erste Schritt
betrifft eine Auswahl aus allen Schulen, die von Schülerinnen und Schülern des Jahrgangs 1990 besucht
werden. Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind,
ausgewählt (propabilities proportional to size – PPS). Die Größe einer Schule ist durch die Anzahl an
Schüler/innen des Geburtsjahrgangs 1990 definiert. Laut Vorgaben der OECD müssen mindestens 150
Schulen ausgewählt werden.
Für den zweiten Schritt muss von jeder ausgewählten Schule eine Liste aller Schüler/innen des Zieljahrgangs
vorliegen. Aus dieser werden maximal 35 Schüler/innen nach dem Zufallsprinzip ausgewählt. Sind an einer
Schule weniger als 35 Schüler/innen des Jahrgangs 1990, werden alle getestet.
Mit einem durchschnittlichen Ausfall von 15 % der Schüler/innen ergeben diese Vorgaben eine realisierte
Stichprobe von 4500 Schülerinnen und Schülern. Wenn es in einem Land viele kleine Schulen
gibt („klein“ bedeutet Schulen mit weniger als 35 Schüler/innen des Zieljahrgangs unabhängig von der
Gesamtgröße dieser Schulen), müssen entsprechend mehr Schulen in die Stichprobe aufgenommen werden,
damit die Mindestvorgabe von 4500 auswertbaren Datensätzen erreicht werden kann.
3.2 Stratifizierung
Um die Präzision der Ergebnisse und die Effizienz der Stichprobe zu steigern, findet beim ersten
Samplingschritt von PISA – der Auswahl der Schulen – die Methode der Stratifizierung Anwendung.
Dabei werden alle potentiellen PISA-Schulen (Schulen, die 15-/16-Jährige enthalten) in mehrere Gruppen
geteilt, aus jeder dieser Gruppen („Strata“) wird dann entsprechend ihrer Größe (= ihres Anteil an der
Population der 15-/16-jährigen Schüler/innen) eine bestimmte Anzahl an Schulen ausgewählt.
V. Sampling-Design und Stichproben
Seite 75

Für eine erfolgreiche Verwendung von
Strata muss die Gruppeneinteilung so
explizite Strata
gewählt werden, dass die Sampling-
2 Hauptschule
Einheiten innerhalb der Gruppen bezüglich
der zu messenden Variablen
3 Polytechnische Schule
möglichst homogen sind; dadurch kann 4 Sonderschule
diese Methode die Effizienz des Samples 5 Gymnasium
deutlich steigern. Das bedeutet, dass 6 Realgymnasium & wirtschaftskundliches RG
bei gleicher Stichprobengröße präzisere
Ergebnisse erzielt werden können
7 Oberstufenrealgymnasium
(Verminderung der Sampling-Varianz) 8 Sonstige Allgemeinbildende Schulen/mit Statut
bzw. ein bestimmter Präzisionsgrad schon 9 Berufsschule (technisch/gewerblich)
mit einer kleineren Stichprobengröße 10 Berufsschule (kaufmännisch/Handel & Verkehr)
erreicht werden kann. Zusätzlich dazu
11 Berufsschule (land- & forstwirtschaftlich)
sichert die Stratifizierung, dass alle relevanten
Teile der Population in der
12 BMS (gewerblich/technisch/kunstgewerblich)
Stichprobe enthalten sind; wird die 13 BMS (kaufmännisch)
Schulanzahl je Stratum durch den Anteil 14 BMS (wirtschaftsberuflich/sozialberuflich)
des Stratums an der Gesamtpopulation 15 BMS (land- & forstwirtschaftlich)
bestimmt, ist auch sichergestellt, dass
16 BHS (gewerblich/technisch/kunstgewerblich)
die Stichprobe „repräsentativ“ für die
Population ist. Wenn dies in allen Strata 17 BHS (kaufmännisch)
eingehalten wird, erhält man (sofern der 18 BHS (wirtschaftsberuflich/sozialberuflich)
Stichprobenausfall sehr gering ist) eine 19 BHS (land- & forstwirtschaftlich)
selbst gewichtende Stichprobe. Möchte 20 Anstalten der Lehrer- & Erzieherbildung
man aus irgendwelchen Gründen unterschiedliche
Raten in den verschiedenen Abbildung V.1: Explizite Stratifizierung in Österreich
Strata anwenden, kann dies kontrolliert
geschehen, so dass durch entsprechende Gewichtung für die ganze Population „repräsentative“ Ergebnisse
berechnet werden können.
Bei PISA ist die Verwendung von Strata im Sampling-Manual für alle Länder empfohlen. Bei stark gegliederten
Systemen muss entweder eine Stratifizierung nach Schultypen erfolgen oder die Stichprobengröße
deutlich erhöht werden. In Österreich – mit einem gegliederten Schulsystem – ist man in PISA 2006 (wie
schon bei PISA 2000 und 2003) den Weg der Stratifizierung nach Schulsparten gegangen (vgl. Abbildung
V.1). Diese erfolgt explizit, d. h. in Form der Teilung der Schulpopulation in verschiedene Strata und der
getrennten Stichprobenziehung je Stratum.
Ein weiterer Anwendungsfall der expliziten Stratifizierung wird im nächsten Abschnitt beschrieben, das
der Behandlung kleiner Schulen, bei denen es bei PPS-Samplingprozessen zu Schwierigkeiten bezüglich
der Auswahlwahrscheinlichkeit kommt, gewidmet ist.
Weiters ist es möglich, in das Sampling-Design auch eine implizite Stratifizierungsvariable mit einzubeziehen.
Nach dieser werden die Schulen vor der systematischen Auswahl nach diesem Merkmal sortiert.
Dies dient dem Zweck, eine gute Verteilung über die Gruppen der impliziten Stratifizierungsvariable (im
Fall von Österreich wird hier die geografische Lage der Schulen herangezogen) sicherzustellen (umfangreiche
Erläuterungen zur Stratifizierung von Stichproben finden sich u.a. bei Kish, 1995, S. 75ff oder
Thomson, 1992, S. 101ff; einen kompakten Überblick über die Vorteile von stratifizierten Stichproben
gibt Schwarz, n.d.).
Seite 76
V. Sampling-Design und Stichproben

3.3 Kleine und sehr kleine Schulen
Bei der Auswahl von Schülerinnen und Schülern mittels Cluster-Sampling sollte die Auswahlwahrscheinlichkeit
für jede Schülerin/jeden Schüler des Zieljahrgangs gleich groß sein. Das wird erreicht, indem eine
große Schule eine größere Wahrscheinlichkeit hat, im ersten Schritt ausgewählt zu werden, die einzelnen
Schüler/innen dieser Schule aber in Relation zu Schülerinnen und Schülern einer kleineren Schule eine
vergleichsweise kleine Wahrscheinlichkeit haben, innerhalb der Schule dranzukommen.
Da in allen Schulen mit maximal 35 Schülerinnen und Schülern alle Schüler/innen ausgewählt werden,
ist die Voraussetzung der gleichen Auswahlwahrscheinlichkeiten für alle Schüler/innen mit dieser
Methode für solche kleinen Schulen verletzt: Beträgt die Anzahl der erwarteten Schüler/innen des
Zieljahrgangs (MOS – measure of size) in einer Schule nämlich maximal 35, ist es für Schüler/innen
dieser Schule – bei normaler Verwendung der MOS – weniger wahrscheinlich, ausgewählt zu werden,
als für Schüler/innen von Schulen mit 35 oder mehr Schülerinnen und Schülern. Die Schulen hätten je
nach Anzahl der Schüler/innen unterschiedliche Auswahlwahrscheinlichkeiten, für alle Schüler/innen
innerhalb so einer Schule beträgt diese aber 100 %. In der Literatur werden verschiedene Möglichkeiten
beschrieben, diesem Problem zu begegnen (vgl. Kish, 1995, S. 243ff). Enthält die Population sehr viele
kleine Sampling-Einheiten – in unserem Fall viele Schulen mit maximal 35 potentiellen Testschülerinnen
und Testschülern –, wird die Einführung eines oder mehrerer zusätzlicher expliziter Strata empfohlen, in
denen die kleinen Schulen zusammengefasst werden.
Anteil der Schüler/innen in
sehr kleinen Schulen
(MOS max. 17)
kleinen Schulen
(MOS 18 bis 35)
Strata für kleine Schulen
1 % oder größer 4 % oder größer getrennte Strata für kleine und sehr kleine Schulen
1 % oder größer < 4 % Stratum für sehr kleine, aber keines für kleine Schulen
< 1 % 4 % oder größer gemeinsames Stratum für sehr kleine und kleine Schulen
< 1 % < 4 % keine Strata für kleine Schulen notwendig
Abbildung V.2: Richtlinien für die Verwendung von Strata für kleine Schulen
Für PISA wurden diesbezüglich von internationaler Seite klare Richtlinien aufgestellt: Unterschieden
werden sehr kleine Schulen (das sind Schulen mit einer MOS von maximal 17) und kleine Schulen
(MOS zwischen 18 und 35). Aus der folgenden Tabelle (vgl. Abbildung V.2) geht hervor, wann eigene
Strata für kleine und/oder sehr kleine Schulen gebildet werden müssen.
Auf Österreich treffen die Angaben aus der ersten Zeile der oben stehenden Tabelle zu, d. h. dass sowohl
ein eigenes explizites Stratum für sehr kleine Schulen, als auch eines für kleine Schulen gebildet werden
muss. Diese Strata existieren zusätzlich zu den Strata bezüglich der Schulsparten; in letzteren befinden
sich nur mehr „große“ Schulen der entsprechenden Schulformen (Schulen mit mehr als 35 erwarteten
Schülerinnen und Schülern). In Ländern, in denen keine Strata für kleine Schulen notwendig sind, wird
die Auswahlwahrscheinlichkeit für Schüler/innen aus kleinen Schulen durch das Ersetzen der tatsächlichen
MOS durch den Wert 35 korrigiert.
Durch die Verwendung eines eigenen Stratums ist es auch möglich, die Samplinggröße für sehr kleine
Schulen etwas zu verringern. Dies geschieht nach PISA-Richtlinien um den Faktor 2, wobei dieser Wert
in Abhängigkeit vom Anteil der Schüler/innen in sehr kleinen Schulen wieder etwas nach oben korrigiert
wird. Dieses Prozedere führt zur Verringerung des administrativen und finanziellen Aufwands. Im Zuge
der Gewichtung wird das Untersampling wieder ausgeglichen.
V. Sampling-Design und Stichproben
Seite 77

3.4 Die Auswahl der Schulen
Die Ausgangsbasis für die Auswahl der Schulen besteht aus zwei Teilen:
(1) Informationen über die Anteile der Schüler/innen der Population an den expliziten Strata;
(2) Eine Liste aller Schulen inklusive Daten zur Schulgröße (d. h. in diesem Fall die Anzahl der
Schüler/innen des Jahrgangs 1990) je Stratum. Als so genannte MOS (measure of size) muss meist –
mangels aktuellerer Daten – die Anzahl der Schüler/innen des Jahrgangs 1989 im Schuljahr 2004/2005
verwendet werden.
Entsprechend der Verteilung aus (1) werden aus den Listen aus (2) jeweils so viele Schulen gezogen, dass
mit der erwarteten Schüleranzahl der Anteil jedes Stratums an der Population so gut wie möglich in der
Stichprobe abgebildet wird. Eine Ausnahme bilden – wie erwähnt – die sehr kleinen Schulen. Dieses
Stratum kann bei PISA etwas untersampelt werden, d.h. es werden nicht ganz so viele Schulen ausgewählt
wie für die genaue Abbildung des Populationsanteils notwendig wären (siehe oben).
Innerhalb jedes expliziten Stratums werden die Schulen zuerst nach der festgelegten impliziten Stratifizierungsvariable,
anschließend je implizitem Stratum entsprechend ihrer Größe abwechselnd auf- und
absteigend sortiert. Die Wahrscheinlichkeit einer Schule, ausgewählt zu werden, soll proportional zur
Anzahl der 15-/16-Jährigen sein. Dies erfolgt durch die Einbeziehung der kumulierten Häufigkeiten der
Schüler/innen in die Stichprobenziehung. Muss man in einem Stratum laut Stichprobenplan aus 10
Schulen mit insgesamt 1000 Schülerinnen und Schülern 5 Schulen auswählen, würde man nicht einfach
jede zweite Schule ziehen, sondern sozusagen jede/n 200ste/n Schüler/in. Dadurch erhöht sich die
Auswahlwahrscheinlichkeit für Schulen mit vielen Schülerinnen und Schülern des Zieljahrgangs. Die
Ziehung erfolgt durch die Berechnung eines Sampling-Intervalls (Anzahl der Schüler/innen / erforderliche
Schulanzahl) und die Bestimmung einer Zufallszahl zur Festlegung der ersten auszuwählenden
Schule, also in Form eines systematischen PPS-Samplings.
Für den Fall, dass einzelne Schulen nicht an PISA teilnehmen können, werden im Zuge der Schulauswahl
je gesampelter Schule zwei so genannte Replacement-Schulen gezogen. Diese können für den Fall der
Nicht-Teilnahme der gesampelten Schule kontaktiert werden. Die in der Schulliste eines Stratums auf
eine gesampelte Schule direkt folgende Schule wird jeweils als erste Replacement-Schule gekennzeichnet.
Kann auch diese Schule nicht teilnehmen, kann die auf der Schulliste der gesampelten Schule direkt
vorangehende Schule als zweites Replacement kontaktiert werden. Die Einbeziehung von Replacement-
Schulen sollte so gering wie möglich gehalten werden, um den Bias („Verzerrung“) der Stichprobe zu
minimieren. Bei der Vorgabe von Mindest-Rücklaufquoten auf Schulebene wird deshalb zwischen der
Teilnahme von ursprünglich gesampelten und Replacement-Schulen unterschieden (siehe unten).
Die Bereitstellung der für den Samplingvorgang notwendigen Daten über die Population liegt in der
Verantwortung der nationalen Projektzentren. Für den Haupttest 2006 übernahm Westat (als Teil des
internationalen Konsortiums) die Ziehung der Schulstichprobe. Den nationalen Zentren kam dabei eine
Kontrollfunktion zu.
3.5 Die Auswahl der Schüler/innen
Die Auswahl der Schüler/innen kann erst im Lauf des Screening-Prozesses erfolgen. Sobald die ausgewählten
Schulen kontaktiert sind und sich zur Teilnahme bereit erklärt haben, ist es notwendig, eine
Liste aller Schüler/innen des Zieljahrgangs an das nationale Projektzentrum zu übermitteln. Falls diese
Liste 35 Schüler/innen oder weniger enthält, werden alle Schüler/innen ausgewählt. Umfasst diese mehr
als 35, müssen nach einem Zufallsprinzip 35 Schüler/innen ausgewählt werden. Dies geschieht durch
die vom internationalen Zentrum – in erster Linie für die Dateneingabe – entwickelte Software. Die
Sampling-Funktion dieses Programms wählt je Schule nach einem Zufallsalgorithmus 35 Schüler/innen
aus. Dieser Vorgang produziert allerdings keine einfache Zufallsstichprobe, sondern führt eine systematische
Stichprobenziehung durch, welche eine so genannte Pseudo-Zufallsstichprobe erzeugt. Vorteile einer
systematischen Ziehung gegenüber einer einfachen Zufallsauswahl sind die einfachere Durchführung und
die Garantie, dass die Stichprobe gleichmäßig über die Population (in diesem Fall über die Schüler/in-
Seite 78
V. Sampling-Design und Stichproben

nen der Schule) streut. Für die Ziehung muss ein Sampling-Intervall (Anzahl der Schüler/innen auf der
Liste / 35) berechnet und eine Zufallszahl bestimmt werden. Durch letztere wird festgelegt, welche Zeile
der Schülerliste als erste ausgewählt wird, ab dort wird jede/r x-te Schüler/in (x steht für das Sampling-
Intervall) als ausgewählt markiert.
4. Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten
Zur Minimierung möglicher Verzerrungen der Stichprobe enthalten die PISA-Qualitäts-Standards
Vorgaben für Mindest-Rücklaufquoten auf Schul- und Schülerebene. Diese existieren unabhängig voneinander,
d. h. das Erreichen einer höheren Rücklaufquote auf Schulebene lockert die Vorgaben für die
Mindest-Rücklaufquote auf Schülerebene nicht und umgekehrt.
4.1 Mindest-Rücklaufquoten auf Schulebene
Die internationale Vorgabe bezüglich des Rücklaufs auf Schulebene lautet, dass mindestens 85 % der
ursprünglich ausgewählten Schulen teilnehmen müssen. Nicht teilnehmende Schulen können aber
durch die Heranziehung von Replacement-Schulen ersetzt werden, so dass auch mit einer geringeren
Rücklaufquote in der „ersten Welle“ der Sample-Schulen noch eine Chance besteht, die Anforderungen
bezüglich des Rücklaufs auf Schulebene zu erfüllen. Allerdings ist bei der Verwendung von Replacement-
Schulen nicht garantiert, dass der durch Nonresponse möglicherweise entstehende Bias reduziert wird.
Drei Kategorien von Rücklaufquoten sind von internationaler Seite her definiert worden, welche in
Abbildung V.3 veranschaulicht werden:
• Acceptable: Rücklaufquoten von über 85 % ohne Replacements (1.) oder Rücklaufquoten ohne Replacement
zwischen 65 und 85 Prozent mit entsprechender Erhöhung dieser durch die Einbeziehung
von Replacement-Schulen (2.); Daten von Ländern mit einem Rücklauf in dieser Kategorie werden
in die internationalen Vergleiche aufgenommen.
• Intermediate: Rücklaufquoten ohne Replacement zwischen 65 und 85 Prozent, die die erforderliche
Erhöhung der Rücklaufquote durch Replacement-Schulen nicht erreichen (3.); die Aufnahme der
Daten eines Landes mit einer als „intermediate“ einzustufenden Rücklaufquote in die internationalen
Vergleiche ist von Entscheidungen
der zuständigen 100 %
internationalen Gremien
abhängig.
• Not Acceptable: Rücklaufquoten
ohne Replacement
unter 65 % (4.); Daten
mit Rücklaufquoten unter
65 % werden nur in die
internationalen Vergleiche
aufgenommen, wenn das
nationale Projektzentrum
nachweisen kann, dass der
vermutliche Nonresponse-
Bias unbedeutend ist.
Schulen mit einem Rücklauf auf
Schülerebene unter 50 % zählen
für die Rücklaufstatistiken
als nicht teilgenommen. Ihre
Daten werden aber in die
Datenbank aufgenommen, sofern
der Rücklauf zumindest
Rücklauf inklusive Replacements
95 %
90 %
85 %
80 %
75 %
70 %
65 %
60 %
0
(4.)
Not Acceptable
(2.)
(3.)
Intermediate
Acceptable
(1.)
65 % 70 % 75 % 80 % 85 % 90 % 95 % 100 %
Rücklauf ohne Replacements
Abbildung V.3: Standards für Rücklaufquoten auf Schulebene
V. Sampling-Design und Stichproben
Seite 79

25 % beträgt. Daten aus Schulen mit einem internen Rücklauf unter 25 % werden bei den Analysen
nicht berücksichtigt, weil das Risiko einer durch den Nonresponse stark verzerrten Stichprobe innerhalb
der Schule als zu groß eingestuft wird.
4.2 Mindest-Rücklaufquoten auf Schülerebene
Zusätzlich zum Erfüllen der Rücklaufvorgaben auf Schulebene muss auf Schülerebene mindestens eine
Rücklaufquote von 80 % erreicht werden (über alle teilnehmenden Sample- und Replacement-Schulen
hinweg berechnet). Die Abhaltung von so genannten Nachtests (der Wiederholung des PISA-Tests für
am Testtag fehlende Schüler/innen in einer Schule; vgl. Kapitel VI) kann notwendig werden, wenn am
PISA-Testtag zu viele Schüler/innen einer Schule abwesend sind.
Die Schüler-Rücklaufquote muss auf nationaler Ebene erreicht werden, nicht in jeder einzelnen
Schule. Für Entscheidungen über die Qualität der erzielten Stichprobe eines Landes werden gewichtete
Rücklaufquoten herangezogen.
5. Die österreichische Stichprobe im Feldtest 2005
5.1 Vorgaben für die Feldteststichprobe
Die Stichprobe eines Feldtests bestimmt zu großen Teilen, ob der Feldtest seine Funktion erfüllen kann.
Im Vordergrund für den Feldtest von PISA 2006 stand vor allem die Erprobung der neu entwickelten
Testaufgaben in Naturwissenschaften sowie einiger neuer Fragebogenitems. In einem Feldtest werden
natürlich auch immer die Erhebungsprozeduren getestet; diese stehen bei diesem Feldtest aber eher im
Hintergrund, weil sich die Prozeduren gegenüber dem Haupttest 2000 und 2003 nur geringfügig geändert
haben, also in diesem Bereich vor allem die Erprobung dieser kleineren Neuerungen im Mittelpunkt
stand. Aus diesem Grund richten sich die Vorgaben bezüglich der Feldteststichprobe vor allem nach der
Menge des Testmaterials, aus dem für den Haupttest ausgewählt werden soll.
Um die Materialien testen zu können, ist es wichtig, eine Feldteststichprobe zu verwenden, die die wesentlichen
Teile der Population (und damit der zu erwartenden Hauptteststichprobe) abdeckt. Folgende
Vorgaben wurden von internationaler Seite für die Feldteststichprobe aufgestellt:
• Für Länder, deren Feldtest zwischen 1. März und 31. Mai durchgeführt wird, ist die Definition des
Zielalters der Geburtsjahrgang 1989.
• Für jede der 12 Testheftformen müssen 100 Schüler/innen getestet werden. Das ergibt eine Mindestgröße
von 1200 Personen für die realisierte Feldteststichprobe.
• Je Schule werden 35 Schüler/innen getestet, sofern es 35 oder mehr Schüler/innen des Zieljahrgangs
gibt, in Schulen mit weniger 15-/16-jährigen alle Schüler/innen des Zieljahrgangs.
• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günstige“
Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden:
• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signifikante
Teile 15-/16-Jähriger befinden.
• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen
enthalten.
• Die Stichprobe sollte Schüler/innen verschiedener demografischer und sozio-ökonomischer Gruppen
umfassen (z.B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.).
5.2 Struktur der österreichischen Feldteststichprobe
Um die Vorgaben zu erfüllen, dass die Feldteststichprobe Schüler/innen aller relevanten Teile der Population
der 15-/16-Jährigen umfasst, orientiert sich das österreichische Sampling-Design für den Feldtest 2005
an zwei Merkmalen: der geografischen Lage der Schulen (nach Bundesland) und der Schulform (repräsentiert
durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zusammenfassen).
Als Ausgangspunkt wurde die Verteilung der erforderlichen 51 Feldtestschulen auf diese beiden Variablen
Seite 80
V. Sampling-Design und Stichproben

festgelegt (dies entspricht den Randhäufigkeiten von Abbildung V.4). Die Anzahl zu testender Schulen
wurde je nach Größe des Bundeslandes festgelegt.
Schüler/innen aus Stratum 04 (Sonderschulen) wurden in den Feldtest von PISA 2006 nicht einbezogen,
weil für den Feldtest international kein spezielles Testheft für Schüler/innen mit sonderpädagogischem
Förderbedarf vorgesehen war. Die PISA-Prozeduren konnten schon im Feld- und Haupttest 2000
und 2003 im Setting der Sonderschulen erfolgreich erprobt werden. Weiters wurde aus pragmatischen
Gründen auf die Einbeziehung von Schulen aus dem sehr kleinen Stratum 8 verzichtet.
Die Anzahl der zu testenden Schulen je Stratum wurde auf Grund der Anzahl der Schüler/innen in
diesem Stratum bestimmt. Die konkrete Verteilung der Schulen auf die möglichen Bundesland-Stratum-
Kombinationen wurde durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen wurden nicht zugelassen.
Das Ergebnis der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung V.4.
5.3 Auswahl der Schulen
Durch den Samplingplan aus Abbildung V.4 ist festgelegt, aus welchen Bundesland-Stratum-
Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-
Schulen wurde für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der
Randhäufigkeiten - vorgegeben
2 Hauptschule 3
3 Polytechnische Schule 5
Burgenland
Kärtnen
Niederösterr.
Oberösterr.
Salzburg
Steiermark
Tirol
Vorarlberg
Wien
2 3 10 9 3 8 5 3 8
4 Sonderschule 0
5 Gymnasium 5
6 Realgymnasium & wirtschaftskundliches RG 5
7 Oberstufenrealgymnasium 2
8 Sonstige Allgemeinbildende Schulen/mit Statut 0
9 Berufsschule (technisch/gewerblich) 5
10 Berufsschule (kaufmännisch/Handel & Verkehr) 2
11 Berufsschule (land- & forstwirtschaftlich) 1
12 BMS (gewerblich/technisch/kunstgewerblich) 2
13 BMS (kaufmännisch) 4
14 BMS (wirtschaftsberuflich/sozialberuflich) 4
15 BMS (land- & forstwirtschaftlich) 2
16 BHS (gewerblich/technisch/kunstgewerblich) 3
17 BHS (kaufmännisch) 4
18 BHS (wirtschaftlichsberuflich/sozialberuflich) 2
19 BHS (land- & forstwirtschaftlich) 1
20 Anstalten der Lehrer- & Erzieherbildung 1
Abbildung V.4: Struktur der Stichprobe für den Feldtest 2005
V. Sampling-Design und Stichproben
Seite 81

Schulstatistik des Schuljahrs 2003/2004 des BMUKK erstellt. Schulen, die an der Haupterhebung von
PISA 2003 teilgenommen hatten, wurden aus diesen Listen entfernt, um die Belastung durch mehrmalige
Testungen in verschiedenen Jahren zu verkleinern (in einem Feldtest ist dies ohne Probleme möglich, bei
der Stichprobenziehung für Haupterhebungen kann darauf keine Rücksicht genommen werden).
Aus jeder dieser Listen wurde dann zufällig eine Schule ausgewählt. Die auf der Liste benachbarten
Schulen wurden als erste und zweite Replacement-Schule notiert.
Abbildung V.5 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl
der Schulen entspricht den in Abbildung V.4 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je
Stratum handelt es sich um eine Schätzung auf Basis der Schuldatenbank, die dem Feldtestsampling zu
Grunde liegt.
Stratum
2 Hauptschule
3 Polytechnische Schule
4 Sonderschule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende Schulen/mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
GESAMT
Schulen
(gezogen)
Schüler/innen
(erwartet)
Anzahl Prozent
3 46 2.8 %
5 172 10.3 %
- - -
5 173 10.4 %
5 175 10.5 %
2 70 4.2 %
- - -
5 175 10.5 %
2 61 3.7 %
1 22 1.3 %
2 70 4.2 %
4 127 7.6 %
4 130 7.8 %
2 70 4.2 %
3 105 6.3 %
4 140 8.4 %
2 70 4.2 %
1 28 1.7 %
1 35 2.1 %
51 1672 100.0 %
6. Die österreichische Stichprobe im Haupttest 2006
6.1 Der österreichische Stichprobenplan
Abbildung V.5: Die österreichische Stichprobe für den Feldtest 2005
Auf der Basis der Populationsdefinition muss in jedem Land die national gewünschte sowie die national
definierte Zielpopulation festgelegt werden. Dazu ist es notwendig, Populationsgrößen zu bestimmen,
Schätzungen für die Anteile an Ausschlüssen verschiedener Art anzustellen und die Datenbasis, die als
Grundlage für die konkrete Ziehung von Schulen herangezogen werden soll, festzulegen.
Seite 82
V. Sampling-Design und Stichproben

6.1.1 National Desired Target Population
Die national gewünschte Zielpopulation für Österreich entspricht der durch die OECD festgelegten international
gewünschten Zielpopulation für PISA. Die genaue Altersdefinition (die – wie oben erwähnt –
in Abhängigkeit vom Testzeitpunkt gewählt werden muss) umfasst für Österreich für den PISA-Haupttest
2006 den vollständigen Geburtsjahrgang 1990. Das Testfenster für den PISA-Haupttest 2006 wurde in
Österreich auf den Zeitraum von 20. April bis 31. Mai 2006 festgelegt. Weiters ist die PISA-Population
entsprechend der internationalen Vorgaben auf Schüler/innen, die zumindest die 7. Schulstufe erreicht
haben, beschränkt.
Laut Statistik Austria umfasst die Alterskohorte (Anzahl der Personen des Jahrgangs 1989 zum Stichtag
1.10.2004) 97.337 Personen. 92.273 Personen davon waren laut Schulstatistik im Schuljahr 2004/05
an einer österreichischen Schule angemeldet. 124 Schüler/innen, das sind 0,13 %, befanden sich in
den Schulstufen 1 bis 6 und werden deshalb nicht zur PISA-Zielgruppe gezählt. Da auf eine nationale
Einschränkung der Zielpopulation in Österreich verzichtet wurde, wird die national gewünschte
Zielpopulation (national desired target population) auf Basis der Daten der Statistik Austria und der österreichischen
Schulstatistik (Schuljahr 2004/05 bzw. 2003/04) auf 92.149 Personen geschätzt. Auf Basis
dieser Schätzungen befinden sich 5,3 % der Alterskohorte nicht mehr in Schulen oder unterhalb der 7.
Schulstufe; diese sind durch die PISA-Population nicht abgedeckt.
6.1.2 National Defined Target Population
In Österreich wurde auf Ausschlüsse auf Schulebene vor der Testung vollständig verzichtet. Die Option,
extrem kleine Schulen nicht zu testen (vgl. Abschnitt 2 idK.), wäre in Österreich problematisch, weil
dadurch bestimmte Schulen systematisch ausgeschlossen würden, vor allem nämlich Sonderschulen und
kleine Hauptschulen. Eine Analyse der Daten von PISA 2000 ergab, dass sich die gemessenen Leistungen
der Schüler/innen aus Schulen, in denen maximal zwei Personen getestet werden konnten, signifikant von
jener der anderen Schüler/innen unterschieden.
Ausschlüsse auf Schulebene können allerdings dadurch entstehen, dass alle Schüler/innen einer inkludierten
Schule aus bestimmten Gründen (siehe unten) von der Testung ausgeschlossen werden müssen. Das wird
in den internationalen Rücklaufstatistiken ebenfalls als Ausschluss auf Schulebene gewertet (auch wenn
dieser im Sampling-Plan nicht berücksichtigt ist).
Ausschließungsgründe auf Schülerebene
A
B
C
Der ausgewählte Schüler oder die ausgewählte Schülerin weist eine so schwere
dauernde körperliche Behinderung auf, dass eine Teilnahme am PISA-Test entweder
nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. Körperlich behinderte
Schüler/innen, die den Test bearbeiten können, sollen einbezogen werden.
Der ausgewählte Schüler oder die ausgwählte Schülerin weist eine so schwere
dauernde geistige Behinderung auf, dass eine Teilnahme am PISA-Test entweder
nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. D.h., diese Schüler/innen
sind nicht in der Lage, den Anweisungen in der Testsitzung zu folgen. Schüler/innen,
die nur schlechte Leistungen erbringen oder disziplinäre Probleme haben, sollen
NICHT von der Testsitzung ausgeschlossen werden.
Der ausgewählte Schüler oder die ausgwählte Schülerin ist nichtdeutscher Muttersprache,
er oder sie befindet sich erst weniger als ein Jahr in Österreich und es
mangelt ihm oder ihr an Deutschkenntnissen, sodass ein Verstehen der Anleitungen
und der Testaufgaben nicht möglich ist. Schüler/innen, die bereits länger als ein
Jahr als ordentliche Schüler/innen in Österreich eine Schule besuchen, dürfen nicht
ausgeschlossen werden.
Abbildung V.6: Mögliche Gründe für Ausschlüsse auf Schülerebene
V. Sampling-Design und Stichproben
Seite 83

Ausschlüsse auf Schülerebene können nicht vollständig vermieden werden. Die Definition der drei zulässigen
Ausschlusskategorien auf Schülerebene, so wie sie in Österreich verwendet wurde, findet sich
in Abbildung V.6. Die Definitionen und Formulierungen wurden entsprechend der internationalen
Vorgaben so gewählt, dass möglichst wenige Schüler/innen vom Test ausgeschlossen wurden.
Auf Basis der Daten aus PISA 2000 wurden die Anteile an aus oben genannten Gründen ausgeschlossenen
Schüler/innen auf unter 1 %, bei PISA 2003 auf rund 1,5 % geschätzt. In PISA 2003 mussten 0,8 % der
ausgewählten Schüler/innen auf Grund von starker dauernder geistiger oder körperlicher Behinderung
sowie 0,6 % wegen mangelnder Deutschkenntnisse vor dem PISA-Test ausgeschlossen werden. Bei PISA
2006 sind ebenfalls Ausschlussquoten in dieser Größenordnung zu erwarten.
6.1.3 Die dem Sampling zu Grunde liegende Datenbasis
Letzter Baustein des Stichprobenplans ist die Festlegung der Datenbasis, anhand derer die Stichprobenziehung
erfolgen soll. In Österreich steht hierfür die österreichische Schulstatistik zur Verfügung. Die
Auswahl der PISA-Schulen musste im Herbst vor der Haupttestung (November 2005) abgeschlossen
sein, um genügend Zeit für die Vorlaufinformationen und die Einladung der Schulen zur Verfügung zu
haben (vgl. Kapitel VI).
Zu diesem Zeitpunkt stand die Schuldatenbank des Schuljahrs 2004/05 zur Verfügung. Diese wurde zur
Ziehung der Schulen herangezogen. Als Basis für die Auswahl der Schulen muss für jede Schule eine so
genannte „measure of size“ (MOS) festgelegt werden, die eine Schätzung der Größe der Schule ist. Für
PISA wird die Schulgröße als Anzahl 15-/16-jähriger Schüler/innen der Schule definiert. Die Anzahl der
Schüler/innen des Geburtsjahrgangs 1989 im Schuljahr 2004/05 dient als Schätzung der zu erwartenden
Anzahl testbarer Schüler/innen in einer Schule. Nach dieser richtet sich die Wahrscheinlichkeit einer
Schule, für den PISA-Test ausgewählt zu werden.
6.2 Stratifizierung der Stichprobe
6.2.1 Explizite Stratifizierung
Die Populationsdefinition bedeutet, dass für den PISA-Test Schüler/innen aus fast allen Schultypen, die
es in Österreich gibt, in Frage kommen. Da das österreichische Schulsystem ein stark gegliedertes ist und
ein relativ hoher Zusammenhang zwischen den Schulsparten – vor allem im Altersbereich der PISA-Schüler/innen
– und den zu erhebenden Merkmale zu erwarten ist, ist es notwendig, diese Struktureigenschaft
bei der Stichprobenziehung zu berücksichtigen.
Vor dem ersten PISA-Feldtest im Jahr 1999 wurden im Einvernehmen mit dem BMUKK die Schulformen
zu 20 Gruppen zusammengefasst. Diese gehen in den Prozess der Auswahl der PISA-Schulen in Form
einer expliziten Stratifizierungsvariable ein. Je Stratum werden so viele Schulen gezogen, dass die erwartete
Anzahl zu testender Schüler/innen proportional zum Anteil des Stratums an der gesamten Population
ist.
6.2.2 Kleine und sehr kleine Schulen
Die internationalen Samplingregeln schreiben vor, wie kleine und sehr kleine Schulen beim Sampling
zu behandeln sind (vgl. Abschnitt 3.3 idK.). In Österreich befinden sich knapp 11 % der 15-/16-
jährigen Schüler/innen in Schulen mit maximal 17 Zielschülerinnen und Zielschülern (sehr kleinen
Schulen) und ca. 15 % in Schulen mit 17 bis 35 Zielschülerinnen und Zielschülern (kleinen
Schulen). Da, wie in Abbildung V.2 ersichtlich ist, ab 1 % Schüler/innen in sehr kleinen Schulen
und 4 % Schüler/innen in kleinen Schulen eigene explizite Strata für diese beiden Schul-Gruppen
einzuführen sind, werden die expliziten Strata entsprechend der Schulformen durch Strata für kleine
Schulen ergänzt. In den 20 Strata, die durch die Gruppierung der Schulformen entstehen, werden
nur jene Schulen berücksichtigt, für die über 35 Zielschüler/innen zu erwarten sind. Alle Schulen,
unabhängig von der Schulsparte, mit 17 bis 35 zu erwartenden Zielschülerinnen und Zielschülern
Seite 84
V. Sampling-Design und Stichproben

werden dem Stratum 21 für kleine Schulen zugeteilt; alle sehr kleinen Schulen (mit maximal 17 zu erwartenden
Schülerinnen und Schülern) werden in Stratum 22 zusammengefasst.
Für Stratum 22 wurde auch in Österreich etwa um den Faktor 2 untersampelt, um den Administrationsaufwand
der PISA-Erhebung deutlich zu verringern, wobei nur geringe Auswirkungen auf die Präzision
der Ergebnisse in Kauf genommen werden müssen (vgl. dazu Abschnitt 3.3).
6.2.3 Implizite Stratifizierung
Um die regionale Streuung der Schüler/innen in der Stichprobe sicherzustellen, wird die geografische
Lage der Schulen in Form von impliziter Stratifizierung berücksichtigt. Dies erfolgt durch die Sortierung
der Schulen nach Bezirken innerhalb jedes expliziten Stratums. In den beiden Strata für kleine und sehr
kleine Schulen wird als implizite Stratifizierungsvariable die Schulsparte herangezogen.
6.3 Praktische Umsetzung
6.3.1 Die Ziehung der Schulstichprobe
Für die Stichprobenziehung bei PISA 2006 war eine enge Zusammenarbeit zwischen dem nationalen und
dem internationalen Projektzentrum erforderlich. Sampling betreffende Angelegenheiten nimmt Westat
(USA) für das internationale Zentrum wahr. Die im Folgenden beschriebenen 5 Schritte waren notwendig,
um die Schulstichprobe zu bestimmen:
1. Schritt: Samplingplan
Die Festlegung der national definierten Zielpopulation erfolgt durch das nationale Projektzentrum. Dies
wird mittels standardisierter Formulare dokumentiert, um dem internationalen Zentrum die Beurteilung
des Samplingplans zu ermöglichen.
2. Schritt: Sampling Frame erstellen
Sobald der nationale Samplingplan von internationaler Seite bewilligt ist, kann das nationale Zentrum
die Datenbasis für die Stichprobenziehung erstellen. Dazu muss eine Liste aller Schulen, in denen sich
15-/16-Jährige befinden, erstellt werden. Diese Liste (der so genannte Sampling Frame) muss Angaben zu
jeder Schule umfassen, die die Zuordnung der Schule zu einem expliziten sowie einem impliziten Stratum
ermöglichen, sowie die oben erwähnte MOS (measure of size).
3. Schritt: Bestimmung der Populationsanteile in den expliziten Strata
Auf Basis des Sampling Frames wird für die Zielpopulation bestimmt, welche Anteile an Schüler/innen
sich in den einzelnen expliziten Strata befinden. Daraus wird bestimmt, wie viele Schulen in jedem der
Strata gezogen werden müssen, um eine realisierte Stichprobe von 4500 Schülerinnen und Schülern zu
erreichen. Abbildung V.7 (siehe nächste Seite) zeigt das Ergebnis dieser Analyse. Insgesamt müssen 213
Schulen aus 20 Strata gezogen werden. Das ursprünglichen Stratum 04 (Sonderschulen) enthält nur
Schulen mit maximal 35 Zielschülerinnen und Zielschülern, weshalb diese ausschließlich in den Strata
21 und 22 vertreten sind. Das für Volksschulen angelegte Stratum 01 ist seit PISA 2003 auf Grund der
geänderten Populationsdefinition – Schüler/innen ab der 7. Schulstufe – hinfällig.
4. Schritt: Ziehung der Schulstichprobe durch Westat
Die Auswahl der Schulen in den einzelnen Strata erfolgt nach Sortierung der Schulen entsprechend
der impliziten Stratifizierungsvariablen durch ein PPS-Samplingverfahren (probabilities proportional to
size). Die Ziehung der Schulstichprobe erfolgte – wie schon 2003 – auf Basis des Samplingplans und des
Sampling Frames durch Westat.
5. Schritt: Verifikation der Schulstichprobe durch das nationale Projektzentrum
Im letzten Schritt wird die Auswahl der Schulen durch das nationale Zentrum überprüft. Eventuell festgestellte
Probleme werden mit dem internationalen Zentrum diskutiert und gegebenenfalls korrigiert.
V. Sampling-Design und Stichproben
Seite 85

Populationskennwerte
explizites Stratum
Anteil (%) an
Population
Anteil (%) an
Schüler/innen
in großen
Schulen
Anzahl an Schulen in
Stichprobe
(gerundet) (angepasst 1 )
Strata für große Schulen
1
2 Hauptschule
0.14 % 0.19 % 0 2
2 Angepasst um die größeren Ausfälle in Berufsschulen ausgleichen zu können.
3 Polytechnische Schule
5 Gymnasium
6 Realgymnasium & wirtschaftskundl. RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinb. Schulen (mit Statut)
6.26 %
5.56 %
5.32 %
4.94 %
0.08 %
8.40 %
7.48 %
7.14 %
6.64 %
0.11 %
10
9
8
8
0
10
9
8
8
1
2
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufm./Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
11.89 %
3.71 %
0.13 %
15.98 %
4.98 %
0.17 %
19
6
0
22
7
1
2
12 BMS (gewerblich/technisch/kunstgewerbl.)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerbl.)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten f. Lehrer- & Erzieherbildung
21 Kleine Schulen (18–35 Schüler/innen)
22 Sehr kleine Schulen (1–17 Schüler/innen)
GESAMT
1.94 %
1.67 %
2.56 %
3.22 %
10.59 %
8.44 %
5.98 %
0.46 %
1.53 %
14.81 %
10.76 %
100.00 %
2.61 %
2.25 %
3.44 %
4.33 %
14.23 %
11.33 %
8.03 %
0.62 %
2.05 %
-
-
-
3
3
4
5
17
13
9
1
2
33
52
202
3
3
4
5
17
13
9
1
2
2
33
52
213
1 Angepasst an die Vorgabe je Stratum mindestens 2 Schulen zu testen.
Abbildung V.7: Verteilung der Population auf die expliziten Strata
2
2
6.3.2 Auswahl der Schüler/innen
Im Lauf des Screenings (der Kontaktaufnahme mit den Schulen) werden von den PISA-Schulen
Schülerlisten erhoben. Diese müssen alle Schüler/innen, die in der Populationsdefinition enthalten sind,
umfassen. Aus diesen Schülerlisten wird – sofern diese mehr als 35 Schüler/innen umfassen – zentral
durch das PISA-Zentrum die Schülerstichprobe gezogen. Umfasst eine Liste 35 Schüler/innen oder weniger,
werden alle Schüler/innen für den PISA-Test ausgewählt.
Die Auswahl der 35 Testschüler/innen erfolgt zufällig. Nach Sortierung der vollständigen Liste nach dem
Geburtsdatum der Schüler/innen werden mit Hilfe einer Zufallszahl (zur Bestimmung des/der ersten auszuwählenden
Schülers/in) und eines berechneten Samplingintervalls 35 Schüler/innen ausgewählt (systematische
Stichprobenziehung). Die Auswahl der Schülerstichprobe erfolgt computergestützt mit Hilfe
der von A.C.E.R. (hauptsächlich für Dateneingabe und -management) entwickelten Software KeyQuest
(vgl. Abschnitt 2 in Kapitel X).
Seite 86
V. Sampling-Design und Stichproben

6.4 Die österreichische Hauptteststichprobe für PISA 2006
Abbildung V.8 zeigt die Zusammensetzung der Stichprobe für den PISA-Haupttest 2006. Die Angaben
über die Schulen entsprechen der Anzahl tatsächlich ausgewählter Schulen je Stratum. Bei den Angaben
zur Anzahl der Schüler/innen handelt es sich um Schätzungen auf der Basis der Daten des Schuljahres
2004/2005.
Strata für große Schulen
explizites Stratum
2 Hauptschule
3 Polytechnische Schule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinb. Schulen mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (forst- und landwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
21 Kleine Schulen (18-35 Schüler/innen)
22 Sehr kleine Schulen (1-17 Schüler/innen)
Schulen
(gezogen)
Schüler/innen (erwartet)
Anzahl Prozent
2 70 1.2 %
10 350 6.2 %
9 315 5.6 %
8 280 5.0 %
8 280 5.0 %
2 70 1.2 %
22 770 13.7 %
7 245 4.4 %
2 29 0.5 %
3 105 1.9 %
3 105 1.9 %
4 140 2.5 %
5 175 3.1 %
17 595 10.6 %
13 455 8.1 %
9 315 5.6 %
2 70 1.2 %
2 70 1.2 %
33 860 15.3 %
52 329 5.8 %
213 5628 100.0 %
6.5 Zusatzstichproben
Abbildung V.8: Die österreichische Hauptteststichprobe für PISA 2006
Sowohl im Feld- als auch im Haupttest wurden in Österreich zusätzliche Stichproben realisiert.
(1) Im Feldtest fand für das internationale Zusatzprojekt „Computer Based Assessment of Science“
(CBAS) bei einer Stichprobe von 50 zusätzlichen Schulen ein Pilotversuch zur Durchführung der
PISA-Testung auf Laptops statt. Die Schüler/innen bearbeiteten PISA-Aufgaben sowohl auf dem
Laptop als auch auf „traditionelle“ Art mit Papier und Bleistift. Details zur Zusammensetzung dieser
Stichprobe sowie zu diesem Projekt im Allgemeinen finden sich in Kapitel XI.
(2) Die österreichischen Waldorfschulen entschieden sich – wie bei PISA 2000 und 2003 – am Haupttest
von PISA 2006 teilzunehmen. Die Stichprobe umfasst alle 10 österreichischen Waldorfschulen, wobei
je Schule maximal 35 Schüler/innen des Jahrgangs 1990 getestet wurden. In allen Waldorfschulen
bedeutet das eine Vollerhebung dieses Geburtsjahrgangs.
V. Sampling-Design und Stichproben
Seite 87

7. Qualitätssicherung
Die Qualität der Stichprobe einer Untersuchung wird im Wesentlichen durch die Art und Weise,
wie die Stichprobe ermittelt wird, bestimmt. Ein post-hoc erbrachter Nachweis über die Güte der
Zusammensetzung oder Größe der realisierten Stichprobe kann angemessene Prozeduren und eine korrekte
Vorgangsweise bei der Selektion nicht ersetzen.
Bei PISA entspricht der Samplingplan modernen statistischen Methoden. Die PISA-Stichprobe wird auf
beiden Ebenen – Schulen und Schüler/innen – in Form von Wahrscheinlichkeitssamples (probability
samples) ermittelt. Die Präzision der Stichprobe (und gleichzeitig auch deren Effizienz) werden durch die
Verwendung sinnvoller Stratifizierungsvariablen deutlich verbessert.
Ein weiteres wichtiges Kriterium ergibt sich aus der Tatsache, dass PISA eine international vergleichende
Studie ist. Vergleichbarkeit zwischen den Ländern wird durch mehrere Maßnahmen sichergestellt:
• Dem Sampling liegen eindeutige, für alle Länder verpflichtende Vorgaben der OECD zu Grunde
(Populationsdefinition, Stichprobengröße, Art der Stichprobenziehung, Mindest-Rücklaufquoten).
• Wie diese Vorgaben umgesetzt werden können, ist in dem vom internationalen Projektzentrum erstellen
Sampling-Manual genau festgelegt. Dieses operationalisiert die Qualitätsstandards der OECD
und beschreibt im Detail, wie bei der Definition der national gewünschten Zielpopulation sowie der
Ziehung der Stichprobe vorgegangen werden muss.
• In Form mehrerer Formulare wird der Stichprobenplan sowie die Stichprobenziehung in allen Ländern
im Detail und in vergleichbarer Weise dokumentiert.
• Die Ziehung der Stichprobe erfolgt für alle Länder durch Westat, den für das Sampling verantwortlichen
Partner des internationalen Projektkonsortiums, die Überprüfung der Korrektheit der Stichprobenziehung
in enger Kooperation zwischen Westat und den nationalen Projektzentren.
Ein weiteres notwendiges Qualitätskriterium einer Stichprobe ist die Einhaltung der Vorgaben bezüglich
der Rücklaufquoten. Diesem Bereich ist ein eigenes Kapitel in der vorliegenden Publikation gewidmet
(vgl. Kapitel VII).
Ein wichtiges Qualitätsmerkmal von PISA insgesamt ist die Durchführung eines Feldtests. Das gezielte
Austesten von Instrumenten, Vercodungsrichtlinien oder verschiedenen im Lauf der Studie notwendigen
Prozeduren wird hierbei als wichtige Qualitätslenkungsmaßnahme angesehen und trägt wesentlich zur
Qualitätssteigerung in diesen Bereichen bei. Beim Sampling hingegen spielt das Testen der notwendigen
Prozeduren im Rahmen des Feldtests – vor allem im dritten Erhebungszyklus – eine eher untergeordnete
Rolle; verschiedene Qualitätsmerkmale der Feldteststichprobe – vor allem die Zusammensetzung dieser
sowie ausreichende Rücklaufquoten – stellen jedoch sicher, dass in vielen anderen Bereichen der Feldtest
die Funktion der Qualitätssicherung erfüllt.
Bibliografie
Haider, G. (2001). Population und Stichproben. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben
des österreichischen PISA Projekts (S. 146–163). Innsbruck: StudienVerlag.
Kish, L. (1995). Survey Sampling. New York [u.a.]: Wiley.
Reiter, C. (2004). Sampling: Sampling-Design und Stichproben. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich
von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/
testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]
Schwarz, C. J. (nicht datiert). http://www.stat.sfu.ca/~cschwarz/Stat-650/Notes/Handouts/node52.html.
Thompson, S. K. (1992). Sampling. New York [u.a.]: Wiley.
Reiter, C. (2004): Sampling-Design und Stichproben. In C. Reiter, B. Lang & G. Haider, (Hrsg.), PISA 2003 – Internationaler
Vergleich von Schülerleistungen. Technischer Bericht. www.pisa-austria.at/pisa2003/index2.htm (7.12.2004).
Seite 88
V. Sampling-Design und Stichproben

VI
V
TESTORGANISATION UND DURCHFÜHRUNG
Simone Breit
1. Chronologischer Überblick über den Ablauf der Testorganisation
2. Kooperation mit Schulen und Schulbehörden
2.1 Information der Schulbehörden und Schulaufsicht
2.2 Information der Schulleitung – Aufgaben der Schulleitung
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)
3.1 Erstellung ud Übermittlung einer Schülerliste an das nationale Zentrum
3.2 Kontrolle und Ergänzung der PISA-Schülerliste
3.3 Termin- und Raumplanung
3.4 Information der Schüler/innen, Eltern und Lehrer/innen
3.5 Schulfragebogen
3.6 Aufgaben am Testtag
4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente
4.1 Druck und Kontrolle der Erhebungsinstrumente
4.2 Etikettierung der Testhefte und Fragebögen
4.3 Verpackung und Verteilung des Erhebungsmaterials
4.4 Rücklaufkontrolle der Schulpakete
5. Aufgaben der Testleiter/innen (TL)
5.1 Kontaktaufnahme mit den TL
5.2 Teilnahme an der Schulung für TL
5.3 Terminvereinbarung mit den SK
5.4 Aufgaben am Testtag
5.5 Durchführung eines Nachtests
5.6 Ablieferung des Testmaterials
6. Qualitätssicherung bei der Testorganisation und -durchführung
6.1 Der Feldtest als Probelauf
6.2 Kontakte mit Schulen bzw. SK
6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien
6.4 Qualität und Testadministration
Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Pointinger, 2004). Die Autorin dieses Kapitels dankt Martin
Pointinger für die Bereitstellung des Textes.

In diesem Kapitel werden die wichtigsten Tätigkeiten beschrieben, die im Zusammenhang mit der
Durchführung der Tests an den Schulen von oder in Kooperation mit Personen außerhalb des nationalen
Projektzentrums durchgeführt wurden. Chronologisch betrachtet beginnt dieser Abschnitt bei
der Kontaktaufnahme mit den Testleiterinnen und Testleitern und endet bei der Rücklaufkontrolle der
Testmaterialien im nationalen Projektzentrum.
1. Chronologischer Überblick über den Ablauf der Testorganisation
Abbildung VI.1 gibt in tabellarischer Form einen Überblick über die zeitliche Abfolge der wichtigsten
Tätigkeiten im Bereich der Testorganisation und -durchführung.
Monat
Okt. 05
Nov. 05
Dez. 05
Jän. 06
Feb. 06
März 06
April 06
Mai 06
Tätigkeiten
Kontaktaufnahme mit den Testleiterinnen
Mitteilung der ausgewählten Schulen durch das internationale Zentrum
Information der zuständigen Schulbehörden
Einladung der ausgewählten Schulen zur Teilnahme
Ernennung einer Ansprechperson an der Schule (SK) durch Schulleitung
Übermittlung einer Liste aller Schüler/innen des Geburtsjahrgangs 1990
Ziehung der Schülerstichproben (max. 35 Schüler/innen pro Schule)
Druck, Kontrolle, Etikettierung und Verpackung der Testmaterialien
Mitteilung der ausgewählten Schüler/innen an den/die SK
Information der ausgewählten Schüler/innen und deren Eltern
Vereinbarung der Testtermine mit den Testleiterinnen und Testleitern
Regionale Schulung der Testleiter/innen
Durchführung der Testsitzungen an den Schulen (20.04. bis 31.05.)
Abholung der Testmaterialien aus den Bundesländern
Abbildung VI.1 Chronologie der Testorganisation beim Haupttest 2006
2. Kooperation mit Schulen und Schulbehörden
Für den Erfolg und die Qualität der PISA-Studie ist die Teilnahme möglichst aller, per Zufall ausgewählter
Schulen von entscheidender Bedeutung. Aus diesem Grund ist es eine wesentliche Aufgabe, die
Schulen von der Wichtigkeit ihres Mitwirkens an PISA zu überzeugen. In diesem Zusammenhang ist
die enge Kooperation zwischen dem nationalen Projektzentrum (ZVB) und dem BMUKK sowie die
Unterstützung des Projekts durch die Schulbehörden von enormer Bedeutung.
2.1 Information der Schulbehörden und Schulaufsicht
Nach der Auswahl der Schulen durch das internationale Zentrum und der Überprüfung der Schulstichprobe
durch das nationale Projektzentrum und das bm:bwk erfolgt die Kontaktaufnahme mit den zuständigen
Schulbehörden. Die Landesschulratspräsidentinnen und Landesschulratspräsidenten werden in
einem persönlichen Brief der damaligen Frau Bundesminister Gehrer über die Durchführung der Studie
informiert und gebeten, diese in ihrem jeweiligen Wirkungsbereich zu unterstützen. Einige Tage später
werden sowohl die Landesschulräte als auch die Landesschulinspektorinnen und Landesschulinspektoren
vom nationalen Projektzentrum in einer Aussendung im Detail über die Durchführung und den Ablauf
der Studie informiert. In dieser Aussendung sind eine Liste der für PISA ausgewählten Schulen ihres
Zuständigkeitsbereichs und Informationsmaterialien zur PISA-Studie enthalten.
Seite 90
VI. Testorganisation und Durchführung

2.2 Information der Schulleitung – Aufgaben der Schulleitung
Die Schulleiter/innen der ausgewählten Schulen wurden Anfang des Jahres 2006 vom nationalen
Projektzentrum in einer Aussendung über das Projekt informiert und zur Teilnahme eingeladen. Um
die Beteiligung möglichst aller ausgewählten Schulen zu erreichen, wird versucht, den Aufwand für die
Schulen möglichst gering zu halten. Erfreulicherweise nahmen beim Haupttest 2006 alle ursprünglich
ausgewählten Schulen an PISA teil, und es musste keine der bereits beim Sampling ausgewählten
Ersatzschulen kontaktiert werden.
Die Schulleitung hat die Aufgabe, in der Schule eine Kontaktperson, die Schulkoordinatorin/den
Schulkoordinator (im Folgenden kurz SK genannt), zu ernennen. Diese/r fungiert als Ansprechpartner/in
für das nationale Projektzentrum (ZVB) und ist für die weiteren organisatorischen Tätigkeiten bei der
Erhebung an der Schule verantwortlich. Die Rolle der/des SK kann von Lehrerinnen und Lehrern, der
Schuladministratorin bzw. dem Schuladministrator oder auch von der Schulleitung selbst übernommen
werden.
Die Schulleitung wird außerdem gebeten, bis zum Testtermin einen Fragebogen mit Angaben zur Schule
(Kontextfragebogen auf Schulebene) zu beantworten.
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)
In jeder Schule wird von der Schulleitung eine Person bestimmt, die für die weiteren Tätigkeiten bzw. den
weiteren Kontakt mit dem nationalen Projektzentrum zuständig ist. Die SK erhalten für diese Tätigkeiten
eine Aufwandsentschädigung. Die einzelnen Aufgaben der SK werden im Folgenden beschrieben.
3.1 Erstellung und Übermittlung einer Schülerliste an das nationale Zentrum
Im Informationsschreiben, das an die Schulleiter/innen gesendet wird, ist bereits erstes Informationsmaterial
für die SK enthalten. Sie werden ersucht, eine Liste aller Schüler/innen des ausgewählten Schultyps mit
dem Geburtsjahrgang 1990 an das ZVB zu senden. Die Liste sollte – neben Kontaktinformationen zu
Schule und SK – für jede Schülerin und jeden Schüler folgende Informationen enthalten:
• Vor- und Nachname
• Klasse
• Schulstufe
• Geschlecht
• Geburtsdatum
• Lehrberuf (nur in Berufsschulen)
Um den Schulen die Arbeit zu vereinfachen und um die Formate der Schülerlisten zu vereinheitlichen,
werden den SK eine Anleitung zur Erstellung der Liste und ein Muster zur Verfügung gestellt. In einem
speziell für die SK eingerichteten Bereich auf der Homepage des nationalen Projektzentrums konnte darüber
hinaus eine elektronische Vorlage der Schülerliste heruntergeladen werden.
Die übermittelten Schülerlisten werden von Mitarbeiterinnen und Mitarbeitern des ZVB hinsichtlich
ihrer Vollständigkeit kontrolliert und in ein einheitliches elektronisches Format gebracht. Fehlen auf
den Listen notwendige Informationen, werden die Schulen telefonisch kontaktiert und um zusätzliche
Auskünfte gebeten.
Die Daten der formatierten Listen werden anschließend in ein speziell für PISA entwickeltes Software-
Programm mit dem Namen KeyQuest importiert. Diese Software wird zur Verwaltung der Schul- und
Schülerdaten verwendet. Das Programm KeyQuest wird in Abschnitt 2 von Kapitel X beschrieben.
Da laut Stichprobendesign in jeder Schule maximal 35 Schüler/innen getestet werden, ist es bei Schulen
mit mehr als 35 Schüler/innen des Geburtsjahrganges 1990 notwendig, eine Zufallsstichprobe zu ziehen.
Diese Aufgabe wird mit dem Programm KeyQuest realisiert. Bei Schulen mit weniger als 35 Schülerinnen
und Schülern nehmen automatisch alle Zielschüler/innen an PISA teil.
Nach der Ziehung der Schülerstichprobe jeder Schule wird eine so genannte PISA-Schülerliste erstellt,
auf der alle Schüler/innen aufgelistet sind, die an der jeweiligen Schule für PISA ausgewählt wurden.
VI. Testorganisation und Durchführung
Seite 91

Nur diese Schüler/innen dürfen an der Studie teilnehmen. Die PISA-Schülerliste ist ein sehr wichtiges
Dokument bei der Durchführung der Erhebung. Sie dient neben der Auflistung der ausgewählten
Schüler/innen auch der Dokumentation der Teilnahme der Schüler/innen und ordnet jeder Schülerin
und jedem Schüler mit Hilfe einer Identifikationsnummer das Testmaterial zu. Im Detail wird die PISA-
Schülerliste in Abschnitt 5 dieses Kapitels beschrieben.
3.2 Kontrolle und Ergänzung der PISA-Schülerliste
Etwa Mitte März werden die PISA-Schülerlisten in einer zweiten Aussendung den SK übermittelt. Diese
müssen anschließend die Liste kontrollieren und für jede Schülerin und jeden Schüler eintragen, ob
sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen. Die SK müssen weiters –
nach vorgegebenen Richtlinien – entscheiden, ob die Schüler/innen mit Förderbedarf oder mangelnden
Sprachkenntnissen in der Lage sind, an PISA teilzunehmen. Näheres zur Schülerliste und den Richtlinien
für den Ausschluss von Schülerinnen und Schülern ist in Abschnitt 5 dieses Kapitels zu finden.
3.3 Termin- und Raumplanung
Der/Die SK vereinbart gemeinsam mit der Testleiterin oder dem Testleiter (schulfremde Person, die den
Test an der Schule durchführt; im Folgenden kurz TL genannt) den Termin für den Test. Als Testtermin
muss ein Schultag im festgelegten, sechswöchigen Testfenster, das in Österreich beim Haupttest 2006 von
20. April bis 31. Mai 2006 dauerte, gewählt werden. Weiters ist es Aufgabe des/der SK, einen geeigneten
Testraum für diesen Termin zu organisieren.
3.4 Information der Schüler/innen, Eltern und Lehrer/innen
Die zur Teilnahme an PISA ausgewählten Schüler/innen und deren Eltern werden über die PISA-Studie
mit einem vom nationalen Projektzentrum verfassten Schreiben und einer Broschüre informiert. In diesem
Schreiben wird den Schülerinnen und Schülern sowie den Eltern auch mitgeteilt, dass die Teilnahme
an PISA freiwillig ist und dass sowohl die Schüler/innen als auch deren Eltern die Möglichkeit haben, sich
bzw. ihr Kind vom Test abzumelden. Die SK sollen allerdings versuchen, die Schüler/innen bzw. deren
Eltern von der Wichtigkeit der Teilnahme möglichst aller ausgewählten Schüler/innen zu überzeugen.
Die SK haben weiters die Aufgabe, die Lehrer/innen der Schule darüber zu informieren, welche
Schüler/innen am PISA-Test teilnehmen und an welchem Termin der Test stattfindet.
3.5 Schulfragebogen
Die zweite Aussendung enthält einen Schulfragebogen, der wesentliche Kontextdaten der Schule und des
Lernumfelds erhebt. Die Schulleitung füllt diesen Fragebogen bis zum Testtermin aus und der/die SK
trägt dafür Verantwortung, dass der Fragebogen am Testtag dem/der TL übergeben wird.
3.6 Aufgaben am Testtag
Am Testtag empfängt der/die SK den/die TL ungefähr eine Stunde vor dem vereinbarten Testbeginn, um
ihm/ihr den Testraum zu zeigen und ihn/sie eventuell bei Vorbereitungsmaßnahmen zu unterstützen.
Anschließend bespricht der/die SK mit dem/der TL die PISA-Schülerliste und meldet gegebenenfalls
Änderungen auf der Liste. Der/die TL hat die Aufgabe, die Eintragungen des/der SK zu Förderbedarf
und mangelnden Sprachkenntnissen auf seine PISA-Schülerliste zu übertragen. Daher soll die PISA-
Schülerliste des/der SK nach der Durchführung des Tests für mögliche Rückfragen noch einige Wochen
in der Schule aufbewahrt werden.
Der/Die SK hat weiters dafür Sorge zu tragen, dass alle ausgewählten Schüler/innen am Testtag zum vereinbarten
Termin zum Testraum kommen. Gemeinsam mit dem/der TL empfängt und begrüßt er/sie die
Schüler/innen und unterstützt den/die TL bei der Anwesenheitskontrolle. Während der Testsitzung ist die
Anwesenheit des/der SK nicht erforderlich, der/die TL soll allerdings für diesen Zeitraum wissen, wo der/die SK
oder die Schulleitung erreichbar sind. Details zum Ablauf der PISA-Testsitzung finden Sie in Abschnitt 5 idK.
Seite 92
VI. Testorganisation und Durchführung

4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente
Nach Übersetzung, nationaler Anpassung, Layoutierung und Verifikation (siehe Kapitel III und IV)
werden die Erhebungsinstrumente (Testhefte, Fragebögen) gedruckt. In diesem Abschnitt werden die
notwendigen Schritte von der Übermittlung der Druckvorlagen an die Druckerei bis zur Übergabe der
Schulpakete an die TL beschrieben. In Abschnitt 4.4 idK. wird weiters die Rücklaufkontrolle, die am
nationalen Zentrum nach der Abholung der Testmaterialien von den Sammelstellen durchgeführt wird,
dargestellt.
4.1 Druck und Kontrolle der Erhebungsinstrumente
Nachdem die Erhebungsinstrumente vom internationalen Zentrum überprüft und genehmigt sind,
können diese gedruckt werden. Der Auftrag zum Druck der Testhefte und Fragebögen wurde beim
Haupttest 2006 an eine Druckerei vergeben, nur die Materialien für Schulen, an denen Anfang März
eine Testsitzung stattfand, wurden in einem Copyshop vervielfältigt. Mitte Februar wurden der Druckerei
die ersten Instrumente übergeben. Innerhalb von etwa zwei Wochen wurden alle Erhebungsmaterialien
von der Druckerei an das nationale Projektzentrum geliefert.
Die Erhebungsmaterialien werden anschließend von Mitarbeiterinnen und Mitarbeitern des nationalen
Zentrums einer Qualitätskontrolle unterzogen. Dabei wird jedes einzelne Instrument vollständig durchgeblättert
und auf Druckfehler oder sonstige Defekte kontrolliert und gegebenenfalls aussortiert.
4.2 Etikettierung der Testhefte und Fragebögen
Da die korrekte Zuordnung der Testhefte und Fragebögen zu den teilnehmenden Schülerinnen und
Schülern ein wichtiges Kriterium bei PISA ist, muss auch die Etikettierung nach vorgegebenen Regeln
erfolgen.
Die 13 verschiedenen Testheftformen mit jeweils unterschiedlichen Aufgabenkombinationen werden
gleichmäßig über alle Schüler/innen rotiert. In der Praxis wird dies gewährleistet, indem in jeder Schule
jeweils eine Testheftform für die erste Schülerin oder den ersten Schüler per Zufallszahl bestimmt wird
und die restlichen Schüler/innen die jeweils folgenden Testheftformen erhalten. Festgelegt und dokumentiert
wird die Zuordnung der unterschiedlichen Testheftformen zu den einzelnen Schülerinnen und
Schülern auf der PISA-Schülerliste.
Die drei Fragebogenformen werden ebenfalls über die Schüler/innen einer Schule rotiert, wobei die
Fragebogenform der ersten Schülerin oder des ersten Schülers auf der PISA-Schülerliste über die – nach
dem Zufallsprinzip festgelegte – Testheftform bestimmt wird. Durch dieses Rotationsschema wird sichergestellt,
dass die Fragebogenformen gleichmäßig auf alle Schüler/innen der Stichprobe verteilt werden.
Eine Ausnahme bei der Etikettierung der Erhebungsinstrumente bilden die Sonderschulen. Da diese nur
ein spezielles Testheft („Testheft 60“) und eine Kurzform des Schülerfragebogens zu bearbeiten haben, ist
keine Rotation notwendig.
Die Schulfragebögen werden ebenfalls etikettiert.
4.3 Verpackung und Verteilung des Erhebungsmaterials
Die Materialien werden für jede Schule in ein Paket („Schulpaket“) verpackt. Dieses Paket wird ebenfalls
mit einem Etikett versehen. Nach der Verpackung der Testmaterialien wird der Inhalt der Pakete auf
Vollständigkeit geprüft. Jedes Paket enthält folgende Unterlagen:
• eine PISA-Schülerliste (listet ausgewählte Schüler/innen auf),
• ein Testheft und einen Schülerfragebogen für jede Schülerin und jeden Schüler,
• ein zusätzliches Testheft und einen Fragebogen als Ersatz,
• PISA-Kugelschreiber für alle Schüler/innen und
• ein Testsitzungsprotokoll zur Dokumentation des Testverlaufs.
Die Schulpakete werden den zuständigen TL beim jeweiligen Schulungstermin persönlich übergeben.
Außerdem erhalten alle TL eine Tasche, die weitere Materialien zur Durchführung der Testsitzung enthält
VI. Testorganisation und Durchführung
Seite 93

(Timer zur exakten zeitlichen Koordinierung der Testsitzung, Post-Its zur Kennzeichnung der Sitzplätze,
ein Testsitzungsprotokoll für Nachtests und einen Taschenrechner sowie Reservekugelschreiber).
Die TL sind ab der Übernahme der Schulpakete für die Sicherheit der darin enthaltenen Materialien
zuständig. Ihre Verantwortung endet erst mit der Ablieferung der Schulpakete an der vereinbarten Sammelstelle
nach der Durchführung der Testsitzungen.
4.4 Rücklaufkontrolle der Schulpakete
Am Ende des Testfensters werden die Schulpakete von einer Spedition an den Sammelstellen in den
Bundesländern abgeholt und dem nationalen Projektzentrum zugestellt. Nach dem Einlangen der
Schulpakete im nationalen Zentrum wird eine Rücklaufkontrolle durchgeführt. Dabei wird für jede Schule
dokumentiert, wie viel Testhefte bzw. Fragebögen bearbeitet wurden. Außerdem werden die Protokolle aller
Testsitzungen gesammelt und kontrolliert. Im Anschluss an die Kontrolle und Dokumentation werden
die Materialien nach Testheft- und Fragebogenformen und nach Identifikationsnummern für die weitere
Verarbeitung (Coding und Dateneingabe) sortiert.
5. Aufgaben der Testleiter/innen (TL)
Die PISA-Testsitzungen in den Schulen werden von externen, speziell dafür geschulten Personen
(Testleiter/innen) durchgeführt. Diese Form der Durchführung der Tests an den Schulen hatte sich bereits
bei PISA 2000 und 2003 bewährt und hat folgende Vorteile:
• Objektive Testdurchführung: Da die Testsitzungen von externen Personen durchgeführt werden,
wird angenommen, dass die TL kein Interesse an der Beeinflussung der Testergebnisse der einzelnen
Schulen haben. In einigen Teilnehmerstaaten werden die Testsitzungen von schulinternen Personen
(SK) durchgeführt. Nach den Vorgaben des internationalen Zentrums ist auch diese Form der Testdurchführung
erlaubt, solange diese Person kein/e Lehrer/in einer teilnehmenden Schülerin/eines
teilnehmenden Schülers ist. Aus unserer Sicht ermöglicht die Durchführung der Tests durch externe
Personen allerdings eine objektivere Testdurchführung.
• Standardisierter Ablauf der Testsitzung: Um die Vergleichbarkeit der Ergebnisse sicherzustellen,
ist es von großer Bedeutung, dass die PISA-Testsitzungen an den Schulen nach genau vorgegebenen
Richtlinien durchgeführt werden. Die TL werden für die Aufgaben im Zusammenhang mit der Testdurchführung
vom nationalen Projektzentrum geschult. Da die TL mehrere Testsitzungen leiten,
beherrschen sie auch die Prozeduren besser. Zusätzlich waren viele TL, die bei PISA 2006 im Einsatz
waren, bereits bei PISA 2000, PISA 2003 oder beim Feldtest 2005 als TL für PISA tätig. Durch die
spezielle Schulung und die Erfahrung in der Testdurchführung wird eine hohe Standardisierung des
Ablaufs der Testsitzungen garantiert.
• Wahrung der Vertraulichkeit: Da es sich bei den TL um externe Personen handelt, wird einerseits
der vertrauliche Umgang mit den Schülerantworten gewährleistet, andererseits wird erwartet, dass die
Schüler/innen aus diesem Grund ehrlichere Antworten geben.
• Minimierung des Aufwands für die Schulen: Für die teilnehmenden Schulen ergibt sich auf Grund
des Einsatzes der externen TL ein verminderter organisatorischer Aufwand. Die Schule muss keinerlei
Aufgaben im Hinblick auf die konkrete Durchführung der Testsitzung und die Administration der
Erhebungsmaterialien übernehmen.
• Sicherheit der Testmaterialien: Die Sicherheit der Testmaterialien ist bei PISA ein sehr wichtiger
und sensibler Punkt. Da die PISA-Studie im Längsschnitt durchgeführt wird und dieselben Testaufgaben
auch in künftigen Erhebungen eingesetzt werden, dürfen diese nicht an die Öffentlichkeit
gelangen. Da die TL mit dem gesamten Testmaterial an die Schule kommen und dieses nach der
Durchführung der Testsitzung wieder mitnehmen, wird sichergestellt, dass sich zu keinem Zeitpunkt
Material unbeaufsichtigt an der Schule befindet.
Das nationale Projektzentrum hat mittlerweile über alle Bundesländer hinweg ein Netz an Testleitern und
Testleiterinnen aufgebaut, das aus etwa 130 Personen besteht. Die meisten dieser Personen sind Angestellte
Seite 94
VI. Testorganisation und Durchführung

an Pädagogischen Instituten des Bundes oder an Pädagogischen Akademien sowie Lehrer/innen. Für die
Durchführung von PISA 2006 waren insgesamt 75 TL für die Testdurchführung an einer oder mehreren
Schulen verantwortlich. Jede/r bei PISA 2006 eingesetzte TL führte zwei bis drei Testsitzungen durch. An
einigen Schulen wurden mehrere Testsitzungen durchgeführt: Wenn an einer Schule am Testtag mehrere
der ausgewählten Schüler/innen abwesend sind, ist ein „Nachtest“ notwendig (Details zur Durchführung
von Nachtests finden Sie in Abschnitt 5.5 idK.). In Berufsschulen sind zumeist auf Grund des Unterrichts
an bestimmten Wochentagen bzw. in geblockter Form von vornherein mehrere Testsitzungen nötig.
5.1 Kontaktaufnahme mit den TL
Bereits im Herbst 2005 wurden die TL kontaktiert, die bei PISA 2003 oder beim Feldtest 2005 im Einsatz
waren und ihre Bereitschaft erklärt haben, beim Haupttest 2006 wieder mitzuwirken. Diesem Schreiben
war ein Faxformular beigelegt, mit dem die TL dem nationalen Zentrum mitteilen sollten, ob und wie
viele Testsitzungen sie übernehmen können. Die TL wurden auch gebeten, interessierte Kollegen und
Kolleginnen an das ZVB zu vermitteln, da in einigen Bundesländern die Anzahl der verfügbaren TL –
im Hinblick auf die Anzahl der zu testenden Schulen – gering war. Weiters wurden die Schulaufsicht,
Pädagogische Institute und Pädagogische Akademien gebeten, qualifizierte TL zu nominieren, um den
Bedarf abdecken zu können.
Anfang Februar 2006 wurden die TL vom nationalen Projektzentrum über wichtige Termine
(Testleitungsschulung, Testfenster) informiert. Weiters wurde ihnen ein Vorschlag unterbreitet, an welchen
Schulen sie den PISA-Test durchführen sollen. Dank der großen Flexibilität der TL mussten nur
wenige Adaptionen vorgenommen werden.
In einem weiteren Schreiben Mitte März wurde den TL das Testleiter-Handbuch übermittelt und der genaue
Termin bzw. Ort für die jeweilige Testleiterschulung mitgeteilt. Dieses Handbuch, in dem sämtliche
Aufgaben der TL im Detail beschrieben sind, sollten die TL zur Vorbereitung auf die Schulung durchlesen.
Den TL wurde in diesem Schreiben auch die endgültige Aufteilung der Schulen mitgeteilt. Ab
diesem Zeitpunkt konnten die TL die von ihnen übernommenen Schulen kontaktierten und Testtermine
vereinbaren. Bis zum jeweiligen Schulungstermin sollte die Terminvereinbarung mit den Schulen abgeschlossen
sein.
5.2 Teilnahme an der Schulung für TL
Die TL werden durch Mitarbeiter/innen des ZVB in regionalen Schulungen auf die Durchführung des
Tests vorbereitet. Insgesamt wurden den TL beim Haupttest 2006 vier Schulungstermine an unterschiedlichen
Orten (Stams, Salzburg, Graz, Wien) angeboten.
Diese Schulungen dauern jeweils einen halben Tag. Dabei werden – neben allgemeinen Informationen zu
PISA 2006 – sämtliche Aufgaben der TL und spezielle Probleme und Sonderfälle ausführlich besprochen.
Da viele TL diese Funktion bereits bei früheren PISA-Erhebungen übernommen und daher schon eine
gewisse Expertise für die Testsituation entwickelt haben, für andere TL diese Aufgabe aber neu war, fand
die Einschulung in zwei Gruppen statt. Die erfahrenen TL wurden in einer kürzeren Schulung speziell
auf Neuheiten und Abweichungen gegenüber früheren PISA-Erhebungen hingewiesen, neue TL wurden
hingegen sehr umfassend und ausführlich über PISA und ihre Aufgaben als TL informiert.
Die TL erhalten bei der Schulung sämtliche Materialien, die für die Durchführung der Testsitzungen
benötigen, und sind ab diesem Zeitpunkt für die Sicherheit der Testmaterialien verantwortlich. Nach der
Durchführung der Testsitzungen werden die Testmaterialen von den TL an einer Sammelstelle (vorwiegend
Pädagogische Institute) abgegeben. Dort erhalten sie für jedes Paket eine Abgabebestätigung. Von
diesen Sammelstellen werden die Testmaterialien am Ende des Testfensters von einer Spedition abgeholt.
5.3 Terminvereinbarung mit den SK
Die TL haben die Aufgabe, bis zum Schulungstermin die SK ihrer Schulen zu kontaktieren und einen
Termin für den PISA-Test zu vereinbaren. Dieser Termin konnte beim Haupttest 2006 ein Schultag im
VI. Testorganisation und Durchführung
Seite 95

Zeitraum vom 20. April bis 31. Mai 2006 sein (= Testfenster). Als Testbeginn wurde in den meisten
Fällen der normale Schulbeginn am Morgen vereinbart. Der Testtermin sollte nach Möglichkeit nicht
in der letzten Woche des Testfensters liegen, um die Durchführung eines ev. notwendigen Nachtests zu
ermöglichen. Nach der Vereinbarung der Termine mit den SK teilen die TL die Termine dem nationalen
Zentrum mit.
Zwei bis drei Tage vor dem Testtermin sollten die TL noch einmal Kontakt mit der/dem SK aufnehmen,
um sich zu vergewissern, dass die/der SK alle für die Durchführung des Tests notwendigen Vorbereitungen
getroffen hat (Reservierung eines geeigneten Testraumes; Information der Schüler/innen, Eltern sowie
Lehrer/innen; Erhalt des beantworteten Schulfragebogens).
5.4 Aufgaben am Testtag
Abbildung VI.2 zeigt den Ablauf einer PISA-Testsitzung. Die wichtigsten Schritte bzw. die jeweiligen
Aufgaben der TL werden im Folgenden näher erläutert.
5.4.1 Vorbereitung von Testmaterial und Testraum
Am vereinbarten Testtag trifft die/der TL etwa eine Stunde vor Testbeginn an der Schule ein. Gemeinsam
mit der/dem SK wird der Testraum vorbereitet und wenn nötig entsprechend adaptiert. Die TL sollen –
zur Gewährleistung bzw. Erleichterung der korrekten Zuordnung des Testmaterials – die Sitzplätze der
Schüler/innen mit beschrifteten
Haftnotizen (Post-Its) versehen.
PISA-TEST EINLEI- VORBEREITUNG
TUNG
FRAGE-
BOGEN
ABSCHLUSS
HAUPTTEST PISA 2006 – Ablauf am Testtag
1 Stunde vor
Beginn
ab ca. 15 min
vor Beginn
Beginn
Vorbereitungen
PISA-Schülerliste aktualisieren
Testraum und Materialien vorbereiten
Empfang der Schüler/innen
Zuweisung zu Sitzplätzen laut Sitzplan
Anwesenheitskontrolle
Begrüßung und Einleitung (laut Skript)
Verteilen der Testhefte an die Schüler/innen
Testbeginn
PISA-Test – Teil 1
Teil 1 – 60 min
Pause
5 min Pause
PISA-Test – Teil 2
Teil 2 – 60 min
Testhefte einsammeln
10 min Pause Pause
Fragebögen austeilen
FB-Beginn
45 min
PISA-Fragebogen
+ max.10 min
Nachbereitung
Materialien sichern, sortieren und verpacken
PISA-Schülerliste und Protokoll vervollständigen
Schulfragebogen einfordern
Testpaket verwahren
Abbildung VI.2 Ablauf einer PISA-Testsitzung am Testtag
5.4.2 Aktualisierung der PISA-
Schülerliste
Abbildung VI.3 zeigt ein Muster
einer PISA-Schülerliste (mit fiktiven
Schul- und Schülerdaten).
Auf der PISA-Schülerliste sind
alle Schüler/innen aufgelistet,
die an der jeweiligen Schule für
die Teilnahme an PISA ausgewählt
sind. Nur diese maximal
35 Schüler/innen dürfen an den
Testsitzungen teilnehmen. Die
TL haben die Aufgabe, mit der/
dem SK die PISA-Schülerliste zu
besprechen und die Eintragungen
der/des SK zu Förderbedarf oder
mangelnden Sprachkenntnissen
bzw. zum Teilnahme-Code der
Schüler/innen zu übertragen.
Diese Eintragungen wurden
von der/vom SK in den Spalten
8 („sonderpäd. FB“) und 9a
(„Teilnahmestatus Test“) bzw.
9b („Teilnahmestatus FB) vorgenommen
(siehe Abbildung VI.3).
In Spalte 8 wird für jede Schülerin
bzw. jeden Schüler festgehalten,
ob sie oder er sonderpädagogischen
Förderbedarf oder man-
Seite 96
VI. Testorganisation und Durchführung

PISA SCHÜLERLISTE
Schulname: Musterschule PISA-ID Schulkoordinator: Herr Josef Aschauer
Testleiter: Frau Elisabeth Neumüller
03 010
Testsitzungsnummer
(1) (2) (3) (4) (5) (6) (7) (8) (9a) (9b) (10) (11a) (11b)
Schüler
ID
Zeilennr.
Schülername
(Stichprobe)
Schulstufe
Geschlecht
W=1 M=2
Geburtstag
(MM-JJ)
Schulsparte
Demographisches Teilnahmestatus Testheftform
Sonderpäd.
Test FB Test Test FB
FB
00001 00003 Thomas Bauer 10 2 12/90 3 6
00002 00008 Johannes Meier 9 2 11/90 3 4 4 7
00003 00012 Regina Holzapfel 10 1 12/90 3 8
00004 00016 Daniel Crivez 10 2 05/90 3 3 3 3 9
00005 00020 Tina Strasser 9 1 04/90 3 10
00006 00024 Mustafa Al-Himrani 9 2 09/90 3 3 11
00007 00028 Dominik Steiner 10 2 07/90 3 1 3 3 12
00008 00033 Sybille Koller 10 1 04/90 3 13
00009 00037 Susanne Schmid 9 1 07/90 3 1
00010 00041 Maximilian Wallner 10 2 10/90 3 1 2
00011 00045 Tamara Arnsberger 9 1 01/90 3 6 6 3
00012 00049 Anita Reitinger 10 1 08/90 3 2 3 3 4
00013 00053 Maria Breitfuss 6 1 09/90 3 7 7 5
00014 00057 Peter Dorfer 10 2 07/90 3 6
Abbildung VI.3 PISA-Schülerliste mit Eintragungen des/der SK
VI. Testorganisation und Durchführung
Seite 97

gelnde Deutschkenntnisse aufweist. Die folgende Tabelle (Abbildung VI.4) zeigt die in dieser Spalte möglichen
Codes und deren Bedeutungen.
Code
1
Beschreibung
Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine körperliche
Behinderung (z. B. Seh- oder Hörschädigung).
2 Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine geistige Behinderung.
3
Der ausgewählte Schüler bzw. die ausgewählte Schülerin ist nichtdeutscher Muttersprache
und verfügt über mangelnde Deutschkenntnisse.
Abbildung VI.4 Codes für Spalte 8 der PISA-Schülerliste
In den Spalten 9a und 9b der PISA-Schülerliste wird für jede Schülerin bzw. jeden Schüler festgehalten,
ob sie/er an der PISA-Testsitzung teilnehmen kann. Wichtig ist hierbei, dass die Codes aus Spalte 8 noch
keine Information darüber liefern, ob die entsprechende Schülerin oder der entsprechende Schüler am
PISA-Test teilnehmen kann. Dies wird erst in den Spalten 9a und 9b dokumentiert. Abbildung VI.5 definiert
die hier möglichen Codes.
Die Entscheidung über die Teilnahme von Schülern und Schülerinnen mit sonderpädagogischem
Förderbedarf oder mangelnden Deutschkenntnissen wird jeweils von den SK unter Anwendung der oben
angeführten Richtlinien und in Absprache mit den Lehrern und Lehrerinnen getroffen. Besonders wichtig
ist, dass ein Schüler bzw. eine Schülerin auf Grund von mangelnden Deutschkenntnissen nur dann
ausgeschlossen werden kann, wenn der Schüler oder die Schülerin weniger als ein Jahr lang als ordentlicher
Schüler bzw. ordentliche Schülerin gemeldet ist.
Code
1
2
Beschreibung
nimmt teilweise an der Testsitzung teil – fehlt länger als 10 Minuten
nimmt nicht teil – verweigert die Teilnahme
3
nimmt nicht teil – Ausschluss auf Grund sonderpädagogischen Förderbedarfs oder
mangelnder Deutschkenntnisse
Der ausgewählte Schüler bzw. die ausgewählte Schülerin weist eine so schwere dauernde körperliche
Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar
oder nicht sinnvoll ist. Körperlich behinderte Schüler/innen, die den Test bearbeiten können, sollen
einbezogen werden.
Der ausgewählte Schüler bzw. die ausgwählte Schülerin weist eine so schwere dauernde geistige
Behinderung auf, dass eine Teilnahme am PISA-Test entweder nicht möglich, ethisch nicht vertretbar
oder nicht sinnvoll ist. D. h., diese Schüler/innen sind nicht in der Lage, den Anweisungen in der Testsitzung
zu folgen. Schüler/innen, die nur schlechte Leistungen erbringen oder disziplinäre Probleme
haben, sollen NICHT von der Testsitzung ausgeschlossen werden.
Der ausgewählte Schüler bzw. die ausgwählte Schülerin ist nichtdeutscher Muttersprache, er bzw. sie
befindet sich erst weniger als ein Jahr in Österreich und es mangelt ihm bzw. ihr an Deutschkenntnissen,
so dass ein Verstehen der Anleitungen und der Testaufgaben nicht möglich ist. Schüler und
Schülerinnen, die bereits länger als ein Jahr als ordentlicher Schüler bzw. ordentliche Schülerin in
Österreich eine Schule besuchen, dürfen NICHT ausgeschlossen werden.
4 nimmt nicht teil – Wechsel an eine andere Schule (Schulwechsel)
5 nimmt nicht teil – hat die Schule verlassen (Schulaustritt)
6
7
nimmt nicht teil – Altersdefinition trifft nicht zu
nimmt nicht teil – Schulstufen-Definition trifft nicht zu
Abbildung VI.5 Codes für Spalte 9 der PISA-Schülerliste
Seite 98
VI. Testorganisation und Durchführung

In Berufsbildenden Mittleren Schulen müssen die SK in die PISA-Schülerliste zusätzlich die Schulform
der Schüler und Schülerinnen eintragen (z. B. dreijährige hauswirtschaftliche BMS). Für die Schüler/innen
aller anderen Schularten ist dies nicht notwendig, da die Information über die Schulform durch die
Schulart und Schulstufe der Schüler/innen eindeutig zuzuordnen ist.
5.4.3 Empfang der Schüler/innen und Zuordnung des Testmaterials
Die TL müssen sicherstellen, dass jede Schülerin bzw. jeder Schüler das ihr bzw. ihm zugeordnete
Testmaterial erhält. Für die Zuordnung des Testmaterials erhält jede Schülerin und jeder Schüler eine
Identifikationsnummer. Diese ist auf der PISA-Schülerliste und auf den Etiketten der Testhefte und
Fragebögen abgedruckt. Bei der Verteilung bzw. Zuordnung der Testhefte und Fragebögen ist von den
TL auf die Übereinstimmung der Identifikationsnummer zu achten.
5.4.4 Durchführung und zeitliche Koordinierung der Testsitzung
Der Ablauf einer PISA-Testsitzung ist in hohem Maße standardisiert und muss in allen beteiligten Schulen
und in allen teilnehmenden Staaten auf dieselbe Weise durchgeführt werden, um die Vergleichbarkeit der
Ergebnisse zu gewährleisten. Um dies zu ermöglichen, werden die Testsitzungen mit einem so genannten
„Testleiterskript“ durchgeführt. Dieses Skript enthält sowohl Anweisungen für die TL zur Durchführung
des Tests, als auch alle Anweisungen für die Schüler/innen, die von den TL wortwörtlich vorgelesen werden
müssen. Sämtliche Instruktionen der TL – beginnend bei der Begrüßung der Schüler/innen, über
allgemeine Erklärungen zur Beantwortung der Testaufgaben bis hin zur Verabschiedung der Schüler/innen
– müssen wortwörtlich aus dem Skript vorgelesen werden.
Der zeitliche Ablauf der Testsitzungen ist – vor allem bei der Bearbeitung der Testhefte – minutiös vorgegeben
und muss von den TL genau eingehalten und im Testsitzungsprotokoll (vgl. Abschnitt 5.4.5 idK.)
dokumentiert werden. Um den TL die Zeitnehmung zu erleichtern, werden ihnen vom ZVB Timer zur
Verfügung gestellt.
Die Testhefte werden in zwei Teilen mit jeweils exakt 60 Minuten bearbeitet. Zwischen den beiden
Testteilen erfolgt eine Pause von fünf Minuten. Bei PISA 2000 waren die Aufgaben in den Testheften in
zwei Teile geteilt, und die Schüler/innen durften während der ersten 60 Minuten nur Aufgaben des ersten
Teils und in den zweiten 60 Minuten nur Aufgaben des zweiten Teils bearbeiten. Bei PISA 2003 und
2006 gab es in den Testheften keine getrennten Testteile, und die Schüler/innen konnten die Reihenfolge
der Bearbeitung der Testaufgaben frei wählen.
Nach der Bearbeitung des Testhefts ist eine Pause von zehn Minuten vorgesehen. Anschließend haben die
Schüler/innen 45 Minuten für die Bearbeitung des Schülerfragebogens zur Verfügung. Sind nach Ablauf
der 45 Minuten alle Schüler/innen mit der Bearbeitung des Fragebogens fertig, werden diese eingesammelt.
Benötigten einige noch mehr Zeit, kann um höchstens zehn Minuten verlängert werden.
5.4.5 Dokumentation des Testverlaufs im Testsitzungsprotokoll
Für jede Testsitzung muss von der/vom TL ein Protokoll ausgefüllt werden. Auf diesem werden – neben
den Daten von Schule, SK und TL – folgende Informationen zu jeder Testsitzung festgehalten:
• Art der Testsitzung (erste Testsitzung oder Nachtest)
• Datum und Beginnzeit
• Anzahl der ausgewählten, ausgeschlossenen, abwesenden und getesteten Schüler und Schülerinnen
• Anfangs- und Endzeiten der Testsitzungsteile
• Skizze der Sitzordnung der Schüler/innen (Sitzplan)
• Teilnahme von Beobachterinnen und Beobachtern
• Verhalten der Schüler/innen
• Störungen während der Testsitzung
• Dokumentation von Problemen der Schüler/innen mit Testheft oder Fragebogen
• Raum für sonstige Kommentare und Verbesserungsvorschläge
Das gesamte Testsitzungsprotokoll finden Sie im Anhang zu diesem Kapitel.
VI. Testorganisation und Durchführung
Seite 99

5.4.6 Eintragungen zum Teilnahmestatus auf der PISA-Schülerliste
Auf der PISA-Schülerliste wird für jeden Schüler und jede Schülerin getrennt für Testheft- und
Fragebogenteil der jeweilige Teilnahmestatus dokumentiert. Dies erfolgte durch die Eintragung der folgenden
Codes in Spalte 11a bzw. 11b der PISA-Schülerliste durch die TL (vgl. Abbildung VI.6).
Abbildung VI.8 zeigt eine durch die Testleitung vollständig ausgefüllte PISA-Schülerliste nach dem Test.
Diese Liste wird nach der Testsitzung gemeinsam mit den anderen Testmaterialien im Schulpaket verpackt.
Code
Beschreibung
1 Schüler/in nimmt an der ersten, regulären Testsitzung teil
2
Schüler/in nimmt an der zweiten Testsitzung teil (Nachtest bzw. Testsitzung an einem anderen
Schultag oder für einen neuen Lehrgang an der Berufsschule)
8 Schüler/in wurde ausgeschlossen
5.4.7 Informationen über PISA
Da die TL neben dem nationalen Projektzentrum die wichtigsten Kontaktpersonen für Schulen sind,
werden zahlreiche Fragen in Zusammenhang mit der internationalen Studie an sie gerichtet. Daher
holt das nationale Projektzentrum bei den TL Rückmeldung darüber ein, welche Fragen von Seiten der
Schulen häufig gestellt werden. Zwölf TL geben im Feedbackbogen an, dass sich Schulen bezüglich einer
Ergebnisrückmeldung erkundigen. Die Schulleiter/innen und die SK wollen wissen, ob die Schulen über
das Abschneiden ihrer Schüler/innen informiert werden bzw. welche Gründe es gibt, dass die teilnehmenden
Schulen keine Ergebnisrückmeldung bekommen. Weitere Fragen von Seiten der Schulen betreffen
die Anonymität bzw. den Zeitpunkt der Ergebnisveröffentlichung.
5.5 Durchführung eines Nachtests
Um die international vorgeschriebenen Rücklaufquoten zu erreichen, ist es notwendig so genannte
Nachtests durchzuführen. Ein Nachtest muss laut internationalen Vorgaben dann durchgeführt werden,
wenn mehr als 15 Prozent der ausgewählten Schüler/innen am Testtag fehlen. Nicht berücksichtigt werden
dabei Schüler/innen, die von der Teilnahme an PISA ausgeschlossen oder vom Test abgemeldet wurden.
Mit Ausnahme von Berufsschulen wurde beim Haupttest 2006 in jeder Schule maximal ein Nachtest
durchgeführt.
In ganzjährig geführten Berufsschulen ist es meist notwendig, mehrere Testsitzungen durchzuführen, da die
ausgewählten Schüler/innen an unterschiedlichen Tagen Unterricht haben. Werden bei lehrgangsmäßig
geführten Berufsschulen
zwei aufeinander folgende
Lehrgänge getestet, ist es
ebenfalls notwendig, bereits
im Vorfeld mindestens
zwei Testtermine zu
vereinbaren.
Zwischen der ersten
Testsitzung und einem
Nachtest soll – wenn möglich
– ein Wochenende
Abbildung VI.6 Codes für Spalte 11a und 11b der PISA-Schülerliste
Anzahl der Testsitzungen
Schulen
(Anzahl)
Schulen
(Prozent)
eine Testsitzung 167 83.5 %
Testsitzung und ein Nachtest 25 12.5 %
Testsitzung und zwei Nachtests 6 3.0 %
Testsitzung und drei Nachtests 2 1.0 %
Abbildung VI.7 Anzahl der Testsitzungen an einer Schule/Häufigkeiten
Seite 100
VI. Testorganisation und Durchführung

PISA SCHÜLERLISTE
Schulname: Musterschule PISA-ID 03 010
Schulkoordinator: Herr Josef Aschauer
Testleiter: Frau Elisabeth Neumüller
Testsitzungsnummer
(1) (2) (3) (4) (5) (6) (7) (8) (9a) (9b) (10) (11a) (11b)
Schüler
ID
Zeilennr.
Schülername
(Stichprobe)
Schulstufe
Geschlecht
W=1 M=2
Geburtstag
(MM-JJ)
Schulsparte
Demographisches Teilnahmestatus Testheftform
Sonderpäd.
Test FB Test Test FB
FB
00001 00003 Thomas Bauer 10 2 12/90 3 6 2 2
00002 00008 Johannes Meier 9 2 11/90 3 4 4 7 8 8
00003 00012 Regina Holzapfel 10 1 12/90 3 8
00004 00016 Daniel Crivez 10 2 05/90 3 3 3 3 9 8 8
00005 00020 Tina Strasser 9 1 04/90 3 10 1 1
00006 00024 Mustafa Al-Himrani 9 2 09/90 3 3 11 1 2
00007 00028 Dominik Steiner 10 2 07/90 3 1 3 3 12 8 8
00008 00033 Sybille Koller 10 1 04/90 3 13 1 1
00009 00037 Susanne Schmid 9 1 07/90 3 1 1 1
00010 00041 Maximilian Wallner 10 2 10/90 3 1 2 8 8
00011 00045 Tamara Arnsberger 9 1 01/90 3 6 6 3 1 1
00012 00049 Anita Reitinger 10 1 08/90 3 2 3 3 4 8 8
00013 00053 Maria Breitfuss 6 1 09/90 3 7 7 5 8 8
00014 00057 Peter Dorfer 10 2 07/90 3 6 2 2
Abbildung VI.8 PISA-Schülerliste mit Eintragungen des TL
VI. Testorganisation und Durchführung
Seite 101

liegen, um erkrankten Schüler/innen die Möglichkeit zu geben am Nachtest teilzunehmen. Insgesamt
wurden 43 Nachtests durchgeführt, 38 davon an Berufsschulen. Abbildung VI.7 zeigt, an wie vielen
Schulen jeweils eine Testsitzung durchgeführt wurde bzw. an wie vielen Schulen jeweils ein Nachtest oder
mehrere Nachtests durchgeführt wurden.
5.6 Ablieferung des Testmaterials
Bei den Testleiterschulungen wird für jedes Bundesland eine Sammelstelle für die Schulpakete bekannt
gegeben. Die TL haben die Aufgabe, die Testmaterialien ihrer Schulen nach Abschluss ihrer Testsitzungen
dort abzuliefern und erhalten dann eine Abgabebestätigung. Die gesammelten Materialien wurden von
diesen Sammelstellen, welche sich vorwiegend an den Pädagogischen Instituten der Bundesländer befanden,
am 30. Mai 2006 bzw. am 1. Juni 2006 von einer Spedition abgeholt. Schon am 2. Juni trafen die
Testmaterialien vollständig am nationalen Zentrum ein.
6. Qualitätssicherung bei der Testorganisation und -durchführung
In diesem Abschnitt wird dargestellt, wie eine hohe Qualität der jeweiligen Tätigkeiten und Abläufe für
die einzelnen Bereiche der Testorganisation und -durchführung gewährleistet wird.
6.1 Der Feldtest als Probelauf
Ein wichtiger Bestandteil der Qualitätssicherung im Bereich der Testorganisation und -durchführung ist
der Feldtest. Sämtliche in diesem Kapitel dargestellten Tätigkeiten, Abläufe und Materialien werden beim
Feldtest erprobt und auf ihre Tauglichkeit in der Praxis überprüft. Treten im Feldtest Probleme auf, so
können entsprechende Korrekturen und Veränderungen für den Haupttest vorgenommen werden.
6.2 Kontakte mit Schulen bzw. SK
Die Teilnahme möglichst aller ausgewählten Schulen an PISA soll durch die gute Zusammenarbeit
des ZVB mit den Schulbehörden und deren unverzichtbarer Unterstützung erreicht werden. Für die
Teilnahmebereitschaft der Schulen ist außerdem die Minimierung des Arbeitsaufwands für die Schulen
von großer Bedeutung. Dies wird vor allem durch den Einsatz externer TL erreicht.
Die Kontaktperson für das nationale Projektzentrum an der Schule – die/der SK – wurde durch das
nationale Zentrum durch zwei möglichst kurze und prägnante Briefe informiert. International war für
die Information und Anweisung der SK ein Handbuch vorgesehen. In Österreich bewährte sich die bereits
bei PISA 2000 und 2003 verwendete und vom internationalen Zentrum genehmigte Lösung mit
zwei Informationsbriefen. Der Vorteil dieser Vorgehensweise besteht darin, dass die SK nicht sämtliche
Informationen auf einmal erhalten, sondern immer nur die für die jeweils anstehenden Aufgaben benötigten
Informationen und Anweisungen. Die inhaltliche Vollständigkeit und die sprachliche Qualität
dieser Informationsbriefe werden vom internationalen Zentrum geprüft.
6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien
Alle Erhebungsmaterialien, die bei den Testsitzungen zum Einsatz kommen, müssen entsprechend vorbereitet
und organisiert werden (vgl. Abschnitt 4 idK.). Testhefte und Schülerfragebögen werden nach
der Lieferung durch die Druckerei und nach der Durchführung einer vollständigen Qualitätskontrolle
mit Etiketten versehen. Die Korrektheit der Etikettierung ist von entscheidender Bedeutung, da damit
die Zuordnung des Testmaterials bestimmt wird. Wichtig bei der Etikettierung ist auch die Einhaltung
des international vorgeschriebenen Rotationsschemas, welches sicherstellt, dass alle Testheft- und
Fragebogenformen möglichst gleich oft zum Einsatz kommen. Die etikettierten Materialien müssen anschließend
zu Schulpaketen zusammengestellt werden (vgl. Abschnitt 4 idK.). Die genaue Kontrolle der
Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der Durchführung der Tests minimieren.
Folgende Kontrollmaßnahmen werden dazu durchgeführt:
Seite 102
VI. Testorganisation und Durchführung

• Kontrolle der Druckqualität nach Erhalt der Materialien von der Druckerei.
• Eine sorgfältige Kontrolle der Etikettierung der Erhebungsinstrumente: Bei dieser Kontrolle wird
auch die korrekte Einhaltung des Rotationsschemas anhand der PISA-Schülerliste kontrolliert.
• Jedes Schulpaket wird nach der Zusammenstellung unabhängig voneinander zwei Mal von Mitarbeiterinnen
und Mitarbeitern des nationalen Projektzentrums überprüft. Dabei wird zum einen die
Übereinstimmung der Schul-ID zwischen Schulpaket, PISA-Schülerliste und Erhebungsmaterialen
überprüft. Zum anderen werden die Anzahl der Erhebungsinstrumente anhand der PISA-Schülerliste
und die Vollständigkeit der Materialien anhand einer Checkliste kontrolliert.
• Bei der Übergabe der Schulpakete an die TL werden diese aufgefordert, die Vollständigkeit ihrer Pakete
noch einmal zu überprüfen.
Die Sicherheit der Erhebungsmaterialien ist bei PISA in mehrfacher Hinsicht ein sensibler und wichtiger
Bereich. Zum einen dürfen die verwendeten Testmaterialien nicht an die Öffentlichkeit gelangen, da die
darin enthaltenen Testaufgaben auch in künftigen PISA-Erhebungen verwendet werden. Zum anderen
muss sichergestellt werden, dass bearbeitete Testhefte und Fragebögen zur Wahrung der Vertraulichkeit,
der von den Schülern und Schülerinnen gemachten Angaben, nicht in die Hände des Schulpersonals
gelangen. Weiters wäre mit dem Verlust von Materialien auch ein nicht mehr ersetzbarer Datenverlust
verbunden.
Wie bereits in Abschnitt 5 idK. beschrieben, konnte durch die Organisation der persönlichen Übergabe
der Erhebungsmaterialien an die TL und die Abholung der Materialien in den Bundesländern ein Verlust
vermieden werden und die Materialien standen vollständig und zeitgerecht für die weitere Verarbeitung
im nationalen Projektzentrum zur Verfügung.
6.4 Qualität und Testadministration
Für die Qualität und Vergleichbarkeit der Daten von PISA ist es besonders wichtig, alle Schüler/innen unter
möglichst gleichen Rahmenbedingungen zu testen. Der standardisierte Ablauf der Testsitzungen ist eine
unverzichtbare Voraussetzung für die Vergleichbarkeit der Ergebnisse. In Bezug auf die Standardisierung
der Datenerhebung sind vor allem vier Aspekte von besonderer Bedeutung:
• der Einsatz von externen TL für die Administration der Erhebung,
• ein standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts,
• die Vorbereitung der TL auf ihre Aufgabe und
• eine international organisierte, stichprobenartige Kontrolle der Testsitzungen.
Diese Aspekte leisten alle einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung, sowohl
innerhalb Österreichs als auch über die Teilnehmerstaaten hinweg. Durch die vom internationalen
Zentrum organisierte stichprobenartige Beobachtung von Testsitzungen wird die Einhaltung der bestehenden
Richtlinien in den einzelnen Teilnehmerländern überprüft.
6.4.1 Einsatz externer Testleiter/innen (TL)
Der Einsatz von schulfremden Personen als TL, die zur jeweiligen Schule kommen, den Test durchführen
und sämtliche Materialien anschließend wieder mitnehmen, hat verschiedene Vorteile, die einen positiven
Einfluss auf die Qualität der Testdurchführung haben. Diese Vorteile wurden in Abschnitt 5 idK.
bereits dargestellt und werden hier nur in Kurzform erwähnt.
• Sicherheit der Testmaterialien: Die TL bekommen die Materialien für die Erhebung persönlich von
Mitarbeiterinnen bzw. Mitarbeitern des nationalen Zentrums überreicht und verpflichten sich zur
Wahrung der Sicherheit und Vertraulichkeit bis zur Ablieferung an der jeweiligen Sammelstelle.
Durch diese Form der Organisation kann sichergestellt werden, dass die Testmaterialien nicht verloren
gehen.
• Vertraulichkeit der Schülerangaben: Durch den Einsatz der externen TL kann den Schülerinnen und
Schülern garantiert werden, dass niemand aus der Schule Einsicht in die von ihnen gemachten Angaben
nehmen kann. Es ist anzunehmen, dass die Schüler/innen dadurch – vor allem bei sensiblen
Fragen – ehrlichere Antworten geben.
VI. Testorganisation und Durchführung
Seite 103

• Objektive Testdurchführung: Man kann davon ausgehen, dass keine/r der externen TL ein Interesse
daran hat, das Abschneiden „ihrer“/„seiner“ Testschulen zu beeinflussen. Die Gefahr einer Beeinflussung
der Ergebnisse wäre eher gegeben, wenn die Testsitzungen von der/vom jeweiligen SK durchgeführt
werden würde.
• Motivation der Beteiligten: Als TL sind nur Personen mit pädagogischer Erfahrung tätig, die sich
freiwillig für diese Tätigkeit zur Verfügung stellen. Dadurch wird sichergestellt, dass sie auch die entsprechende
Motivation mitbringen. Weiters wird die Bereitschaft der Schulen und SK gestärkt, da
ihnen durch die externe Testdurchführung ein Großteil der Arbeit abgenommen wird. Es wird auch
vermutet, dass die Schüler/innen die Durchführung der Testsitzung durch eine externe Person als
Abwechslung zum Schulalltag erleben, und dadurch auch ihre Motivation positiv beeinflusst wird.
• Kompetenz/Erfahrung der TL: Die eingesetzten TL sind zum Großteil Mitarbeiter/innen von Pädagogischen
Instituten und Pädagogischen Akademien mit langjähriger Erfahrung im pädagogischen
Bereich. Viele der beim Haupttest 2006 eingesetzten TL waren darüber hinaus bereits beim Feldtest
2005 oder im Rahmen von PISA 2000 oder PISA 2003 als TL tätig, und hatten somit bereits Erfahrung
in der Durchführung von PISA-Testsitzungen.
6.4.2 Handbuch für Testleiter/innen
Im Testleiter-Handbuch sind sämtliche Informationen enthalten, die für die TL zur Durchführung der
Testsitzungen nötig sind. Jede einzelne Aufgabe der TL wird darin detailliert beschrieben.
Vom internationalen Zentrum wird eine englische Version dieses Handbuchs zur Verfügung gestellt, die
vom österreichischen Zentrum übersetzt und an die nationalen Gegebenheiten angepasst wird. Inhaltliche
Abweichungen der nationalen Version müssen dem internationalen Zentrum mitgeteilt und dort genehmigt
werden. Weiters wird die sprachliche Qualität der nationalen Übersetzungen vom internationalen
Zentrum geprüft (ähnlich der Verifikation der Testmaterialien, vgl. Abschnitt 4 in Kapitel III).
Für die Standardisierung der Testsitzungen ist das Handbuch für Testleiter/innen von besonderer Bedeutung,
da darin nicht nur sämtliche Aufgaben der TL beschrieben werden, sondern auch die Anweisungen
enthalten sind, welche die TL den Schülerinnen und Schülern geben. Diese so genannten Skripts (siehe
Abschnitt 5 idK.) müssen von den TL bei der Durchführung der Testsitzung wortwörtlich vorgelesen
werden. So kann eine größtmögliche Standardisierung des Ablaufs der Testsitzungen sichergestellt werden.
6.4.3 Vorbereitung der TL
Die Vertrautheit der TL mit den Aufgaben, die sie im Zusammenhang mit der Durchführung der Tests an
den Schulen zu erledigen haben, wird durch zwei Maßnahmen gesichert: zum einen durch die Abhaltung
von regionalen Testleiterschulungen und zum anderen durch die persönliche Vorbereitung der TL auf
ihre Aufgabe.
Die TL erhalten etwa drei Wochen vor dem Schulungstermin das Handbuch für Testleiter/innen mit der
Aufforderung, dieses bis zur Schulung durchzuarbeiten. Auf diese Weise machen sich die TL bereits vor
der Schulung mit den Inhalten des Handbuchs vertraut. Dadurch können eventuelle Unklarheiten, die
beim Durchlesen des Handbuchs auftreten, bei der Schulung thematisiert werden.
Bei der halbtägigen Schulung werden sämtliche Aufgaben der TL noch einmal im Detail besprochen und
Fragen dazu diskutiert bzw. beantwortet.
6.2.4 Qualitätssicherung und -kontrolle während der Testsitzungen
Die oben beschriebenen Maßnahmen sollen sicherstellen, dass der international vorgeschriebene Ablauf
einer PISA-Testsitzung von allen TL eingehalten wird.
Für den Fall von unerwarteten Problemen am Testtag ist an jedem Tag, an dem zumindest eine PISA-
Testsitzung stattfindet, ab 7.00 Uhr eine Mitarbeiterin am ZVB telefonisch erreichbar.
Auf internationaler Ebene wird der Ablauf der Testsitzungen in allen teilnehmenden Staaten durch den
Einsatz von so genannten „PISA Quality Monitors“ (kurz PQM) kontrolliert. Diese Personen werden
Seite 104
VI. Testorganisation und Durchführung

vom internationalen Zentrum beschäftigt und eingeschult. Sie haben die Aufgabe, einige ausgewählte
Schulen am Tag des PISA-Tests zu besuchen und den Ablauf der Testsitzungen anhand eines Protokolls zu
dokumentieren. In Österreich waren beim Haupttest 2006 zwei Personen mit dieser Funktion beauftragt,
die insgesamt 15 Testsitzungen besuchten. Die Ergebnisse der PQM-Besuche werden im internationalen
technischen Bericht der OECD publiziert.
Bibliografie
Pointinger, M. (2004). Field Operations. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.
htm [Datum des Zugriffs: 08.02.2007]
VI. Testorganisation und Durchführung
Seite 105

Seite 106
VI. Testorganisation und Durchführung

VII
V
RÜCKLAUF, STICHPROBENAUSFÄLLE
UND STICHPROBENGRÖSSEN
Simone Breit & Claudia Schreiner
1. Rücklauf im PISA-Feldtest 2005
1.1 Der Rücklauf auf Schulebene
1.2 Schüler/innen, die nicht getestet werden können
1.3 Der Rücklauf auf Schülerebene
1.4 Vergleich mit den Feldtests von PISA 2000 und PISA 2003
1.5 Charakteristika der resultierenden Feldtest-Stichprobe
1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest
2. Rücklauf im PISA-Haupttest 2006
2.1 Der Rücklauf auf Schulebene
2.2 Schüler/innen, die nicht getestet werden können
2.3 Der Rücklauf auf Schülerebene
2.4 Vergleich mit PISA 2000 und PISA 2003
2.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen
2.6 Charakteristika der resultierenden Haupttest-Stichprobe
2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest
2.8 Der Rücklauf der Waldorf-Schulen
2.9 Zur Gewichtung der PISA-2006-Stichprobe
2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Haider & Wallner-Paschon, 2001) und PISA 2003 (Reiter,
2004). Die Autorinnen dieses Kapitels danken Günter Haider, Christina Wallner-Paschon sowie Claudia Schreiner (geb. Reiter)
für die Bereitstellung der Texte.

Dieses Kapitel dient der Dokumentation der realisierten Stichprobe. Getrennt für den im Jahr 2005
durchgeführten Feldtest und den Haupttest 2006 werden jeweils folgende Bereiche behandelt:
• die Analyse von Stichprobenausfällen;
• detaillierte Rücklaufquoten nach verschiedenen Kriterien;
• die Charakterisierung der realisierten Stichprobe durch einige relevante Merkmale.
Noch eine wichtige Anmerkung vorweg: Bei der Darstellung des Rücklaufs (Abschnitte 1.1 und 1.3 für
den Feldtest sowie 2.1 und 2.3 idK. für den Haupttest) werden Prozentzahlen jeweils als Rücklaufquoten
in den einzelnen Untergruppen von Schulen bzw. Schülerinnen und Schülern angegeben (Zeilenprozent),
wohingegen bei der jeweils folgenden Charakterisierung der Stichprobe (Abschnitte 1.5 und 2.6 idK.)
die Verteilung der erzielten Stichprobe auf verschiedene Untergruppen gezeigt wird und die angeführten
Prozentwerte demnach jeweils die Anteile einer Gruppe an der gesamten Stichprobe darstellen
(Spaltenprozent).
1. Rücklauf im PISA-Feldtest 2005
Der Feldtest für PISA 2006, der im April/Mai 2005 durchgeführt wurde, diente – wie mehrfach erwähnt
– in erster Linie zur Überprüfung der Qualität neu entwickelter Untersuchungsmaterialien und der
Auswahl der besten Testaufgaben und Fragebogen-Items. Die Vorgabe der OECD bezüglich der Größe
der realisierten Stichprobe wurde deshalb von der Anzahl an Testheftformen bestimmt: Ziel war es, in jedem
Land für jede der 12 Testheftformen auswertbare Daten von ca. 100 Schüler/innen zu erhalten, d. h.
die untere Grenze war mit auswertbaren Daten von ca. 1200 Schülerinnen und Schülern festgelegt.
Eine weitere Aufgabe eines Feldtests ist die Erprobung aller Prozeduren; dies schließt natürlich auch den
Vorgang der Stichprobenziehung und das Sammeln von Erfahrungen bezüglich Stichprobenausfällen und
Rücklaufquoten ein.
1.1 Der Rücklauf auf Schulebene
Alle 51 für den Feldtest ausgewählten Schulen konnten überzeugt werden, an der Studie teilzunehmen.
Demnach konnte auf Schulebene eine Teilnahmequote von 100 % erzielt werden. Von allen 51 betroffenen
Schulleiterinnen und Schulleitern wurde der Schulfragebogen ausgefüllt und rechtzeitig für die
Datenverarbeitung retourniert, d. h. dass auch hier ein vollständiger Rücklauf von 100 % zu verzeichnen
ist.
Eine Übersicht über die Verteilung der Feldtestschulen auf die 20 Strata und der Rücklaufquoten in den
einzelnen Strata findet sich in Abbildung VII.1 auf der nächsten Seite. Die erste Spalte zeigt die Anzahl
ausgewählter Schulen in den einzelnen Strata und ist identisch mit den Angaben in Abbildung V.5 in
Kapitel V. Den folgenden Spalten sind die Rücklaufquoten bezüglich der Teilnahme der Schulen an der
Studie und des Schulfragebogens zu entnehmen.
1.2 Schüler/innen, die nicht getestet werden können
Als Basis für die Auswahl der Schüler/innen dienten Listen aller Schüler/innen jeweils einer Schule, die
der Vorgabe „geboren im Jahr 1989“ entsprechen. Dabei kann es passieren, dass Schüler/innen auf diese
Listen geraten, die nicht getestet werden können oder dürfen. Nicht testen kann man Schüler/innen aus
zwei Gründen:
Zum einen betrifft das Schüler/innen, die auf Grund von schwerer geistiger oder körperlicher Behinderung
oder mangelnder Deutschkenntnisse nicht getestet werden können (für eine genaue Definition der
Ausschließungsgründe vgl. Abschnitt 6.1 in Kapitel V). Zum anderen können Schüler/innen nicht getestet
werden, wenn sie zwischen der Erstellung der Schülerlisten und dem Testtermin die Schule verlassen
oder an eine andere Schule wechseln. Solche Schüler/innen kommen für die Testung nicht in Frage, sie
werden international als „ineligible“ bezeichnet.
Nicht testen darf man weiters Schüler/innen, die fälschlicherweise ausgewählt wurden (etwa Schüler/innen,
die auf die Schülerliste gelangt sind, obwohl sie nicht im Jahr 1989 geboren wurden).
Seite 108
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Stratum
Alle Schüler/innen, die getestet werden können, bilden dann die Basis für die Berechnung der Rücklaufquoten.
Schüler/innen, die ausgeschlossen werden oder für die Testung nicht in Frage kommen, werden durch
die Berechnung der so genannten Coverage-Rate berücksichtigt. Diese gibt an, welcher Prozentsatz
der Zielpopulation eines
Landes durch die getestete
Stichprobe repräsentiert
wird. Abbildung
VII.2 zeigt die Anteile an
Schüler/innen, die auf
Grund einer der oben angeführten
Bedingungen
vor der Testung von der
Liste genommen wurden.
Vor dem Test wurden
0,9 % der Schüler/innen
ausgeschlossen, 2,4 % der
ausgewählten Schüler/innen
verließen zwischen
Erstellung der Schülerliste
Schulen
in
Stichprobe
Rücklauf
(ohne Replacement)
Anzahl Prozent Anzahl Rücklauf
2 Hauptschule 3
3 100 % 3 100 %
3 Polytechnische Schule 5
5 100 % 5 100 %
4 Sonderschule -
-
- - -
5 Gymnasium 5
5 100 % 5 100 %
6 Realgymnasium & wirtschaftskundl. RG 5
5 100 % 5 100 %
7 Oberstufenrealgymnasium 2
2 100 % 2 100 %
8 Sonstige Allgemeinb. Schulen/mit Statut -
-
- - -
9 Berufsschule (technisch/gewerblich) 5
5 100 % 5 100 %
10 Berufsschule (kaufm./Handel & Verkehr) 2
2 100 % 2 100 %
11 Berufsschule (land- & forstwirtschaftlich) 1
1 100 % 1 100 %
12 BMS (gewerblich/technisch/kunstgewerbl.) 2
2 100 % 2 100 %
13 BMS (kaufmännisch) 4
4 100 % 4 100 %
14 BMS (wirtschaftsberuflich/sozialberuflich) 4
4 100 % 4 100 %
15 BMS (land- & forstwirtschaftlich) 2
2 100 % 2 100 %
16 BHS (gewerblich/technisch/kunstgewerbl.) 3
3 100 % 3 100 %
17 BHS (kaufmännisch) 4
4 100 % 4 100 %
18 BHS (wirtschaftsberuflich/sozialberuflich) 2
2 100 % 2 100 %
19 BHS (land- & forstwirtschaftlich) 1
1 100 % 1 100 %
20 Anstalten der Lehrer- & Erzieherbildung 1
1 100 % 1 100 %
GESAMT 51 51 100 % 51 100 %
Abbildung VII.1: Rücklauf auf Schulebene nach Strata im Feldtest 2005
Schüler/innen Jahrgang 1989 in der Stichprobe
körperlicher Behinderung
geistiger Behinderung
mangelnder Deutschkenntnisse
Ausschlüsse gesamt
an andere Schule gewechselt
nicht mehr in der Schule
Ineligible gesamt
Zu testende Schüler/innen
Ausschlüsse
auf Grund
Ineligible,
weil
Schulfragebogen
1570 100 %
Abbildung VII.2: Ausgeschlossene und nicht in Frage kommende („ineligible“)
Schüler/innen im Feldtest 2005
2
7
5
14
9
28
37
1519
0.1 %
0.4 %
0.3 %
0.9 %
0.6 %
1.8 %
2.4 %
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 109

und Testsitzung die Schule. Die Basis für den Rücklauf, d. h. die Anzahl der Schüler/innen, die an der PISA-
Testung teilnehmen sollten, betrug demnach für den Feldtest 1519 Personen.
1.3 Der Rücklauf auf Schülerebene
Auf Schülerebene konnte – wie auf Schulebene – ein ausgezeichneter Rücklauf erzielt werden. Über 94 %
der in Österreich zu testenden Schüler/innen nahmen an einer Testsitzung im Rahmen des PISA-Feldtests
2005 teil. Ein Schüler/eine Schülerin wird von internationaler Seite her als getestet gewertet, wenn die
Bearbeitung des Testhefts zumindest begonnen wurde. Die offizielle (ungewichtete) Rücklaufquote für
Zu testende Schüler/innen 1519 100.0 %
getestet nicht getestet
Teilnahme verweigert
28 1.8 %
abwesend bei erster Sitzung, kein Nachtest
47 3.1 %
abwesend bei erster Sitzung und Nachtests
7 0.5 %
Nicht getestete Schüler/innen gesamt 82 5.4 %
in erster Testsitzung
1391 91.6 %
in einem Nachtest
46 3.0 %
Getestete Schüler/innen gesamt 1437 94.6 %
Abbildung VII.3: Aufgliederung des Non-response im Feldtest 2005
Österreich im Feldtest 2005 beträgt 94,6 %. Der konkrete Rücklauf der Instrumente ist in Abbildung
VII.3 ersichtlich.
In Abbildung VII.3 ist die Aufgliederung des Non-response (der Stichprobenausfälle) dargestellt. Nicht
getestet wurden Schüler/innen, die die Teilnahme verweigerten (bzw. deren Eltern einer Teilnahme durch
ihre/n Tochter/Sohn nicht zustimmten), Schüler/innen, die beim Termin der PISA-Testsitzung abwesend
waren und an deren Schule kein Nachtest durchgeführt werden musste, sowie Schüler/innen, die
sowohl bei der ersten PISA-Testsitzung als auch bei allen Nachtests abwesend waren. Für die getesteten
Schüler/innen ist aus der Abbildung ersichtlich, ob diese in einer ersten Testsitzung oder im Rahmen
eines Nachtests erreicht wurden.
Abbildung VII.4 (auf der gegenüberliegenden Seite) zeigt den Rücklauf der Instrumente getrennt nach
Strata. Testheft und Fragebogen werden gemeinsam behandelt, weil es im Feldtest 2005 nur eine Testperson
gab, die vor Beginn der Bearbeitung des Schülerfragebogens die Testsitzung verließ, und daher Rücklauf
nach Testheft mit dem nach Fragebogen nahezu identisch ist.
Den folgenden beiden Abbildungen VII.5 und VII.6 ist zu entnehmen, dass sich die Rücklaufquoten zwischen
den verschiedenen verwendeten Formen von Test- und Befragungsinstrumenten nicht wesentlich
voneinander unterscheiden. Abbildung VII.5 zeigt den Rücklauf getrennt für die 12 Testheftformen. Der
Rücklauf beträgt bei allen Formen zumindest rund 89 %, die benötigte Anzahl von ca. 100 auswertbaren
Testheften pro Form konnte für alle Formen erreicht werden. Abbildung VII.6 zeigt, wie sich die beiden
verwendeten Formen des Schülerfragebogens auf die Strata verteilen. Insgesamt wurden 353 Fragebögen
der Form A, 358 Fragebögen der Form B, 364 Fragebögen der Form C und 361 Fragebögen der Form D
bearbeitet.
Seite 110
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

2 Hauptschule
3 Polytechnische Schule
Schüler/innen
Testheft/Fragebogen
zu testen Anzahl Rücklauf
27
26 96.3 %
142 135/134 95.1/94.4 %
4 Sonderschule – –
–
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende Schulen/mit Statut
168
174
68
–
159
165
55
–
94.6 %
94.8 %
80.9 %
–
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
Stratum
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
171
38
4
67
107
131
65
102
136
56
28
35
159
38
4
62
103
125
60
98
133
53
28
34
93.0 %
100.0 %
100.0 %
92.5 %
96.3 %
95.4 %
92.3 %
96.1 %
97.8 %
94.6 %
100.0 %
97.1 %
GESAMT
1519
1437/1436
94.6/94.5 %
Abbildung VII.4: Der Rücklauf auf Schülerebene nach Strata im Feldtest 2005
Testheftform
Testheft 3
Testheft 4
Testheft 5
Testheft 6
Testheft 7
Testheft 8
Testheft 9
Testheft 10
Testheft 11
Testheft 12
Testheft 13
Testheft 14
Ausgeschickt
Rücklauf
Anzahl Prozent
127 120 94.5 %
124 119 96.0 %
129 120 93.0 %
125 119 95.2 %
128 124 96.9 %
128 122 95.3 %
124 111 89.5 %
125 120 96.0 %
125 120 96.0 %
127 120 94.5 %
131 123 93.9 %
126 119 94.4 %
Abbildung VII.5: Rücklauf nach Testheftformen im Feldtest 2005
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 111

2 Hauptschule
3 Polytechnische Schule
4 Sonderschule
5 Gymnasium
Stratum
6 Realgymnasium &
wirtschaftskundl. RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende/
mit Statut
9 Berufsschule
(technisch/gewerblich)
10 Berufsschule
(kaufm./Handel & Verkehr)
11 Berufsschule
(land- & forstwirtschaftlich)
12 BMS (gewerbl./technisch/
kunstgewerbl.)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/
sozialberuflich)
15 BMS
(land- & forstwirtschaftlich)
16 BHS (gewerbl./technisch/
kunstgewerbl.)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/
sozialberuflich)
19 BHS (land- &
forstwirtschaftlich)
20 Anstalten der Lehrer-
& Erzieherbildung
GESAMT
Form A
zu
Rücklauf
testen Anz. %
5 5
37 32
Form B
Rücklauf
zu
testen Anz. %
– – – – – – – – – – –--
–
41 38 92.7 % 43 40 93.0 % 42 42 100.0 % 42 39 92.9 %
43
17
42
10
1
18
27
34
17
27
34
15
7
9
384
Abbildung VII.6: Rücklauf nach Fragebogenformen im Feldtest 2005
1.4 Vergleich mit den Feldtests von PISA 2000 und PISA 2003
39
12
39
10
1
17
23
33
15
26
34
13
7
9
353
Form C
Rücklauf
zu
testen Anz. %
Form D
Rücklauf
zu
testen Anz. %
100.0 % 7 7 100.0 % 9 9 100.0 % 6 5 83.3 %
86.5 % 34 33 97.1 % 35 34 97.1 % 36 35 97.2 %
90.7 % 43 43 100.0 % 44 41 93.2 % 44 42 95.5 %
70.6 % 17 13 76.5 % 17 14 82.4 % 17 16 94.1 %
– – – – – – – – – – – –
92.9 % 41 38 92.7 % 45 40 88.9 % 43 42 97.7 %
100.0 % 10 10 100.0 % 9 9 100.0 % 9 9 100.0 %
100.0 % 1 1 100.0 % 1 1 100.0 % 1 1 100.0 %
94.4 % 17 15 88.2 % 15 15 100.0 % 17 15 88.2 %
85.2 % 26 26 100.0 % 27 27 100.0 % 27 27 100.0 %
97.1 % 31 31 100.0 % 33 32 97.0 % 33 29 87.9 %
88.2 % 17 15 88.2 % 14 13 92.9 % 17 17 100.0 %
96.3 % 25 24 96.0 % 25 24 96.0 % 25 24 96.0 %
100.0 % 34 33 97.1 % 35 34 97.1 % 33 32 97.0 %
86.7 % 14 14 100.0 % 13 13 100.0 % 14 13 92.9 %
100.0 % 7 7 100.0 % 7 7 100.0 % 7 7 100.0 %
100.0 % 9 8 88.9 % 9 9 100.0 % 8 8 100.0 %
91.9 % 376 358 95.2 % 380 364 95.8 % 379 361 95.3 %
Vergleicht man den Rücklauf des Feldtests (FT) zu PISA 2006 (im Jahr 2005) mit jenen der PISA-Feldtests
im Jahr 1999 und im Jahr 2002, erhält man folgende Ergebnisse (für die Vergleichsdaten aus dem FT
1999 vgl. Haider, 2001, S. 189, für die Vergleichdaten aus dem Feldtest 2002 vgl. Reiter, 2004):
• Im Feldtest 2005 mussten auf Grund von Behinderung oder mangelnder Deutschkenntnisse 0,9 %
der Schüler/innen ausgeschlossen werden. Im Feldtest 2002 waren es 0,4 %, im Feldtest 1999 waren
es 1,8 % der gesampelten Schüler/innen.
• Der Anteil der Schüler/innen, die für die Testung nicht in Frage kommen (ineligible – Schulwechsel
zwischen Schülerlistenerstellung und PISA-Test), war mit 2,4 % der gesampleten Schüler/innen im
Feldtest 2005 etwa gleich wie im FT 2002 mit 2,3 % Im Feldtest 1999 machte der Anteil 1,8 % der
gesampelten Schüler/innen aus.
Seite 112
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

• Bezüglich der Teilnahmequoten auf Schülerebene konnte die Verbesserung aus dem Jahr 2002 gehalten
werden: während im FT 1999 9,4 % der zu testenden Schüler/innen am Testtag fehlten oder die
Teilnahme verweigerten, waren dies beim FT 2002 6,9 % und beim FT 2005 nur 5,4 %.
1.5 Charakteristika der resultierenden Feldtest-Stichprobe
Abschließend sollen hier noch einige Charakteristika der im Feldtest 2005 erzielten Stichprobe gezeigt
werden. Aus Abbildung VII.7 geht hervor, dass sich die getesteten Schulen und Schüler/innen gut über
die verschiedenen Schularten (hier zusammengefasst in Form der 20 PISA-Strata) verteilen. Obwohl
Abweichungen der Verteilung der Stichprobe von der gesamten Population der 15-/16-Jährigen festzustellen
sind, wurde eine für einen Feldtest ausreichende Abdeckung aller Bereiche der österreichischen
„Schullandschaft“ erreicht. Ziel des Feldtests ist ja nicht, eine selbst gewichtende, vollständig „repräsentative“
Stichprobe zu erhalten (was schon allein auf Grund der Größe nicht möglich wäre), sondern Daten
aus verschiedenen Schultypen als Basis für die Bewertung der Qualität der Aufgaben zur Verfügung zu
haben. Dies wird durch die Einbeziehung von Schüler/innen verschiedener Strata erreicht.
Stratum
2 Hauptschule
3 Polytechnische Schule
4 Sonderschule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende Schulen/mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten f. Lehrer- & Erzieherbildung
GESAMT
Schulen
Schüler/innen
Anzahl Prozent Anzahl Prozent
3 5.9 % 26 1.8 %
5 9.8 % 135 9.4 %
–
– –
–
5 9.8 % 159 11.1 %
5 9.8 % 165 11.5 %
2 3.9 % 55 3.8 %
–
– –
–
5 9.8 % 159 11.1 %
2 3.9 % 38 2.6 %
1 2.0 % 4 0.3 %
2 3.9 % 62 4.3 %
4 7.8 % 103 7.2 %
4 7.8 % 125 8.7 %
2 3.9 % 60 4.2 %
3 5.9% 98 6.8%
4 7.8 % 133 9.3 %
2 3.9 % 53 3.7 %
1 2.0 % 28 1.9 %
1 2.0 % 34 2.4 %
51 100.0 % 1437 100.0 %
Anmerkung: Diese Tabelle unterscheidet sich von den Angaben in den Abbildungen 1 und 4 nur
durch die Art der angegebenen Prozentzahlen.
Abbildung VII.7: Die realisierte Feldtest-Stichprobe nach Strata
Aus Abbildung VII.8 (nächste Seite) geht hervor, dass in der Feldtest-Stichprobe auch eine gute regionale
Streuung erzielt werden konnte. Schulen und Schüler/innen aller Bundesländer wurden getestet,
wobei die größeren Bundesländer auch durch größere Anteile an getesteten Schülerinnen und Schülern
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 113

Bundesland
Burgenland
Kärnten
Niederösterreich
Oberösterreich
Salzburg
Steiermark
Tirol
Vorarlberg
Wien
GESAMT
Schulen Schüler/innen
Anzahl Prozent Anzahl Prozent
2 3.9 % 52 3.6 %
3 5.9 % 73 5.1 %
10 19.6 % 259 18.0 %
9 17.6 % 271 18.9 %
3 5.9 % 81 5.6 %
8 15.7 % 211 14.7 %
5 9.8 % 165 11.5 %
3 5.9 % 94 6.5 %
8 15.7 % 231 16.1 %
51 100.0 % 1437 100.0 %
vertreten sind. Weiters umfasst die Stichprobe 736 Mädchen (das entspricht 51,2 %) und 701 Burschen
(48,8 %). Auf eine Darstellung unter Berücksichtigung der besuchten Schulstufe (so wie diese in der
Folge für die Charakterisierung der Haupttest-Stichprobe erfolgen wird) wurde verzichtet, weil dazu im
Feldtest ausschließlich aus Schülerangaben generierte Daten vorliegen.
1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest
Die nationalen Zusatzerhebungen, die seit PISA 2000 teilweise ident, teilweise adaptiert in Verwendung
sind, mussten in Absprache mit dem internationalen Projektkonsortium nicht mehr im Feldtest erprobt
werden. Es wurden ausschließlich einige ergänzende, offene Fragen zum Teil „Belastung in der Schule“
an die Schüler/innen gerichtet – diese waren in allen vier Fragebogenformen enthalten. Der Rücklauf
entspricht dem in Abschnitt 1.3 idK. dargestellten Rücklauf der Fragebogenformen A, B, C und D.
2. Rücklauf im PISA-Haupttest 2006
2.1 Der Rücklauf auf Schulebene
Abbildung VII.8: Die realisierte Feldtest-Stichprobe nach Bundesländern
Ausgangspunkt des Screenings ist die aus dem Sampling stammende Liste der 213 ausgewählten österreichischen
Schulen. Als ein Ergebnis des Screening-Prozesses – und gleichzeitig als Ausgangspunkt der
Rücklaufkontrolle – kann man die Teilnahme der ausgewählten Schulen interpretieren (vgl. Abbildung
VII.9).
In sechs der ausgewählten Schulen befanden sich im Schuljahr 2005/2006 keine Schüler/innen des
Zieljahrgangs, die Durchführung eines PISA-Tests war also nicht möglich. Dies kann passieren, weil die
Auswahl der Schulen aus organisatorischen Gründen auf den Daten der Schulstatistik des jeweils vorhergehenden
Schuljahres beruhen muss – dies sind also Schulen, die im Schuljahr 2004/2005 zumindest
eine/n 15-/16-jährige/n Schüler/in hatten, nicht aber im darauf folgenden Jahr. In drei Schulen wurden
alle Schüler/innen des Geburtsjahrgangs 1990 auf Grund schwerer Behinderung oder mangelnder
Deutschkenntnisse ausgeschlossen. Auch in diesen Schulen konnten demnach keine PISA-Tests stattfinden.
An einer weiteren Schule verließ der/die einzig zu testende Schüler/in die Schule zu Semesterende.
Jene 203 Schulen, an denen sich auch zu testende Zielschüler/innen befanden, erklärten sich zur Teilnahme
an PISA 2006 bereit. In keinem Fall war die Kontaktierung von Replacement-Schulen notwendig. Für
jede ausgewählte Schule waren durch den Vorgang des Samplings zwei Ersatzschulen („Replacements“)
ausgewählt worden, die bei der Verweigerung der Teilnahme einer Schule kontaktiert werden hätten
Seite 114
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

können. Je weniger dieser Replacementschulen herangezogen werden müssen, desto besser ist die Qualität
der realisierten Stichprobe.
Obwohl sich alle Schulen zur Teilnahme bereit erklärt haben, gibt es auf Schulebene keinen Rücklauf von
100 %: An einer im Sampling enthaltenen Berufsschule hatten innerhalb des Testfensters keine Schüler/
innen des Jahrgangs 1990 Unterricht. An zwei Schulen meldeten sich die einzig zu testenden Schüler/
innen vom PISA-Test ab. Diese Schulen haben auf Schülerebene keinen Rücklauf. An drei Schulen, an
denen zwar ein PISA-Test stattgefunden hat, wurde die erforderliche Teilnahmequote auf Schülerebene
von 50 % nicht erreicht. Daher werden diese Schulen bei der Berechnung der Rücklaufquoten nicht
einbezogen und zählen international als Nichtteilnahme. Die Daten der beiden Schulen mit einem
Rücklauf zwischen 25 % und 50 % werden jedoch im Datenfile enthalten sein. Basis für die Berechnung
der Teilnahmequoten auf Schulebene bilden die verbleibenden 197 ausgewählten Schulen, die im
Schuljahr 2005/2006 für die Testung in Frage kommende Schüler/innen des Zieljahrgangs hatten und
auf Schülerebene eine Beteiligung von mehr als 50 % hatten (vgl. Abbildung VII.9). Der Rücklauf auf
Schulebene bei PISA 2006 beträgt in Österreich 98 % ohne Replacements. Mit dieser hohen Rücklaufquote
auf Schulebene fallen die österreichischen Daten eindeutig in den Bereich „Acceptable“ (vgl. Abschnitt
4.1 in Kapitel V).
Anzahl ausgewählter Schulen 213
Schulen, an denen im Schuljahr 2005/06 kein/e Schüler/in 1990
vorhanden ist
Schulen, an denen alle Schüler/innen vom Test ausgeschlossen
worden sind
Schule, an der der/die einzig zu testende Schüler/in die Schule im
Semester verlassen hat
Anzahl „leerer“ Schulen
Anzahl zu testender Schulen
Schule, an der im Testzeitraum keine Schüler/innen des Jahrgangs
1990 Unterricht hatten
Schulen, an denen sich der/die einzig zu testende Schüler/in vom
Test abgemeldet hat
Schule mit einer Schüler-Rücklaufquote von unter 25% (zählt
international als Nicht-Teilnahme, im Datenfile nicht enthalten)
Schulen mit einer Schüler-Rücklaufquote zwischen 25% und 50%
(zählt international als Nicht-Teilnahme, im Datenfile enthalten)
6
3
1
10
203
1
2
1
2
Anzahl an Schulausfällen 6
Anzahl an Schulen, in denen der Test (mit einer Schüler-
Rücklaufquote von mindestens 50%) durchgeführt wurde.
197
Abbildung VII.9: Übersicht über die gesampelten Schulen im Haupttest
Aus Abbildung VII.10 auf der nächsten Seite ist ersichtlich, dass der Schulfragebogen von allen PISA-
Schulen, an denen unter den Schülerinnen und Schülern die Beteiligungsquote ausreichend hoch war,
ausgefüllt an das Projektzentrum retourniert wurde. Diese Abbildung zeigt den Rücklauf auf Schulebene
getrennt nach Strata, der Rücklauf beträgt jeweils 100 %. Das Stratum 04 ist nicht angeführt, weil sich
in diesem keine „großen“ Schulen („groß“ bezüglich der Anzahl 15-/16-Jähriger) befinden und Schulen
dieses Typs demnach in den beiden Strata für „kleine“ Schulen (21 und 22) enthalten sind. Auch in den
Strata 08 und 11 befinden sich nur „kleine“ Schulen; da die Auswahlwahrscheinlichkeit dieser Schulen in-
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 115

nerhalb der Strata für „kleine“ Schulen sehr gering wäre, hat man sich dafür entschieden, je zwei Schulen
aus dem Stratum 08 und 11 zu ziehen. Diese Vorgehensweise war für das Stratum 04 nicht nötig.
Stratum
Schulen
in
Stichprobe
Schulfragebogen
Anzahl
Prozent
2 Hauptschule 2 2 100 %
3 Polytechnische Schule 10 10 100 %
5 Gymnasium 9 9 100 %
6 Realgymnasium & wirtschaftskundl. RG 8 8 100 %
7 Oberstufenrealgymnasium
8 Allgemeinbildende mit Statut
2 2
8 8 100 %
100 %
9 Berufsschule (technisch/gewerblich) 22 22 100 %
10 Berufsschule (kaufm./Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich) 2 2
7 7 100 %
100 %
12 BMS (gewerbl./technisch/kunstgewerbl.) 3 3 100 %
13 BMS (kaufmännisch) 3 3 100 %
14 BMS (wirtschaftsberuflich/sozialberuflich) 4 4 100 %
15 BMS (land- & forstwirtschaftlich) 5 5 100 %
16 BHS (gewerbl./technisch/kunstgewerbl.) 17 17 100 %
17 BHS (kaufmännisch) 13 13 100 %
18 BHS (wirtschaftsberuflich/sozialberuflich) 9 9 100 %
19 BHS (land- & forstwirtschaftlich) 2 2 100 %
20 Anstalten der Lehrer- & Erzieherbildung 2 2 100 %
21 Kleine Schulen (18–35 Schü. Jg. 90) 33 33 100 %
22 Sehr kleine Schulen (1–17 Schü. Jg. 90) 36 36 100 %
GESAMT
197 197 100 %
Abbildung VII.10: Rücklauf auf Schulebene nach Strata im Haupttest 2006
2.2 Schüler/innen, die nicht getestet werden können
Wie im Feldtest gelangen auch in einem Haupttest Schüler/innen auf die Schülerlisten, die nicht getestet
werden dürfen oder können. Aus drei Arten von Gründen können Schüler/innen noch vor der Testsitzung
von der PISA-Schülerliste einer Schule gestrichen werden (praktisch bleiben die Namen dieser Schüler/innen
auf der PISA-Schülerliste, werden aber entsprechend gekennzeichnet):
(1) Schüler/innen, die nicht im Jahr 1990 geboren sind, bzw. Schüler/innen, die sich auf Schulstufe 6
oder darunter befinden, sind fälschlicherweise auf die Schülerliste geraten (in der Regel durch einen
fehlerhaften Eintrag in der Schuldatenbank).
(2) Einer der in Kapitel V (Abschnitt 6.1) dargestellten Ausschließungsgründe trifft zu: dies betrifft Schüler/innen,
die auf Grund einer dauernden schweren geistigen oder körperlichen Behinderung nicht
am Test teilnehmen können und Schüler/innen mit mangelnden Deutschkenntnissen. Es ist wichtig,
diese Schüler/innen in den Sampling-Prozess einzubeziehen, damit im Anschluss berechnet werden
Seite 116
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

kann, welchen Prozentsatz der Zielpopulation dies betrifft. Dies dient der Sicherung der Vergleichbarkeit
der Daten verschiedener Länder. Aus diesem Grund werden Schüler/innen, die aus einem der
oben genannten Gründe von der Testung ausgeschlossen werden müssen, auf die PISA-Schülerlisten
mit aufgenommen und vor der Testung vom Schulkoordinator/von der Schulkoordinatorin entsprechend
markiert.
(3) Es wurden Schüler/innen ausgewählt, die für die Testung nicht in Frage kommen: das betrifft Schüler/innen,
die im Zeitraum zwischen der Erstellung der Schülerliste und der Testsitzung entweder an
eine andere Schule gewechselt haben oder die Schule verlassen haben, ohne dass Informationen über
den Wechsel an eine andere Schule bekannt wären. Diese Schüler/innen werden in der internationalen
PISA-Diktion als „ineligible“ (nicht in Frage kommend) bezeichnet. Aus Gründen der Übersichtlichkeit
wird in den Abbildungen diese kürzere englische Bezeichnung verwendet.
Schüler/innen, die trotz falschen Geburtsjahrgangs oder falscher Schulstufe auf die Schülerliste gelangt
sind (1), werden bei der Berechnung von Rücklauf-Quoten so behandelt, als wären ihre Namen nie auf
der Liste enthalten gewesen. Ausgeschlossene (2) und nicht in Frage kommende Schüler/innen (3) betreffen
die Coverage-Quote (sie bestimmen den Anteil, um den sich die durch die Stichprobe repräsentierte
Population verringert). Alle ausgewählten Schüler/innen minus jenen, auf die (1), (2) oder (3) zutrifft,
liefern die Ausgangsbasis für die Berechnung der Rücklaufquote.
Abbildung VII.11 gibt einen Überblick über den Prozentsatz notwendiger Ausschlüsse und nicht in Frage
kommender Schüler/innen beim Haupttest 2006 in Österreich. Die Ausschlüsse belaufen sich auf insgesamt
1,7 %; 3,1 % der Schüler/innen des Jahrgangs 1990 konnten auf Grund von Schulwechsel nicht
getestet werden.
Schüler/innen in der Haupttest-Stichprobe
5824
Falscher Jahrgang 3
Falsche Schulstufe 5
Schüler/innen Jahrgang 1990 in der Stichprobe 5816
Schüler/innen im Testfenster nicht erreichbar
Schüler/innen Jahrgang 1990 im Testfenster erreichbar
279
5537 100.0 %
Ausschlüsse
auf Grund
Ineligible,
weil
körperlicher Behinderung
geistiger Behinderung
mangelnder Deutschkenntnisse
Ausschlüsse gesamt
an andere Schule gewechselt
nicht mehr in der Schule
Ineligible gesamt
Zu testende Schüler/innen
1 0.0 %
29 0.5 %
64 1.2 %
94 1.7 %
53 0.9 %
127 2.2 %
180 3.1 %
5263
Abbildung VII.11: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen im Haupttest 2006
In der Abbildung ist zusätzlich zu den oben angeführten Gruppen von nicht testbaren Schülern und
Schülerinnen noch eine weitere Kategorie quantifiziert, die unter Berücksichtigung der Regeln der
OECD nicht getestet werden kann. Dies sind Schüler/innen saison- oder lehrgangsmäßig geführter
Berufsschulen, deren Schulbesuch vollständig außerhalb des vorgeschriebenen Testfensters liegt. Für den
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 117

Zweck der Dokumentation des Rücklaufs auf nationaler Ebene wurden diese Schüler/innen nicht berücksichtigt.
Nach internationalen Regeln müssen sie als abwesend gewertet werden (dieser Thematik ist ein
eigener Abschnitt gewidmet – genauere Erläuterungen dazu entnehmen Sie bitte Abschnitt 2.5 idK.).
Die Basis für die Darstellung des Rücklaufs auf Schülerebene in Österreich bilden laut obiger
Aufschlüsselung 5263 Schüler/innen des Geburtsjahrgangs 1990. Abbildung VII.12 zeigt zusätzlich, wie
sich die ausgeschlossenen und nicht in Frage kommenden Schüler/innen sowie die 5263 zu testenden
Schüler/innen über die dem Sampling zu Grunde liegenden Strata verteilen.
Stratum
2 Hauptschule
3 Polytechnische Schule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
21 Kleine Schulen (18–35 Schüler/innen)
22 Sehr kleine Schulen (1–17 Schüler/innen)
GESAMT
1)
Jg. 1990, über Schulstufe 6, testbar im Testfenster
Jg. 90
gesamt 1)
Schüler/innen
ausgeschlossen
ineligible zu testen
57 21 2 34
347 43 18 286
306 1 13 292
279 2 4 273
280 0 5 275
56 0 2 54
763 9 26 728
243 0 17 226
23 0 0 23
105 0 12 93
105 0 8 97
137 0 4 133
174 2 2 170
595 0 15 580
455 1 5 449
315 0 5 310
70 0 0 70
70 0 0 70
860 1 35 824
279 14 7 276
5537 94 180 5263
Abbildung VII.12: Ausgeschlossene und nicht in Frage kommende Schüler/innen nach Strata im Haupttest 2006
2.3 Der Rücklauf auf Schülerebene
Im Haupttest 2006 konnte in Österreich ein ausgezeichneter Rücklauf auf Schülerebene erzielt werden.
Für die Rücklaufstatistik wird ein/e Schüler/in als teilgenommen gewertet, wenn er/sie die Bearbeitung
des Testhefts zumindest begonnen hat. In den meisten Fällen waren die Schüler/innen die ganze
Testsitzung hindurch (PISA-Test und Fragebogen) anwesend. Die offizielle, ungewichtete Rücklaufquote
für Österreich im PISA-Haupttest 2006 beträgt 93,6 %, das entspricht 4925 Schülerinnen und Schülern.
Seite 118
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Betrachtet man den Rücklauf der Instrumente, sind kleine Unterschiede zwischen dem Rücklauf der
PISA-Testhefte und Fragebögen festzustellen, welche sich beispielsweise dadurch ergeben, dass Schüler/innen
die Testsitzung (z. B. auf Grund plötzlich auftretender gesundheitlicher Probleme) vorzeitig verlassen
mussten.
Die Datenbasis, die den Auswertungen zu Grunde liegen wird, wird die Daten von 4925 Schülerinnen
und Schülern umfassen.
Eine Bewertung des Rücklaufs in Bezug auf die international vorgegebenen Mindest-Rücklaufquoten ist
an dieser Stelle nicht möglich, da sich die Vorgaben der OECD auf gewichtete Werte beziehen. Durch
die spezielle Behandlung der Schüler/innen lehrgangsmäßig geführter Berufsschulen sind deutliche
Unterschiede zwischen gewichteter und ungewichteter Rücklaufquote auf Schülerebene zu erwarten (siehe
unten).
Der folgenden Übersicht ist der Rücklauf in Bezug auf die bei den Schülern und Schülerinnen eingesetzten
Instrumente zu entnehmen. Von 4925 Schüler/innen wurde ein PISA-Testheft bearbeitet, den
Schülerfragebogen haben 4918 österreichische Schüler/innen beantwortet.
Eine Aufgliederung der Gründe für Non-response (Teilnahme durch Schüler/in selbst oder Eltern verweigert,
Abwesenheit bei erster Testsitzung, aber kein Nachtest notwendig oder Abwesenheit bei erster
Testsitzung und allen abgehaltenen Nachtests) findet sich in Abbildung VII.13. Dieser Tabelle ist auch zu
entnehmen, wie viele Schüler/innen beim ersten Testtermin erreicht werden konnten, und bei wie vielen
Schülern und Schülerinnen erst durch die Abhaltung eines oder – in manchen Berufsschulen – mehrerer
Nachtests die Teilnahme möglich wurde.
Zu testende Schüler/innen
getestet nicht getestet
Teilnahme verweigert
abwesend bei erster Sitzung, kein Nachtest
abwesend bei erster Sitzung und Nachtests
Nicht getestete Schüler/innen gesamt
in erster Testsitzung
in einem Nachtest
Getestete Schüler/innen gesamt
5263 100.0 %
119 2.3 %
175 3.3 %
44 0.8 %
338 6.4 %
4426 84.1 %
499 9.5 %
4925 93.6 %
Abbildung VII.13: Aufgliederung des Non-response im Haupttest 2006
Die genauen Rücklaufquoten für Testheft und Schülerfragebogen für die dem Sampling zu Grunde liegenden
Strata sind Abbildung VII.14 zu entnehmen. Die Rücklaufquoten zwischen den Strata unterscheiden
sich geringfügig. Die niedrigste Rücklaufquote wurde bei den Hauptschulen (Stratum 02) mit 64,7 %
erzielt. Der höchste Rücklauf ist in den Strata 19 und 20 mit je 98,6 % zu verzeichnen. Abweichungen
von der mittleren Rücklaufquote in diesem Ausmaß sind – im Speziellen bei sehr kleinen Strata (darunter
das Stratum für Hauptschulen) – als unwesentlich einzustufen und können bei der Gewichtung im Zuge
des Non-response-Adjustments ausgeglichen werden.
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 119

Stratum
2 Hauptschule
3 Polytechnische Schule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
21 Kleine Schulen (18–35 Schüler/innen)
22 Sehr kleine Schulen (1–17 Schüler/innen)
GESAMT
Schüler Testheft Fragebogen
zu testen Anzahl Rücklauf Anzahl Rücklauf
34 22 64.7 % 22 64.7 %
286 257 89.9 % 257 89.9 %
292 280 95.9 % 280 95.9 %
273 259 94.9 % 259 94.9 %
275 260 94.5 % 260 94.5 %
54 47 87.0 % 47 87.0 %
728 667 91.6 % 666 91.5 %
226 212 93.8 % 210 92.9 %
23 22 95.7 % 22 95.7 %
93 82 88.2 % 82 88.2 %
97 92 94.8 % 92 94.8 %
133 127 95.5 % 127 95.5 %
170 162 95.3 % 162 95.3 %
580 551 95.0 % 551 95.0 %
449 430 95.8 % 430 95.8 %
310 294 94.8 % 294 94.8 %
70 69 98.6 % 69 98.6 %
70 69 98.6 % 69 98.6 %
824 773 93.8 % 772 93.7 %
276 250 90.6 % 247 89.5 %
5263 4925 93.6 % 4918 93.4 %
Abbildung VII.14: Der Rücklauf auf Schülerebene nach Strata im Haupttest 2006
Eine detailliertere Übersicht über den Rücklauf der Testinstrumente gibt Abbildung VII.15 auf der gegenüberliegenden
Seite. Die Analyse des Rücklaufs getrennt für die 13 rotierten Testheftformen zeigt nur
sehr kleine Unterschiede. Die Rücklaufquote liegt für alle Formen bei mehr als 90 % bzw. darüber. Das
in Sonderschulen eingesetzte Testheft 60 wurde von 18 (von zu testenden 21) Schülerinnen und Schülern
bearbeitet, was ebenfalls einer Rücklaufquote von 85,7 % entspricht.
2.4 Vergleich mit PISA 2000 und PISA 2003
Abbildung VII.16 zeigt den prozentuellen Anteil an ausgeschlossenen und nicht in Frage kommenden
Schülern und Schülerinnen vergleichend für die Haupttests PISA 2000, 2003 und 2006. Weiters
kann dieser Abbildung der Anteil an Schüler/innen entnommen werden, die je Erhebungszeitpunkt auf
Grund von Abwesenheit am Testtag oder Teilnahmeverweigerung nicht am Test teilgenommen haben
(Vergleichszahlen aus Haider (2001) für PISA 2000 sowie Reiter (2004) für PISA 2003).
Vergleicht man die prozentuellen Angaben für PISA 2000, 2003 und 2006 ist Folgendes zu beobachten:
• Der Anteil an Schülerinnen und Schülern, die auf Grund von Behinderungen oder mangelnden
Deutschkenntnissen ausgeschlossen werden, ist seit PISA 2000 kontinuierlich angestiegen: von 0,9 %
auf 1,7 %.
Seite 120
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

• Durch Schulwechsel (oder das Verlassen der Testschule, ohne dass der Wechsel an eine andere Schule
bekannt ist) konnten bei PISA 2000 4,7 % der Schüler/innen, bei PISA 2003 2,3 % der Schüler/innen
und bei PISA 2006 mit 3,1 % der Schüler/innen nicht erreicht werden.
• In Bezug auf den Non-response ist seit PISA 2000 eine kontinuierliche Verbesserung zu beobachten:
der Anteil der Schüler/innen, die nicht am Test teilgenommen haben (auf Grund von Teilnahmeverweigerungen
bzw. weil sie am Testtag fehlten) lag bei PISA 2000 bei 8,2 %, bei PISA 2006 hingegen
bei 6,4 %.
• Der ungewichtete Rücklauf (ohne Berücksichtigung der lehrgangsmäßigen Berufsschüler/innen, die
im Testfenster in der Schule nicht erreichbar waren) beträgt in PISA 2000 91,8 %, in PISA 2003
92,6 % und in PISA 2006 93,6 %
Testheftform
Testheft 1
Testheft 2
Testheft 3
Testheft 4
Testheft 5
Testheft 6
Testheft 7
Testheft 8
Testheft 9
Testheft 10
Testheft 11
Testheft 12
Testheft 13
Testheft 60
(Sonderschule)
Ausgeschickt
Rücklauf
Anzahl Prozent
400 370 92.5 %
412 386 93.7 %
412 382 92.7 %
418 392 94.0 %
420 395 94.0 %
398 378 95.0 %
399 372 93.2 %
394 366 92.9 %
399 370 92.7 %
390 371 95.1 %
410 387 94.4 %
396 369 93.2 %
394 367 93.1 %
21 18 85.7 %
Abbildung VII.15: Rücklauf nach Testheftformen im Haupttest 2006
PISA 2000 PISA 2003 PISA 2006
ausgeschlossen 0.9 % 1.3 %
nicht in Frage kommend (ineligible) 4.7 % 2.3 %
Schüler/innen nicht zu testen gesamt 5.6 % 3.6 %
1.7 %
3.1 %
4.8 %
Teilnahme verweigert 2.0 % 1.6 %
am Testtag abwesend 6.2 % 5.8 %
Schüler/innen nicht teilgenommen gesamt 8.2 % 7.4 %
2.3 %
4.1 %
6.4 %
Abbildung VII.16: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen sowie
Non-response für PISA 2000, 2003 und 2006
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 121

2.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen
Die beiden Organisationsformen österreichischer Berufsschulen stellen bei der Testung nach PISA-Regeln
eine gewisse Herausforderung dar:
(1) Berufsschulen mit Jahresunterricht, in denen die Schüler/innen während des ganzen Schuljahres für
1 oder maximal 2 Tage pro Woche die Schule besuchen, erfordern meist die Abhaltung mehrerer
Testtermine an verschiedenen Wochentagen, um allen Schülerinnen und Schülern unterschiedlicher
Kurse die Teilnahme an der Testung zu ermöglichen. Dies führt dazu, dass an manchen Schulen bis zu
5 Testsitzungen notwendig sind, um allen ausgewählten Schülerinnen und Schülern die Möglichkeit
zu geben, am PISA-Test teilzunehmen.
(2) In Berufsschulen mit lehrgangs- oder saisonmäßig geführten Klassen (in der Folge sind mit der Bezeichnung
„lehrgangsmäßig geführte Berufsschulen“ auch die saisonalen Berufsschulen gemeint)
kann ein großer Teil der Schüler/innen nicht getestet werden, weil PISA vorsieht, Tests ausschließlich
innerhalb eines 6-wöchigen Testfensters im Frühjahr abzuhalten. Auf Grund der österreichischen
Gegebenheiten hat das internationale Projektkonsortium für PISA 2006 die Zustimmung gegeben,
das Testfenster für die lehrgangsmäßig geführten Berufsschulen auf drei Monate auszuweiten (März
bis Mai). Auf diese Weise können mehr Schüler/innen als bisher getestet werden. Schüler/innen des
1. oder 2. Lehrgangs, die nur im Herbst bzw. Winter die Schule besuchen, können nicht getestet
werden, weil sie während des Testfensters an der Schule nicht erreicht werden können, und außerhalb
des verlängerten Testfensters nicht getestet werden dürfen.
Berufschulen bzw. Berufsschüler/innen, die in Kategorie (1) fallen, stellen ein organisatorisches bzw. finanzielles
Problem dar, das an sich aber in den Bereich der Testdurchführung fällt. Wenn durch entsprechende
Maßnahmen (Nachtests) gesichert werden kann, dass Schüler/innen aller Unterrichtstage getestet
werden können, so stellt diese Tatsache für den Rücklauf kein Problem dar.
Berufsschulen bzw. Berufsschüler/innen der Kategorie (2) erschweren hingegen in erster Linie die
Erlangung entsprechender Rücklaufquoten. Wie nach internationalen Richtlinien mit diesem Problem
umgegangen werden muss, und welche Folgen das hat, ist Thema dieses Abschnitts. Erwähnt werden
muss auch, dass diese beiden Problemkategorien in vielen Fällen in Kombination auftreten, d. h., dass
an vielen Berufsschulen sowohl lehrgangsmäßig geführte Klassen als auch solche mit Jahresunterricht
geführt werden.
2.5.1 Lehrgangsmäßig geführte Berufsschulen und PISA
In lehrgangsmäßig geführten Berufsschulen liegen als Schätzwert für die Anzahl der Schüler/innen des
Zieljahrgangs dem Sampling die Werte eines gesamten Schuljahrs zu Grunde. Im Zuge des Screenings wird
von den Schulen eine Liste aller 15-/16-Jähriger, die im Lauf des Schuljahres Schüler/innen der Schule
sind, erbeten. Diese Liste umfasst somit Schüler/innen, die während des Testfensters die Schule besuchen
werden, und solche, deren Unterricht vollständig außerhalb dieses Zeitraums liegt. Das Auswahlprinzip ist
das gleiche wie bei nicht lehrgangsmäßig geführten Schulen. Es muss aus allen Schülern und Schülerinnen
(testbaren und nicht testbaren) ausgewählt werden, und zwar so, dass 35 testbare Schüler/innen auf der
resultierenden PISA-Schülerliste enthalten sind (aliquot zum Anteil der nicht testbaren Schüler/innen auf
der ursprünglichen Liste sind auf der PISA-Schülerliste ebenfalls nicht testbare Schüler/innen enthalten;
gibt es an einer Schule weniger als 35 testbare Schüler/innen, müssen alle 15-/16-jährigen Schüler/innen
ausgewählt werden). Für die in diesem Kapitel (vgl. Abschnitt 2.3) präsentierten Rücklaufstatistiken
wurden diese Schüler/innen (die gesampelt werden mussten, aber unter Berücksichtigung der Regeln der
OECD nicht testbar sind) nicht in die Berechnung von Ausschluss- und Rücklaufquoten mit einbezogen
(vgl. Abbildung VII.11).
Bei den Berechnungen der Rücklaufquoten werden diese Schüler/innen von internationaler Seite aber
so behandelt, als ob sie am Testtag gefehlt hätten (sie zählen also zum Non-response dieser Schule).
Abbildung VII.17 zeigt, wie sich der tatsächliche Rücklauf in den Berufsschulen (bezogen auf alle test-
Seite 122
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

aren Schüler/innen) von dem fiktiven Rücklauf unter Einbeziehung der nicht testbaren Schüler/innen
unterscheidet.
Die obere Tabelle in Abbildung VII.17 zeigt, wie sich der Rücklauf in den drei Arten von Berufsschulen
berechnet, wenn sich dieser nur auf testbare Schüler/innen bezieht, d. h. wenn alle Schüler/innen, die im
Testfenster nicht erreichbar sind, nicht in die Anzahl zu testender Schüler/innen einbezogen werden. Es
ergibt sich in den drei Berufsschulstrata jeweils eine Rücklaufquote von mehr als 90 %.
Aus der unteren Tabelle geht hervor, wie sich die Einbeziehung der im Testfenster nicht erreichbaren
Schüler/innen in die Gruppe der zu Testenden (also jene Schüler/innen, in Bezug auf die die Rücklaufquote
berechnet wird) auf den Rücklauf auswirkt. Die Rücklaufquote liegt bei dieser Art der Berechnung für die
technisch-gewerblichen Berufsschularten bei 68,8 %, obwohl im Testfenster nur 61 von 728 Schüler/innen
gefehlt haben. Bei den kaufmännischen Berufsschulen macht die Rücklaufquote 81,4 % aus, wobei
15 von 242 Schüler/innen am Testtag nicht anwesend waren. Die Rücklaufquote für die land- und forstwirtschaftlichen
Berufsschulen unterscheidet sich nicht, weil an diesen beiden Schulen alle Schüler/innen
im Testfenster erreichbar waren.
Für die uneingeschränkte Aufnahme der Daten eines Landes in die internationalen Berichte ist eine
gewichtete Rücklaufquote auf Schülerebene von mindestens 80 % notwendig (durch die Gewichtung
spielt die niedrige Rücklaufquote bei den Berufsschulen nur im Verhältnis des Anteils der Berufsschüler/
innen an der Population der 15-/16-jährigen Schüler/innen eine Rolle). Die internationale Regel, nach
der nur Schüler/innen aus Schulen mit einer schulbezogenen Rücklaufquote von mindestens 50 % als
Teilnahmen gewertet werden, was bei den meisten lehrgangsmäßigen Berufsschulen aber nicht der Fall ist
(wenn mehr als die Hälfte aller Schüler/innen einen Lehrgang außerhalb des Testfensters besuchen, sogar
unmöglich), findet bei den lehrgangsmäßig geführten Berufsschulen keine Anwendung.
Es zeigt sich, dass das Einhalten aller internationalen Vorgaben unter den Bedingungen des österreichischen
Schulsystems ein Problem darstellt. Folgt man den Regeln für das Sampling in den Berufsschulen
und für den Testzeitraum (6-wöchiges Testfenster), ist das Erreichen der vorgegebenen Rücklaufquote auf
Schülerebene praktisch nicht oder nur sehr knapp möglich. Die Ausweitung des 6-wöchigen Testfensters
Rücklauf bezogen auf alle testbaren Berufsschüler/innen
Berufsschulstratum
technisch/gewerbl.
kaufm./Handel
land- & forstwirtsch.
Berufsschulstratum
technisch/gewerbl.
kaufm./Handel
land- & forstwirtsch.
in
Stichprobe
in
Stichprobe
im Testfenster
nicht
erreichbar
ausgeschlossen/
ineligible
ausgeschlossen/
ineligible
zu testen
Schüler/innen
zu testen
getestet
getestet
Rücklauf bezogen auf alle Berufsschüler/innen
(inkl. jener, die im Testfenster nicht an der Schule sind)
Schüler/innen
im Testfenster
nicht
erreichbar
gefehlt/
verweigert
gefehlt/
verweigert
Rücklauf
1005 242 35 728 667 61 91.6 %
296 37 17 242 227 15 93.8 %
23 0 0 23 22 1 95.7 %
Rücklauf
1005 35 970 667 242 61 68.8 %
296 17 279 227 37 15 81.4 %
23 0 23 22 0 1 95.7 %
Abbildung VII.17: Rücklauf in Berufsschulen mit und ohne Berücksichtigung der nicht testbaren Schüler/innen
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 123

auf drei Monate für die lehrgangsmäßig geführten Berufsschulen bei PISA 2006 war daher ein wichtiger
Schritt, um für Österreich eine adäquate Lösung zur Erreichung der Rücklaufquoten zu finden.
Die nicht testbaren Schüler/innen werden in die Rücklaufquoten miteinbezogen, weil die getesteten
Schüler/innen einer Schule alle Schüler/innen des Zieljahrgangs mit ihren Ergebnissen repräsentieren
müssen, in einer lehrgangsmäßig geführten Berufsschule also auch alle Schüler/innen, die nicht im
Testfenster zur Schule gehen.
2.6 Charakteristika der resultierenden Haupttest-Stichprobe
Nach der Darstellung des Rücklaufs in Österreich – gesamt und jeweils nach verschiedenen Kriterien
gegliedert – soll nun abschließend gezeigt werden, wie sich die realisierte Stichprobe bezogen auf einige
Variablen – vor allem solche, die bei der Stichprobenziehung eine Rolle gespielt haben – zusammensetzt.
Es ist dies als reine Charakterisierung der realisierten Stichprobe zu verstehen. Die Berechnungen in diesem
Abschnitt basieren deshalb auf ungewichteten Daten. Analyseergebnisse, die in den internationalen
und nationalen Berichtbänden zu PISA 2006 publiziert werden, basieren auf gewichteten Daten, welche
im Abschnitt 2.9 dargestellt werden.
Die folgenden Analysen inkludieren die Schüler/innen aus den beiden Schulen, deren Rücklaufquote
zwischen 25 % und 50 % auf Schülerebene betrug, weil die Daten dieser Schüler/innen im internationalen
Datenfile enthalten sein werden. Basis für die Charakterisierung sind also 199 Schulen mit 4927
Schüler/innen
Abbildung VII.18 gegenüber zeigt die Verteilung der Schüler/innen der Haupttest-Stichprobe auf die verschiedenen
Schularten. Die für den Vorgang des Samplings und Screenings in den Strata 21 und 22 zusammengefassten
„kleinen“ Schulen wurden für diesen Zweck wieder ihrer ursprünglichen Kategorisierung
zugeordnet. Die prozentuellen Angaben auf Schulebene sind für die Bewertung der Qualität weniger
relevant – diese sind sehr stark durch die Anzahl 15-/16-Jähriger in den verschiedenen Schultypen beeinflusst.
Deshalb umfasst die Stichprobe zum Beispiel relativ viele Allgemeinbildende Pflichtschulen, weil
in diesen die 15-/16-Jährigen meist eine Minderheit darstellen und deshalb in vielen Schulen getestet
werden muss, um die notwendige (kleine) Anzahl an Schülern und Schülerinnen des Zieljahrgangs erreichen
zu können.
Abbildung VII.19 zeigt die regionale Verteilung der getesteten Schulen und Schüler/innen. Eine regionale
Streuung der Stichprobe wird bei der Stichprobenziehung durch die Berücksichtigung des Bezirks als
implizites Stratum (d. h. als Sortierkriterium) gesichert (vgl. Abschnitt 6.2 in Kapitel V).
Abbildung VII.20 zeigt ergänzend zu den Darstellungen bezüglich der Variablen, die in den Sampling-
Prozess eingegangen sind, eine Aufgliederung der Schüler/innen der Haupttest-Stichprobe nach besuchter
Schulstufe und Geschlecht. Beide Variablen wurden im Rahmen der Schülerlisten zentral über die
Schulkoordinatorinnen und -koordinatoren erhoben.
Seite 124
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Schulart
Allgemeinbildende Pflichtschulen:
Hauptschule
Polytechnische Schule
Sonderschule
APS gesamt
Allgemeinbildende Höhere Schulen:
Gymnasium
Realgymnasium & wirtschaftskundliches RG
Oberstufenrealgymnasium
Sonstige Allgemeinbildende mit Statut
AHS gesamt
Berufsschulen
Berufsschule (technisch/gewerblich)
Berufsschule (kaufmännisch/Handel & Verkehr)
Berufsschule (land- & forstwirtschaftlich)
BS gesamt
Berufsbildende Mittlere Schulen:
BMS (gewerblich/technisch/kunstgewerblich)
BMS (kaufmännisch)
BMS (wirtschaftsberuflich/sozialberuflich)
BMS (land- & forstwirtschaftlich)
BMS gesamt
Berufsbildende Höhere Schulen:
BHS (gewerblich/technisch/kunstgewerblich)
BHS (kaufmännisch)
BHS (wirtschaftsberuflich/sozialberuflich)
BHS (land- & forstwirtschaftlich)
Anstalten der Lehrer- & Erzieherbildung
BHS gesamt
GESAMT
Schulen Schüler/innen
Anzahl Prozent Anzahl Prozent
26 13.1 % 156 3.2 %
19 9.5 % 410 8.3 %
6 3.0 % 19 0.4 %
51 25.6 % 585 11.9 %
16 8.0 % 442 9.0 %
14 7.0 % 393 8.0 %
9 4.5 % 289 5.9 %
4 2.0 % 74 1.5 %
43 19.6 % 1198 22.8 %
22 11.1 % 667 13.5 %
8 4.0 % 227 4.6 %
2 1.0 % 22 0.4 %
32 16.1 % 916 18.1 %
5 2.5 % 130 2.6 %
7 3.5 % 176 3.6 %
8 4.0 % 208 4.2 %
8 4.0 % 236 4.8 %
28 14.1 % 750 15.2 %
17 8.5 % 551 11.2 %
14 7.0 % 463 9.4 %
9 4.5 % 294 6.0 %
3 1.5 % 101 2.0 %
2 1.0 % 69 1.4 %
45 22.6 % 1478 30.0 %
199 100.0 % 4927 98.1 %
Abbildung VII.18: Die realisierte Haupttest-Stichprobe nach Schularten
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 125

Bundesland
Burgenland
Kärnten
Niederösterreich
Oberösterreich
Salzburg
Steiermark
Tirol
Vorarlberg
Wien
GESAMT
Schulen Schüler/innen
Anzahl Prozent Anzahl Prozent
6 3.0 % 178 3.6 %
16 8.0 % 414 8.4 %
35 17.6 % 906 18.4 %
38 19.1 % 953 19.3 %
15 7.5 % 341 6.9 %
28 14.1 % 640 13.0 %
21 10.6 % 502 10.2 %
9 4.5 % 253 5.1 %
31 15.6 % 740 15.0 %
199 100.0 % 4927 100.0 %
Abbildung VII.19: Die realisierte Haupttest-Stichprobe nach Bundesländern
Geschlecht
weiblich
männlich
Schulstufe
7 8 9 10 11
Zeilensumme
4 0.2 % 69 2.8 % 1090 44.5 % 1283 52.4 % 1 0.0 % 2447
66.7 % 0.1 % 33.7 % 1.4 % 50.7 % 22.1 % 50.1 % 26.0 % 50.0 % 0.0 % 49.7 %
2 0.1 % 136 5.5 % 1062 42.8 % 1277 51.6 % 1 0.0 % 2480
33.3 % 0.0 % 66.3 % 2.8 % 49.3 % 21.6 % 49.9 % 26.0 % 50.0 % 0.0 % 50.3 %
Spaltensumme
6 0.1 % 205 4.2 % 2152 43.7 % 2562 52.0 % 2 0.0 % 4927
Erklärung des
Zelleninhalts
Anzahl Zeilen%
Spalten% Total%
Abbildung VII.20: Die realisierte Haupttest-Stichprobe nach Schulstufe und Geschlecht
2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest
In Österreich wurden zusätzlich zum internationalen Schulleiter-Fragebogen drei nationale Fragebogenteile
eingesetzt (vgl. Abschnitt 5 in Kapitel IV):
• Nutzung moderner Informationstechnologien
• Rahmenbedingungen der Leseförderung
• Qualität in Schulen
Da die österreichischen Zusatzfragebögen für die Schulleiter/innen als Teil des Schulfragebogens administriert
wurden, ist der Rücklauf der nationalen Schulfragebogenteile dem des internationalen
Schulfragebogens natürlich sehr ähnlich. Einzelne Ausfälle sind nur dadurch zu verzeichnen, dass in einzelnen
Schulen keine Fragen eines nationalen Teils beantwortet wurden, und dieser Teil deshalb keine auswertbaren
Daten enthält und für die betreffende Schule als fehlend gewertet werden muss. Die folgende
Übersicht zeigt den Rücklauf bezüglich der verschiedenen im Rahmen der nationalen Zusatzerhebungen
eingesetzten Fragebögen für die Schulleiter/innen.
Die österreichischen Zusatzfragebögen für die Schüler/innen wurden – wie in Abschnitt 3 in Kapitel
IV im Detail erklärt – in drei Formen über die Stichprobe hinweg rotiert, um die Bearbeitungszeit der
Seite 126
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

einzelnen Schüler/innen zu reduzieren. Dadurch wird jede Form etwa von einem Drittel der gesamten
Stichprobe bearbeitet. Schüler/innen in Sonderschulen erhielten einen stark reduzierten Fragebogen, der
nur einige der zentralen Items des internationalen Fragebogens umfasste, und werden bei den nationalen
Zusatzerhebungen nicht berücksichtigt.
Kleinere zusätzliche Stichprobenausfälle sind außerdem zu Stande gekommen, da die nationalen
Fragebogenteile am Ende des Schülerfragebogen-Hefts abgedruckt waren und manche Schüler/innen in
Lesegewohnheiten
Belastung in
der Schule
BHS (wirtschaftsberuflich/sozialberufl.)
BHS (land- &
forstwirtschaftlich)
Anstalten der Lehrer-
& Erzieherbildung
Informationstechnologien
Befindlichkeit
Anzahl Prozent Anzahl Prozent Anzahl Prozent Anzahl Prozent Anzahl
Qualität in
Schulen
Prozent
Hauptschule 51 3.2 % 51 3.2 % 51 3.1 % 50 3.1 % 45 2.8 %
Polytechnische
Schule
137 8.5 % 137 8.5 % 132 8.1 % 132 8.3 % 134 8.3 %
Gymnasium 142 8.8 % 142 8.8 % 151 9.3 % 149 9.4 % 148 9.2 %
Realgymnasium &
wirtschaftsk. RG
Oberstufenrealgymnasium
Sonstige Allgemeinbildende
mit Statut
Berufsschule
(technisch/gewerbl.)
Berufsschule (kaufm./
Handel & Verkehr)
Berufsschule (land-
& forstwirtschaftlich)
BMS (gewerbl./technisch/kunstgewerbl.)
127 7.9 % 127 7.9 % 136 8.4 % 135 8.5 % 129 8.0 %
94 5.8 % 94 5.8 % 101 6.2 % 96 6.0 % 94 5.8 %
25 1.5 % 25 1.5 % 16 1.0 % 14 0.9 % 23 1.4 %
213 13.2 % 213 13.2 % 213 13.1 % 208 13.1 % 226 14.0 %
73 4.5 % 73 4.5 % 78 4.8 % 77 4.8 % 72 4.5 %
7 0.4 % 7 0.4 % 7 0.4 % 7 0.4 % 8 0.5 %
45 2.8 % 45 2.8 % 41 2.5 % 39 2.5 % 43 2.7 %
BMS (kaufmännisch) 59 3.7 % 59 3.7 % 60 3.7 % 58 3.6 % 57 3.5 %
BMS (wirtschaftsberuflich/sozialberufl.)
BMS (land- &
forstwirtschaftlich)
BHS (gewerbl./technisch/kunstgewerbl.)
65 4.0 % 65 4.0 % 69 4.2 % 69 4.3 % 74 4.6 %
77 4.8 % 77 4.8 % 78 4.8 % 75 4.7 % 77 4.8 %
191 11.8 % 191 11.8 % 179 11.0 % 176 11.1 % 180 11.2 %
BHS (kaufmännisch) 153 9.5 % 153 9.5 % 158 9.7 % 153 9.6 % 150 9.3 %
99 6.1 % 99 6.1 % 96 5.9 % 96 6.0 % 98 6.1 %
34 2.1 % 34 2.1 % 34 2.1 % 33 2.1 % 32 2.0 %
22 1.4 % 22 1.4 % 24 1.5 % 24 1.5 % 23 1.4 %
GESAMT 1614 100% 1614 100% 1624 100% 1591 100% 1613 100%
Abbildung VII.21: Die Stichproben der nationalen Zusatzerhebungen im Haupttest 2006 nach Schularten
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 127

der maximalen Bearbeitungszeit von 55 Minuten keine Fragen eines nationalen Teils beantworten konnten.
In solchen Fällen wird diese Schülerin/dieser Schüler als abwesend für diese nationale Zusatzerhebung
gewertet.
Die nationalen Zusatzerhebungen für die Schüler/innen umfassten im Haupttest 2006 folgende Bereiche:
ergänzende Fragen zum Teil Nutzung moderner Informationstechnologien und Lesegewohnheiten bildeten
den natioanlen Teil der Form A. Die natioanlen Teile der Form B bestand aus Fragen zur Belastung
in der Schule sowie Befindlichkeit und Schulerfolg am Übergang zur Sekundarstufe II. Fragebogenform
C umfasste im natioanlen Teil Fragen zur Qualität in Schulen. Eine detailliertere Charakterisierung der
Stichproben für die nationalen Zusatzerhebungen ist Abbildung VII.21 auf der vorhergehenden Seite zu
entnehmen. Sie zeigt die Verteilung der Stichprobe der einzelnen Instrumente auf die österreichischen
Schularten.
2.8 Der Rücklauf der Waldorf-Schulen
Wie schon bei PISA 2000 und 2003 nahmen die österreichischen Waldorf-Schulen auch am Haupttest
2006 zusätzlich zur Stichprobe für den internationalen Vergleich in Form einer Vollerhebung der 15-/16-
Jährigen teil. Insgesamt kamen 175 Schüler/innen an den zehn Waldorfschulen für die Teilnahme am
PISA-Test in Frage. Fünf Schüler/innen konnten auf Grund von Behinderungen nicht am Test teilnehmen,
weiters konnten vier Schüler/innen nicht teilnehmen, weil sie vor dem Test die Schule verlassen hatten;
das entspricht 5,2 %. Von den verbleibenden 166 zu testenden Schülerinnen und Schülern nahmen
153 an der gesamten Testsitzung (PISA-Test plus Fragebogen) teil, was einer Rücklaufquote von 92,2 %
entspricht. Eine Übersicht darüber gibt Abbildung VII.22.
Schüler/innen in der Stichprobe der Waldorf-Schulen
Falscher Jahrgang
Schüler/innen Jg. 90
Ausgeschlossen auf Grund geistiger Behinderung
Ausgeschlossen auf Grund körperlicher Behinderung 1 0.6 %
Nicht erreichbar, weil Schule verlassen/gewechselt
Zu testende Schüler/innen
4
166
2.3 %
100.0 %
Teilnahme verweigert
bei Testsitzung abwesend
bei Testsitzung anwesend (Rücklauf)
4
9
153
2.4 %
5.4 %
92.2 %
Davon
Abbildung VII.22: Übersicht über Ausschlüsse, nicht in Frage kommende Schüler/innen und den erzielten
Rücklauf in den österreichischen Waldorf-Schulen
2.9 Zur Gewichtung der PISA-2006-Stichprobe
Bei der PISA-Stichprobe im Haupttest 2006 handelt es sich um keine direkt selbst gewichtende Stichprobe,
d. h. dass die Stichprobe in Bezug auf wichtige Verteilungsmerkmale nicht exakt der Population entspricht.
Verschiedene Umstände können bei PISA dazu führen, dass Schüler/innen der Stichprobe in
unterschiedlichem Ausmaß „repräsentativ“ für die dem Sampling zu Grunde liegende Population sind.
• Das Sampling-Design erlaubt, einzelne Teile der Population zu unter- oder zu übersampeln. Für Analysen,
die für die Population Gültigkeit besitzen sollen, muss dies durch Gewichtungsprozeduren ausgeglichen
werden. In Österreich wurden die „sehr kleinen“ Schulen (zusammengefasst in Stratum 22)
etwa um den Faktor zwei untersampelt – vor allem aus Effizienzgründen. In vier der Strata für „große“
175
0
175 100.0 %
4 2.3 %
Seite 128
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

Schulen (02 – Hauptschulen, 08 – Sonstige Allgemeinbildende Schulen/mit Statut, 11 – Land- und
forstwirtschaftliche Berufsschulen, 19 – BHS land- und forstwirtschaftlich) musste die Anzahl der
Schulen leicht erhöht werden, damit die von der OECD vorgegebene Mindestanzahl von zwei Schulen
je explizitem Stratum erreicht wurde.
• Das Samplingdesign sieht vor, die Auswahlwahrscheinlichkeiten für Schulen und Schüler/innen innerhalb
einer gezogenen Schule so festzulegen, dass jede/r individuelle Schüler/in der Population
die gleiche Wahrscheinlichkeit hat, in die Stichprobe zu kommen. Es kann allerdings vorkommen,
dass sich die Schätzungen für die Anzahl 15-/16-Jähriger je Schule, die für die Schulauswahl verwendet
werden, von der tatsächlichen Anzahl etwas unterscheiden. In Österreich kann dies durch
die Notwendigkeit entstehen, als Samplinggrundlage die Anzahl 15-/16-Jähriger im Schuljahr vor
der Testung heranzuziehen. Stellt sich während des Screening-Prozesses heraus, dass eine Schule von
weniger 15-/16-Jährigen als erwartet besucht wird, würden die Schüler/innen dieser Schule eine höhere
Auswahlwahrscheinlichkeit als geplant haben. Im umgekehrten Fall – wenn eine Schule deutlich
mehr Schüler/innen des Zieljahrgangs hat, als auf Grund der Daten des Vorjahrs anzunehmen war –
verringert sich die Auswahlwahrscheinlichkeit der Schüler/innen dieser Schule. Unterschiedlichen
Auswahlwahrscheinlichkeiten einzelner Schüler/innen muss durch entsprechende Berücksichtigung
bei der Gewichtung begegnet werden.
• Weiters muss der Non-response auf Schulebene, wenn dieser nicht durch die Einbeziehung der entsprechenden
Replacement-Schule ausgeglichen wurde, in der Gewichtung berücksichtigt werden. In
Österreich gab es vier Schulausfälle: (1) an zwei Schulen hat sich der/die einzig zu testende Schüler/
in vom Test abgemeldet; (2) an einer Berufsschule hatten keine Schüler/innen des Jahrgangs 1990
während des Testfensters Unterricht; (3) eine Schule wird als Non-Response gewertet, weil die Rücklaufquote
auf Schülerebene unter 25 % liegt. Dieser Non-Response auf Schulebene wird bei der Gewichtung
ausgeglichen.
• Einem weiteren Faktum muss durch entsprechende Gewichtung Rechnung getragen werden: dem
Non-response auf Schülerebene. Das sind Schüler/innen der Stichprobe, die, obwohl sie am Test teilnehmen
sollten, beim Test nicht anwesend waren (z. B. nicht ausgeschlossene Schüler/innen, die am
Testtag aus Krankheitsgründen nicht in der Schule waren, oder solche, die die Teilnahme am PISA-
Test verweigerten).
Der Gewichtungsfaktor jedes Schülers/jeder Schülerin der Stichprobe setzt sich aus Informationen über
die Auswahlwahrscheinlichkeit der Schule, die Auswahlwahrscheinlichkeit eines/einer Schülers/in innerhalb
der Schule und gegebenenfalls einem Non-response-Ausgleich auf Schul- und/oder Schülerebene
zusammen. Würde bei einer Stichprobe keiner der oben angeführten vier Punkte zutreffen, hätten
alle Schüler/innen den gleichen Gewichtungsfaktor und man spräche von einer selbst gewichtenden
Stichprobe. Ansonsten wird durch unterschiedliche Gewichtung der Schüler/innen einzelner Strata und/
oder Schulen dem Rechnung getragen.
Der eben beschriebene Gewichtungsfaktor ist für die Schätzung von Populationsparametern (die
Punktschätzungen) notwendig. Für die Berechnung von Konfidenzintervallen oder die Durchführung von
Signifikanztests ist zusätzlich die Sampling-Varianz zu berücksichtigen. Dafür gibt es zwei Möglichkeiten:
erstens die theoretische Berechnung des Design-Effekts auf der Basis des Sampling-Designs und dessen
Einbeziehung in die Berechnung von Standardfehlern oder zweitens die empirische Schätzung der
Sampling-Varianz aus den Stichprobendaten. Bei PISA findet die zweite Möglichkeit Anwendung. Die
aus der Stichprobe geschätzte Sampling-Varianz fließt in die Berechnungen in Form von mehreren replizierten
Gewichtungen ein. Die konkret verwendete Methode heißt „Balanced Repeated Replication“;
angewendet wurde die Variante, die unter „Fay’s method“ bekannt ist (eine detaillierte Beschreibung der
verwendeten Methode wird im internationalen technischen Bericht der OECD zu PISA 2006 enthalten
sein).
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 129

2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung
Werden die österreichischen Daten aus PISA 2006 entsprechend der oben beschriebenen Regeln gewichtet,
beläuft sich die Rücklaufquote auf 90,8 %. In dieser Quote sind alle Berufsschüler/innen, die auf
Grund der fehlenden Überschneidung von Testfenster und Schulbesuchszeitraum nicht getestet werden
Schulart
Allgemeinbildende Pflichtschulen:
Hauptschule
Polytechnische Schule
Sonderschule
APS gesamt
Allgemeinbildende Höhere Schulen:
Gymnasium
Realgymnasium & wirtschaftskundliches RG
Oberstufenrealgymnasium
Sonstige Allgemeinbildende mit Statut
AHS gesamt
Berufsschulen
Berufsschule (technisch/gewerblich)
Berufsschule (kaufmännisch/Handel & Verkehr)
Berufsschule (land- & forstwirtschaftlich)
BS gesamt
Berufsbildende Mittlere Schulen:
BMS (gewerblich/technisch/kunstgewerblich)
BMS (kaufmännisch)
BMS (wirtschaftsberuflich/sozialberuflich)
BMS (land- & forstwirtschaftlich)
BMS gesamt
Berufsbildende Höhere Schulen:
BHS (gewerblich/technisch/kunstgewerblich)
BHS (kaufmännisch)
BHS (wirtschaftsberuflich/sozialberuflich)
BHS (land- & forstwirtschaftlich)
Anstalten der Lehrer- & Erzieherbildung
BHS gesamt
GESAMT
Stichprobe
ungewichtet gewichtet
3.2 % 5.4 %
8.3 % 9.8 %
0.4 % 0.9 %
11.9 % 16.1 %
9.0 % 9.0 %
8.0 % 8.8 %
5.9 % 5.3 %
1.5 % 0.7 %
24.4 % 23.1 %
13.5 % 12.7 %
4.6 % 3.2 %
0.4 % 0.1 %
18.5 % 16.0 %
2.6 % 2.7 %
3.6 % 3.4 %
4.2 % 4.4 %
4.8 % 4.6 %
15.2 % 15.2 %
11.2 % 11.0 %
9.4 % 9.4 %
6.0 % 5.9 %
2.0 % 1.1 %
1.4 % 1.6 %
30.0 % 28.9 %
100.0 % 100.0 %
Population
6.0 %
9.9 %
1.5 %
17.3 %
8.5 %
8.4 %
5.8 %
0.8 %
23.5 %
11.9 %
4.0 %
0.1 %
16.0 %
3.1 %
3.3 %
4.1 %
4.4 %
14.9 %
11.2 %
8.6 %
6.2 %
0.7 %
1.7 %
28.3 %
100.0 %
Abbildung VII.23: Ungewichteter und gewichteter Rücklauf im Vergleich mit den Populationszahlen nach Stratum
Seite 130
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

können, als am Testtag abwesend enthalten. Dadurch kommt ein großer Anteil des Stichprobenausfalls
zu Stande. Mit dieser gewichteten Rücklaufquote von 90,8 % wird die international festgelegte Mindest-
Rücklaufquote auf Schülerebene von 80 % deutlich überschritten. Mit den gewichteten Daten werden
die Analysen auf nationaler und internationaler Ebene durchgeführt.
Dass sich die gewichteten Daten der Stichprobe nicht von den Populationszahlen unterscheiden, ist in
Abbildung VII. 23 ersichtlich, die einen Vergleich von ungewichteten und gewichteten Stichprobenzahlen
sowie der Geamtpopulation zeigt. Die gewichtete Stichprobe bildet – sowohl in den einzelnen Strata als
auch nach Schulformen insgesamt – die Anteile in der Population präzise ab.
Abbildung VII. 24 zeigt weiters getrennt für die Schulsparten, dass die Geschlechterverteilung in der
Stichprobe jener in der Population entspricht. Auch die Anteile von Mädchen und Burschen in den einzelnen
Schularten enstprechen in der gewichteten Stichprobe dem Verhältnis in der Population.
Dieser Vergleich von gewichteter Stichprobe und Population belegt die hohe Qualität bei der
Stichprobenziehung und zeigt, dass die PISA-Stichprobe ein gutes Abbild der Zielpopulation darstellt.
Schulart
Allgemeinbildende Pflichtschulen
Allgemeinbildende Höhere Schulen
Berufsschulen
Berufsbildende Mittlere Schulen
Berufsbildende Höhere Schulen
GESAMT
Stichprobe gew. Population
männl. weibl. männl. weibl.
64.5 % 35.5 % 62.3 % 37.7 %
40.7 % 59.3 % 43.6 % 56.4 %
67.9 % 32.1 % 65.9 % 34.1 %
44.0 % 56.0 % 42.2 % 57.8 %
46.1 % 53.9 % 45.8 % 54.2 %
50.9 % 49.1 % 50.8 % 49.2 %
Abbildung VII.24: Vergleich von gewichtetem Rücklauf und Populationszahlen nach Schulsparten und Geschlecht
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße
Rücklauf, Stichprobengrößen und Stichprobenausfälle sind an sich ein Qualitätskriterium, weshalb
im Grunde das gesamte Kapitel Auskunft über einen wichtigen Qualitätsaspekt gibt. Hier sollen der
Übersichtlichkeit halber die wichtigsten Qualitätsaspekte der Stichprobe in Bezug auf den Rücklauf kurz
zusammengefasst werden.
Angemerkt werden muss, dass die Rücklaufquoten bei einer Erhebung ein wichtiges Qualitätsmerkmal
von Stichproben sind; sie stellen jedoch kein ausreichendes, sehr wohl aber ein notwendiges Kriterium
für qualitativ hochwertige Stichproben dar. Damit ist gemeint, dass durch hohen Rücklauf unadäquate
Methoden bei der Ermittlung der Stichprobe nicht wettgemacht werden können, ein hoher Rücklauf bei
einer angemessen gezogenen Stichprobe jedoch ein wichtiges Qualitätskriterium darstellt. Hinweise zur
Qualität des Stichprobenplans sowie der Stichprobenziehung finden sich in Abschnitt 7 in Kapitel V, das
sich mit dem Bereich Sampling befasst.
In Bezug auf die zu erreichenden Rücklaufquoten wurden von Seiten der OECD klare Standards in Form
von zu erreichenden Mindestquoten auf Schul- sowie Schülerebene aufgestellt (vgl. Abschnitt 4 in Kapitel
V). Das Erreichen oder Überschreiten dieser Mindestvorgaben ist das wichtigste Qualitätskriterium in
Bezug auf den Rücklauf. Es sichert nicht nur hohe Qualität der Stichprobe einzelner Länder, sondern
vergleichbar hohe Qualität über die Länder hinweg.
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Seite 131

Wie oben detailliert angeführt übertrifft die österreichische PISA-Stichprobe die vorgegebene Mindest-
Rücklaufquote auf Schulebene von 85 % mit einem 98-prozentigen Rücklauf (ohne Replacements) deutlich.
Auf Schülerebene ist ein ungewichteter Rücklauf von 93,6 % (ohne Berücksichtigung der nicht testbaren
Berufsschüler/innen) zu verzeichnen. Der gewichtete Rücklauf (unter Berücksichtigung der nicht
testbaren Schüler/innen lehrgangsmäßig geführter Berufsschulen) beläuft sich auf 90,8 %. Damit können
auch die Vorgaben in Bezug auf die Mindest-Rücklaufquote auf Schülerebene erfüllt werden.
Bibliografie
Bortz, J. (1999). Statistik für Sozialwissenschaftler. (5. Aufl.). Berlin: Springer
Haider, G. & Wallner-Paschon, C. (2001). Rücklauf, Stichprobenausfall und Stichprobengrößen. In G. Haider (Hrsg.), PISA 2000.
Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA Projekts (S. 185–210). Innsbruck: StudienVerlag.
Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengröße. In C, Reiter, B. Lang, & G. Haider, (Hrsg.), PISA 2003.
Internationaler Vergleich von Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisaaustria.at/pisa2003/ruecklauf/index.htm
[Datum des Zugriffs: 08.02.2007]
Seite 132
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen

VIII
CODING
Simone Breit & Andrea Grafendorfer
1. Was ist „Coding“?
2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten
2.1 Die Differenzierung von Schülerantworten nach der gezeigten Fähigkeit
2.2 Die Differenzierung von Schülerantworten nach dem gezeigten Lösungsweg
2.3 Spezielle Codes
3. Aufbau der Coding-Instrumente
4. Internationale Umsetzungsrichtlinien
4.1 Rekrutierung der Coder/innen
4.2 Schulung der Coder/innen
4.3 Vorbereitung der Testhefte für das Coding
4.4 Vercoden der Schüleranwtorten
5. Ablauf des Codings im Haupttest 2006
5.1 Rekrutierung der Coder/innen
5.2 Schulung der Coder/innen
5.3 Vorbereitung der Testhefte für das Coding
5.4 Vercoden der Schülerantworten
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess
6.1 Die Bedeutung des Feldtests für das Coding
6.2 Qualitätssicherung und -kontrolle
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Bergmüller, 2004). Die Autorinnen
dieses Kapitels danken Claudia Schreiner (geb. Reiter) und Silvia Bergmüller für die Bereitstellung der Texte.

Im vorliegenden Kapitel werden die theoretischen Grundlagen, der konkrete Ablauf, die eingesetzten
Instrumente sowie die notwendigen Qualitätssicherungsmaßnahmen bei der Bewertung von Schülerantworten
beschrieben. Im Folgenden wird nach einer Einleitung, die einen ersten Einblick in das Coding
und die damit verbundenen Probleme und Prozeduren gewährt, auf Prinzipien der Differenzierung
von Schülerantworten sowie auf die Coding-Instrumente eingegangen. Weiters wird dargelegt, welche
internationalen Vorgaben im Rahmen des Codings erfüllt werden müssen und wie sich die konkrete
Umsetzung dieser Richtlinien in Österreich gestaltete. Schließlich werden die Maßnahmen zur Sicherung
der Qualität des Codings gesondert dargestellt und erläutert.
1. Was ist „Coding“?
Wie bereits in Kapitel III beschrieben, unterteilen sich die Fragen der PISA-Leistungstests in Multiple-
Choice-Fragen und in offene Fragen, zu denen die Schüler/innen eigenständig Antworten formulieren müssen.
Um diese Schülerantworten zu den offenen Fragen einer weiteren elektronischen Datenverarbeitung
zugänglich zu machen, müssen sie nach international standardisierten Richtlinien in Zifferncodes „übersetzt“
werden. Dieser Prozess wird im Rahmen von PISA als „Coding“ bezeichnet, und Personen, die
diesen Prozess durchführen, werden „Coderinnen“ bzw. „Coder“ genannt. In PISA 2000 und 2003 wurde
dieser Vorgang mit „Marking“ bezeichnet.
Für PISA 2006 mussten in Österreich mehr als 100.000 Schülerantworten zu 79 unterschiedlichen Fragen
dem Coding unterzogen werden. Das Coding muss innerhalb eines bestimmten, im nationalen Zeitplan
vorgesehenen Zeitraums abgeschlossen sein und strengen internationalen Anforderungen genügen. Diese
Anforderungen beziehen sich auf eine kriteriumsorientierte Rekrutierung der Coder/innen, auf standardisierte
Coder-Trainings, auf die rotierte Zuteilung von Testheften zu Coderinnen und Codern, auf laufende
Qualitätskontrollen beim Coding der Schülerantworten und auf die Prozedur des Multiple Codings
(vgl. unten). Ziel dieser Maßnahmen ist die Sicherung der Qualität des Coding-Prozesses durch eine konsistente
Anwendung der Bewertungsrichtlinien. Diese international standardisierten Richtlinien sind beim
Coding von zentraler Bedeutung, da sie beschreiben, welche Kriterien Schülerantworten erfüllen müssen,
um bestimmten Codes zugeordnet zu werden. Die Bewertungsrichtlinien sind für jede Domäne in einem
Coding Guide zusammengefasst und bilden so die grundlegenden Coder-Unterlagen.
Die beim Coding für PISA 2006 verwendeten Prozeduren und Bewertungsrichtlinien werden im Feldtest,
der im Jahr zuvor stattfand, erprobt und kontrolliert. Der Feldtest ist somit eine wichtige Qualitätssicherungsmaßnahme,
die für den Haupttest objektive Leistungsdaten sicherstellt. Für die Belange des
Codings gewährleistet der Feldtest, dass alle Prozeduren praxisbewährt sind, und nur eindeutig definierte
und sinnvoll differenzierende Bewertungsrichtlinien in den Haupttest übernommen werden.
Wichtige Indikatoren, die Auskunft darüber geben, wie eindeutig die Kriterien für die Zuordnung
von Schülerantworten zu Codes sind, stellen Maße der Beurteilerübereinstimmung dar. Diese werden
durch die Prozedur des Muliple Codings gewonnen. Im Gegensatz zum Normalfall des Single Codings,
bei dem jede Schülerantwort durch je einen Coder oder eine Coderin bewertet wird, wird beim Multiple
Coding eine gewisse Anzahl von Schülerantworten unabhängig durch vier Coder/innen bewertet. Im
Feldtest werden die so gewonnenen Maße der Beurteilerübereinstimmung genutzt, um schlecht anwendbare
Bewertungsrichtlinien zu identifizieren, die für den Haupttest verbessert werden sollten.
Das Multiple Coding kommt auch im Haupttest zum Einsatz, es dient hier jedoch nicht mehr als
Grundlage zur Verbesserung der Instrumente, sondern zur Überprüfung der konsistenten Anwendung
der Bewertungsrichtlinien.
Diese großen Anstrengungen bei der Qualitätssicherung im Bereich der Prozeduren und Instrumente
werden unternommen, um letztendlich eine objektive Vergleichbarkeit der PISA-Leistungsdaten gewährleisten
zu können. Nur dadurch können seriöse Aussagen über die relative Position der österreichischen
Schüler/innen im internationalen Vergleich und über Zusammenhänge zwischen Kontextvariablen und
Schülerleistung getroffen werden. Die Qualität des Codings trägt somit wesentlich zum Gelingen der
gesamten PISA-Studie bei.
Seite 134
VIII. Coding

2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten
Bei PISA wird jede Schülerantwort auf eine offene Frage in Codes (in eine Ziffer oder in eine zweistellige
Ziffernkombination) transferiert. Die Codes geben Aufschluss über die Fähigkeit, die ein/e Schüler/in
durch seine/ihre Antwort demonstriert. Zweistellige Codes beinhalten zusätzlich Informationen über den
Lösungsweg und/oder Fehler, die eine Schülerantwort aufweist. Welche Kriterien eine Schülerantwort
erfüllen muss, um einem bestimmten Code zugeordnet zu werden, wird in den Bewertungsrichtlinien
beschrieben.
2.1 Die Differenzierung von Schülerantworten nach der gezeigten Fähigkeit
Wie im Konzept des lebenslangen Lernens (vgl. Abschnitt 1.1 in Kapitel II) beschrieben, versucht PISA
kognitive Fähigkeiten zu erfassen, die die Voraussetzung für späteres Lernen bilden. Die Messung dieser
kognitiven Voraussetzungen erfolgt durch Aufgaben, die so konstruiert sind, dass sie die reale Kompetenz
möglichst exakt erfassen und somit von der Testleistung auf die tatsächliche Fähigkeit eines Schülers/einer
Schülerin schließen lassen. Jede Schülerantwort repräsentiert daher einen Punkt auf dem dahinter liegenden
Fähigkeitskontinuum (vgl. Abb. VIII.1a).
Geringe
Schülerin 1 Schüler 3
Schüler 4
Schülerin 2
Hohe
Fähigkeit
Fähigkeit
Abbildung VIII.1a: Darstellung von Schülerantworten auf einem Kontinuum zwischen geringer und hoher Fähigkeit
Um für die Zwecke von PISA auf eine möglichst ökonomische, aber dennoch aussagekräftige Weise zu
bestimmen, wie hoch die durch die jeweilige Antwort demonstrierte Fähigkeit ausgeprägt ist, werden international
standardisierte Bewertungsrichtlinien verwendet. In diesen werden an bestimmten inhaltlich
sinnvollen Punkten des Fähigkeitskontinuums Grenzen gezogen, um Schülerantworten, die eine hohe
Fähigkeit demonstrieren, von jenen, die auf eine niedrige Fähigkeit verweisen, zu unterscheiden. Dies
kann zur Folge haben, dass Schülerantworten, die an unterschiedlichen Stellen des Kontinuums liegen,
die gleiche Punkteanzahl erhalten. Wie in Abbildung VIII.1b dargestellt, erhält auch Schüler 4 die volle
Punkteanzahl (Full Credit), obwohl seine Antwort eine niedrigere Fähigkeit demonstriert als jene von
Schülerin 2 und zudem näher an der Fähigkeit des Schülers 3 liegt, der keinen Punkt (No Credit) erhält.
Um Schülerantworten genauer nach ihrer demonstrierten Fähigkeit zu differenzieren, werden bei vielen
Bewertungsrichtlinien mehrere Grenzen gezogen, wie in Abbildung VIII.1c dargestellt. Während Schüler
No Credit
Full Credit
Geringe
Schülerin 1 Schüler 3
Schüler 4
Schülerin 2
Hohe
Fähigkeit
Fähigkeit
Abbildung VIII.1b: Fähigkeitskontinuum mit einer Grenze
VIII. Coding
Seite 135

No Credit
Partial Credit
Full Credit
Geringe
Schülerin 1 Schüler 3
Schüler 4
Schülerin 2
Hohe
Fähigkeit
Fähigkeit
Abbildung VIII.1c: Fähigkeitskontinuum mit zwei Grenzen
4, der bei der Ziehung nur einer Grenze (Abb. VIII.1b) noch die volle Punkteanzahl erhalten hat, bekommt
er nach der Ziehung einer weiteren Grenze nur mehr einen Teil der Punkte (Partial Credit). Hier
drückt sich der Fähigkeitsunterschied zwischen Schülerin 2 und Schüler 4 auch klar in den Codes aus. Je
mehr Grenzen also gezogen werden, desto eher werden Unterschiede in den Schülerantworten berücksichtigt,
aber umso aufwändiger ist auch das Coding. Dabei ist es von besonderer Bedeutung, sowohl eine
theoretisch sinnvolle Differenzierung als auch einen vertretbaren Codingaufwand zu gewährleisten.
Die Ausdrücke Full Credit (alle Punkte gutgeschrieben), Partial Credit (ein Teil der Punkte gutgeschrieben)
und No Credit (keine Punkte gutgeschrieben) werden aus Mangel an adäquaten deutschen Begriffen
aus dem Englischen übernommen. Wie viele Punkte für Full Credit und Partial Credit gutgeschrieben
werden, hängt dabei von der Anzahl der gezogenen Grenzen ab.
2.2 Die Differenzierung von Schülerantworten nach dem gezeigten Lösungsweg
PISA unterscheidet Schülerantworten nicht nur nach der Fähigkeit, sondern in manchen Fällen
auch nach dem gezeigten Lösungsweg oder bestimmten Fehlertypen. Hierfür dient ein zweistelliges
Codiersystem – das Double-Digit-Coding. Bei den zweistelligen Codes steht die erste Ziffer für die demonstrierte
Fähigkeit (die gutgeschriebene Punkteanzahl) und die zweite Ziffer zeigt einen bestimmten
Lösungsweg oder Fehlertyp an. Hierdurch können wertvolle Informationen über Fehlinterpretationen
von Schülerinnen und Schülern, verbreitete Fehler und verschiedene Lösungswege gesammelt und mit
unterschiedlichen Kontextvariablen in Verbindung gesetzt werden. Für PISA 2006 wurden insgesamt 12
Fragen der Domänen Naturwissenschaft und Mathematik – das ist rund ein Sechstel aller offenen Fragen
– nach einem zweistelligen Bewertungssystem vercodet. Abbildung VIII.2 gibt einen Überblick, wie viele
unterschiedliche Fragen pro Domäne dem Coding unterzogen werden mussten und wie viele davon
mittels eines einstelligen bzw. mittels eines zweistelligen Codiersystems bewertet werden mussten. In der
Domäne Lesen gibt es nur einstellige Codes.
Anzahl der offenen Fragen
Domäne
einstellige zweistellige
GESAMT
Vercodung Vercodung
Naturwissenschaft 34 8 42
Mathematik 16 4 20
Lesen 17 0 17
GESAMT 67 12 79
Abbildung VIII.2: Anzahl der offenen Fragen nach Codingsystem und Domäne
Seite 136
VIII. Coding

Abbildung VIII.3 gibt ein Beispiel für die Differenzierung von Schülerantworten beim Double-Digit-
Coding. Die Tabelle enthält auch spezielle Codes, die im folgenden Abschnitt näher erläutert werden.
Punkte
Interpretation der
gezeigten Fähigkeit
Code
Code-Interpretation
Full Credit
2
Antwort demonstriert
hohe Fähigkeit
21 Kriterien x und z erfüllt; Lösungsweg 1
22 Kriterien x und z erfüllt; Lösungsweg 2
23 Kriterien x und z erfüllt; anderer Lösungsweg
Partial Credit
1
Antwort demonstriert
mittlere Fähigkeit
11 Kriterium z erfüllt, Kriterium x nicht erfüllt
12 Kriterium x erfüllt, Kriterium z nicht erfüllt
01 Kriterien x und z nicht erfüllt; Fehlertyp 1
No Credit
0
Antwort demonstriert
geringe Fähigkeit
02 Kriterien x und z nicht erfüllt; Fehlertyp 2
03 Krieterien x und z nicht erfüllt; anderer Fehler
99 Missing: Beantwortung wurde nicht versucht
Abbildung VIII.3: Beziehung zwischen Codes und demonstrierter Fähigkeit bei Double-Digit-Coding
2.3 Spezielle Codes
Im Folgenden werden spezielle Codes erklärt, die zur Anwendung kommen, wenn eine Schülerantwort
keinem der vorher angeführten Codes zugeordnet werden kann:
• Code für Andere falsche Antworten wird für jene Antworten verwendet, wo der/die Schüler/in die Frage
erfolglos bearbeitet hat. Die Kategorie „Andere Antworten“ inkludiert Antworten wie „Ich weiß es
nicht“, „Diese Frage ist zu schwer“, „mir ist die Zeit ausgegangen“, Fragezeichen („?“) Striche („–“),
Häkchen, Kreuzchen, eine Antwort, die aufgeschrieben wurde und dann gelöscht oder durchgestrichen
worden ist und eine Antwort, die eindeutig keinen ernsthaften Lösungsversuch darstellt, wie
Witze, Schimpfwörter, Namen von Popstars oder negative Äußerungen über den Test.
• Code für Missing wird vergeben, wenn ein/e Schüler/in die Beantwortung der Frage offensichtlich
nicht versucht hat. Der Platz, wo die Antwort stehen sollte, ist leer.
• Code für Not Applicable wird verwendet, wenn bei einer Frage Druck- oder Satzfehler vorliegen und
es deshalb für den/die Schüler/in nicht möglich war, sie zu beantworten.
3. Aufbau der Coding-Instrumente
Die wichtigsten Unterlagen für die Coder/innen sind die Coding Guides. Bei PISA 2006 gibt es drei
verschiedene Coding Guides, je einen für Naturwissenschaft, Mathematik und Lesen. Ein Coding Guide
beinhaltet alle offenen Aufgaben einer Domäne mit den dazugehörigen Bewertungsrichtlinien. Das
sind die Anweisungen für das Coding von Schülerantworten. Die Bewertungsrichtlinien beschreiben
inhaltliche Kriterien für jeden bei dieser Aufgabe möglichen Code, und illustrieren die Codes durch
Musterantworten.
Abbildungen VIII.4 bis VIII.6 zeigen die Bewertungsrichtlinien für je ein Item jeder Domäne. Die
Aufgaben zu den hier beschriebenen Bewertungsabschnitten finden sich im Anhang. Die
Bewertungsrichtlinien aller Domänen enthalten eine Überschrift sowie Name und ID des entsprechenden
Items. Darauf folgt eine Beschreibung der Codes, absteigend von Full Credit zu No Credit. Eine
Schülerantwort muss entsprechend der in den Bewertungsrichtlinien vorgegebenen Kriterien für den jeweiligen
Code bewertet werden. Diese Bewertung hält der/die Coder/in im Testheft durch das Einkreisen
des Codes fest. Besonders nützlich für die Coder/innen haben sich die Beispielantworten zu jedem Code
erwiesen. Diese stellen wesentliche Entscheidungshilfen im aktuellen Coding-Prozess dar und erleichtern
eine konsistente Zuordnung der Antworten zu den Codes.
VIII. Coding
Seite 137

Die Bewertungsrichtlinien in Lesen geben darüber hinaus die Absicht der Frage an (vgl. Abbildung
VIII.5). Diese bezieht sich auf Teilgebiete des Lese-Frameworks (vgl. Abschnitt 1.3 in Kapitel III). Die
Absicht des in Abbildung VIII.5 dargestellten Items (Frage 05 der Unit Graffiti) ist Interpretation. Wie
bereits erwähnt, gibt es in Lesen ausschließlich einstellige Codes, während es in allen anderen Domänen
auch Aufgaben mit zweistelligem Coding gibt.
FRAGE 4: WINDPARKS
S529Q04 – 0 1 2 9
Beschreibe einen speziellen Vorteil und einen speziellen Nachteil der Erzeugung elektrischen Stroms
mithilfe von Windenergie im Vergleich zur Stromerzeugung mithilfe fossiler Brennstoffe wie Kohle oder
Öl.
WINDPARKS BEWERTUNG 4
Full Credit
Code 2: Ein spezieller Vorteil und ein spezieller Nachteil werden beschrieben.
Anmerkung: Es ist möglich, dass die Kosten eines Windparks als Vor- oder Nachteil gesehen
werden, abhängig davon welcher Aspekt berücksichtigt wird (z. B. Errichtungskosten oder
Betriebskosten). Daher ist eine Erwähnung der Kosten ohne weitere Erklärung nicht
ausreichend, um einen Credit weder für einen Vorteil noch für einen Nachteil zu bekommen.
[Vorteil]
Setzt kein Kohlendioxid (CO 2) frei.
Verbraucht keine fossilen Brennstoffe.
Die Ressource Wind wird nicht aufgebraucht.
Wenn ein Windkraftwerk einmal gebaut ist, sind die Kosten zur Stromerzeugung gering.
Keine Abfallprodukte und/oder keine giftigen Substanzen werden ausgestoßen.
Verwenden von Naturkräften oder sauberer Energie.
Umweltfreundlich und wird für eine sehr lange Zeit halten.
Partial Credit
Code 1:
No Credit
Code 0:
Code 9:
[Nachteil]
Erzeugung nach Bedarf ist nicht möglich (weil die Windgeschwindigkeit nicht kontrolliert werden
kann).
Gute Stellen für Windkrafträder sind begrenzt.
Das Windkraftrad könnte durch zu starken Wind beschädigt werden.
Die Strommenge, die durch jedes einzelne Windkraftrad erzeugt wird, ist relativ gering.
In manchen Fällen tritt Lärmbelästigung auf.
Manchmal werden Vögel getötet, wenn sie in die Rotoren fliegen.
Natürliche Landschaftsbilder werden verändert.
Teuer aufzustellen.
Es wird entweder ein richtiger Vorteil oder ein richtiger Nachteil (wie in den Beispielen zu
„Full Credit“ dargestellt), aber nicht beides beschrieben.
Kein richtiger Vorteil oder richtiger Nachteil (wie oben dargestellt) wird beschrieben.
Einzelne Beispiele von nicht akzeptablen Vorteilen oder Nachteilen sind unten angeführt.
Gut für die Umwelt oder Natur. [Diese Antwort ist eine allgemeine Feststellung.]
Schlecht für die Umwelt oder Natur.
Es kostet weniger, ein Windkraftrad zu bauen als ein Kraftwerk für fossile Brennstoffe. [Das
missachtet die Tatsache, dass sehr viele Windkrafträder gebraucht würden, um dieselbe Menge
Leistung zu erzeugen wie ein Kraftwerk für fossile Brennstoffe.]
Es würde nicht so viel kosten.
Antwort fehlt.
Abbildung VIII.4 Bewertungsrichtlinien zu Frage 04 aus der Unit Windparks aus der Domäne Naturwissenschaft
Seite 138
VIII. Coding

FRAGE 5: GRAFFITI
R081Q05- 0 1 9
Warum verweist Sophia auf die Werbung?
GRAFFITI BEWERTUNG 5
ABSICHT DER FRAGE: Textinterpretation: eine beabsichtigte Querverbindung erkennen
Full credit
Code 1:
ODER:
No credit
Code 0:
ODER:
Code 9:
Erkennt, dass ein Vergleich zwischen Graffiti und Werbung angestellt wird.
Antwort entspricht dem Gedanken, dass Werbung eine legale Form von Graffiti ist.
Sie will uns zeigen, dass die Werbung genauso lästig sein kann wie Graffiti.
Weil manche Leute meinen, Werbung sei genauso hässlich wie die Sprayereien.
Sie sagt, Werbung sei einfach eine erlaubte Form von Graffiti.
Sie meint, Werbung ist auch wie Graffiti.
Weil man auch nicht um Erlaubnis gefragt wird, wenn eine Werbetafel angebracht wird.
[Der Vergleich zwischen Werbung und Graffiti ist implizit.]
Weil Werbung in unserer Gesellschaft ohne unsere Erlaubnis angebracht wird, genau wie
Graffiti.
Weil Werbetafeln wie Graffiti sind. [Minimalantwort. Erkennt eine Ähnlichkeit, ohne weiter
auszuführen, worin die Ähnlichkeit besteht.]
Weil es eine andere Form von Ausstellung ist.
Weil die Werbeleute Plakate an die Wand kleben und sie meint, dass das auch Graffiti
sind.
Weil die auch an den Wänden ist.
Weil sie genauso schön oder hässlich anzusehen ist.
Sie verweist auf die Werbung, weil die im Gegensatz zu Graffiti akzeptiert ist.
[Ähnlichkeit von Graffiti und Werbung wird durch die gegensätzliche Einstellung zu den
beiden ausgedrückt.]
Erkennt, dass der Verweis auf die Werbung eine Strategie zur Verteidigung von
Graffiti ist.
Damit wir einsehen, dass Graffiti schließlich doch legitim sind.
Antwort ungenügend oder vage.
Auf diese Weise drückt sie ihre Meinung aus.
Weil sie es möchte, sie erwähnt sie als Beispiel.
Es ist eine Strategie.
Firmenlogos und Ladennamen.
Zeigt ungenaues Verständnis des Materials oder gibt eine nicht plausible oder
irrelevante Antwort.
Sie beschreibt die Graffiti.
Weil die Leute Graffiti darüber sprühen.
Graffiti ist eine Art Werbung.
Weil Graffiti Werbung für eine bestimmte Person oder Bande sind. [Vergleich geht in die
falsche Richtung, das heißt, Graffiti ist eine Form von Werbung.]
Missing
Abbildung VIII.5 Bewertungsrichtlinien zu Frage 05 der Unit Graffiti aus der Domäne Lesen
VIII. Coding
Seite 139

FRAGE 2: FLÄCHE EINES KONTINENTS
M148Q02 – 01 02 11 12 13 14 21 22 23 24 25 99
Schätze die Fläche der Antarktis, indem du den Maßstab auf der Karte benutzt.
Gib an, wie du zu deiner Schätzung gekommen bist. (Du kannst in der Karte zeichnen, wenn dir das
bei deiner Schätzung hilft.)
FLÄCHE EINES KONTINENTS BEWERTUNG 2
Full credit
[Diese Codes sind für Antworten mit der richtigen Methode UND dem richtigen Ergebnis. Die zweite
Ziffer bezeichnet verschiedene Vorgehensweisen]
Code 21: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - zwischen
12 000 000 km² und 18 000 000 km² (Einheiten nicht nötig).
Code 22: Schätzung durch Zeichnen eines Kreises - zwischen 12 000 000 km² und
18 000 000 km².
Code 23: Schätzung durch die Addition regelmäßiger geometrischer Figuren - zwischen
12 000 000 km² und 18 000 000 km².
Code 24: Schätzung durch andere korrekte Methode - zwischen 12 000 000 km² und
18 000 000 km².
Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“) von
diesem.
Code 25: richtige Antwort (zwischen 12 000 000 km² und 18 000 000 km²) aber keine Erklärung.
Partial credit
[Diese Codes werden für inkorrekte oder unvollständige Antworten aber mit einer richtigen Methode
vergeben. Die zweite Ziffer bezeichnet verschiedene Vorgehensweisen analog zur zweiten Stelle der
Codes für richtige Antworten.]
Code 11: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - korrekte Methode, aber
falsches oder unvollständiges Ergebnis.
Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Antwort ist eine Überoder
Unterschätzung (z.B. 18 200 000)
Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Anzahl der Nullen ist
falsch (z.B. 4 000 x 3 500 = 140 000)
Zeichnet ein Rechteck und multipliziert Breite mit Länge, vergisst aber den Maßstab zu
verwenden, um auf Quadratkilometer umzuwandeln (z.B. 12cm x 15cm = 180)
Zeichnet ein Rechteck und bestimmt die Fläche mit 4000km x 3500km. Keine weiteren
Berechnungen vorhanden.
Code 12: Schätzung durch Zeichnen eines Kreises – korrekte Methode, aber falsches oder
unvollständiges Ergebnis.
Code 13: Schätzung durch die Addition regelmäßiger geometrischer Figuren - korrekte Methode,
aber falsches oder unvollständiges Ergebnis.
Code 14: Schätzung durch andere korrekte Methode - korrekte Methode, aber falsches oder
unvollständiges Ergebnis.
Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“)
von diesem.
No credit
Code 01: Der Umfang wurde anstelle der Fläche geschätzt.
z.B. 16 000 km weil der Maßstab von 1000 km 16 mal um die Landkarte herumgehen
würde
Code 02: Andere falsche Antworten
z.B. 16 000km (keine weiteren Erläuterungen oder Berechnungen vorhanden.)
Code 99: Missing
Seite 140
VIII. Coding

ZUSAMMENFASSENDE TABELLE
Die folgende Tabelle zeigt die Beziehung zwischen den Codes:
Schätzungsmethode
Richtige Antwort –
zwischen 12 000 000
and 18 000 000 km²
Code
Teilweise richtig – korrekte
Methode, aber inkorrektes oder
unvollständiges Ergebnis
Nicht richtig
Zeichnen eines
Rechtecks
21 11 —
Zeichnen eines Kreises 22 12 —
Addition regelmäßiger
geom. Figuren
23 13 —
andere korrekte
Methoden
24 14 —
keine Erklärung
vorhanden
25 — —
Durchmesser — — 01
andere falsche
Antworten
— — 02
Missing — — 99
ANMERKUNG:
Bei der Bewertung dieser Frage muss besonders auch das berücksichtigt werden, was die
Schüler/innen in der Karte eingezeichnet haben (zusätzlich zu der geschriebenen Antwort). Sehr oft
erklären Schüler/innen, was sie getan haben, nicht sehr gut in Worten, man kann aber Rückschlüsse
daraus ziehen, was in der Karte eingezeichnet wurde. Das Ziel dieser Frage ist es nicht, dass
Schüler/innen in Worten erklären können, was sie tun. Das Ziel ist es, herauszufinden, wie sie zu ihrer
Antwort gekommen sind. Deshalb erachten Sie die Erklärung als gegeben, wenn Sie sie aus den
Einträgen in der Karte nachvollziehen können - auch dann, wenn keine Erklärungen in Worten
gegeben werden.
Abbildung VIII.6 Bewertungsrichtlinien zu Frage 02 der Unit Fläche eines Kontinents aus der Domäne Mathematik
4. Internationale Umsetzungsrichtlinien
Dieser Abschnitt beschreibt die Richtlinien des internationalen Zentrums, die von den nationalen
Projektzentren bei der Umsetzung des Codings eingehalten werden müssen. Diese Richtlinien beinhalten
Vorgaben für die Rekrutierung der Coderinnen und Coder, die Vorbereitung der Testhefte für den
Coding-Prozess, die Durchführung des Coder-Trainings und das Coding der Testhefte.
4.1 Rekrutierung der Coder/innen
Coder/innen, die bereits beim Feldtest für PISA gearbeitet haben, sollten auf Grund ihrer einschlägigen
Erfahrung bevorzugt werden. Alle rekrutierten Personen müssen am speziellen PISA-Coder-Training teilnehmen,
unabhängig davon, ob sie bereits Erfahrung bei PISA oder verwandten Projekten gesammelt
haben.
Vom internationalen Zentrum wird vorgeschlagen, 16 Coder/innen gemeinsam für die beiden Domänen
Naturwissenschaft und Mathematik sowie 4 weitere Coder/innen für Lesen anzustellen. Weiters wird
empfohlen, für Naturwissenschaft und Mathematik zwei, für Lesen einen Reserve-Coder oder eine
Reserve-Coderin zu trainieren, die zumindest an einigen Coding-Einheiten teilnehmen. Dies stellt sicher,
dass bei Ausfall oder Ausschluss einer Coderin oder eines Coders (z. B. auf Grund mangelnder Qualität
der Arbeit, Krankheit etc.) noch mindestens eine weitere Coderin oder ein weiterer Coder vorhanden ist,
die/der sofort einspringen kann.
VIII. Coding
Seite 141

Coder/innen müssen ein gutes Verständnis für den Schulstoff in Naturwissenschaft, Mathematik oder
Lesen der mittleren Sekundarstufe haben. Sie müssen Erfahrungen mit Schülerantworten dieser Schulstufe
aufweisen und wissen, wie sich Schüler/innen ausdrücken. Gut geeignete Coderinnen und Coder sind
beispielsweise beurlaubte und kürzlich pensionierte Lehrerinnen und Lehrer sowie Lehramtsstudentinnen
und Lehramtsstudenten in einem höheren Semester.
Weiters wird vorgeschlagen, für jede Domäne Table Leaders zu rekrutieren. Das sind besonders qualifizierte
Coder/innen, die nicht nur Fachwissen für die jeweilige Domäne vorweisen können, mit den
PISA-Tests vertraut sind und vorzugsweise über Erfahrung in der Bewertung offener Schülerantworten
verfügen. Table Leaders helfen bei der Organisation des Codings, klären Fragen bezüglich des Coding
Guides und spielen eine wichtige Rolle bei der Qualitätskontrolle des Codings.
Alle Coderinnen und Coder müssen sich verpflichten, die Inhalte der PISA-Testmaterialen geheim zu halten,
bevor sie irgendwelche Kopien davon sehen oder erhalten. Jeder Coderin und jedem Coder muss eine
dreistellige Identifikationsnummer zugeteilt werden. Dies ist nötig, um im weiteren Verlauf auf einfache
Weise dokumentieren zu können, welche Coderin bzw. welcher Coder welche Aufgabenblöcke (Cluster)
in welchen Testheften beurteilt hat.
4.2 Schulung der Coder/innen
Auf internationaler Ebene ist die Teilnahme am Coder-Workshop des internationalen Konsortiums
Pflicht. Hier versammeln sich Vertreter/innen der nationalen Zentren und werden von Experten und
Expertinnen des internationalen Zentrums in das Coding von Schülerantworten eingeschult. Anhand
ausgesuchter Beispiele – dem internationalen Workshop-Material – werden Bewertungsrichtlinien diskutiert.
Somit wird deren konsistente Anwendung gewährleistet. Die Mitarbeiter/innen der nationalen
Zentren werden so zu Coding-Supervisorinnen bzw. Supervisoren ausgebildet. Aufgabe dieser Supervisor/innen
ist es, die nationalen Coder-Schulungen durchzuführen, einen richtlinienkonformen organisatorischen
Ablauf des Codings sicherzustellen und den Table Leaders bei Problemen als Ansprechpartner
zur Verfügung zu stehen.
Vor der nationalen Coder-Schulung ist es nötig, dass die rekrutierten Coder/innen die Aufgaben ihrer
Domäne selbst bearbeiten. Dies soll sie einerseits mit den PISA-Aufgaben bekannt machen und ihr
Verständnis für die Perspektive der Schüler/innen fördern. Danach sollen die Coder/innen die Coding
Guides sorgfältig durcharbeiten und sich bei Unklarheiten Fragen notieren, die dann im nationalen
Coder-Workshop geklärt werden.
Für jede Domäne muss eine eigene nationale Coder-Schulung abgehalten werden. In diesen Workshops
soll zunächst ein Überblick über die PISA-Studie und den organisatorischen Ablauf des Codings gegeben
werden. Danach sollen die Beispiele des übersetzten internationalen Workshop-Materials bearbeitet
werden. Während der Schulung ist eine offene Diskussion über die Zuordnung von Codes zu
Schülerantworten nötig. Ziel des Workshops ist es, bei der Vergabe von Codes für einzelne Antworten
Konsens zu erreichen.
Unmittelbar nach dem Workshop sollen die Coder/innen zu jedem Item ihrer Domäne bis zu 25
Beispielantworten bewerten. Diese Beispielantworten sollen von Schülerinnen und Schülern des eigenen
Landes (Schülerantworten vom Feldtest oder aus PISA 2000 bzw. 2003) stammen. Wichtig ist, dass
die einzelnen Coder/innen bei dieser Übung selbstständig arbeiten. Die Supervisor/innen müssen diese
Antwort-Codes überprüfen und den Coderinnen und Codern über ihre Leistung Rückmeldung geben.
Der Anteil der richtig vercodeten Items sollte mindestens 85 % betragen. Wenn ein oder mehrere Coder/
innen diese Reliabilitätsschwelle nicht erreichen, ist für diese Personen zusätzliches Training nötig, bevor
der eigentliche Coding-Prozess beginnt. Wenn sich nach dem zusätzlichen Training herausstellt, dass
einzelne Coder/innen nicht den erforderlichen Standard erreichen, wird empfohlen, sich von diesen zu
trennen.
Seite 142
VIII. Coding

4.3 Vorbereitung der Testhefte für das Coding
Als erstes wird eine Rücklaufkontrolle durchgeführt, bei der sichergestellt wird, dass alle Testmaterialien
zurückgekommen sind (vgl. Abschnitt 4.4 in Kapitel VI). Danach müssen die Testhefte ihrer Form nach
sortiert werden. Von jeder der Testheftformen 1, 3, 5, 6, 8 sowie 10 muss eine repräsentative Stichprobe von
je 100 Testheften für das Multiple Coding beiseite gelegt werden. Repräsentativ heißt, dass die Testhefte
über alle Strata und möglichst viele verschiedene Schulen streuen, damit möglichst viele unterschiedliche
Schülerantworten diesem Prozess unterzogen werden. In den oben angeführten Testheftformen werden
jeweils zwei (bzw. einmal drei) Aufgabenblöcke derselben Domäne dem Prozess des Multiple Codings
unterzogen. Dieses Design führt dazu, dass alle Aufgaben jeder Domäne beim Multiple Coding vorkommen.
Für das Single Coding werden die verbleibenden Testhefte nach deren Form auf Stöße aufgeteilt, die von
den Coderinnen und Codern jeweils in einer Arbeitseinheit bearbeitet werden können.
4.4 Vercoden der Schülerantworten
Grundsätzlich ist das Single Coding vom Multiple Coding zu unterscheiden. Als Single Coding wird die
„normale“ Prozedur des Codings von Schülerantworten bezeichnet, bei der jede Schülerantwort von
je einer Coderin bzw. einem Coder bewertet wird. Während des Single Codings sind Fragen möglich
und die Vergabe von Codes wird von den Supervisoren bzw. Supervisorinnen überprüft. Anschließend
erhalten die Coder/innen Rückmeldung über die Qualität ihrer Arbeit. Ziel des Single Coding, das den
größten Teil des Coding-Prozesses ausmacht, ist das korrekte Coding der Schülerantworten. Das Multiple
Coding ist eine Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl von Schülerantworten durch
vier Coderinnen bzw. Coder unabhängig voneinander bewertet wird. Während des Multiple Coding
müssen die Coder/innen selbstständig arbeiten, dass heißt, es sind keine Fragen erlaubt. Ziel, ist die
Feststellung der Qualität des Codings, gemessen durch die Beurteilerübereinstimmung. Zur Bestimmung
der Schülerleistung wird die Bewertung der vierten Coderin bzw. des vierten Coders herangezogen.
4.4.1 Single Coding
Beim Single Coding werden jeder Coderin und jedem Coder nach einem vorgegebenen Rotationsschema
bestimmte Testhefte zugeteilt, wobei eine Coderin bzw. ein Coder pro Testheft nur einen Aufgabenblock
(Cluster) bewertet. Somit wird gewährleistet, dass die Antworten jeder Schülerin bzw. jedes Schülers von
mehreren unterschiedlichen Coderinnen bzw. Coder bewertet werden. Diese Prozedur ist neben der fundierten
Schulung der Coder/innen und laufenden Qualitätskontrollen (vgl. unten) ein weiterer Schritt,
der sicherstellt, dass die Leistungen von Schülerinnen und Schülern nicht systematisch durch personabhängige
Bewertungsmängel beeinflusst werden.
Die Bewertung der Schülerantworten hat sowohl beim Single Coding als auch beim Multiple Coding
„Item by Item“ zu erfolgen. Die Coderin bzw. der Coder muss also über die zugewiesenen Testhefte
hinweg immer erst die Antworten auf eine Frage vollständig bewerten, ehe er mit der nächsten beginnt.
Diese Vorgehensweise gewährleistet, dass bei der Bewertung eines Items durchgehend die gleichen
Bewertungsmaßstäbe angewandt werden, und dass sich zeitliche Qualitätsunterschiede in der Arbeit einer
Coderin oder eines Coders auf mehrere Schülerinnen bzw. Schüler verteilen.
Während des Single-Coding-Prozesses sollen sich die Coder/innen bei Unklarheiten an den Table Leader
der jeweiligen Domäne wenden. Dieser soll dann – je nach Art der Frage – individuell oder der gesamten
Gruppe Rückmeldung geben. Diese Rückmeldung muss vor Beginn der nächsten Arbeitssitzung erfolgen,
um zu verhindern, dass sich bereits identifizierte Fehler in der weiteren Arbeit fortsetzen. Wenn Fragen
über das Coding spezifischer Schülerantworten vom jeweiligen Table Leader nicht gelöst werden können,
soll sich dieser an die Supervisorin bzw. den Supervisor der jeweiligen Domäne wenden. Kann auch diese
bzw. dieser die Frage nicht eindeutig klären, so soll die Supervisorin bzw. der Supervisor die Frage per
E-Mail an das Coder-Query-Service des internationalen Zentrums weiterleiten, wo Expertinnen und
Experten die eintreffenden Fragen beantworten. Das Coder-Query-Service ist eine Einrichtung des inter-
VIII. Coding
Seite 143

nationalen Projektkonsortiums, die sich aus den Verantwortlichen des internationalen Zentrums für die
Itemerstellung zusammensetzt und die oberste Entscheidungskompetenz im Zusammenhang mit dem
Coding von Schülerantworten hat.
Die Table Leader müssen beim Single Coding aus jedem bereits bewerteten Heftstoß eine Zufallsstichprobe
von vercodeten Antworten überprüfen, um falsche Codes zu identifizieren. Wenn sich dabei herausstellt,
dass eine Coderin oder ein Coder Probleme bei der konsistenten Anwendung der Bewertungsrichtlinien
hat, dann sollen von dieser Coderin bzw. diesem Coder mehr Codings in die Überprüfung miteingeschlossen
werden. Vor Beginn der nächsten Coding-Einheit, sollen die Table Leaders die Ergebnisse ihrer
stichprobenartigen Überprüfungen mit den Coderinnen und Codern durchgehen und bestehende
Unklarheiten beseitigen.
4.4.2 Multiple Coding
Dieser Prozedur werden nur bestimmte Aufgabenblöcke einer jeden für das Multiple Coding vorgesehenen
Testheftform unterzogen. Die anderen Aufgabenblöcke werden mittels Single Coding bewertet.
Für das Multiple Coding sind jene Aufgabenblöcke vorgesehen, die möglichst weit vorn im Testheft
vorkommen. Das hat vor allem den Grund, dass Aufgaben zu Beginn der Testhefte häufiger beantwortet
werden als jene am Ende. Im vorderen Teil des Testhefts sind daher mehr Schülerantworten, welche für
die Feststellung der Beurteilerübereinstimmung herangezogen werden können.
Das Multiple Coding muss am Ende des Coding-Prozesses durchgeführt werden, nachdem die Coder/
innen im Single Coding die Anwendung der Bewertungsrichtlinien perfektioniert haben. Das Multiple
Coding muss absolut selbstständig, d. h. ohne Hilfe anderer Coder/innen oder des Table Leaders, durchgeführt
werden.
Wie beim Single Coding erfolgt auch beim Multiple Coding die Zuteilung der Testhefte zu den Coderinnen
und Codern in rotierter Form. Dies hat zum Ziel, möglichst viele verschiedene Coder-Kombinationen
unterschiedlichen Clustern zuzuordnen, um die Beurteilungen bei unterschiedlichen Cluster-Coder-
Zusammenstellungen vergleichen zu können. So können einerseits zufällige Beurteilerübereinstimmunge
n vermieden werden (weil z. B. alle den gleichen Fehler machen) und bei jeder Coderin bzw. jedem Coder
alle für das Coding relevanten Items ihrer/seiner Domäne überprüft werden.
Im Gegensatz zum Single Coding, wo die Coder/innen die Codes in der entsprechenden Code-Zeile im
Testheft einkreisen, müssen beim Multiple Coding die ersten drei Coder/innen ihre Codes in so genannte
Multiple-Coding-Sheets eintragen und erst die vierte Coderin bzw. der vierte Coder kreist die Codes direkt
im Testheft ein. Für jede Testheftform gibt es ein eigenes Multiple-Coding-Sheet. Dieses umfasst neben
Nummer, Name und Reihenfolge (erster, zweiter oder dritter) der Coderin bzw. des Coders die Schüler-
ID, die Namen und Nummern der zu bewertenden Items der jeweiligen Unit sowie alle zugehörigen
Codes.
5. Ablauf des Codings im Haupttest 2006
Im Rahmen eines Coder-Workshops, den Expertinnen und Experten des internationalen Projektzentrums
leiteten, wurden Mitarbeiter/innen des nationalen Zentrums in Ablauf und Organisation des Coding
sowie in die Bewertungsrichtlinien für die einzelnen Items eingeschult. Die Teilnehmer/innen dieses
Workshops hatten die Aufgabe, die international vorgesehenen Prozeduren auf nationaler Ebene umzusetzen.
In diesem Abschnitt wird die konkrete Umsetzung der internationalen Richtlinien in Österreich
beschrieben.
5.1 Rekrutierung der Coder/innen
Die Rekrutierung der Coder/innen erfolgte mittels Aushängen und Rundmails an der Universität Salzburg
(Fachbereich Erziehungswissenschaft, Naturwissenschaftlichen Fakultät) und der Pädagogischen Akademie
sowie ein Inserat in der ÖH-Jobbörse im Internet. Weitere Unterstützung leisteten der Landesschulrat für
Salzburg sowie das Pädagogische Institut Salzburg.
Seite 144
VIII. Coding

Zunächst wurden alle Bewerber/innen zu einem Vorstellungsgespräch eingeladen, in dem sie ihre
Qualifikationen berichteten und über PISA und den Ablauf des Codings informiert wurden. Im Rahmen
dieses Vorstellungsgesprächs wurden den Bewerberinnen und Bewerbern auch PISA-Aufgaben mit dazugehörigen
Bewertungsrichtlinien vorgelegt und die Bewerber/innen sollten einige Schülerantworten
vercoden. Dadurch erhielten die Bewerber/innen einen besseren Einblick in ihre Aufgabe als Coder/in
und das nationale Zentrum konnte die Bewerber/innen auf ihre Qualifizierung hin überprüfen. Für jede
Domäne wurden Spezialisten rekrutiert, die jeweils nur für diese Domäne zuständig waren. Insgesamt
wurden 25 Coder/innen rekrutiert, davon 15 für Naturwissenschaft und je fünf für Mathematik und
Lesen. Darunter befinden sich auch die zusätzlich rekrutierten Coder/innen (drei für Naturwissenschaften,
je einer für Mathematik und Lesen). Diese Coder/innen fungierten in Österreich nicht nur als Reserve-
Coder/innen, sondern waren laut Empfehlung des Coding-Verantwortlichen von A.C.E.R. während des
Single Codings den übrigen Coderinnen und Codern gleichgestellt. Nur für das Multiple Coding, wo
eine exakte Anzahl von zwölf bzw. vier Coder und Coderinnen nötig war, wurden die nicht erforderlichen
Coder/innen per Losentscheid ausgeschlossen (vgl. Abschnitt 4.4.2 idK.).
Die österreichischen Coder/innen können betreffend ihrer Qualifikation mindestens einer der folgenden
Gruppe zugeordnet werden:
• (arbeitssuchende) Lehrer/innen;
• fertig ausgebildete AHS-Lehrer/innen, die gerade ihr Unterrichtspraktikum absolvieren;
• Höhersemestrige, die eines der für PISA relevanten Fächer studieren;
• Personen, die bereits in früheren PISA-Zyklen als Coder/in für PISA tätig waren.
In Österreich wurden keine eigenen Table Leaders rekrutiert, da die Mitarbeiterinnen des PISA-Zentrums,
die als Supervisorinnen fungierten, auch die Rolle des Table Leaders übernahmen. Hierdurch wurde
einerseits vermieden, eine Hierarchie zwischen den Coderinnen und Codern aufzubauen, andererseits
waren die Mitarbeiterinnen während der Bürozeiten ständig und darüber hinaus nach Vereinbarung verfügbar,
womit die Tätigkeit des Codings nicht an vorgegebene Zeiten (einheitliche Coding-Sitzungen)
gebunden war. Weiters wurde die zeitliche Verfügbarkeit der Supervisorinnen auch insofern ausgedehnt,
indem jeweils zwei Mitarbeiterinnen für eine Domäne zuständig waren und beide den internationalen
Coder-Workshop für die jeweilige Domäne besucht haben. Die Zuständigkeit zweier Supervisorinnen für
eine Domäne brachte zusätzlich den Vorteil, dass diese über bestimmte Coding-Probleme und -Fehler
auch untereinander diskutieren konnten und bei einem Ausfall einer Supervisorin (z. B. durch Krankheit)
der Coding-Prozess nicht gefährdet wäre. Für die Domäne Naturwissenschaft wurde eine zusätzliche
Mitarbeiterin, die über Erfahrung beim Coding verfügte und ein naturwissenschaftliches Studium abgeschlossen
hatte, eingestellt.
5.2 Schulung der Coder/innen
Die Schulung der Coder/innen umfasst eine individuelle Vorbereitungsphase und die Teilnahme am
Coder-Workshop. Zuerst beantworteten alle Coder/innen vor dem Coder-Workshop die Testaufgaben
der jeweiligen Domäne im nationalen Projektzentrum. Dadurch erhielten die Coder/innen Einblick in
die Situation der Schüler/innen. Anschließend bekamen die Coder/innen auch den Coding Guide, den
sie zur Vorbereitung auf den Workshop durcharbeiten sollten. Auf Grund der strengen Geheimhaltungsbestimmungen,
die es verbieten, Coding-Unterlagen außer Haus zu geben, hatte das Beantworten der
Fragen und das Durchlesen des Coding Guides im nationalen Zentrum zu erfolgen.
Für jede Domäne gab es Ende April/Anfang Mai einen Coder-Workshop. Die Termine für die Workshops
wurden so gewählt, dass alle Einschulungen möglichst knapp vor Beginn des Codings stattfanden, um
die erworbenen Kenntnisse so schnell wie möglich in die Praxis umzusetzen. Zur sofortigen Festigung
des erworbenen Wissens begannen die Coder/innen bereits nach dem ersten Workshop, die behandelten
Aufgabenblöcke in den Testheften zu bewerten.
Die Coder-Workshops führte die Supervisorin der jeweiligen Domäne durch. Diese gliederten sich entsprechend
der internationalen Vorgaben in die folgenden Bereiche:
VIII. Coding
Seite 145

(1) offizielle Begrüßung, Kennenlernen der Coder/innen, Bekanntgabe des Ablaufs der Schulung;
(2) allgemeiner Überblick über die PISA-Studie;
(3) Ausgabe der Materialien: jede Coderin und jeder Coder erhielt zusätzlich zu seinem Coding Guide
das übersetzte internationale Workshop-Material;
(4) Erläuterung und Diskussion der allgemeinen Prinzipien und Richtlinien beim Coding in PISA (vgl.
Abschnitt 1 idK.).
(5) Behandlung der einzelnen Items nach folgendem Schema:
• Erklären der Fragestellung und der zugehörigen Bewertungsrichtlinien;
• selbstständiges Coding der Beispielantworten im Workshop-Material;
• Diskussion der Codes mit dem Ziel, dass jede Coderin und jeder Coder die Kriterien für die
jeweiligen Codes nachvollziehen und Schülerantworten konsistent danach bewerten kann;
• laufendes Klären von Fragen und Unklarheiten;
(6) Erklärung des organisatorischen Ablaufs inklusive der gemeinsamen Besichtigung der Material- und
der Coding-Räume, der Erklärung der Anordnung der Testhefte und der Prozedur des Reservierens
von Testheft-Stößen für Arbeitseinheiten;
(7) jede Coderin bzw. jeder Coder bearbeitet selbstständig die vorgelegten Beispielantworten aus dem
Feldtest und aus PISA 2000 und 2003.
Anschließend an den Coder-Workshop wertete die Supervisorin das Coding der Beispielantworten aus. So
konnte überprüft werden, ob alle Coder/innen das Trainingsziel (die korrekte Vergabe von Codes) erreicht
haben. Kein/e Coder/in durfte mit der Bewertung der Testhefte beginnen, bevor er/sie Rückmeldung zu
seiner/ihrer Codevergabe erhalten hatte. Alle österreichischen Coder/innen erfüllten beim Coding der
Bespielantworten die internationalen Kriterien. Somit konnten die Coder/innen schon am Tag nach dem
Coder-Workshop mit dem Single Coding der Testhefte beginnen.
5.3 Vorbereitung der Testhefte für das Coding
Im Rahmen von PISA 2006 übernahm das österreichische Projektzentrum auch die Verantwortung für das
Coding der PISA-Testhefte Südtirols und der deutschsprachigen Gemeinschaft Belgiens. Diese Testhefte
langten auf Grund der früheren Testtermine dieser Länder schon Anfang Mai am nationalen Zentrum
ein. Das gleiche Coder-Team wie für Österreich übernahm das Coding für diese Testhefte.
Im Folgenden wird am Beispiel der österreichischen Testmaterialien genauer auf die für das Coding
durchgeführten Vorbereitungsmaßnahmen eingegangen. Am Beginn dieser Maßnahmen stand die
Rücklaufkontrolle der Testmaterialien. Anschließend wurden die Testhefte und Fragebögen entsprechend
ihrer Form sortiert. Die Fragebögen wurden sofort an das Dateneingabepersonal weitergeleitet. Bei den
Testheften wurden, den internationalen Vorgaben entsprechend, je 100 Hefte aus den Formen, die für
das Multiple Coding vorgesehen waren (vgl. Abschnitt 4.4.2 idK.), zufällig ausgewählt. Die restlichen
Testhefte jeder Form wurden für das Single Coding in fünfzehn Stöße aufgeteilt. Jeder Stoß bekam eine
Ziffern-Buchstaben-Kombination zugewiesen und wurde mittels eines Rotationsschemas Coderinnen
und Codern zugeordnet. Dieses Rotationsschema stellte sicher, dass die vier Aufgabenblöcke (Cluster)
eines Testhefts von unterschiedlichen Personen bewertet wurden, und dass jede Coderin bzw. jeder Coder
alle Cluster ihrer bzw. seiner Domäne bewertete.
5.4 Vercoden der Schülerantworten
Da keine Testinstrumente oder Unterlagen, die PISA-Testaufgaben enthalten, das nationale Zentrum verlassen
durften, war das Coding an den Ort des nationalen Zentrums gebunden. Für das Coding wurden
drei Räume adaptiert: einer für die übersichtliche Lagerung der Testhefte und zwei für die Durchführung
des Codings.
5.4.1 Single Coding
Um einen reibungslosen organisatorischen Ablauf zu gewährleisten, bekam jede Coderin und jeder Coder
einen Arbeitsplan, auf dem Cluster- und Stoßname der von ihm zu bearbeitenden Testhefte eingetragen
Seite 146
VIII. Coding

waren. Jede Coderin und jeder Coder musste auf einer Liste vermerken, wann sie/er welchen Stoß bearbeitet,
um sicherzustellen, dass ein Stoß nicht von mehreren Coderinnen und Coder gleichzeitig benötigt
wird. Jede Coderin und jeder Coder musste im Lauf des Coding-Prozesses alle Cluster ihrer/seiner
Domäne bewerten. Während des Codings gab es immer wieder Deadlines, bis zu denen eine bestimmte
Anzahl von Clustern bewertet sein mussten.
Bei organisatorischen und fachlichen Fragen konnten sich die Coder/innen an die Supervisorin ihrer
Domäne wenden. Insbesondere wurden die Coder/innen aufgefordert, nicht eindeutig bewertbare
Schülerantworten zu markieren und am Ende der Arbeitssitzung mit der jeweiligen Supervisorin das
Coding abzusprechen. Die Supervisorin erklärte dabei der Coderin bzw. dem Coder, welcher Code vorgeschrieben
ist und warum die jeweilige Antwort so zu vercoden ist. Konnte jedoch auch die Supervisorin
nicht eindeutig entscheiden, welchem Code die jeweilige Antwort zuzuordnen ist, blieb die Schülerantwort
weiterhin markiert und sie diskutierte mit der Kollegin ihrer Domäne die Codevergabe. Ist auch hier kein
eindeutiger Konsens erreicht worden, wurde die Schülerantwort übersetzt und per E-Mail an das internationale
Coder-Query-Service weitergeleitet. Die Rückmeldungen des Coder-Query-Service wurden mit
allen Coder/innen der jeweiligen Domäne besprochen und in Mappen im Coding-Raum gesammelt.
Auf internationaler Ebene wurden die Rückmeldungen zu den Coder Queries der Teilnehmerländer in
einer kennwortgeschützten Online-Ressource von A.C.E.R. verfügbar gemacht. Aktualisierungen dieser
Ressource leiteten die Supervisorinnen unverzüglich an die Coder/innen weiter.
Als zusätzliche Qualitätssicherungsmaßnahme im Single Coding überprüften die Supervisorinnen stichprobenartig
das Coding. In etwa wurden die Codes von jedem sechsten Testheft kontrolliert. Entdeckten
die Supervisorinnen Fehler bei der Codevergabe, korrigierten sie diese und gaben der jeweiligen Coderin
bzw. dem jeweiligen Coder Rückmeldung über ihre bzw. seine Fehler, bevor diese/r mit ihrer/seiner
nächsten Arbeitseinheit begann. Waren diese Rückmeldungen auch für die übrigen Coder/innen einer
der Domäne von Relevanz, so wurden sie auch diesen mitgeteilt und in der Mappe im Coding-Raum archiviert.
Wenn die Supervisorinnen systematische Fehler bei einer Coderin bzw. einem Coder entdeckten,
kontrollierten sie alle Codes dieser Aufgabe.
5.4.2 Multiple Coding
Wie in Abschnitt 4.1 idK. angeführt, wurden in Österreich pro Nebendomäne je fünf Coder/innen
rekrutiert, in Naturwissenschaften waren es insgesamt 15. Für das Multiple Coding wurden aber pro
Nebendomäne nur vier und für Naturwissenschaft zwölf Coder/innen benötigt, da jede Aufgabe genau
von vier Coderinnen bzw. Codern zu bewerten war. Deshalb wurden per Losentscheid fünf Coder/innen
(jeweils einer pro Nebendomäne und drei in Naturwissenschaft) ausgeschlossen. Diese Coder/innen
bewerteten die Schülerantworten der Aufgabenblöcke in den Multiple-Coding-Heften, die nicht für das
Multiple-Coding vorgesehen waren. Diese Cluster wurden aus den in Abschnitt 4.4.1 idK. erläuterten
Gründen dem Single Coding unterzogen.
Die für das Multiple Coding vorgesehenen Coder/innen konnten nach Fertigstellung ihrer Single-Coding-
Aufgaben mit dem Multiple Coding beginnen. Vor der ersten Multiple-Coding-Arbeitseinheit erklärten
die Supervisorinnen jeder Coderin bzw. jedem Coder nochmals den speziellen Ablauf und händigten
die Multiple Coding Sheets aus. Besonders wurde darauf hingewiesen, dass das Multiple Coding absolut
selbstständig zu erfolgen hat und keine Fragen, weder an die Supervisorinnen noch an andere Coder/innen,
erlaubt sind. Daraufhin konnten die Coder/innen alle Multiple Coding Cluster ihrer Domäne bearbeiten,
sofern sie im Rotationsschema nicht Position vier für den jeweiligen Cluster hatten, was bedeutet,
dass sie als letzte vercoden müssen, weil sie ihre Codes direkt in die Testhefte eintragen müssen.
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess
Qualitätssicherung ist im Coding von herausragender Bedeutung, geht es doch um die Vergleichbarkeit
der gewonnenen Leistungsdaten sowohl auf nationaler als auch auf internationaler Ebene. Mängel bei der
Bewertung der Schülerantworten machen einen Großteil der erhobenen Daten unbrauchbar. Deshalb
VIII. Coding
Seite 147

werden enorme Anstrengungen unternommen, um eine hohe Qualität beim Coding zu erreichen. Diese
Anstrengungen beziehen sich sowohl auf die Qualitätssicherung der Instrumente und Prozeduren als
auch auf laufende Qualitätssicherungs- und -kontrollmaßnahmen über den gesamten Coding-Prozess
hinweg.
6.1 Die Bedeutung des Feldtests für das Coding
Wie bereits in der Einleitung zu diesem Kapitel erwähnt, besteht der grundsätzliche Unterschied zwischen
Feld- und Haupttest darin, dass der Haupttest der Gewinnung von Leistungs- und Kontextdaten dient,
während das Ziel des Feldtests die Überprüfung und Verbesserung der Instrumente und Prozeduren ist.
Somit ist der Feldtest eine entscheidende Maßnahme zur Sicherstellung verlässlicher Daten im Haupttest.
In diesem Abschnitt wird die Bedeutung des Feldtests für das Coding beschrieben.
6.1.1 Erprobung der Bewertungsrichtlinien
Die in den Coding Guides gesammelten Bewertungsrichtlinien (Coding Instructions) dienen den
Coderinnen und Codern als Entscheidungsgrundlage bei der Zuordnung von Codes zu Schülerantworten
(vgl. Abschnitt 4.2 idK.). Auf Grund ihrer zentralen Bedeutung bedürfen Coding Guides einer gewissenhaften
Entwicklung, die die Qualität dieser Instrumente sicherstellt. Eine gute Qualität der Coding
Guides äußert sich durch sinnvolle und praktisch gut anwendbare Richtlinien für die Zuordnung
von Codes zu Schülerantworten. Ob die Bewertungsrichtlinien eine sinnvolle Differenzierung der
Schülerantworten ermöglichen, prüfen vor allem testtheoretische Analysen zu den Ergebnissen des
Feldtests: Häufigkeitsanalysen zeigen, wie viele Schülerantworten es zu den jeweiligen Codes gibt, spezielle
statistische Verfahren testen, wie gut die Codes zwischen guten und schlechten Leistungen differenzieren.
Liegen schlechte Gütekriterien vor, wird entweder die gesamte Frage ausgeschlossen oder es werden
die Bewertungsrichtlinien für den Haupttest modifiziert.
Die Qualität der Bewertungsrichtlinien wird durch die Beurteilerübereinstimmung im Multiple Coding
des Feldtests überprüft. Eine hohe Beurteilerübereinstimmung spricht für eine eindeutige Zuordenbarkeit
von Schülerantworten zu Codes. Eine niedrige Beurteilerübereinstimmung kann, abhängig davon, ob
nur eine oder mehrere Fragen davon betroffen sind und ob sie nur innerhalb eines Landes oder auch zwischen
den Ländern identifiziert wird, unter anderem die folgenden Ursachen haben: Übersetzungsfehler,
uneindeutige Bewertungsrichtlinien, Schwächen in der Rekrutierung oder im Training der Coder/innen.
Auf Grund dieser vielfältigen Mängel, die durch Multiple Coding sichtbar gemacht werden können,
nimmt es innerhalb des Feldtests eine besondere Bedeutung ein, da hier noch die Möglichkeit zur
Behebung der entdeckten Mängel besteht. So werden im Feldtest die Hälfte der für das Coding bestimmten
Schülerantworten dem Multiple Coding unterzogen. Dies stellt sicher, dass Mängel erkannt
und durch geeignete Maßnahmen beseitigt werden, z. B. durch eindeutigere Bewertungsrichtlinien oder
Änderung von Formulierungen.
6.1.2 Erprobung der Prozeduren
Die Prozeduren sind in Feld- und Haupttest grundsätzlich dieselben. Im Feldtest werden in Relation zum
Haupttest allerdings mehr Testhefte dem Multiple Coding unterzogen. Die übrigen Prozeduren werden
der geringeren Stichprobe (geringeren Anzahl an Schülerantworten) im Feldtest angepasst. Die wichtigsten
Unterschiede im Feldtest gegenüber dem Haupttest sind dabei die folgenden:
• geringere Anzahl an Coderinnen bzw. Codern (6 statt 25),
• im Feldtest wurden nur Naturwissenschafts-Aufgaben vercodet, da für Naturwissenschaft als Hauptdomäne
zahlreiche neue Items entwickelt und erprobt wurden; Mathematik- und Lese-Coding waren
nicht erforderlich, da alle Aufgaben dieser Domänen von PISA 2003 übernommen wurden,
• geringere Anzahl an Testhefen und Testheftformen, was mit weniger Testheftstößen einhergeht.
Das Coding im Feldtest ist auf Grund der gleichen Prozeduren auch ein wichtiger Probedurchlauf für das
Coding im Haupttest. So können Schwierigkeiten in der Organisation oder der Umsetzung bereits im
Feldtest erkannt und im Haupttest vermieden werden. Dies gilt insbesondere auch für die im folgenden
Seite 148
VIII. Coding

Abschnitt erwähnten Qualitätssicherungsmaßnahmen, die sowohl im Feld- als auch im Haupttest durchgeführt
werden.
6.2 Qualitätssicherung und -kontrolle
Alle Prozeduren zur Qualitätssicherung und -kontrolle werden durch internationale Richtlinien (vgl.
Abschnitt 4 idK.) vorgegeben und müssen auf nationaler Ebene umgesetzt werden (vgl. Abschnitt 5 idK.).
Dies stellt sicher, dass die folgenden Qualitätssicherungsmaßnahmen nach einem international einheitlichen
(Mindest-)Standard ablaufen und dadurch die PISA-Leistungsdaten über die Teilnehmerländer hinweg
vergleichbar werden. Die Abläufe werden hier nur mehr kurz und in Hinblick auf qualitätsrelevante
Aspekte erwähnt, da sie bereits in den Abschnitten 4 und 5 detaillierter beschrieben wurden.
• Kriteriumsorientierte Rekrutierung der Coder/innen: Coder/innen weisen Qualifikationen auf, die die
Vertrautheit im Umgang mit Schülerantworten und die Vertrautheit mit dem Schulstoff der neunten
und zehnten Schulstufe sicherstellen.
• Standardisierte Coder-Schulungen und Tests: Die Coder-Workshops, im Speziellem die Diskussion über
Codes für gewisse Schülerantworten, sind wesentliche Schritte für das einheitliche Coding. Dafür
werden die standardisierten Workshop-Materialien und die Coding Guides verwendet. Zudem wird
die Effektivität der Schulung überprüft, indem Coderinnen und Coder selbstständig Beispielantworten
bewerten müssen und zu dieser Arbeit Rückmeldung bekommen, noch ehe sie mit dem Coding
der Testhefte beginnen.
• Rotierte Zuordnung von Testheften zu Codern und Coderinnen: Jedes Testheft gliedert sich in vier Aufgabenblöcke
(Cluster), die von unterschiedlichen Coderinnen und Codern bewertet werden. Dies stellt
sicher, dass keine Schülerin und kein Schüler von nur einer Coderin oder einem Coder beurteilt wird
und weiters, dass keine Coderin und kein Coder alle oder viele Schülerantworten einer Schule/einer
Schulform bewertet. Der systematische Einfluss von Coder-Effekten wird so minimiert.
• Qualitätskontrolle beim Single Coding: Laufende Kontrolle der Arbeit der Coder/innen und damit verbundene
Rückmeldungen stellen eine weitere Vereinheitlichung der Coder-Bewertungen sicher und
machen Schwierigkeiten beim Coding bestimmter Antworten frühzeitig sichtbar und behebbar.
• Multiple Coding: Das Coding jeder Schülerantwort unabhängig durch vier Coder/innen erfüllt in
Feld- und Haupttest unterschiedliche Funktionen. Im Feldtest dienen Indikatoren der Beurteilerübereinstimmung
vor allem der Qualitätskontrolle und -verbesserung der Bewertungsrichtlinien und
der Coder-Schulung. Im Haupttest dient Multiple Coding der Kontrolle der Auswertungsobjektivität.
Eine niedrige Beurteilerübereinstimmung indiziert hier mangelnde Datenqualität und schlechte
Vergleichbarkeit der vergebenen Codes. Um eine Vergleichbarkeit der Daten sowohl auf nationaler
als auch auf internationaler Ebene zu gewährleisten, ist daher eine hohe Beurteilerübereinstimmung
erforderlich.
Um sicherzustellen, dass Beurteilerübereinstimmungen der nationalen Coder/innen nicht durch systematische
Coding-Fehler zu Stande gekommen sind, wird auf internationaler Ebene eine Inter-Country-Rater-
Reliability-Study durchgeführt. Zu diesem Zweck muss jedes Teilnehmerland eine gewisse Anzahl von
Multiple-Coding-Testheften an das internationale Projektzentrum senden. Dort werden die Multiple-
Coding-Aufgaben dieser Testhefte durch Coding-Experten bewertet, die die Sprache des jeweiligen
Landes beherrschen. Eine genaue Beschreibung dieser Prozedur findet sich in Abschnitt 4.2 in Kapitel
XII. In anschließenden Analysen wird überprüft, wie sehr die Expertenurteile mit den Urteilen der
Coder/innen der jeweiligen Länder übereinstimmen. Österreich sendete insgesamt 180 Multiple-Coding-
Testhefte zur Inter-Country-Rater-Reliability-Study. Die Ergebnisse dieser Analysen werden zusammen
mit den Kennzahlen der Beurteilerübereinstimmung der einzelnen Teilnehmerländer im internationalen
Technischen Bericht publiziert.
VIII. Coding
Seite 149

Bibliografie
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden
und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.
Bergmüller, S. (2004). Marking. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 08.02.2007]
Seite 150
VIII. Coding

IX
BERUFSKLASSIFIKATION
Ursula Schwantner
1. Berufsklassifikation nach ISCO
1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO
1.2 Konzeptioneller Rahmen der ISCO-88
1.3 Aufbau der ISCO-88
1.4 Codierregeln und Besonderheiten der ISCO-88
1.5 Modifikationen der ISCO-88 nach Ganzeboom & Treiman (1996)
1.6 Die ISCO-88 als Basis für den sozioökonomischen Status
2. Die ISCO-Codierung bei PISA 2006
2.1 Fragen zur berufl ichen Tätigkeit
2.2 Internationale Richtlinien bei der Berufsklassifizierung
2.3 Berufsklssifizierung auf nationaler Ebene
2.4 Einschulung der ISCO-Coder/innen
2.5 Vercodungsleistung und Analyse der Restkategorien
3. Qualitätssicherung bei der ISCO-Codierung
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Wallner-Paschon, 2004). Die
Autorin dieses Kapitels dankt Claudia Schreiner (geb. Reiter) und Christina Wallner-Paschon für die Bereitstellung der Texte.

Eine zentrale Variable im Hinblick auf die Analyse der Leistungsdaten stellt der sozioökonomische
Status der Schüler/innen dar. Dieser wird mit Hilfe der Variable „Beruf der Eltern“ berechnet, welche
im Schülerfragebogen enthalten ist. Die Schüler/innen werden gebeten, den Beruf der Mutter und des
Vaters zu benennen (z. B. „Lehrerin“) und zu beschreiben (z. B. „unterrichtet Mathematik in einem
Gymnasium“). Diese Bezeichnungen und Beschreibungen werden von geschulten Coderinnen und
Codern klassifiziert, d. h. mit entsprechenden Codes versehen, die in weiterer Folge in Werte des sozioökonomischen
Status (Social Economic Index – SEI) transformiert werden. Die Klassifikation der
Berufe erfolgt mittels der International Standard Classification of Occupations (international standardisierte
Berufsklassifikation) aus dem Jahr 1988, der „ISCO-88“. Dieses internationale Klassifikationsschema
wird in PISA eingesetzt, um die daraus generierten Statuswerte (SEI) über die Teilnehmerländer
hinweg vergleichen zu können. Im Folgenden werden die für PISA relevanten Anwendungsbezüge der
Berufsklassifizierung sowie die Konzeption der ISCO-88 und die darauf aufbauende Skala des sozioökonomischen
Status dargestellt. Danach wird die Vorgehensweise bei der Berufsklassifikation in PISA 2006
erläutert. Abschließend werden die Maßnahmen zur Qualitätssicherung beschrieben.
1. Berufsklassifikation nach ISCO
1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO
Im Jahr 1958 gab die ILO (International Labour Organisation) erstmals eine internationale Berufssystematik
heraus (ISCO-58), um internationale Vergleiche von Arbeitsmarktstatistiken zu ermöglichen.
Danach folgte die ISCO-68 und schließlich die ISCO-88 (ILO, 1990). Die Verwendung der ISCO-88 in
PISA weist eine Reihe von Vorteilen auf: Zum einen ist die Klassifikation nach ISCO-88 weit verbreitet
und in den meisten Teilnehmerländern in Verwendung. Zum anderen können viele nationale Berufsklassifikationssysteme
problemlos in die ISCO-88 überführt werden. Des weiteren bauen eine Reihe
von bereits vorhandenen und validierten Skalen des sozioökonomischen Status (SEI) auf die ISCO-88
auf, womit die Möglichkeit gegeben ist, diese bereits vorliegenden und auf ihre Gültigkeit hin geprüften
Skalen zur Transformation der ISCO-Codes in SEI-Werte einzusetzen.
Für den Verwendungszweck in PISA wird eine geringfügig modifizierte Version der ISCO-88 von
Ganzeboom & Treiman (1996) zur Berufsklassifizierung eingesetzt. Das internationale Zentrum stellt
allen Teilnehmerländern eine Liste mit allen in PISA verwendeten ISCO-88-Codes (nach Ganzeboom
& Treimann, 1996) zur Verfügung, anhand derer die jeweils vorliegende nationale ISCO-Version (falls
vorhanden) ergänzt bzw. adaptiert werden kann. In PISA ist es den Teilnehmerländern zwar erlaubt, nationale
Berufsklassifikationssysteme einzusetzen, jedoch muss sichergestellt sein, dass sich diese problemlos
in ISCO-88-Codes umwandeln lassen, damit die einheitliche Transformation in SEI-Werte gewährleistet
ist 1 .
In Österreich sind für die Berufsklassifikation in PISA neben der ISCO-88 mit den Modifikationen
von Ganzeboom & Treimann (1996) noch zwei weitere Klassifikationssysteme relevant: Die ISCO-88
(COM), welche die für EU-Standards modifizierte Fassung der ISCO-88 darstellt und auch in deutscher
Sprache vorliegt (Elias & Birch, 1991), sowie die Ö-ISCO (Österreich-ISCO), welche die Statistik
Austria seit 1992 für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet. Die Ö-ISCO
baut auf der ISCO-88 sowie der ISCO-88 (COM) auf und beinhaltet nur geringfügige Spezifikationen.
Im Folgenden wird das Konzept der internationalen Standardklassifikation der Berufe anhand der ISCO-
88 näher erläutert, da dieses Schema die Basis für alle weiteren ISCO-Versionen darstellt.
1.2 Konzeptioneller Rahmen der ISCO-88
Die ISCO-88 ist so konzipiert, dass die Summe der Aufgaben und Pflichten, die von einer Person wahrzunehmen
sind, die zu klassifizierende Einheit darstellt. Dabei wird nicht nur die formale Ausbildung berücksichtigt,
sondern auch die Fähigkeiten, die im Laufe einer Berufskarriere erworben werden („training
on the job“, Erfahrungswissen). Dieses Konzept wird Skill-Konzept genannt. Skills sind demnach all jene
Seite 152
IX. Berufsklassifikation

Fertigkeiten, die gebraucht werden, um die mit einer Arbeit verbundenen Aufgaben und Pflichten erfüllen
zu können. Durch die Unterscheidung von Skill Level (Qualifikationsniveau) und Skill Specialisation
(Art der ausgeübten Tätigkeit) ist es möglich, diese Fertigkeiten auf unterschiedlichen Hierarchieebenen
zu relativ ähnlichen Kategorien zusammenzufassen. Für die hierarchische Gliederung innerhalb der ISCO
werden vier Skill Levels definiert, welche die Ausbildungsstufen der International Standard Classification
of Education 1997 (ISCED-97) repräsentieren. Abbildung IX.1 zeigt die vier Skill Levels mit den korrespondierenden
Qualifikationsniveaus (ISCED-Kategorien).
Skill Level 1 entspricht der Ausbildung im Primarbereich (Grundschule bzw. Volksschule). Skill Level 2
umfasst die Ausbildung im Sekundarbereich I und II. Hier können zusätzlich eine betriebliche Ausbildung
und das Sammeln von Berufserfahrung erforderlich sein, wie es zum Beispiel bei der Lehrlingsausbildung
der Fall ist. Die nächste Gliederungskategorie – Skill Level 3 – umfasst die im Alter von 17 oder 18 Jahren
beginnende Ausbildung mit einer Dauer von ungefähr vier Jahren. Bildungsgänge dieser Kategorie sind
z. B. Kollegs und Akademien (für Sozialarbeit, Berufspädagogische Akademie, Pädagogische Akademie).
Skill Level 4 enthält Ausbildungen, die zu einem Universitätsabschluss, einem Fachhochschulabschluss, einem
Postgraduiertenabschluss oder einem gleichwertigen Abschluss führen (ILO, 1990; Wallner-Paschon,
2004). Die Kategorie 4 der ISCED (Aufbaulehrgänge, Schulen für Gesundheits- und Krankenpflege,
Schulen für med.-techn. Fachdienst sowie Universitätslehrgänge, die kürzer als 2 Jahre dauern) wurde in
der ISCO-88 bewusst freigelassen (ILO, 1990).
Skill Level
1. Level
2. Level
3. Level
4. Level
Ausbildungsqualifikation nach ISCED-97
ISCED 1:
Primarausbildung (Volksschule, Sonderschule);
Dauer ungefähr 4 Jahre
ISCED 2 und 3:
Sekundarausbildung (Unter- und Oberstufe), Lehre –
betriebliche Ausbildung, Sammeln von Berufserfahrungen
(HS, AHS, Sonderschule, BMS, BHS, Polytechnische
Schule, Abendschule, Land- und Forstwirtschaftliche
Schulen); Dauer zwischen 5 und 7 Jahren)
ISCED 5B:
Tertiäre Ausbildung mit einem Abschluss, der
nicht mit einem Universitätsabschluss gleichwertig ist
(Meister- und Werkmeisterausbildung, Kollegs, SozAk,
PädAk); Dauer zwischen 3 und 4 Jahren
ISCED 5A, 6:
Tertiäre Ausbildung mit FH-Abschluss,
erstem und/oder zweitem Universitätsabschluss,
Postgraduiertenabschluss oder gleichwertigem
Abschluss; Dauer zwischen 3 und 6 Jahren
Mit Skill Specialisation wird hingegen das Gebiet bezeichnet, auf dem Kenntnisse erforderlich sind,
um die jeweiligen Aufgaben kompetent ausführen zu können. Dazu gehören bestimmte Bereiche,
Produktionsprozesse, Materialien, erzeugte Waren, die Art der Dienstleistungen etc. Je nach
Differenzierungsgrad kann die Skill Specialisation weiter oder enger gefasst werden.
1.3 Aufbau der ISCO-88
Abbildung IX.1: Die ISCO-88 Skill-Levels in Anlehnung an die ISCED-97
Die ISCO-88 ist in vier Ebenen gegliedert: Auf der ersten Ebene befinden sich die 10 Berufshauptgruppen
(BHG), die hierarchisch angeordnet sind. Innerhalb dieser erfolgt jeweils eine weitere Untergliederung
IX. Berufsklassifikation
Seite 153

(auf Basis der Skill Specialisation) in insgesamt 28 Berufsgruppen auf der zweiten Ebene, 116 Berufsuntergruppen
auf der dritten Ebene und letztlich 390 Berufsgattungen auf der vierten Gliederungsebene.
Die hierarchische Gliederung auf der Hauptgruppenebene erfolgt anhand der vier Skill-Levels, wobei
Berufshauptgruppe 1 (Gesetzgebende Körperschaften, leitende Verwaltungsbedienstete und Führungskräfte
in der Privatwirtschaft) und 0 (Soldaten) nicht zugeordnet werden. Bei diesen beiden Hauptgruppen
werden Aspekte der beruflichen Tätigkeit wie Leitungsfunktionen im politischen und wirtschaftlichen
Bereich bzw. militärische Aufgaben als übergeordnete Abgrenzungskriterien herangezogen. Ein Verkäufer
beispielsweise, der ein eigenes Geschäft besitzt, wird nicht Berufshauptgruppe 5 „Dienstleistungsberufe,
Verkäufer in Geschäften und auf Märkten“ zugeordnet, sondern der Berufshauptgruppe 1 „Führungskräfte
in der Privatwirtschaft“. Es wird damit der Tatsache Rechnung getragen, dass der Grad der Komplexität
der Aufgaben bei einem Verkäufer im eigenen Geschäft höher ist, da er zusätzlich zur Verkaufstätigkeit
auch Aufgaben eines Unternehmers zu tätigen hat. Abbildung IX.2 zeigt die 10 Berufshauptgruppen
(BHG) mit den dazugehörigen Skill Levels.
BHG Bezeichnung der Berufshauptgruppe Skill Level
1
Angehörige gesetzgebender Körperschaften, leitende
Verwaltungsbedienstete und Führungskräfte in der Privatwirtschaft
–
2 Wissenschafter 4
3 Techniker und gleichrangige nichttechnische Berufe 3
4 Bürokräfte, kaufmännische Angestellte 2
5 Dienstleistungsberufe, Verkäufer in Geschäften und auf Märkten 2
6 Fachkräfte in der Landwirtschaft und Fischerei 2
7 Handwerks- und verwandte Berufe 2
8 Anlagen und Maschinenbediener sowie Montierer 2
9 Hilfsarbeitskräfte 1
[ – ]
0 Soldaten
Abbildung IX.2: Berufshauptgruppen der ISCO-88 mit den zugehörigen Skill Levels (Wallner-Paschon, 2004)
Auf der untersten Gliederungsebene der Berufsgattungen werden Berufe bzw. berufliche Tätigkeiten zusammengefasst,
die hinreichend ähnlich sind, um für statistische Zwecke als eine Einheit betrachtet zu
werden. Die Berufsgattung repräsentiert die berufliche Tätigkeit (erfasst durch Berufsbezeichnung und
Beschreibung) und stellt die zu klassifizierende Einheit dar.
Die vier Gliederungsebenen der ISCO werden durch den vierstelligen ISCO-Code abgebildet. Die erste
Stelle des Codes steht für die Berufshauptgruppe, die zweite für die Berufsgruppe, die dritte für die
Berufsuntergruppe und die vierte Stelle für die Berufsgattung. Die Vollständigkeit des Codes repräsentiert
demnach die Präzision, mit der ein Beruf erfasst wurde. Im Folgenden wird dies anhand des Berufs
„Diplomkrankenschwester“ demonstriert:
Code: Gliederungsebene:
3000 Berufshauptgruppe 3: Techniker und gleichrangige nichttechnische Berufe
3200 Berufsgruppe 32: Biowissenschaftliche- und Gesundheitsfachkräfte
3230 Berufsuntergruppe 323: Diplomierte Krankenschwestern, -pfleger und Geburtshilfefachkräfte
ohne akademische Ausbildung
3231 Berufsgattung: Diplomierte Krankenschwestern und -pfleger
Seite 154
IX. Berufsklassifikation

1.4 Codierregeln und Besonderheiten der ISCO-88
Obwohl die vier Gliederungsebenen und die einzelnen Berufsgattungen im ISCO-88-Manual sehr präzise
erläutert und definiert sind, erfordert die Anwendung eines derartig komplexen Klassifizierungsschemas
zusätzliche Regeln.
Berufliche Tätigkeiten, deren Aufgaben und Pflichten gleichzeitig mehreren Berufshauptgruppen zugeordnet
werden könnten, sollen durch die Anwendung folgender Prioritätenregeln klassifiziert werden:
• In Fällen, in denen Aufgaben und Pflichten mit unterschiedlichen Prozessstadien (Produktion, Dienstleistung
etc.) verbunden sind, haben jene Aufgaben und Pflichten Vorrang, die mit dem Produktionsprozess
in Verbindung stehen. Zum Beispiel soll ein Arbeiter, der Brot und Kuchen bäckt und diese
dann auch verkauft, als Bäcker, und nicht als Verkäufer klassifiziert werden.
• In Fällen, in denen Aufgaben bzw. Pflichten Fähigkeiten auf unterschiedlichen Skill Levels erfordern,
sollen jene mit dem höchsten Skill Level vercodet werden. Zum Beispiel soll eine Person, die im eigenen
Restaurant kocht, nicht als Koch, sondern als „Leiter kleiner Unternehmen – Restaurants und
Hotels“ klassifiziert werden.
Ein weiteres Reglement, welches im ISCO-Manual festgelegt ist, bezieht sich auf Auszubildende, wie
z. B. Lehrlinge, sowie sonstige Personen, die in die Berufsausbildung involviert sind (z. B. Meister oder
Lehrlingsausbildner). Diese Personen sind entsprechend ihren tatsächlichen Aufgaben und Pflichten
zu codieren, was bedeutet, sowohl den Malermeister als auch den Malerlehrling als Maler zu klassifizieren
(vgl. Wallner-Paschon, 2004). Eine Besonderheit der Klassifikation nach ISCO-88 stellt die
Unterscheidung in „Leiter“ großer und kleiner Unternehmen dar: große Unternehmen beschäftigen 10
oder mehr Mitarbeiter, kleine Unternehmen beschäftigen 0–9 Mitarbeiter. Achtgegeben werden muss
u. a. auf Tätigkeiten in der öffentlichen Verwaltung, die auf Grund der Tätigkeitsbeschreibung sowohl
BHG 1 (Angehörige gesetzgebender Körperschaften und leitende Verwaltungsbedienstete), BHG 2
(Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes), BHG 3 (Verwaltungssekretäre und
Fachkräfte) als auch BHG 4 (Sonstige Büroangestellte) zugeordnet werden können. Auch die Zuordnung
von Tätigkeiten in der Land- und Forstwirtschaft und Fischerei kann je nach Spezialisierung in die
Berufshauptgruppen 1, 2, 3, 6, 8 oder 9 erfolgen, in Österreich kommt jedoch hauptsächlich BHG 6
(Landwirte/Bauern) zur Anwendung.
Berufsangaben die zu ungenau sind, um einer spezifischen Gattung zugeordnet werden zu können, werden
bei der ISCO-Codierung der nächst höheren Abstraktionsstufe zugeordnet (z. B. Lehrer/in erhält
Code 2300 wenn die Unterscheidung in Primarstufe [Code 2330] und Sekundarstufe [Code 2320] nicht
gegeben ist). Bei manchen Berufsuntergruppen gibt es auch die Kategorie „anderweitig nicht genannt“.
Diese kann dann gewählt werden, wenn ein Beruf zwar detailliert erfasst wird, jedoch nicht aufgelistet ist
(z. B. Produktions- und Operationsleiter anderweitig nicht genant).
Die Einhaltung der Prioritätenregeln und Beachtung der Besonderheiten ist wesentlich für die Genauigkeit
der ISCO-Codierung und wird daher bei der Einschulung der Coder/innen besonders berücksichtigt
(siehe unten).
1.5 Modifikationen der ISCO-88 nach Ganzeboom und Treiman (1996)
Für die Zwecke in PISA fällt Berufshauptgruppe 0 (Soldaten) weg, da die militärischen Berufsgattungen
anderen Hauptgruppen zugeordnet sind (Ganzeboom & Treiman, 1996). Ebenso gibt es keine Kategorie
„Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes“ innerhalb BHG 2, diese müssen
weiterhin nach ihrer Tätigkeit (unabhängig vom öffentlichen Dienst) klassifiziert werden (Ganzeboom &
Treiman, 1996).
1.6 Die ISCO-88 als Basis für den sozioökonomischen Status
Unter „Status“ wird hier die Position einer Person in Relation zur Position anderer Personen verstanden.
Der Status stellt somit die Position von Menschen in einem hierarchischen Zusammenhang dar.
Umgelegt auf den sozialen Status meint man demnach die Positionierung von Personen in der Hierarchie
IX. Berufsklassifikation
Seite 155

der Gesellschaft, in der sie
sich bewegen. Wird der soziale
Status über die empirischen
Dimensionen Beruf, Bildung
(Schul- und Berufsbildung)
und Einkommen erhoben,
spricht man nicht mehr vom
sozialen, sondern vom sozioökonomischen
Status. Dabei
wird der Beruf als Bindeglied
zwischen Bildung und
Einkommen verstanden (siehe
Abbildung IX.3). Es wird
davon ausgegangen, dass jede
berufliche Tätigkeit einen bestimmten
Bildungsgrad erfordert
und durch ein bestimmtes
Lohnniveau gekennzeichnet ist
(Wallner-Paschon, 2004).
Der sozioökonomische Status
der Familie, aus der dieSchüler/innen
stammen, wird in PISA durch den ISEI (International Socio-Economic Index, ISEI kurz SEI)
operationalisiert und nach der Methode von Ganzeboom, de Graff und Treimann (1992) skaliert. Die
SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) kombiniert Informationen über den Beruf,
das Einkommen und die Bildung. Die Skala ist so konstruiert, dass ein hoher SEI-Wert mit einem hohen
sozioökonomischen Status einhergeht. Technisch ist die SEI-Skala an die Berufsgattungen der ISCO-88
gebunden, was bedeutet, dass die Status-Werte auf der Basis der ISCO-Codes generiert werden. Dabei
werden die vierstelligen ISCO-Codes durch Recodierungsanweisungen in die jeweiligen SEI-Werte transformiert.
Indem der sozioökonomische Status eine wichtige Erklärungsvariable für die Schülerleistungen
darstellt, kommt der ISCO-Codierung indirekt über die Generierung der SEI-Werte ein wichtiger
Stellenwert zu.
Der theoretische Hintergrund der SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) sowie die
Skalenkonstruktion sind bei Wallner-Paschon, 2004, Kapitel IX näher beschrieben.
2. Die ISCO-Codierung bei PISA 2006
2.1 Fragen zur beruflichen Tätigkeit
Alter
Ausbildung
Beruf
indirekter Effekt
direkter Effekt
Einkommen
Abbildung IX.3: Pfadanalytisches Modell mit dem Beruf als intervenierende
Variable (Wallner-Paschon, 2004)
Der Beruf der Eltern wird in PISA durch offene Fragen erfasst, was auf Grund der zu erwartenden
Vielzahl an unterschiedlichen Antworten einer allgemein üblichen Vorgehensweise entspricht. Gefragt
wird nach dem Beruf beider Elternteile (Vater und Mutter), wobei zuerst nach der Berufsbezeichnung
und anschließend nach der Tätigkeitsbeschreibung gefragt wird (siehe Abbildung IX.4). Antworten zu
beiden Fragen – Berufsbezeichnung sowie der dazugehörigen Tätigkeitsbeschreibung – stellen die zu klassifizierende
Einheit, also die berufliche Tätigkeit, dar. Zusätzlich enthält der Schülerfragebogen eine Frage
nach den beruflichen Plänen der Schüler/innen, die nach demselben Schema vercodet wird, wobei aber
nur die Berufsbezeichnung als Information für die Klassifizierung zur Verfügung steht (Wallner-Paschon,
2004).
Seite 156
IX. Berufsklassifikation

Erfassung der Berufe in PISA 2006
5a. Welchen Beruf übt deine Mutter aus?
(z. B. Volksschullehrerin, AHS-Lehrerin, Küchengehilfin, Verkaufsleiterin)
(Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, welchen Beruf sie zuletzt ausgeübt hat.)
Beruf:______________________________________________________
5b. Was macht deine Mutter in diesem Beruf?
(z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem
Restaurant beim Kochen, ein Verkaufsteam leiten)
Beschreib bitte die Tätigkeiten in einigen Worten. Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte
an, was sie in ihrer letzten Arbeit gemacht hat.
8a. Welchen Beruf übt dein Vater aus?
(z. B. Volksschullehrer, AHS-Lehrer, Küchengehilfe, Verkaufsleiter)
(Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, welchen Beruf er zuletzt ausgeübt hat.)
Beruf:______________________________________________________
8b. Was macht dein Vater in diesem Beruf?
(z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem
Restaurant beim Kochen, ein Verkaufsteam leiten)
Beschreib bitte die Tätigkeiten in einigen Worten. Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an,
was er in seiner letzten Arbeit gemacht hat.
30. Was meinst du, welchen Beruf du mit 30 Jahren haben wirst?
Beruf:______________________________________________________
Abbildung IX.4: Fragen zum Beruf der Eltern sowie zu den beruflichen Plänen der Schüler/innen in PISA 2006
2.2 Internationale Richtlinien bei der Berufsklassifizierung
Im Gegensatz zur Vercodung der Testaufgaben (vgl. Kapitel VIII) wird für die Berufscodierung ein relativ
flexibles Coding-Instrument benötigt, das die Unterschiede in den Teilnehmerländern ausreichend
berücksichtigt. Von internationaler Seite gibt es daher eine verbindliche Forderung, die Angaben der
Schüler/innen nach ISCO-88 inklusiv geringfügiger Modifizierungen (Ganzeboom & Treiman, 1996),
welche im PISA-2006-Data-Management-Manual festgelegt sind, zu vercoden. Die Codieranweisungen
sind dem ISCO-Manual der ILO (1990) zu entnehmen sowie nationale Ergänzungen bzw. nationale
Versionen der ISCO-88 – soweit vorhanden – einzubeziehen.
Die Umsetzung dieser Forderung wird sichergestellt, indem bei der Dateneingabe bzw. beim Datenimport
in die Software KeyQuest (vgl. Abschnitt 2 in Kapitel X) nur Zahlenkombinationen des Kategoriensystems
ISCO-88 akzeptiert werden. Das Hinzufügen einzelner Berufskategorien bzw. Codes ist zwar möglich,
muss aber zuvor mit dem internationalen Zentrum abgesprochen werden und ist nur dann sinnvoll, wenn
für den hinzugefügten Code auch ein korrespondierender Wert auf der SEI-Skala vorhanden ist. Falls
Länder nach einem anderen Berufsklassifizierungssystem vorgehen, müssen diese Codes in die ISCO-88
überführt werden. Im Folgenden werden die internationalen Richtlinien für die ISCO-Codierung in
PISA 2006 näher erläutert.
IX. Berufsklassifikation
Seite 157

• Die Schülerantworten sind wie bereits in vorhergehenden PISA Zyklen im Programm Excel einzugeben.
Dazu werden Stratum-, Schul- und Schüler-ID aus KeyQuest nach Excel exportiert, um die
Daten zuordnen und später wieder rückimportieren zu können. Der Beruf der Mutter und des Vaters
sowie die dazugehörenden Tätigkeitsbeschreibungen werden vom Dateneingabepersonal aus den
Schülerfragebögen wörtlich abgetippt. Das File steht dann den ISCO-Coderinnen und -Codern zur
Verfügung.
• Eine neue Richtlinie für die ISCO-Codierung in PISA 2006 ist die Identifikation von Schlüsselwörtern
aus der zu klassifizierenden Einheit, die eine eindeutige Zuweisung zu einer Berufsgattung
ermöglichen. Zu diesem Zweck wird von internationaler Seite empfohlen, einen Index zu erstellen,
der sich aus folgenden Informationen zusammensetzt: einem funktionellen Wort, einem ersten qualifizierenden
Wort und einem zweiten qualifizierenden Wort. Diese werden aus der zu klassifizierenden
Einheit ermittelt, wobei das funktionelle Wort aus der Berufsbezeichnung und die qualifizierenden
Wörter aus der Tätigkeitsbeschreibung – soweit vorhanden – identifiziert werden. Z. B. „Meine Mutter
ist Lehrerin.“ „Sie unterrichtet an einem Gymnasium Mathematik“: als funktionales Wort wird
„Lehrerin“ angegeben, als erstes qualifizierendes Wort „Gymnasium“ und als zweites qualifizierendes
Wort „Mathematik“.
• Die Coder/innen sollen zur Interpretation der Schülerantworten nur die gegebenen Informationen
aus der Berufsbezeichnung und Beschreibung heranziehen und mit der Identifikation des funktionellen
Wortes (Berufsbezeichnung) beginnen. Wenn die Information aus der Antwort zur Berufsbezeichnung
für eine vollständige Codierung ausreichend ist, brauchen keine Informationen mehr aus
der Berufsbeschreibung angefügt werden. Falls die Berufsbezeichnung unklar, unspezifisch oder nicht
ausreichend für eine vollständige Codierung ist, sollen die qualifizierenden Wörter ergänzend zur
Interpretation herangezogen werden.
• Falls bei der Berufsbezeichnung mehr als ein Beruf angegeben ist und die Informationen aus der Beschreibung
nicht hilfreich sind, soll die Coderin/der Coder den erstgenannten Beruf wählen. Falls die
Berufsbeschreibung jedoch die Aufgabe spezifiziert, soll diese berücksichtigt werden.
• Jede zu klassifizierende Einheit soll möglichst bis zur untersten Ebene codiert werden (vierstelliger
Code). Ist dies nicht möglich, soll auf dem nächsthöheren Level codiert werden.
• Über diese Richtlinien hinaus gelten die Codierregeln nach ISCO-88, welche im Handbuch der ILO
(1990) beschrieben sind (siehe Abschnitt 1.4 idK.).
Als Unterstützung bei problematischen Schülerantworten oder schwer zu klassifizierenden beruflichen
Tätigkeiten können per Mail Anfragen an das internationale Zentrum gestellt werden, die von einem
Experten/einer Expertin behandelt werden. Es wird jedoch empfohlen, in erster Linie auf nationaler
Ebene einen externen Berater/eine externe Beraterin zu konsultieren, da auf internationaler Ebene nicht
für jedes Teilnehmerland ein Experte/eine Expertin für die unterschiedlichen nationalen Arbeitsmärkte
vorhanden ist.
Internationale Richtlinien für die Einschulung der ISCO-Coder/innen
Bezüglich der Einschulung der ISCO-Coder/innen empfiehlt das internationale Zentrum ein Team
aus 2–6 Personen unter der Leitung einer Supervisorin/eines Supervisors am nationalen Zentrum
(NPM, Data Manager oder eine Person, die Erfahrung mit der Berufsvercodung hat) einzusetzen. Im
Verantwortungsbereich der Supervisorin/des Supervisors liegt die Auswahl und das Training der Coder/
innen, die Unterstützung bei der Vercodung, die Abwicklung von Queries (Anfragen an internationale
Expertinnen und Experten) sowie die Qualitätskontrolle bei der Vercodung.
Im Folgenden wird die Organisation der ISCO-Codierung in Österreich, das Vorgehen bei der Vercodung
und die Einschulung der Coder/innen auf nationaler Ebene näher erläutert.
Seite 158
IX. Berufsklassifikation

2.3 Berufsklassifizierung auf nationaler Ebene
Für die Berufsklassifizierung in PISA 2006 in Österreich wurde die Ö-ISCO mit den Modifikationen, die
das internationale Zentrum vorsieht (Ganzeboom & Treiman, 1996), eingesetzt. Die Ö-ISCO wird seit
1992 von der Statistik Austria für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet.
Die Ö-ISCO basiert auf der ISCO-88 sowie auf der ISCO-88 (COM).
Auf Grund der Erfahrungen mit der ISCO-Codierung aus PISA 2000 und 2003 wurden Überlegungen
angestellt, wie die ISCO-Codierung hinkünftig stärker automatisiert ablaufen könnte. Zum einen ist
eine Vielzahl an Schülerantworten bereits auf Grund der Berufsbezeichnung eindeutig zuordenbar (z. B.
Verkäufer/in, Diplomkrankenschwester/Diplomkrankenpfleger, Bäcker/in etc. oder z. B. auch Hausfrau/
mann), wobei die Coder/innen viel Zeit dafür aufwenden, den korrespondierenden Code im Manual
ausfindig zu machen und einzutragen. Eine automatische Einspielung der Codes würde demnach eine
Zeitersparnis und Vereinfachung für die Coder/innen darstellen. Zum anderen erhöht die automatische
Einspielung der Codes die Übereinstimmung bei der Vercodung, da eine bestimmte Berufsbezeichnung
auf jeden Fall den gleichen Code erhält.
Im Rahmen des Feldtests wurde daher recherchiert, welche Form der automatischen Vercodung für die
Anwendung in PISA geeignet ist und am nationalen Zentrum umgesetzt werden kann. Zusätzlich zur
Sichtung der einschlägigen Literatur wurde Kontakt mit Expertinnen und Experten für Berufsvercodung
der Statistik Austria und ZUMA 2 (Zentrum für Umfragen, Methoden und Analysen) aufgenommen,
wodurch Informationen zur automatischen Vercodung sowie Erfahrungen aus erster Hand eingeholt
werden konnten.
Die Recherchen ergaben, dass für den Verwendungszweck in PISA eine halb-automatisierte Vercodung
auf Basis einer Datenbank (mit einem „Wörterbuch“, welches speziell für die Zwecke in PISA entwickelt
wird) sinnvoll ist (Lay, 1997; Hartmann & Schütz, 2002; Hoffmeyer-Zlotnik et al., 2004; Geis
& Hoffmeyer-Zlotnik, 2000). Dafür sprechen neben Aspekten der Qualitätssicherung (u. a. Steigerung
der Übereinstimmung) die hohe Menge an zu codierenden Daten, die regelmäßige Durchführung der
Erhebungen sowie das spezifische Antwortverhalten der Zielgruppe (Schüler/innen, die Auskunft über
den Beruf ihrer Eltern geben).
Halb-automatisiert bedeutet, dass nach wie vor eine Coderin/ein Coder die Schülerantworten entschlüsselt
und diese nicht vollständig und allein auf Grund der angegebenen Berufsbezeichnung codiert werden.
Dieser Zwischenschritt ist notwendig, um der hierarchischen Struktur der ISCO bzw. dem Skill-Konzept
gerecht zu werden. Z. B. wird dies beim Berufsbild „Lehrer/in“ sichtbar, wo zwischen „Lehrer/in des
Primarbereichs“ und „Lehrer/in des Sekundarsbereichs“ unterschieden wird. Eine alleinige Zuordnung
über Berufsbenennungen (z. B. „Lehrer/in“) würde der Logik der ISCO widersprechen, da das Skill-
Konzept auf komplexen Berufsbildern aufbaut (Hoffmeyer-Zlotnik et al., 2004). Zur Identifikation der
Schlüsselwörter sind daher nach wie vor Kenntnisse über die hierarchische Struktur des Kategoriensystems
und das Skill-Konzept der ISCO sowie die Anwendung der spezifischen Codierregeln notwendig.
Anstatt jedoch bisher direkt einen Code zu vergeben, identifizieren die Coder/innen aus der Schülerantwort
Schlüsselwörter, die anschließend automatisch den korrespondierenden Code zugespielt bekommen. Der
Vorteil dieser Vorgehensweise liegt zum einen in der Vereinfachung und Zeitersparnis, die dadurch entstehen,
dass die Coder/innen nicht mehr im Manual nach einem Code suchen müssen. Zum anderen
ist gewährleistet, dass für ein und dieselben Schlüsselwörter immer der gleiche Code vergeben wird. Im
Folgenden wird die Entwicklung der Datenbank und die Vorgehensweise bei der Vercodung bei PISA
2006 näher beschrieben.
2.3.1 Entwicklung der nationalen PISA-ISCO-Datenbank
Im Rahmen des Feldtests 2005 wurde für die Berufsklassifizierung in PISA eine Datenbank aufgebaut,
die eine halb-automatisierte Vercodung ermöglicht 3 . Der Einsatz der Datenbank wurde im Feldtest erprobt,
und die Inhalte anschließend überarbeitet und ergänzt. Ebenso wurde die Einschulung angepasst.
Die Datenbank basiert auf der Ö-ISCO, enthält die Ergänzungen des internationalen PISA-Zentrums
IX. Berufsklassifikation
Seite 159

(Ganzeboom & Treiman, 1996) und bezieht sich darüber hinaus auf Daten der ISCO-Codierung in PISA
2000 und 2003 sowie im Feldtest 2005. Die Datenbank ist so aufgebaut, dass die vier Ebenen der ISCO
repräsentiert werden, indem je nach Spezifikation des Indexeintrags der korrespondierende Code eingespielt
wird. Insgesamt besteht die ISCO-Datenbank für PISA 2006 aus 2079 Einträgen. Korrespondierend
zur Datenbank gibt es ein ISCO-Manual, welches alle Indexeinträge enthält und den Coderinnen und
Codern als Grundlage bzw. Nachschlagewerk für die Codierung dient.
2.3.2 Funktionsweise und Vorgehen bei der datenbankbasierten Vercodung
Die ISCO-Datenbank ist in Excel angelegt und wird auch hier verwaltet. Die Daten können nach Code
oder nach Berufsbezeichnung sortiert werden, wodurch die Datenbank einfach überprüft und bearbeitet
werden kann. Enthalten sind alle in PISA vorgesehenen ISCO-Codes mit den korrespondierenden
Berufsbezeichnungen, wobei für jeden Code eine bis mehrere Berufsbezeichnung/en enthalten sind. Dies
ergibt sich aus der Differenzierung, die auf Grund der Daten von vercodeten Schülerantworten aus vor-
Die Schülerantworten werden
vom Dateneingabepersonal
wortwörtlich abgeschrieben
Die ISCO-Coder/innen
identifizieren die funktionalen
und qualifizierenden
Wörter und geben diese ein
Der ISCO-Code
wird automatisch
eingespielt
Beruf Mutter Beschreibung Beruf Mutter Text_Coder/in ISCO-Code
Buchhalterin Büroarbeiten / Buchhaltung Buchhalterin 3433
Buchhälterin
Mit dem Computer arbeiten. Sie
muss Sachen buchen Buchhalterin 3433
Buffetkraft bereitet essen für eine Firma vor Buffethilfe 9132
Dipl. Pädagogin Volkschule Unterrichten Lehrerin VS 2331
Diplom Krankenschwester
betreut kranke Menschen im
Krankenhaus Krankenschwester 3231
Dolmetscherin Übersetzungen im Gericht Dolmetscherin 2444
Dr. med. Ärztin für HNO
in einer Praxis arbeiten , Ihr gehört
diese Ärztin 2221
Drogistin betreut die Kunden Drogistin 5220
Einzelhandelskauffrau Meine Mutter verkauft Schuhe Verkäuferin 5220
Einzelhandelskauffrau Regale aufräumen, Kunden helfen Verkäuferin 5220
Einzelhandelskauffrau An der Kassa arbeiten (BIPA) Verkäuferin 5220
Friseur Haare schneiden Frisörin 5141
Friseurin Sie macht anderen Leuten die Haare Frisörin 5141
Friseurin Sie schneidet und stailt Haare Frisörin 5141
Hauptschullehrerin
Sie unterrichtet an einer
Hauptschule. Lehrerin HS 2321
Hauptschullehrerin in einer Hauptschule unterrichten Lehrerin HS 2321
Hausbesorger Stiegen waschen Hausmeisterin 9141
Hausfrau Kochen, putzen, Waschen etc. Hausfrau 9501
funktionales Wort
qualifizierendes Wort
Abbildung IX.5: Datenbankbasierte Berufsklassifikation in PISA 2006 (Excel-File)
Seite 160
IX. Berufsklassifikation

hergehenden PISA-Erhebungen und der Beschreibungen im ISCO-Manual vorgenommen wird. Z. B.
erhalten sowohl die Bezeichnungen „Chirurg“, „praktischer Arzt“ oder „Notarzt“ den Code 2221 der
Berufsgattung „Ärzte“.
Für die Dateneingabe erhielten die ISCO-Coder/innen ein vorbereitetes Excel-File, in dem je ein
Tabellenblatt mit Berufsbezeichnungen und die Berufsbeschreibungen der Mutter, des Vaters und dem
Beruf der Schüler/innen mit 30 Jahren enthalten sind – alphabetisch sortiert nach der Berufsbezeichnung.
Die ISCO-Datenbank wurde in einem weiteren Tabellenblatt eingefügt. Die einzelnen Files wurden nach
Stratum-, Schul- und Schüler-ID identifiziert.
Aufgabe der Coder/innen war es nun, in der Spalte „Text_Coder/in“ das identifizierte funktionale Wort
(bzw. die identifizierten funktionalen und qualifizierenden Wörter) einzugeben. Der korrespondierende
ISCO-Code wurde dann automatisch dazugespielt. Zur Veranschaulichung ist in Abbildung IX.5 ein
Ausschnitt eines Excel-Files zur Berufsvercodung in PISA 2006 dargestellt.
Die Zuteilung der Files zu Coderinnen und Codern erfolgte in drei Etappen, die sich nach der
Fragebogenform richteten (A, B, C). In Absprache mit den Coderinnen und Codern wurde vereinbart,
dass jede/r pro Fragebogenform den annähernd gleichen alphabetischen Abschnitt zugeteilt bekommt.
Dies hatte den Vorteil, dass die Coder/innen viele gleiche Berufe zu vercoden hatten, wodurch die
Identifikation der Schlüsselwörter erleichtert wurde und die Coder/innen schneller voran kamen.
Während der Codierphase wurde die Datenbank bei Bedarf von der Supervisorin erweitert und mit Hilfe
verschiedener Kontrollfunktionen (u. a. in Access) laufend überprüft. Die Ergänzungen wurden jeweils
mit den neuen Files an die Coder/innen gesendet.
Jedes eingegangene File wurde von der Supervisorin vollständig kontrolliert. Jeder Eintrag, der von einer
Coderin/einem Coder markiert wurde oder von der Supervisorin geändert wurde, wurde an die Coderin/
den Coder rückgemeldet und bei Unklarheit mit der Supervisorin diskutiert.
2.4 Einschulung der ISCO-Coder/innen
In Anlehnung an die Empfehlungen des internationalen Zentrums wurden sechs Personen für die ISCO-
Codierung ausgewählt und eingeschult. Zur Einschulung zählte neben dem gezielten Training vor dem
Haupttest auch die ISCO-Codierung im Feldtest. Daher wurde bei der Auswahl der Coder/innen darauf
geachtet, dass diese sowohl am Feld- als auch am Haupttest teilnahmen. Zudem wurden gezielt Personen
angesprochen, die bereits in früheren PISA-Erhebungen als ISCO-Coder/in tätig waren.
Während der Feldtest überwiegend der Erprobung der Prozeduren der datenbankbasierten Vercodung
diente, lag der Schwerpunkt der Einschulung im Haupttest auf dem gezielten Training der Anwendung
der ISCO und der datenbankbasierten Vercodung.
Das Training für den Haupttest beinhaltete eine vierstündige Einschulung sowie das Codieren von
Datensätzen zu Übungszwecken mit anschließender individueller Besprechung. Die Coder/innen bereiteten
sich anhand von Kurzinformationen über die Konzeption sowie Beschreibungen und Erläuterungen
der Ö-ISCO (Statistik Austria) auf die Einschulung vor. Die Schulung selbst bestand aus folgenden
Bereichen:
1. Einführung in das Kategoriensystem ISCO
Schwerpunkt der Einführung stellte die Erläuterung des Skill-Konzepts und der hierarchischen Gliederung
des Kategoriensystems dar sowie die Besprechung der Besonderheiten und Prioritätenregeln.
Weiters wurden die speziellen Codes zur näheren Beschreibung der Restkategorien, die speziell in
PISA eingesetzt werden (z. B. Hausfrau/Hausmann, Schüler/in, Student/in, Arbeitslos, „Ich weiß
nicht“), behandelt. Ein weiterer zentraler Aspekt der Einführung war es, die Bedeutung der Hintergrundvariable
„Beruf der Eltern“ für die Berechnung des sozioökonomischen Status darzustellen und
damit die Wichtigkeit der exakten Berufscodierung zu unterstreichen.
2. Beschreibung der datenbankbasierten Vercodung
Im zweiten Teil der Schulung wurde der Aufbau der Datenbank und die Funktionsweise der datenbankbasierten
Vercodung behandelt. Die Coder/innen wurden instruiert, wie die funktionalen und
IX. Berufsklassifikation
Seite 161

qualifizierenden Wörter aus den Schülerantworten zu identifizieren sind.
3. Besprechung des Manuals
Bei der Durchbesprechung des Manuals, welches eine vollständige Liste mit allen Berufsbezeichnungen,
die in der Datenbank enthalten sind, darstellt, wurde auf Verständlichkeit und Klarheit der
Kategorien und Berufsbezeichnungen für alle Coder/innen geachtet. Die Besonderheiten und Prioritätenregeln
wurden wiederholt sowie anhand der Indexeinträge konkretisiert und veranschaulicht.
4. Übungsphase
Bei der anschließenden Übungsphase erhielten die Coder/innen zwei Arbeitsblätter mit je 60 Schülerantworten
zum Beruf der Mutter und des Vaters. Aufgabenstellung war es, die funktionalen und
qualifizierenden Wörter zu identifizieren und einzutragen. Die ersten fünf Einträge je Arbeitsblatt
wurden zur Sicherung der Vorgehensweise gemeinsam behandelt, dann arbeiteten die Coder/innen
selbstständig weiter. Nach Fertigstellung der Übung wurden alle Einträge kontrolliert und im Plenum
besprochen.
5. Organisation der Codierung
Abschließend wurden die Coder/innen über den Umgang mit den Excel-Files informiert (Sortieren,
Speichern, Einspielen der Codes). Die Coder/innen wurden angehalten, schwer zu klassifizierende
Schülerantworten zu markieren, um die Datenkontrolle und die damit verbundene Rückmeldung an
die Coder/innen gezielt gestalten zu können.
Vercoden von Datensätzen zu Übungszwecken
Nach der Einschulung erhielten die ISCO-Coder/innen einen Datensatz, der innerhalb einer Woche codiert
und an die Supervisorin gesendet werden musste. Der Datensatz enthielt Schülerangaben aus dem Feldtest
2005 und dem Haupttest 2003 und beinhaltete sowohl eindeutige Schülerantworten als auch Einträge,
welche die Anwendung der Prioritätenregeln verlangen. Insgesamt wurden von den Coderinnen und
Codern je 105 Schülerantworten zum Beruf der Mutter und 112 Antworten zum Beruf des Vaters codiert.
Die insgesamt 217 Datensätze wurden auch von der Supervisorin klassifiziert, um die Übereinstimmung
mit den Coderinnen und Codern zu überprüfen. Dabei wurden Nicht-Übereinstimmungen im File markiert
und mit Anmerkungen versehen, die anschließend mit jeder Coderin/jedem Coder einzeln durchbesprochen
wurden. Dieser Schritt diente sowohl der Übereinstimmungsoptimierung als auch der Festigung
der Vorgehensweise bei der Identifikation der Schlüsselwörter.
Nach der Besprechung erhielten die Coder/innen die Files zur Klassifizierung der Schülerantworten zum
Beruf der Eltern und Berufsvorstellungen der Schüler/innen.
2.5 Vercodungsleistung und Analyse der Restkategorien
In PISA 2006 wurden insgesamt 15 261 Datensätze mit ISCO klassifiziert. Im Schnitt wurden 145
Daten pro Stunde codiert, was einen durchschnittlichen Zeitaufwand von rund 17,5 Stunden pro
Coder/in ergibt.
Im Folgenden werden jene Schülerantworten, die in PISA durch die Verwendung von Restkategorien
klassifiziert werden, dargestellt. Obwohl diese Kategorien bei der Transformation in Werte des sozioökonomischen
Status nicht berücksichtigt werden (da für diese Codes keine Status-Werte vorgesehen sind),
ist es wichtig diese zu charakterisieren, bzw. die Verteilung der nichtklassifizierbaren Antworten über die
einzelnen Restkategorien zu betrachten. Die Restkategorien, die vom internationalen Zentrum in Form
von Missings und Zusatzcodes eingeführt wurden, werden durch folgende Werte repräsentiert:
• Der Missing-Code (9999) wird bei absolut leerem Antwortfeld vergeben.
• Der Invalid-Code (9998) wird bei ungültigen Antworten verwendet.
• Der Not-applicable-Code (9997) wird vergeben, falls eine Schülerin/ein Schüler gar keine Möglichkeit
hat, die Frage entsprechend zu beantworten, z. B. wenn ein Druckfehler die Frage unleserlich
macht oder ein Elternteil verstorben ist.
• Der Zusatzcode 9501 steht für Hausfrau/Hausmann.
• Der Zusatzcode 9502 steht für Schüler/in oder Student/in.
Seite 162
IX. Berufsklassifikation

• Der Zusatzcode 9503 steht für Pensionist/in, arbeitslos oder Sozialhilfeempfänger/in.
• Der Zusatzcode 9504 wird vergeben, wenn eine Schülerin/ein Schüler „ich weiß es nicht“ oder ähnliches
angegeben hat.
• Der Zusatzcode 9505 steht für vage bzw. unklare Formulierungen.
In Abbildung IX.6 sind die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren
Schülerantworten zum Beruf der Eltern dargestellt (N=4 920) sowie die Verteilung der nicht klassifizierbaren
Antworten auf die Restkategorien. Für die Darstellung in der Abbildung wurden die Restkategorien
9501 (Hausfrau/Hausmann), 9502 (Schüler/in, Student/in) und 9503 (Pensionist/in, arbeitslos, Sozialhilfeempfänger/in)
zu einer Kategorie zusammengefasst, ebenso die Codes 9997 (not applicable), 9998
(ungültig) und 9999 (Missing).
2.5.1 Beruf der Eltern
Bei den Schülerantworten zum Beruf des Vaters können 88,7 % klassifiziert werden. Von den 11,3 %
Restkategorien können rund zwei Drittel auf Grund vager Bezeichnungen oder Beschreibungen nicht
zugeordnet werden. In 3,6 % der Fälle liegen keine oder ungültige Angaben vor. Die Restkategorien „ich
weiß nicht“ sowie Hausmann, Schüler, Pensionist/arbeitslos/etc. kommen nur marginal vor.
Beim Beruf der Mutter können 85,3 % klassifiziert werden. Die Kategorie „Hausfrau“ macht etwas mehr als
die Hälfte der Restkategorien aus (7,8 %; der Anteil an den Kategorien Schülerin, Pensionistin/arbeitslos/
klassifizierte Berufe
Restkategorien
88.7 %
Schülerangaben zum Beruf des Vaters
(N=4920)
11.3 %
7.0 %
3.6 %
0.5 %
0.2 %
Restkategorien:
Hausmann, Schüler, Pensionist/
arbeitslos/Sozialhilfeempfänger
“ich weiß nicht”
vage
not applicable, ungültig, Missing
klassifizierte Berufe
Restkategorien
85.3 %
Schülerangaben zum Beruf der Mutter
(N=4920)
14.7 %
8.2 %
4.5 %
1.9 %
1
Werte < 0.2 % nicht eingetragen
Restkategorien 1 :
Hausfrau, Schülerin, Pensionistin/
arbeitslos/Sozialhilfeempfängerin
“ich weiß nicht”
vage
not applicable, ungültig, Missing
Abbildung IX.6: Anteile klassifizierbarer und nicht klassifizierbarer Schülerantworten zum
Beruf der Eltern in PISA 2006
IX. Berufsklassifikation
Seite 163

etc. beträgt 0,4 %). Der Anteil an Antworten, die auf Grund vager Bezeichnungen oder Beschreibungen
nicht klassifiziert werden können, ist etwas geringer als beim Beruf des Vaters und beträgt 4,5 %. Ebenso
ist der Anteil an ungültigen oder fehlenden Antworten beim Beruf der Mutter fast um die Hälfte geringer
als beim Beruf des Vaters (1,9 %).
Insgesamt ist der Anteil an klassifizierten Berufen sowohl bei den Vätern als auch bei den Müttern mit
über 85 % zufrieden stellend hoch. Vergleicht man die Anteile an klassifizierbaren Schülerantworten mit
jenen aus PISA 2003, zeigt sich ein sehr ähnliches Ergebnis (Wallner-Paschon, 2004).
2.5.2 Berufliche Pläne der Schüler/innen
Abbildung IX.7 zeigt die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren Antworten auf
die Frage, welchen Beruf die Schüler/innen meinen, dass sie mit 30 Jahren haben werden. Erfahrungsgemäß
ist der Anteil an nicht klassifizierbaren Antworten bei dieser Frage sehr hoch (33,1 %). Zum einen ist
dies auf die Tatsache zurückzuführen, dass viele Schüler/innen (noch) nicht wissen, welchen Beruf sie
mit 30 Jahren haben werden, wobei dieser Anteil jedoch nicht einmal ein Viertel der Restkategorien ausmacht
(7,8 %). Bedeutend höher ist der Anteil an ungültigen und fehlenden Antworten (17,6 %). Hinzu
kommen noch die vagen Antworten (6,9 %), die u. a. dadurch zu Stande kommen, dass die Schüler/
innen nur nach dem Beruf (ohne Beschreibung) gefragt werden. Die Restkategorie „Hausfrau, Schüler/
in, Pensionistin/arbeitslos/etc., ist mit 0,8 % sehr gering und wird fast zur Gänze von der Kategorie
„Hausfrau“ eingenommen (0,7 %), wobei dies nur von Mädchen angegeben wurde.
Im Vergleich zu PISA 2003 (N = 4 588) ist der Anteil an Restkategorien bei den Schülerangaben in
PISA 2006 etwas höher. Auch die Verteilung innerhalb der Restkategorien stellt sich etwas anders dar.
Während die Anteile an den Kategorien „ich weiß nicht“ und „vage“ um rund 4 %-Punkte niedriger
sind als in PISA 2003, ist der Anteil an fehlenden und ungültigen Antworten in PISA 2006 um rund 14
Prozentpunkte höher (insgesamt 17,6 %).
Schülerangaben zum Beruf mit 30 Jahren
(N=4920)
klassifizierte Berufe
Restkategorien
66.9 % 33.1 %
7.8 %
6.9 %
17.6 %
0.8 %
Restkategorien:
Hausfrau, Schüler/in, Pensionist/in/
arbeitslos/Sozialhilfeempfänger/in
“ich weiß nicht”
vage
not applicable, ungültig, Missing
Abbildung IX.7: Anteile klassifizierbarer und nicht klassifizierbarer Schülerangaben in PISA 2006 zum
Beruf mit 30 Jahren
3. Qualitätssicherung bei der ISCO-Codierung
Der sozioökonomische Status der Familie, aus der die Schüler/innen stammen, stellt eine zentrale
Erklärungsvariable für Schülerleistungen dar. Indem die ISCO-Codes die Basis für die Berechnung der
sozioökonomischen Statuswerte bilden, wird bei der ISCO-Codierung großer Wert auf Qualität gelegt, zu
deren Sicherung umfassende Maßnahmen getroffen werden. Diese erstrecken sich über alle Prozesse der
ISCO-Codierung: die Entwicklung der ISCO-Datenbank, die Auswahl und Schulung der Coder/innen
Seite 164
IX. Berufsklassifikation

inklusive der zur Verfügung gestellten Materialien, die Abwicklung der datenbankbasierten Vercodung
und die Kontrollen auf nationaler Ebene als auch am internationalen Zentrum.
Bei der Entwicklung der Datenbank wurden umfassende Informationen und Auskünfte von Expertinnen
und Experten eingeholt (ZUMA, Statistik Austria, internationales PISA Zentrum, einschlägige Literatur).
Die Datenbank enthält neben den für PISA relevanten Einträgen aus der Ö-ISCO sowohl die Ergänzungen
des internationalen Zentrums (Ganzeboom & Treiman, 1996) als auch kontrollierte Einträge aus früheren
PISA-Erhebungen, wodurch eine große Vielfalt an Berufsbezeichnungen (bzw. Schlüsselwörtern)
repräsentiert wird. Indem der korrespondierende Code zu einem Schlüsselwort über die datenbankbasierte
Vercodung automatisch eingespielt wird, führt dies zu einer verbesserten Übereinstimmung.
Fehlerquellen werden vermieden, da jedes Schlüsselwort immer den gleichen Code zugewiesen bekommt.
Eine typische Fehlerquelle ist z. B., dass Coder/innen die Bezeichnung „Kindergärtnerin“ sowohl mit
Code 5131 („Kinderbetreuer“), als auch mit Code 3320 („Lehrkräfte ohne akademische Ausbildung
des Vorschulbereichs“) codieren, wobei nur Letzterer korrekt ist. Dass solche Fehlerquellen, die zu einer
Vergabe von unterschiedlichen Codes für die gleiche Berufsbezeichnung führen, relativ häufig sind, zeigt
eine Reliabilitätsstudie zur ISCO-Codierung in PISA 2003 (Wallner-Paschon, 2004).
Die Übereinstimmung der Coder/innen stellt jedoch auch bei der Entschlüsselung der Schülerantworten
im Rahmen der datenbankbasierten Vercodung ein wichtiges Kriterium für die Qualität der ISCO-
Codierung dar. Auf Basis der ISCO-Codierung in PISA 2003 regt Wallner-Paschon (2004) Vorschläge
zur Verbesserung der Auswertungsobjektivität an, welche in PISA 2006 wie folgt umgesetzt wurden:
• Die Coder/innen setzten sich durch die gezielte Vorbereitung und Einschulung eingehend mit den
Codier- und Prioritätenregeln auseinander. Die Anwendung der Regeln wurde anhand konkreter
Datensätze eingeübt und gefestigt. Bei der Zusammenstellung der Übungsdatensätze wurde auf eine
ausgewogene Repräsentation möglicher Schülerantworten geachtet (eindeutige, zweideutige und
nicht interpretierbare Schülerantworten).
• Die Identifikation der Schlüsselwörter aus nicht eindeutigen Schülerangaben wurde während der
Einschulung ausführlich besprochen und eingeübt. Die diesbezüglichen Regeln sind ausformuliert
und im Schulungs-Handout aufgelistet, wo sie jederzeit von den Coderinnen und Codern eingesehen
werden konnten. Bei den individuellen Besprechungsterminen wurde besonders auf die Übereinstimmung
bei der Identifikation der Schlüsselwörter eingegangen.
• Die Durchbesprechung des Manuals bei der Einschulung diente insbesondere dazu, den hierarchischen
Aufbau der ISCO sowie die Besonderheiten des Kategoriensystems deutlich und für alle verständlich
zu machen. Unsicherheiten im Umgang mit dem Manual konnten geklärt und behoben
werden.
• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich
ISCO-Codierung zu Rate gezogen.
Ein ebenso wichtiger Aspekt der Qualitätssicherung bei der ISCO-Codierung ist der Einsatz von
Coderinnen und Codern, die bereits Erfahrung mit der ISCO-Codierung haben. Weiters wird die
Qualität der Daten durch die vollständige Kontrolle durch die Supervisorin gesichert. Dies ist vor allem
durch die Zeitersparnis bei der Vercodung möglich, welche neben der halb-automatisierten Vercodung
unter anderem auf die annähernd gleiche alphabetische Zuteilung der Files zu Coderinnen und Codern
zurückzuführen ist, was sich wiederum positiv auf die Übereinstimmung auswirkt.
Bibliographie
Elias P. & Birch M. (1991). Harmonisierung von Berufsklassifizierungen. ISCO 88 (COM). Vorgeschlagene Fassung der Internationalen
Standardklassifikation der Berufe (1988) für nationale Vergleiche der in der Europäischen Gemeinschaft in Volkszählungen
und Erhebungen ermittelten Informationen. Universität Warwick. Institut für Beschäftigungsforschung. Verfügbar unter:
http://www.warwick.ac.uk/ier/isco/germ/german1.html [Datum des Zugriffs: 23.02.07]
Ganzeboom H. B. G. de Graaf, P. & Treiman, D. J. (1992). A Standard International Socio-Economic Index of Occupational
Status. Social Science Research, 21, 1-56.
IX. Berufsklassifikation
Seite 165

Ganzeboom H. B. G. & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988 International
Standard Classification of Occupations. Social Science Research 25, 201-239. [WWW Dokument]. Verfügbar unter: http://
home.fsw.vu.nl/HBG.Ganzeboom/Pdf/Ganzeboom_Treiman_%5bSSR1996%5d.pdf [Datum des Zugriffs: 23.02.2007]
Geis, A. & Hoffmeyer-Zlotnik, J. H. P. (2000). Stand der Berufsvercodung. ZUMA-Nachrichten 47, Jg. 24, S. 103–128
Hartmann J. & Schütz G. (2002). Die Klassifizierung der Berufe und der Wirtschaftszweige im Sozio-ökonomischen Panel. Neuvercodung
der Daten 1984 – 2001. München: Infratest Sozialforschung.
Hoffmeyer-Zlotnik, J. H. P., Hess, D. & Geis, A. (2004). Computerunterstützte Vercodung der International standard Classification
of Occupations (ISCO-88). ZUMA-Nachrichten 55, Jg. 28, S. 29–52
ILO (1990). International Standard Classification of Occupation: ISCO-88. Geneva: International Labour Office.
ILO (2001). Coding Occupation and Industry. (STAT Working Paper). [WWW Dokument]. Verfügbar unter: http://www.ilo.org/
public/english/bureau/stat/download/wpoccind.pdf [Datum des Zugriffs: 28.02.2007]
Lay W. (1997). Die Vercodung der Angaben zur beruflichen Tätigkeiten im Alters-Survey. Forschungsgruppe Altern und Lebenslauf
(FALL), Forschungsbericht 60. Berlin: Freie Universität.
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden
und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.
Statistik Austria. (1992). Ö-ISCO [WWW Dokument]. Verfügbar unter: http://www.statistik.at/verzeichnis/beruf.shtml [Datum
des Zugriffs: 10.11.2006]
Wallner-Paschon, C. (2004). Berufsklassifizierung. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von
Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 08.02.2007]
1
Dieser Abschnitt wurde zum Teil aus Wallner-Paschon, 2004 übernommen.
2
An dieser Stelle sei Herrn Alfons Geis M. A. von ZUMA sowie Frau Dr. Margaretha Zeller und Frau Mag. Adelheid Bauer
von Statistik Austria herzlicher Dank für die kompetente und ausführliche Beratung hinsichtlich Automatvercodung und
Klassifikation spezifischer problematischer Codes ausgesprochen.
3
Die Autorin dankt Mag. Martin Leitner an dieser Stelle sehr herzlich für die Beratung und Unterstützung beim Einrichten
der ISCO-Datenbank.
Seite 166
IX. Berufsklassifikation

X
DATENEINGABE
Martin Pointinger
1. Der zeitliche und organisatorische Ablauf der Dateneingabe
1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 2005
1.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest 2006
1.3 Die Organisation der Dateneingabe beim Haupttest 2006
2. Software KeyQuest©
3. Dateneingabe nach Instrumenten
3.1 Schul- und Schülerlisten
3.2 PISA-Schülerlisten
3.3 Schulfragebögen
3.4 Testhefte
3.5 Multiple Coding Sheets
3.6 Schülerfragebögen
3.7 Testsitzungsprotokolle
4. Qualitätssicherung bei der Dateneingabe
4.1 Auswahl und Schulung des Dateneingabe-Personals
4.2 Maßnahmen während der Dateneingabe
4.3 Maßnahmen nach der Dateneingabe
5. Data Submission – Übermittlung der Daten an das internationale Zentrum
Dieser Text basiert auf den entsprechenden Kapiteln bei PISA 2000 (Reiter, 2001) und PISA 2003 (Pointinger, 2004). Der Autor
dieses Kapitels dankt Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.

Im Rahmen der Datenerhebung für PISA 2006 wurden in Österreich beim Feldtest etwa 1440 Schüler/innen
aus 51 Schulen, und beim Haupttest 2006 beinahe 5000 Schüler/innen aus 200 Schulen getestet. Beim
Feldtest nahmen im Rahmen des internationalen Zusatzprojekts CBAS („Computer-based Assessment
of Science“; Details dazu vgl. Kapitel XI) in weiteren 50 Schulen knapp mehr als 500 Schüler/innen
teil. Zusätzlich nahmen beim Haupttest, wie schon bei PISA 2000 und 2003, die Waldorfschulen mit
einer Vollerhebung der 15-/16-Jährigen teil. Insgesamt wurden im Rahmen von PISA 2006 Daten von
mehr als 7000 Schülerinnen und Schülern erhoben.
Mit Ausnahme der Daten, die im Projekt CBAS mittels Laptop erhoben wurden, und somit direkt in elektronischer
Form vorlagen, wurden die Daten aller Schüler/innen im traditionellen Paper-Pencil-Verfahren
(d.h. mit gedruckten Testheften und Fragebögen) erhoben. Dieser Abschnitt beschreibt, wie die in schriftlicher
Form vorliegenden Antworten der Schüler/innen elektronisch erfasst werden und welche Prozesse
notwendig sind um am Ende das gewünschte Ergebnis – eine internationale Datenbasis, mit den Daten
aller an PISA teilnehmenden Länder – zu erreichen.
Wie dieser Prozess der Dateneingabe zeitlich verlief, wie er organisiert war, wie die Eingabe der Daten
konkret erfolgte, welcher Aufwand der Prozess der Dateneingabe war und wie die eingegebenen Daten
kontrolliert, gesäubert und anschließend an das internationale Zentrum zur weiteren Verarbeitung übermittelt
wurden und was dort anschließend mit den Daten passiert, das sind Themen, die in diesem
Kapitel behandelt werden.
Da der Feldtest im Hinblick auf die Dateneingabe und -verarbeitung hauptsächlich der Erprobung der
Prozeduren dient, beschränken sich die Darstellungen in diesem Kapitel meist auf den Haupttest.
1. Der zeitliche und organisatorische Ablauf der Dateneingabe
In diesem Abschnitt wird jeweils getrennt für den Feldtest 2005 und den Haupttest 2006 ein kurzer
Überblick über den chronologischen Verlauf der Dateneingabe gegeben. Anschließend werden die organisatorischen
Rahmenbedingungen, die für die Eingabe der Daten beim Haupttest 2006 notwendig
waren, beschrieben.
1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 2005
Das Testfenster für die Datenerhebung beim Feldtest war für Österreich von 18. April bis 14. Mai 2005
festgelegt. Die letzte Testsitzung fand am 13. Mai statt. Am 15. Mai wurde – nach dem Transport der
Materialien an das nationale Zentrum – die Rücklaufkontrolle durchgeführt, und im Anschluss daran
mit der Dateneingabe begonnen. Für die Eingabe der Daten der insgesamt 1440 getesteten Schüler/innen
wurden sechs Personen beschäftigt. Anfang Juli konnte die Dateneingabe abgeschlossen werden. Es folgte
die Kontrolle und Säuberung der Daten durch das nationale Zentrum. Dieser Prozess wird in Abschnitt
4.3 dieses Kapitels beschrieben. Mitte Juli wurden die österreichischen Daten des Feldtests 2005 schließlich
an das internationale Zentrum übermittelt. Anschließend erfolgte die Kontrolle, Aufbereitung und
Rekodierung der Daten durch das internationale Zentrum. Dieser Prozess konnte für die österreichischen
Feldtestdaten Ende September 2005 abgeschlossen werden.
1.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest 2006
Für den Haupttest konnten die Testsitzungen im Zeitraum vom 20. April bis zum 31. Mai 2006 stattfinden.
Bis Ende Mai wurden die Testmaterialien vollständig an das nationale Zentrum geliefert. Anschließend
wurde die Rücklaufkontrolle der Materialien durchgeführt. Anfang Juni konnte mit der Eingabe der
Daten aus den Schülerfragebögen begonnen werden. Mit der Eingabe der Daten aus den Testheften
konnte, da diese vorher von den so genannten Codern (siehe Kapitel VIII) bearbeitet werden mussten,
erst im Juli begonnen werden. Zusätzlich wurden parallel dazu die Daten aus den Schulfragebögen,
den Testsitzungsprotokollen der Testadministratoren, den PISA-Schülerlisten und den Multiple Coding
Sheets eingegeben. Für die Dateneingabe waren beim Haupttest 6 Personen beschäftigt, die speziell für
diese Aufgabe geschult wurden.
Seite 168
X. Dateneingabe

Die Eingabe der Daten konnte Ende Juli abgeschlossen werden. Anschließend wurde ein gründlicher und
aufwändiger File-Cleaning-Prozess durchgeführt, der in Abschnitt 4.3 idK. genauer beschrieben wird.
Ende August wurden die Daten schließlich an das internationale Zentrum in Australien übermittelt. Dort
wurde das internationale File Cleaning (vgl. Abschnitt 4 idK.) durchgeführt. Dieser Prozess der erneuten
Prüfung der Daten bzw. der Rekodierung in die einheitliche internationale Struktur der Daten konnte
Ende September abgeschlossen werden.
1.3 Die Organisation der Dateneingabe beim Haupttest 2006
Sämtliche Tätigkeiten im Zusammenhang mit der Dateneingabe wurden im Haus (Universität Salzburg)
durchgeführt. Insgesamt standen für die Dateneingabe 11 Computerarbeitsplätze zur Verfügung, die
auch parallel zur Eingabe der Daten aus den IEA-Studien PIRLS und TIMSS genutzt wurden. Sämtliche
PCs waren durch ein lokales Netzwerk verbunden, um eine zentrale Speicherung der Daten in eine gemeinsame
Datenbank der KeyQuest-Software (siehe folgenden Abschnitt) zu ermöglichen. Die externen
Mitarbeiter/innen, die für diese Tätigkeit beschäftigt wurden, erhielten dafür eine spezielle Schulung und
wurden während der Dateneingabe-Tätigkeit von einem Mitarbeiter des nationalen Zentrums betreut.
2. Software KeyQuest©
Zur Eingabe der Daten wird für PISA die Software KeyQuest verwendet. Diese Software wird den an
PISA teilnehmenden Staaten vom internationalen Zentrum zur Verfügung gestellt. KeyQuest ist eine
Microsoft-Access-Anwendung mit einer grafischen Benutzeroberfläche. Das Programm wird im Rahmen
von PISA nicht nur für die Dateneingabe und -verwaltung verwendet, sondern es wird mit dieser Software
auch die Auswahl der Schüler/innen innerhalb der teilnehmenden Schulen (Schülersampling) durchgeführt.
Die Verwendung von KeyQuest zur Durchführung der Schülerauswahl und zur Übermittlung
der Daten an das internationale Zentrum ist den Teilnehmerstaaten verpflichtend vorgeschrieben. Eine
detaillierte Beschreibung der einzelnen Funktionen der Software wird im österreichischen Technischen
Bericht zu PISA 2003 gegeben (Pointinger, 2003, Kapitel X, Abschnitt 2).
3. Dateneingabe nach Instrumenten
3.1 Schul- und Schülerlisten
Als Datengrundlage – u. a. für die Auswahl der Schüler/innen innerhalb einer Schule – werden für jede
Schule im Instrument „Liste der Schulen“ jeweils Daten zur Schule erfasst. Auf der Liste der Schüler/innen
werden für diese Schulen jeweils Informationen zu den Schülerinnen und Schülern gespeichert.
3.1.1 Die Liste der Schulen
Im KeyQuest-Instrument zur Erfassung der Schuldaten werden für jede Schule neben der Bezeichnung
und einer Identifikationsnummer u. a. Informationen über die Stichprobengröße und die Gesamtanzahl
der Schüler/innen des für PISA relevanten Geburtsjahrgangs (1989 im Feldtest 05; 1990 im Haupttest 06)
gespeichert. Diese Daten sind für die Durchführung der Schülerauswahl erforderlich. Durch die Angabe
der Stichprobengröße in der Liste der Schulen wird bestimmt, wie viele Schüler/innen von KeyQuest
für die PISA-Schülerliste, d.h. zur Teilnahme an PISA, ausgewählt werden. Die Stichprobengröße ist bei
PISA standardmäßig mit 35 Schüler/innen pro Schule festgelegt. Falls es an einer Schule weniger als 35
Schüler/innen des Jahrganges 1987 gibt, werden automatisch alle Schüler/innen für die Teilnahme an
PISA ausgewählt.
3.1.2 Die Liste der Schüler/innen
Auf Basis der Schülerliste, die die Schulkoordinatorin/der Schulkoordinator (SK) jeder ausgewählten
Schule dem nationalen Zentrum übermittelt, wird für jede Schule eine Liste der Schüler/innen erstellt
und in das Programm KeyQuest importiert. Zusammen mit der Liste der Schulen bilden diese Angaben
die Basisinformationen für die Auswahl der Schüler/innen innerhalb der Schulen.
X. Dateneingabe
Seite 169

3.2 PISA-Schülerlisten
Nachdem die Auswahl der Schüler/innen für eine Schule durchgeführt ist, kann mit KeyQuest für jede
Schule die so genannte „PISA-Schülerliste“ erstellt werden. Diese Liste ist, wie in Kapitel VI dargestellt,
ein wichtiges Dokument im Zusammenhang mit der Durchführung und Dokumentation der PISA-
Testsitzungen.
Durch die Eintragungen des Schulkoordinators auf dieser Liste, wird für jede Schülerin/jeden Schüler
festgehalten, ob sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen, bzw. ob
der/die Schüler/in deshalb, oder aus anderen Gründen, nicht an der Testsitzung teilnehmen kann. Als
weitere wichtige Information wird am Tag der Testsitzung durch den jeweiligen Testadministrator für
alle Schüler/innen die Teilnahme dokumentiert. Die auf der PISA-Schülerliste erfassten Informationen
werden in Kapitel VI im Detail dargestellt.
Nach den Testsitzungen werden die PISA-Schülerlisten jeweils gemeinsam mit den anderen Testmaterialien
der Schulen zum nationalen Zentrum transportiert. Dort werden diese im Rahmen der Rücklaufkontrolle
auf Vollständigkeit überprüft und die Eintragungen der Testadministratoren und Schulkoordinatoren
elektronisch in KeyQuest erfasst.
3.3 Schulfragebögen
Die Schulleiter/innen der an PISA teilnehmenden Schulen werden jeweils durch einen Schulfragebogen
zu Hintergrundinformationen der Schule befragt. Für den internationalen Teil des Schulfragebogens wird
in KeyQuest vom internationalen Zentrum bereits ein Instrument angelegt, das lediglich bei nationalen
Änderungen angepasst werden muss. Für die in Österreich durchgeführten nationalen Zusatzerhebungen
müssen die jeweiligen Variablen und daraus erzeugten Eingabemasken vom nationalen Zentrum in
KeyQuest erstellt werden.
3.4 Testhefte
Mit der Eingabe der Daten aus den Testheften kann erst begonnen werden, nachdem die sogenannten
„Coder“ (Personen, die anhand von genau festgelegten Richtlinien die Bewertung der offenen
Schülerantworten vornehmen; vgl. Kapitel VIII) die offenen Aufgaben bewertet haben. Für die Eingabe
der Testheft-Daten in KeyQuest ist für jede der 14 unterschiedlichen Testheftformen bereits das entsprechende
Instrument vom internationalen Zentrum angelegt. Da die verschiedenen Testheftformen sehr
unterschiedliche Aufgaben enthalten, ist es notwendig, dem Dateneingabe-Personal für jedes Instrument
spezifische Anleitungen zu geben und auf die jeweiligen Besonderheiten hinzuweisen. Die Einschulung
der Dateneingeber/innen und die Kontrolle der eingegebenen Daten wird im Detail in Abschnitt 4 idK.
dargestellt.
3.5 Multiple Coding Sheets
Im Rahmen des Multiple Codings (vgl. Kapitel VIII), bei dem – zur Überprüfung der Beurteiler-
Übereinstimmung – die gleichen Schülerantworten von vier Codern unabhängig voneinander beurteilt
werden, tragen jeweils die ersten drei Kodierer ihre Bewertungen auf so genannte Multiple Coding Sheets
ein, damit die einzelnen Bewertungen unabhängig voneinander erfolgen können. Für jeden Datensatz der
Multiple Coding Sheets müssen neben den Bewertungs-Codes für die Schülerantworten Variablen zur
Identifikation von Codierer und Schüler/in eingegeben werden.
3.6 Schülerfragebögen
Die Eingabe der Schülerfragebögen ist der umfangreichste und aufwändigste Teil des Dateneingabeprozesses.
Wie bereits in Kapitel IV dargestellt, gibt es in Österreich bei PISA 2006 drei verschiedene
Fragebogenformen, die jeweils unterschiedliche nationale Zusatzerhebungen enthalten, und gleichmäßig
über die Schüler/innen rotiert werden. Zusätzlich wird dazu in Österreich für Schüler/innen von
Sonderschulen eine Kurzversion des Schülerfragebogens verwendet.
Seite 170
X. Dateneingabe

Da die Anzahl der Variablen für ein KeyQuest-Instrument beschränkt ist, müssen die Variablen der
drei Fragebogenformen jeweils auf zwei KeyQuest-Instrumente aufgeteilt werden. Das erste Instrument
für die Schülerfragebögen enthält jeweils den gesamten internationalen Teil. Der zweite Teil beinhaltet
bei allen drei Formen die internationalen Zusatzerhebungen „Schullaufbahn“ und „Informationsund
Kommunikationstechnologien“ sowie die jeweils in den einzelnen Formen enthaltenen nationalen
Zusatzerhebungen.
3.7 Testsitzungsprotokolle
Die PISA-Testleiter/innen haben die Aufgabe, für jede durchgeführte Testsitzung ein Testsitzungsprotokoll
anzufertigen (vgl. Kapitel VI). Für die Erhebung der Daten der österreichischen PISA 2006-Stichprobe
wurden insgesamt 246 Testsitzungen (200 erste Testsitzungen und 46 Nachtests) durchgeführt, für die
jeweils ein Testsitzungsprotokoll angefertigt wurde. Zusätzlich dazu wurden im Rahmen der Waldorf-
Vollerhebung zehn Testsitzungen durchgeführt, von denen ebenfalls Testsitzungsprotokolle angefertigt
wurden. Insgesamt mussten also 256 Testsitzungsprotokolle in das entsprechende KeyQuest-Instrument
eingegeben werden.
4. Qualitätssicherung bei der Dateneingabe
Im folgenden Abschnitt werden die wichtigsten Maßnahmen beschrieben, die vor, während und nach
der Dateneingabe zur Qualitätssicherung durchgeführt werden. Chronologisch betrachtet beginnen diese
Maßnahmen bei der Auswahl und Einschulung der Mitarbeiter/innen, und enden bei der Übermittlung
der Daten an das internationale Zentrum bzw. beim daran anschließenden internationalen File Cleaning
und der Aufbereitung der Daten für die internationale Datenbasis.
4.1 Auswahl und Schulung des Dateneingabe-Personals
Insgesamt wurden beim Haupttest für PISA 2006 sechs Personen für die Tätigkeit der Dateneingabe beschäftigt.
Da für die Tätigkeit der Dateneingabe weniger bestimmte formale Qualifikationen, als vielmehr
Genauigkeit und Verlässlichkeit wichtig sind, wurden die Mitarbeiter/innen jeweils zu einem persönlichen
Gespräch eingeladen. Die ausgewählten Mitarbeiter/innen waren Studierende oder Personen mit
abgeschlossenem Diplomstudium, von denen vier bereits bei früheren PISA-Erhebungen diese Tätigkeit
durchgeführt hatten.
Für die Einschulung der Mitarbeiter/innen wurde eine gemeinsame Schulung abgehalten. Am Ende der
Einschulung bekamen die Mitarbeiter/innen die Möglichkeit, einige Fragebögen unter Aufsicht einzugeben
und bei Unklarheiten Fragen zu stellen. Ein Mitarbeiter des nationalen Zentrums stand darüber
hinaus während der gesamten Dauer der Dateneingabe bei Fragen oder Problemen zur Verfügung.
4.2 Maßnahmen während der Dateneingabe
Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch Kontrollmechanismen
des Programms KeyQuest, und zum anderen durch Kontrollen von Mitarbeiterinnen und Mitarbeitern
des nationalen Zentrums überprüft.
4.2.1 Kontrollen durch KeyQuest
KeyQuest führt bereits während der Dateneingabe automatisch eine Reihe von Kontrollen durch (vgl.
Technischer Bericht zu PISA 2003; Kapitel X, Abschnitt 2). So werden Eingabefehler bestimmter Art im
Vergleich zur Dateneingabe in andere Programme um ein Vielfaches minimiert. Diese von KeyQuest automatisch
durchgeführten Überprüfungen bei der Dateneingabe machen viele, sonst beim File Cleaning
übliche Kontrollen weitgehend überflüssig und ersparen viel Arbeitsaufwand.
4.2.2 Qualitätskontrollen durch Mitarbeiter/innen
Neben der automatisch von KeyQuest durchgeführten Kontrolle der eingegebenen Daten werden, vor
allem zu Beginn der Dateneingabe, von jedem Dateneingeber stichprobenartig mehrere Datensätze auf
X. Dateneingabe
Seite 171

Eingabefehler kontrolliert. Dies soll systematische Fehler, wie zum Beispiel die falsche Verwendung von
speziellen Codes für fehlende oder ungültige Schülerantworten, verhindern. Eine weitere Maßnahme
zur Qualitätssicherung während der Dateneingabe ist die laufende Einschulung der Mitarbeiter/innen in
neue Instrumente. Dies ist notwendig, weil jedes Instrument bestimmte Besonderheiten aufweist, die bei
der Dateneingabe zu beachten sind. Die Mitarbeiter/innen werden daher jeweils beim Beginn eines neuen
Instruments individuell über diese Besonderheiten aufgeklärt.
4.3 Maßnahmen nach der Dateneingabe
Vor der Übermittlung der Daten an das internationale Zentrum müssen die nationalen Zentren eine
Reihe von vorgeschriebenen Kontrollen mit KeyQuest durchführen. Darüber hinaus werden in Österreich
zahlreiche weitere Kontrollen zur Säuberung der Daten durchgeführt, um eine hohe Qualität der Daten
zu gewährleisten.
4.3.1 Kontrolle der Daten mit KeyQuest
Für PISA 2006 wurde die Funktionalität von KeyQuest bezüglich der durchführbaren Kontrollen der
Daten bedeutend erweitert. Die im Folgenden dargestellten, im Programm KeyQuest integrierten
Kontrollen, müssen von allen teilnehmenden Ländern durchgeführt werden, bevor die Daten an das
internationale Zentrum übermittelt werden.
Die Kontrollen sind dabei in der Software KeyQuest nach der Art der geprüften Daten bzw. Instrumente
in fünf Gruppen unterteilt:
1) Tracking Instruments (Schul- und Schülerlisten, Testsitzungsprotokolle)
2) Background Instruments (Schul- und Schülerfragebogen und deren Übereinstimmung mit Schul- und
Schülerlisten)
3) Test Instruments (Testhefte und Übereinstimmung mit Schul- und Schülerlisten)
4) Reliability Checks (Multiple Coding Sheets)
5) Sampling Checks (Schulliste; Überprüfung der Angaben zur Schülerauswahl)
Ad 1) Tracking Instruments
Bei den Kontrollen in diesem Bereich wird zum einen geprüft, ob die Angaben innerhalb der einzelnen
Listen konsistent sind; zum anderen werden die Angaben zwischen den Instrumenten auf ihre Gültigkeit
hin kontrolliert. So wird z. B. innerhalb der Schülerlisten geprüft, ob für alle Schüler/innen, die laut
Eintragung der Testleiter/innen am Testtag anwesend waren, auch jeweils ein Eintrag zur besuchten
Testsitzung vorhanden ist. Umgekehrt wird geprüft, ob ausgeschlossene, abgemeldete oder fehlende Schüler/innen
dem entsprechend hier keinen Eintrag aufweisen. Bei der Überprüfung der Angaben zwischen den
Instrumenten wird z. B. kontrolliert, ob für jede Testsitzungsnummer, die auf der PISA-Schülerliste angegeben
ist, auch ein Eintrag im Testsitzungsprotokoll existiert. Treten bei diesen Kontrollen Inkonsistenzen
auf, müssen diese vor der Übermitttlung der Daten an das internationale Zentrum beseitigt oder zumindest
in den von KeyQuest für jede Kontrolle erzeugten Berichten erklärt werden.
Ad 2) Background Instruments
Für die Kontextfragebögen (Schul- und Schülerfragebogen) werden umfangreiche Überprüfungen der
Gültigkeit der jeweiligen Angaben sowie der Vollständigkeit durchgeführt. Dabei wird z. B. geprüft,
ob für jede/n Schüler/in, die/der laut PISA-Schülerliste bei der Fragebogenbearbeitung anwesend war,
auch ein Datensatz im Instrument Schülerfragebogen vorhanden ist. Darüber hinaus wird u. a. die
Übereinstimmung der Schülerangaben (im Fragebogen) mit den entsprechenden Eintragungen auf der
PISA-Schülerliste (Geschlecht, Geburtsdatum, Schulstufe) kontrolliert.
Ad 3) Test Instruments
Analog zur Prüfung für die Schülerfragebögen wird auch für die Testheft-Daten mit Hilfe der Checks in
diesem Bereich die Übereinstimmung zwischen Teilnahmestatus (auf der PISA-Schülerliste) und vorhandenen
Datensätzen in den Testheft-Instrumenten kontrolliert.
Seite 172
X. Dateneingabe

Ad 4) Reliability Checks
Für die Reliability Scoring-Daten wird zum einen die Vollständigkeit der Bewertungen kontrolliert, zum
anderen wird aber auch geprüft ob die einzelnen Bewertungen – wie vorgeschrieben – von unterschiedlichen
Kodierern vorgenommen wurden.
Ad 5) Sampling Checks
Die Auswahl der Schüler/innen liegt im Verantwortungsbereich der jeweiligen nationalen Zentren und
wird mit der Software KeyQuest durchgeführt. Um die Gültigkeit dieser Schülerauswahl zu prüfen, wird
kontrolliert, ob die dafür notwendigen Angaben auf der Liste der Schulen mit jenen in einem speziellen
Sampling Formular konsistent sind. Erst wenn alle vorgeschriebenen Kontrollen und Gültigkeitsprüfungen
der Daten durchgeführt und ev. aufgetauchte Inkonsistenzen beseitigt oder geklärt (dokumentiert und
begründet) sind, dürfen die Daten an das internationale Zentrum übermittelt werden. Diese vorgeschriebenen
Kontrollen sollen garantieren, dass die Qualität der Daten der einzelnen Länder möglichst hoch
ist, wenn diese an das internationale Zentrum gelangen.
4.3.2 Zusätzliche Qualitätskontrollen durch das nationale Zentrum
Neben den im vorigen Abschnitt dargestellten – durch das internationale Zentrum vorgeschriebenen –
Kontrollen, werden in Österreich vom nationalen Zentrum zusätzlich zahlreiche weitere Überprüfungen
der Daten durchgeführt um eine hohe Qualität der österreichischen PISA-Daten gewährleisten zu können.
Physikalische Überprüfung von gesamten Datensätzen
Unter physikalischen Überprüfungen werden hier Kontrollen verstanden, die auf dem Vergleich von
Einträgen in den Datensätzen mit den entsprechenden Erhebungsinstrumenten basieren. Im Rahmen
dieser zusätzlichen Datenüberprüfung werden – zusätzlich zu den während der Dateneingabe laufend
durchgeführten Kontrollen – von jedem Dateneingeber stichprobenweise ganze Datensätze kontrolliert
und dabei auftrauchende Dateneingabe-Fehler korrigiert.
Überprüfung von falschen Codes für fehlende oder ungültige Schülerantworten
Für die Eingabe von fehlenden oder ungültigen Schülerantworten gibt es bei PISA in KeyQuest bestimmte
Codes. Wenn eine Frage nicht bearbeitet wurde, wird für einstellige Variablen der Code 9, für
zweistellige der Code 99, für drei- oder mehrstellige Variablen (numerische Variablen) der Code 999
vergeben. Für ungültige Antworten lauten die entsprechenden Codes 8, 98 und 998. Ein Code für eine
ungültige Antwort wird zum Beispiel vergeben, wenn ein/e Schüler/in bei einer Multiple-Choice-Frage
mit Einfachauswahl mehrere Antwortalternativen angekreuzt, oder ein/e Schüler/in statt einer numerischen
Antwort einen Kommentar in den Raum einfügt, der für die Antwort vorgesehen ist.
Bei dieser Kontrolle wird vor allem bei numerischen Variablen geprüft, ob von den Dateneingebern irrtümlich
falsche Codes vergeben wurden. So wird zum Beispiel bei numerischen Variablen mit dreistelligen
Codes für fehlende oder ungültige Schülerantworten überprüft, ob die Zahlen 9 oder 99 bzw. 8 oder
98 eingegeben wurden. Ist dies der Fall, werden diese Zahlen anhand der Fragebögen bzw. Testhefte überprüft,
um festzustellen, ob dies wirklich die Schülerantwort ist, oder ob hier ein falscher Code verwendet
wurde. Diese aufwändige Überprüfung wird für sämtliche mehrstelligen Variablen aus den Instrumenten
für den Schülerfragebogen, den Testheften und dem Schulfragebogen durchgeführt.
Überprüfung von unplausiblen Werten – Plausibilitätschecks
Alle Variablen der Testhefte, der Schülerfragebögen und des Schulfragebogens werden so genannten
Plausibilitätschecks unterzogen. Hierzu werden die Daten im SPSS-Format aus KeyQuest exportiert und
Häufigkeitstabellen aller Variablen erstellt. Diese werden auf Plausibilität untersucht. Dies umfasst sowohl
so genannte „Out-of-Range-Checks“, bei denen auffällig hohe oder niedrige Werte kontrolliert
werden, als auch Kontrollen von Variablen, bei denen überdurchschnittlich viele Codes für fehlende oder
ungültige Schülerantworten vorkommen.
X. Dateneingabe
Seite 173

Überprüfung von unplausiblen Antwort-Kombinationen in den Fragebögen
Bei den Fragebögen werden die Daten auch über Variablen hinweg auf inhaltliche Plausibilität untersucht.
Zum Beispiel werden die Schüler/innen im Schülerfragebogen darüber befragt, wie viel Zeit sie
in einer Woche im Durchschnitt für Hausübungen benötigen. In einer folgenden Frage sollen sie dann
angeben, wie viel Zeit sie für Mathematik-Hausübungen benötigen. Ist beispielsweise die Angabe der Zeit
für Mathematik-Hausübungen bei Schülerinnen und Schülern höher als ihre gesamte Hausübungszeit,
werden diese Zahlen überprüft.
4.3.3 Qualitätskontrollen durch das internationale Zentrum
Nachdem die oben beschriebenen Kontrollen durchgeführt, und die dabei entdeckten Fehler korrigiert
(oder dokumentiert) sind, können die Daten an das internationale Zentrum übermittelt werden (vgl.
Abschnitt 5 idK.). Am internationalen Zentrum werden die PISA-Daten aller teilnehmenden Nationen
umfangreichen Kontrollen und Gültigkeitsprüfungen unterzogen, und bei festgestellten Inkonsistenzen
werden dazu Anfragen an die jeweiligen nationalen Zentren gesendet. Der Datenmanager des jeweiligen
nationalen Projektzentrums hat dabei die Aufgabe diese Anfragen zu beantworten. Für diesen Prozess der
internationalen Datenkontrolle und -säuberung sind etwa sechs Wochen vorgesehen.
5. Data Submission – Übermittlung der Daten an das internationale Zentrum
Die Übermittlung der Haupttestdaten an das internationale Zentrum muss innerhalb von 12 Wochen
nach Ende des nationalen Testfensters erfolgen. In Österreich konnten die gründlich kontrollierten und
gesäuberten Daten termingerecht am 25. August 2006 an das internationale Zentrum gesendet werden.
Sämtliche Daten müssen im Programm KeyQuest übermittelt werden, d. h. es ist – wenn auch dringend
empfohlen – nicht zwingend vorgeschrieben, für die Eingabe der Daten das Programm KeyQuest zu verwenden.
Falls die Daten mit einem anderen Programm eingegeben werden, müssen die Daten allerdings
vor der Übermittlung an das internationale Zentrum in KeyQuest importiert werden.
Folgende Materialen müssen bei der so genannten „Data Submission“ an das internationale Zentrum
übermittelt werden:
• Eine Kopie der KeyQuest-Dateien „KQdata.mdb“ und „KQadmin.mdb“ mit sämtlichen Daten (Daten
für Testhefte, Schülerfragebogen, Schulfragebogen, Multiple Marking, PISA-Schülerlisten, Liste
der Schulen, Liste der Schüler/innen, Testsitzungsprotokolle).
• Eine elektronische Kopie (.pdf) der international vorgeschriebenen Gültigkeitsprüfungen der Daten
bzw. der dabei erzeugten Berichte.
• Das komplette Set der nationalen Erhebungsinstrumente (Testhefte und Fragebögen) in PDF-Format.
• Zwei Dokumente mit Informationen zu den übermittelten Daten („Data submission checklist“ und
„Essential information required for cleaning data“).
Kontrolle und Aufbereitung der Daten am internationalen Zentrum
Nach der Übermittlung dieser Materialien werden die Daten vom internationalen Zentrum kontrolliert
(vgl. Abschnitt 4.3.3 idK.) und anschließend für die internationale Datenbasis aufbereitet. Dazu werden
Variablen, die für die Datenerhebung an nationale Gegebenheiten angepasst wurden, in die einheitlichen
internationalen Versionen rekodiert. Die nationalen Zentren haben im Anschluss daran nochmals die
Möglichkeit ihre Daten zu kontrollieren, bevor eine erst Version der internationalen Datenbasis erzeugt
wird. Die nationalen Zentren erhalten etwa Ende Mai 2007 diese erste Version der PISA-Daten, wobei
die Leistungsdaten dabei noch innerhalb der Länder skaliert sind und dadurch kein internationaler
Vergleich der Leistungswerte möglich ist. Die Endversion der Daten, die für die Berechnung des internationalen
Berichts verwendet wird, erhalten die nationalen Zentren Ende Juli 2007. Anfang Dezember
2007 werden die Ergebnisse von PISA 2006 der Öffentlichkeit bekannt gegeben. Im Anschluss daran
wird die internationale Datanbasis öffentlich zugänglich auf der PISA-Homepage der OECD (www.pisa.
oecd.org) zur Verfügung gestellt.
Seite 174
X. Dateneingabe

Bibliografie
Pointinger, M. (2004). Dateneingabe. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen.
Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 14.05.2007]
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele,
Methoden und Stichproben des österreichischen PISA Projekts (S. 211–257). Innsbruck: StudienVerlag.
X. Dateneingabe
Seite 175

Seite 176
X. Dateneingabe

XI
WEB-BASED ASSESSMENT
Simone Breit & Andrea Grafendorfer
1. Ziele von CBAS
2. Stichprobe
2.1 Vorgaben für die CBAS Stichprobe
2.2 Struktur der österreichischen Feldstichprobe
2.3 Auswahl der Schulen
2.4 Rücklauf von den Schulen
3. Testinstrumente
3.1 EDV-getützte Items
3.2 Testhefte
3.3 Fragebögen
4. Technische Voraussetzungen
4.1 Technische Infrastruktur
4.2 Anforderungen an ein EDV-gestütztes Assessmentsystem
4.3 Umsetzung der Übersetzungsrichtlinien in Österreich
5. Testorganisation und -durchführung
5.1 Organisation
5.2 Schulung der Testleiter/innen
5.3 Testablauf an den Schulen
6. Datenverarbeitung
6.1 Coding
6.2 Weiterverarbeitung der Daten
7. Qualitätssicherung und -kontrolle in CBAS
8. Erkenntnisse aus der Machbarkeitsstudie
Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Lang & Reiter, 2004). Die Autorinnen dieses Kapitels danken
Birgit Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.

Beim Feldtest von PISA 2006 hat sich Österreich mit elf weiteren Ländern am internationalen
Zusatzprojekt CBAS (Computer-Based Assessment of Science) beteiligt. Dabei werden die Schüler/innen
nicht nur mit der herkömmlichen Paper-Pencil-Methode (PP) getestet, sondern auch computerunterstützt.
Projektmanager für dieses internationale Zusatzprojekt ist DI Dr. Erik Diewald.
1. Ziele von CBAS
Computerunterstützt heißt im Fall von CBAS, dass Schüler/innen zusätzlich zu den Aufgaben im Testheft
eigens konstruierte Items am Laptop bearbeiten. Damit wird der Versuch gestartet, neue Medien für
PISA-Tests zu erschließen, so dass irgendwann computergestützte Tests die Paper-Pencil-Tests ablösen
können. Vom internationalen Zentrum wurde die Variante mit Laptops einer Testung im Internet vorgezogen,
um Länder mit noch geringer Internetanbindung nicht zu benachteiligen.
CBAS ist in Österreich bereits die zweite computergestützte Testerhebung. Bei PISA 2003 wurden im Zuge
des nationalen Zusatzprojekts Web-Based Assessment Leistungs- und Kontextdaten von Schülerinnen und
Schülern online erhoben (Lang & Reiter, 2004). Die Instrumente bei dieser Machbarkeitsstudie waren
ident mit den Instrumenten der herkömmlichen PISA-Testung. Im Gegensatz dazu wurden für das internationale
Zusatzprojekt CBAS neue Instrumente entwickelt, mit dem Ziel eine neue Art der Erhebung zu
ermöglichen. Die computergestützte Testung soll einen Mehrwert bieten, indem das Naturwissenschafts-
Framework durch andere Arten der Darstellung anders abgebildet werden kann. Daher erhebt CBAS
neue Informationen und eine andere Art von Naturwissenschafts-Kompetenz als PISA.
Die Testdurchführung wurde an die speziellen Anforderungen für dieses Projekt angepasst. Alle
Schüler/innen werden eine Stunde mittels Testheft und eine Stunde computerunterstützt getestet. Dafür
werden die teilnehmenden Schüler/innen in zwei Gruppen geteilt, wobei eine Gruppe zuerst den Test am
Computer durchführt, währenddessen die zweite Gruppe die Testhefte bearbeitet. Anschließend tauschen
die Gruppen und führen den Test am jeweils anderen Medium durch. Die zusätzliche Bearbeitung der
Testhefte ermöglicht eine bessere Abbildung der Fähigkeiten und den Vergleich der computergestützt
erhobenen Ergebnisse mit den herkömmlichen. Darüber hinaus beantworten die Schüler/innen ebenfalls
den für PISA entwickelten Schülerfragebogen, welcher um einige Fragen zum computergestützten Testen
ergänzt wurde.
Die Vorteile einer Testung der Schüler/innen mittels Computer sind zahlreich:
• finanzielle Einsparungen durch Entfall des Drucks und des Transports der Erhebungsinstrumente;
• zeitliche Einsparungen durch die automatische „Eingabe“ der Daten während der Bearbeitung durch
die Schüler/innen;
• höhere Attraktivität des Tests und Erweiterung der Möglichkeiten durch den Einsatz von Farbe, Bewegung,
Audio/Video;
• verringerte Lesemenge für die Naturwissenschafts-Aufgaben (Items);
• erweiterte Möglichkeiten der Datengewinnung, weil die Antwortprozesse computergestützt aufgezeichnet
werden können (z. B. Ablauf, Zeiten, ...).
Allerdings gibt es trotz dieser Vorteile auch noch unbekannte Effekte – z. B. Beeinflussung der Testergebnisse,
da am Bildschirm gelesen und per Maus geantwortet werden muss –, die mit Hilfe einer
Machbarkeitsstudie identifiziert und analysiert werden können. Auch die technischen Anforderungen
und Möglichkeiten müssen erst erprobt werden. Zusätzlich soll der Feldtest Informationen über den Zusammenhang
zwischen Paper-Pencil- und Computer-Testung liefern.
2. Stichprobe
2.1 Vorgaben für die CBAS-Stichprobe
Mit Hilfe der CBAS-Stichprobe soll erprobt werden, ob eine große Studie wie PISA in Hinkunft computerunterstützt
durchgeführt werden kann. Auf dem Weg dorthin sind zahlreiche Erfahrungen notwendig.
Die OECD hat sich entschieden, im Feldtest 2006 den Ländern diese Machbarkeitsstudie anzubieten,
Seite 178
XI. Web-Based Assessment

um im eigenen Kontext die computerunterstützte Testung zu erproben. Österreich hat zwar im Jahr 2003
mit dem Web-Based Assessment Erfahrungen gesammelt, wie der Test- und Befragungsvorgang in PISA
mit Hilfe des Internets durchgeführt werden kann, sich dennoch entschieden, auf Grund der geänderten
Modalitäten auch an der internationalen Option CBAS teilzunehmen.
Für die Feasability-Study CBAS ist international eine Mindeststichprobengröße von 450 getesteten
Schülerinnen und Schülern vorgesehen. Es wird empfohlen, je 10 Schüler/innen in 45 Schulen computerunterstützt
zu testen. Das internationale Projektzentrum schlägt vor, CBAS entweder an den
Feldtestschulen durchzuführen (also die Anzahl der Schüler/innen an den Feldtestschulen entsprechend
zu erhöhen), oder eigene Schulen für CBAS auszuwählen.
Österreich hat sich für die zweite Option entschieden und für den Feldtest von PISA 2006 und für
CBAS zwei voneinander getrennte Stichproben gezogen. Die Vorteile sind aus Sicht des nationalen
Projektzentrums wie folgt:
• Die Bereitschaft zur Teilnahme der Schulen am PISA-Feldtest wird nicht durch das internationale
Zusatzprojekt gefährdet.
• Der Aufwand für die Schule bzw. die Schulkoordinator/innen ist durch die getrennten Stichproben
geringer, weil an einer Schule jeweils nur ein Projekt stattfindet.
• Die Testzeit der Schüler/innen beträgt für CBAS-Teilnehmer/innen ebenfalls 3½–4 Stunden. Bei
einer kombinierten Stichprobe von PISA und CBAS wäre für die Schüler/innen aufgrund der computergestützten
Testung eine Stunde Testzeit mehr notwendig. Das könnte zu Motivations- und Konzentrationsproblemen
führen.
• Die Testdurchführung ist einfacher, weil nicht der vorhandene Pool an Testleitern und Testleiterinnen
in den Umgang mit den Laptops eingeschult werden muss, sondern spezielle Testleiter/innen für
CBAS rekrutiert werden können.
• Die Trennung der Stichproben verhindert auch eine Gefährdung der herkömmlichen, mit Paper-
Pencil erhobenen Daten.
Das Stichprobendesign für CBAS ist dem Stichprobendesign für den PISA-Feldtest sehr ähnlich und
muss ebenfalls folgenden Kriterien entsprechen:
• Für Länder, deren CBAS-Feldtest zwischen 1. März und 31. Mai 2005 durchgeführt wird, ist der
Geburtsjahrgang 1989 die Definition des Zielalters.
• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günstige“
Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden.
• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signifikante
Teile 15-/16-Jähriger befinden.
• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen
enthalten.
• Die Stichprobe soll Schüler/innen verschiedener demografischer und sozioökonomischer Gruppen
umfassen (z. B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.)
2.2 Struktur der österreichischen Feldteststichprobe
Das österreichische Sampling-Design für CBAS orientiert sich wie die Stichprobe des PISA-Feldtests an
zwei Merkmalen: der geografischen Lage der Schulen (unter Einbeziehung der Variable Bundesland) und
der Schulform (repräsentiert durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zusammenfassen).
Als erstes wurde entschieden, drei Bundesländer von der Stichprobe auszunehmen. Das
war im Fall der Feasablility-Study von CBAS möglich. Aus organisatorischen Gründen (v. a. um hohe
Reisekosten zu vermeiden) entschied man sich, Kärnten, Steiermark und Vorarlberg von der Stichprobe
auszuschließen.
Um eine Stichprobengröße von 450 Schülerinnen und Schülern aus mind. 45 Schulen zu erreichen, legte
man in Österreich fest, 50 Schulen in das Sampling aufzunehmen. Je nach Anzahl der Schüler/innen in
den Bundesländern bzw. den definierten Strata werden die Randhäufigkeiten für die Stichprobe festge-
XI. Web-Based Assessemnt
Seite 179

setzt. Die Verteilung der Stichprobe auf die einzelnen Zellen (Bundesland-Stratum-Kombinationen) wird
durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen werden hierbei nicht zugelassen. Das Ergebnis
der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung XI.1.
Randhäufigkeiten - vorgegeben
2 Hauptschule 3
3 Polytechnische Schule 5
Burgenland
Kärtnen
Niederösterr.
Oberösterr.
Salzburg
Steiermark
Tirol
Vorarlberg
Wien
3 13 13 5 7 9
4 Sonderschule 0
5 Gymnasium 5
6 Realgymnasium & wirtschaftskundliches RG 5
7 Oberstufenrealgymnasium 2
8 Sonstige Allgemeinbildende Schulen/mit Statut 0
9 Berufsschule (technisch/gewerblich) 5
10 Berufsschule (kaufmännisch/Handel &Verkehr) 2
11 Berufsschule (land- & forstwirtschaftlich) 1
12 BMS (gewerblich/technisch/kunstgewerblich) 2
13 BMS (kaufmännisch) 4
14 BMS (wirtschaftsberuflich/sozialberuflich) 3
15 BMS (land- & forstwirtschaftlich) 2
16 BHS (gewerblich/technisch/kunstgewerblich) 3
17 BHS (kaufmännisch) 4
18 BHS (wirtschaftsberuflich/sozialberuflich) 2
19 BHS (land- & forstwirtschaftlich) 1
20 Anstalten der Lehrer- & Erzieherbildung 1
2.3 Auswahl der Schulen
Abbildung XI.1:Struktur der Stichprobe für CBAS
Durch den Samplingplan aus Abbildung XI.1 ist festgelegt, aus welchen Bundesland-Stratum-
Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-
Schulen wird für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der
Schulstatistik des Schuljahrs 2003/2004 des bm:bwk erstellt. Aus jeder dieser Listen wird dann zufällig
eine Schule ausgewählt. Die auf der Liste direkt folgende Schule wurde als erstes Replacement notiert, die
vorangehende Schule als zweite Replacement-Schule.
Abbildung XI.2 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl
der Schulen entspricht den in Abbildung XI.1 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je
Stratum handelt es sich um eine Schätzung auf Basis der dem Feldtestsampling zu Grunde liegenden
Schuldatenbank.
Seite 180
XI. Web-Based Assessment

Stratum
2 Hauptschule
3 Polytechnische Schule
4 Sonderschule
5 Gymnasium
6 Realgymnasium & wirtschaftskundliches RG
7 Oberstufenrealgymnasium
8 Sonstige Allgemeinbildende Schulen/mit Statut
9 Berufsschule (technisch/gewerblich)
10 Berufsschule (kaufmännisch/Handel & Verkehr)
11 Berufsschule (land- & forstwirtschaftlich)
12 BMS (gewerblich/technisch/kunstgewerblich)
13 BMS (kaufmännisch)
14 BMS (wirtschaftsberuflich/sozialberuflich)
15 BMS (land- & forstwirtschaftlich)
16 BHS (gewerblich/technisch/kunstgewerblich)
17 BHS (kaufmännisch)
18 BHS (wirtschaftsberuflich/sozialberuflich)
19 BHS (land- & forstwirtschaftlich)
20 Anstalten der Lehrer- & Erzieherbildung
GESAMT
Schulen
(gezogen)
Schüler/innen
(erwartet)
Anzahl Prozent
3 34 5.7 %
5 60 10.1 %
- - -
5 60 10.1 %
5 60 10.1 %
2 24 4.0 %
- - -
5 60 10.1 %
2 24 4.0 %
1 10 1.7 %
2 24 4.0 %
4 48 8.1 %
3 36 6.0 %
2 24 4.0 %
3 36 6.0 %
4 48 8.1 %
2 24 4.0 %
1 12 2.0 %
1 12 2.0 %
50 596 100.0 %
Abbildung XI.2: Die österreichische Stichprobe für CBAS
2.4 Rücklauf von den Schulen
Diese 50 Schulen wurden zur Teilnahme an CBAS eingeladen und um eine vollständige Schülerliste
des Geburtsjahres 1989 gebeten. In zwei der 50 Schulen konnte CBAS nicht durchgeführt werden: eine
Schule war aufgelassen worden,
bei der anderen Schule
Schüler/innen in der CBAS-Stichprobe
Ausschlüsse
auf Grund
Ineligible,
weil
Abbildung XI.3: Ausschlüsse bei CBAS
576 100 %
körperlicher Behinderung 0 0.0 %
geistiger Behinderung 0 0.0 %
mangelnder Deutschkenntnisse 7 1.2 %
Ausschlüsse gesamt 7 1.2 %
an andere Schule gewechselt 2 0.3 %
nicht mehr in der Schule 8 1.4 %
Zu testende Schüler/innen
Ineligible gesamt 10 1.7 %
559
handelte es sich um einen
Fehler in der Datenbank,
so dass dort keine Schüler/innen
der ausgewählten
Schulform vertreten waren.
In den verbleibenden 48
Schulen wurden per Zufall
je 12 Schüler/innen für die
Teilnahme an CBAS ausgewählt
(insgesamt 576 Schüler/innen).
Bei CBAS ist
es – wie bei PISA – möglich,
einzelne Schüler/innen vom
XI. Web-Based Assessemnt
Seite 181

Test auszuschließen. Die
Kriterien dafür sind dieselben
wie bei PISA. Schüler/innen
werden vom CBAS-Test
dann ausgeschlossen, wenn
sie die 7. Schulstufe noch
nicht erreicht haben, die
Teilnahme auf Grund von
schwerer körperlicher oder
geistiger Behinderung nicht
zumutbar ist oder die betreffenden
Schüler/innen über
zu testende Schüler/innen
Ausfälle
auf Grund
Abbildung XI.4: Ausfälle bei CBAS
559 100 %
Verweigerung der Teilnahme 3 0.5 %
Abwesenheit 37 6.6 %
Ausfälle gesamt
40 7.2 %
Daten aus Testheft und Fragebogen 519 92.8 %
Datenverlust auf Grund technischer Probleme 11 2.0 %
Daten vom computergestützen Test
508 90.9 %
mangelnde Deutschkenntnisse verfügen, weil sie noch weniger als ein Jahr in Österreich sind (vgl. Kapitel
VI). Abbildung XI.3 (vorhergehende Seite) zeigt die Ausschlüsse von Schüler/innen bei CBAS.
Von den testbaren 559 Schüler/innen haben 519 tatsächlich an CBAS teilgenommen. Drei Schüler/innen
haben sich vom Test abgemeldet, 37 Schüler/innen fehlten am Testtag und konnten daher nicht getestet
werden. Beim computergestützten Teil war darüber hinaus in einer Schule ein Datenverlust zu verzeichnen,
sodass für 508 Schüler/innen aus diesem Testbereich Daten zur Verfügung stehen (vgl. Abbildung XI.4).
Abbildung XI.5 gibt getrennt nach Schulsparten einen Überblick über die Rücklaufquoten bei CBAS.
Stratum
Schulen
Schüler/innen
teilgen. erwartet teilgen. Rücklauf
2 Hauptschule 3 28 28 100.0 %
3 Polytechnische Schule 5 58 50 86.2 %
4 Sonderschule - - - -
5 Gymnasium 5 60 58 96.7 %
6 Realgymnasium & wirtschaftskundliches RG 4 47 44 93.6 %
7 Oberstufenrealgymnasium 2 24 23 95.8 %
8 Sonstige Allgemeinbildende Schulen/mit Statut - - - -
9 Berufsschule (technisch/gewerblich) 5 60 54 90.0 %
10 Berufsschule (kaufmännisch/Handel & Verkehr) 2 24 21 87.5 %
11 Berufsschule (land- & forstwirtschaftlich) 1 12 9 75.0 %
12 BMS (gewerblich/technisch/kunstgewerblich) 2 24 24 100.0 %
13 BMS (kaufmännisch) 4 44 39 88.6 %
14 BMS (wirtschaftsberuflich/sozialberuflich) 3 34 33 97.1 %
15 BMS (land- & forstwirtschaftlich) 1 12 11 91.7 %
16 BHS (gewerblich/technisch/kunstgewerblich) 3 36 36 100.0 %
17 BHS (kaufmännisch) 4 48 43 89.6 %
18 BHS (wirtschaftsberuflich/sozialberuflich) 2 24 22 91.7 %
19 BHS (land- & forstwirtschaftlich) 1 12 12 100.0 %
20 Anstalten f. Lehrer- & Erzieherbildung 1 12 12 100.0 %
GESAMT 48 559 519 92.8 %
Abbildung XI.5: Rücklauf bei CBAS nach Schulsparten
Seite 182
XI. Web-Based Assessment

3. Testinstrumente
3.1 EDV-gestützte Items
Für die Umsetzung der PISA-Testung auf den Laptops werden eigene Naturwissenschafts-Aufgaben (Items)
entwickelt. Alle CBAS-Items stammen aus der Domäne Naturwissenschaft; Lesen und Mathematik wird
durch CBAS nicht erfasst. Die Aufgaben werden vom internationalen PISA-Konsortium erstellt. Ihnen
liegt das gleiche Framework zu Grunde wie den Items des klassischen PP-PISA-Tests.
Es wurden 56 Units mit 115 Items für den Feldtest erstellt. Jede Aufgabe besteht wie beim herkömmlichen
PISA-Test aus einem Stimulus und einer dazugehörigen Frage. Im Unterschied zu den herkömmlichen
Aufgaben kann dieser Stimulus auch aus einem Video oder einer Animation bestehen. Es wurde
versucht, den Leseaufwand sowohl im Stimulus als auch in der Frage möglichst gering zu halten. Die
Antwortmöglichkeiten sind im geschlossenen Format (Multiple-Choice- oder Drag-and-Drop-Format).
Für die Übersetzung der Items kommt ein eigens dafür entwickeltes Programm, die CBAS-Unit-
Translation-Software, zur Anwendung. Die Vorgangsweise entspricht dem Prozedere bei den Übersetzungen
der Materialen für den herkömmlichen PISA-Test. Zwei unabhängige Personen fertigen jeweils eine
Übersetzung an, die dann von einem Dritten zusammengeführt und zur Begutachtung ans internationale
Zentrum übermittelt wird. Anschließend laufen die gleichen Begutachtungs-Schritte ab wie bei PISA.
Zuerst wird die Übersetzung geprüft und mit Änderungswünschen zurückgeschickt. Die geforderten
Modifikationen werden eingearbeitet und abschließend zur Begutachtung, dem Final-Optical-Check,
wieder ans internationale Zentrum gesendet.
Die Items werden zu zehn verschiedenen CBAS-Testformen kombiniert, welche den Schülerinnen und
Schülern im Rotationsprinzip zugeteilt werden.
3.2 Testhefte
Für den PP-Teil des CBAS-Tests werden eigene Testhefte mit einer Auswahl aus dem Feldtest-Item-Pool
in der bekannten Form zusammengestellt. 89 Items aus 17 Units werden zu fünf Cluster kombiniert. Es
handelt sich hierbei um fünf Cluster, die in derselben Form im PISA-Feldtest 2006 verwendet werden.
Das CBAS-Testheft wurde für eine Bearbeitungsdauer von einer Stunde konzipiert. Es gibt zehn verschiedene
Testheftformen (C1–C10), die den Schülerinnen und Schülern ebenfalls im Rotationsprinzip
zugeteilt werden.
3.3 Fragebögen
Zur Erhebung von Kontext-Informationen werden vier Fragebogenformen eingesetzt, die den Fragebögen
des PISA-Feldtests entsprechen, wobei zusätzliche Fragen zur computerunterstützten Testung gestellt
werden.
4. Technische Voraussetzungen
4.1 Technische Infrastruktur
Jedes Testleitungs-Team wurde mit einem identischen Equipment für die Datenerhebung ausgestattet
• 7 Notebooks DELL Latitude D600 („CBASx01-7“) mit Netzteil
• 7 Notebooktaschen
• 7 opt. Mäuse Logitech Notebook Mouse Plus
• 6 Kopfhörer Sennheiser HD-25-SP (mit nachträglich umgelöteten 3,5mm Stereo-Klinkensteckern,
da sich die Lösung des Herstellers mit Adapter-Stecker als nicht schülertauglich erwiesen hat)
• 2 x 6 Paar (pro Schule) Hygiene-Ohrpads Sennheiser HZP-25 (auswechselbar, waschbar)
• 1 Funk-AccessPoint Netgear WGR-614„CBAS-APx“ mit Netzteil
• 1 Kabeltrommel
• 1 Verteiler 10fach
XI. Web-Based Assessemnt
Seite 183

• 2 (pro Schule) CD-Rs vorbedruckt sowie mit zusätzlicher „Notfall-Ausrüstung“:
• 6 Netzwerkkabel „grau“
• 1 Netzwerkkabel „rot“
• 1 Netzwerk-Switch D-Link DES-1008D „CBAS-SWx“ mit Netzteil
• 5 CD-Rs (unbedruckt)
Zusätzlich verblieb ein vorinstalliertes Notebook am Projektzentrum, um im Falle größerer Defekte
Ersatzgeräte rasch zur Verfügung zu haben.
Die Notebooks waren mit folgender Hardware ausgestattet:
Processor
Model: Intel(R) Pentium(R) M processor 1.60GHz
Type: Mobile
Internal Data Cache: 32kB Synchronous, Write-Back, 8-way set, 64 byte line size
L2 On-board Cache: 2MB ECC Synchronous, ATC, 8-way set, 64 byte line size
Mainboard
Bus(es): ISA X-Bus AGP PCI PCMCIA CardBus USB
MP Support: No
MP APIC: No
System BIOS: Dell Computer Corporation A14
System: Dell Computer Corporation Latitude D600
Mainboard: Dell Computer Corporation 0D2125
Total Memory: 512MB DDR-SDRAM
Chipset
Model: Intel Corporation 82855PM Host-Hub Interface Bridge
Front Side Bus Speed: 4x 100MHz (400MHz data rate)
Total Memory: 512MB DDR-SDRAM
Memory Bus Speed: 2x 133MHz (266MHz data rate)
Video System
Adapter: MOBILITY RADEON 9000
Physical Storage Devices
Hard Disk: TOSHIBA MK4026GAX (37GB)
CD-ROM/DVD: SAMSUNG CDRW/DVD SN-324S (CD 24X Rd, 24X Wr) (DVD
3X Rd)
Logical Storage Devices
System (C:): 37GB (30GB, 80 % Free Space) (NTFS)
Peripherals
Serial/Parallel Port(s): 2 COM / 1 LPT
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C2
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C4
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C7
USB Controller/Hub: Intel(R) 82801DB/DBM USB 2.0 erweiterter Hostcontroller-24CD
USB Controller/Hub: USB-Root-Hub
USB Controller/Hub: USB-Massenspeichergerät
PCMCIA/CardBus Controller: O2Micro OZ711EC1 SmartCardBus Controller
Smart Card Device: O2Micro SmartCardBus Reader
Keyboard: Standardtastatur (101/102 Tasten) oder Microsoft Natural Keyboard (PS/2)
Mouse: Alps Touch Pad
Seite 184
XI. Web-Based Assessment

MultiMedia Device(s)
Device: SigmaTel C-Major Audio
Communication Device(s)
Device: Conexant D480 MDC V.9x Modem
Operating System(s)
Windows System: Microsoft Windows XP/2002 Professional (Win32 x86)
5.01.2600 (Service Pack 2)
Network Services
Adapter: Broadcom 570x Gigabit Integrated Controller
Adapter: Intel(R) PRO/Wireless 2200BG Network Connection
Auf diesen Notebooks war für CBAS folgende Software installiert:
• Betriebssystem: Windows XP Professional SP2
• WLAN-Treiber: Intel PRO/Wireless Networkpackage Version A08 bzw. A09
• Testumgebung: Test Administrator und Test Delivery Version 1.4.0
• Virenschutz: McAfee
• MS-Office 2003
• Nero Burning ROM Version 6
Durch folgende Vorkehrungen sollte im Falle eines Problems mit der Hardware oder Software eine möglichst
rasche Behebung gewährleistet werden:
• Alle Notebooks sind gleich konfiguriert. Somit kann jedes Notebook als Testleiter- oder Test-
Delivery-Plattform eingesetzt werden.
• Es existiert ein vollständiges Image des Systems, mit dem innerhalb von ca. 2 Stunden ein fehlerhaftes
System selbst von Laien vollständig neu aufgesetzt werden kann.
• Für grobe Defekte steht ein zusätzliches, vollständig konfiguriertes Notebook als Reservesystem im
Projektzentrum zur Verfügung.
• Bei Netzwerkproblemen kann problemlos und ohne viel Zeitaufwand auf eine verkabelte Netzwerkverbindung
umgestellt werden.
• Es ist immer ein eingeschulter Techniker für telefonischen Support bei Problemen mit den Notebooks
oder der Testumgebung erreichbar.
• Das WLAN-Netzwerk wurde vor dem ersten Einsatz im Feldtest einem „Stresstest“ unterzogen, um
etwaige Instabilitäten aufzudecken.
• DELL-Golden-Support mit Vorort-Service.
4.2. Anforderungen an ein EDV-gestütztes Assessmentsystem
Für die Umsetzung der Instrumente sowie für die Testdurchführung selbst wurde vom internationalen
Zentrum eine Software entwickelt, die auf Grund der komplexen Strukturen der PISA-Studie spezielle
Anforderungen erfüllen muss. Im Folgenden sind einige Beispiele für diese Anforderungen aufgelistet:
• Der Schülerzugang zu den Aufgaben und Fragen soll mit Codes ermöglicht werden.
• Das System muss unempfindlich gegenüber PC-Abstürzen sein und ein Neueinstieg mit dem letzten
Datenstand muss möglich sein.
• Die Bedienung der Software muss möglichst einfach sein, um Schülern bzw. Schülerinnen mit geringen
EDV-Kenntnissen nicht zu benachteiligen.
• Gleichzeitig muss die Möglichkeit für Schüler/innen, unerwünscht in das Programm einzugreifen,
minimiert werden (z. B. Tastenkombinationen wie Strg-Alt-Entf).
• Die verwendeten Aufgaben sollen durch den erweiterten Einsatz von Farbe, Bewegung und Simulationen
attraktiver sein als im herkömmlichen PISA-Test mittels Testheften.
XI. Web-Based Assessemnt
Seite 185

• Die Aktivitäten der Schüler/innen sollen protokolliert werden, um die Häufigkeit des Änderns einer
Antwort oder die Verweildauer auf einer Seite auswerten zu können.
5. Testorganisation und -durchführung
5.1 Organisation
Für CBAS wurden eigene Testleiter/innen angeworben, die für drei Monate am nationalen PISA-Zentrum
angestellt wurden. Die Testleiter/innen sollten pädagogische Erfahrung mitbringen und technisch versiert
sein, so dass sie mit dem Netzwerk der Laptops klar kommen. Das Testdesign erforderte gleichzeitig zwei
Testleiter/innen an einer Schule, so dass zwei Teams gebildet wurden. Zwei Testleiter übernahmen die
Region Ostösterreich, zwei Testleiterinnen Westösterreich. Die beiden Testleiter/innen mussten gemeinsam
an die Schule kommen, um CBAS durchzuführen. Für diese Tätigkeiten konnten Absolvent/innen
der universitären Lehrerausbildung gewonnen werden.
5.2 Schulung der Testleiter/innen
Für die CBAS-Testleiter/innen wurde eine ganztätige Einschulung abgehalten. Im ersten Teil der Schulung
wurden die Testleiter/innen über PISA und CBAS im Allgemeinen informiert. Anschließend wurden die
Testleiter/innen mit ihren Aufgaben vertraut gemacht, im Speziellen ging es um die Kontaktaufnahme
mit den Schulen, die Durchführung der Testsitzungen mit Hilfe der Testleiter-Skripts sowie die ordnungsgemäße
Protokollierung der Testsitzungen. Im zweiten Teil stand das praktische Erproben der Technik im
Mittelpunkt. Den Testleitern und Testleiterinnen wurden Tipps für die Behandlung von Schwierigkeiten
mit auf den Weg gegeben.
Jeder der beiden Testleiter/innen musste im Stande sein, beide Rollen zu übernehmen: die Leitung des Tests
am Laptop und die Leitung des Tests in Papierform. Für jeden Testteil (Papier – Laptop – Fragebogen)
gibt es für die Testleiter/innen strenge Vorgaben und wortwörtlich zu verlesende Skripts wie beim klassischen
PISA-Test.
5.3 Testablauf an den Schulen
Bei CBAS nimmt jede Schülerin bzw. jeder Schüler an einer einstündigen Testheftsitzung und einer
einstündigen Laptopsitzung teil und füllt zum Schluss einen Schülerfragebogen im Unfang einer halben
Stunde aus. Für die Durchführung von CBAS werden an einer Schule zwei Räume benötigt. Während ein/
e Testleiter/in mit 6 Schülerinnen bzw. Schülern die Laptop-Sitzung durchführt, findet parallel dazu von
der anderern Testleiterin bzw. vom anderen Testleiter für die anderen 6 Schüler/innen die Testheftsitzung
mit Papier und Bleistift statt (vgl. Abbildung XI.6).
Die Vorbereitungen für die Testdurchführung dauern etwa eine Stunde. In einem Raum werden für die
Computer-Testung 7 Laptops, die von den Testleiterinnen bzw. Testleitern mitgebracht werden, im Kreis
zu einem kabellosen Netzwerk (WLAN) verbunden. Ein Laptop ist für die Testleiterin bzw. den Testleiter
vorgesehen. Auf diesem Computer ist das CBAS-Test-Administrations-Progamm installiert, mit dessen
Hilfe alle Antwort- und Verhaltensdaten der Schüler/innen gesammelt werden. Auf den sechs restlichen
Laptops, die für die Schüler/innen vorgesehen sind, liegt das CBAS-Test-Programm.
Jede Schülerin und jeder Schüler erhält einen speziellen Code, mit dem er bzw. sie in das Testprogramm
einsteigen kann. Zu Beginn der Testsitzung am Computer wird eine kurze Übungsphase abgehalten, bei
der überprüft wird, ob alle teilnehmenden Schüler/innen mit den für den Test notwendigen Techniken
(Bewegen der Maus, Anklicken von Antworten, Abspielen der Filme und Animationen, Lautstärkeregelung
der Kopfhörer) vertraut sind. Anschließend wird der Haupttest gestartet, bei dem die Schüler/innen, wie
bei der Testheft-Sitzung, unterschiedliche Aufgaben bearbeiten. Nachdem die einstündige Testsitzung am
Computer abgeschlossen ist, werden alle Daten am Testleiter-Laptop gesammelt und zur Datensicherung
auf CD-R gebrannt.
Seite 186
XI. Web-Based Assessment

Nach einer Stunde Testzeit tauschen die Schüler/innen die Räume. Anschließend füllen sie gemeinsam
den Fragebogen in Papierform aus (vgl. Abbildung XI.6). Die Testmaterialien, wie CD-R mit den gesicherten
Schülerdaten, Testhefte und Fragebögen, wurden laufend – meist wöchentlich – an das nationale
Projektzentrum gesandt.
Raum 1
(Testleiter/in 1)
Ablauf einer CBAS-PISA-Testsitzung
Schülergruppe 1
Schülergruppe 2
Raum 2
(Testleiter/in 2)
Begrüßung
und Einleitung
durch Testleiter/in
Bearbeitung der
PISA-Aufgaben
computergestützt
60 min
Bearbeitung der
PISA-Aufgaben im
Testheft
60 min
Bearbeitung der
PISA-Aufgaben
computergestützt
60 min
5 min Pause 15 min Pause
Bearbeitung der
PISA-Aufgaben im
Testheft
60 min
Begrüßung
und Einleitung
durch Testleiter/in
PISA/Schülerfragebogen
ca. 40 min
Abbildung XI.6: Ablauf einer CBAS-Testsitzung
Die Testsitzungen von CBAS fanden im dreimonatigem Testfenster statt: zwischen 1. März und 31. Mai
2005 wurden alle Testsitzungen an den Schulen durchgeführt. Nachtests für fehlende Schüler/innen wie
beim herkömmlichen PISA-Test sind bei CBAS nicht vorgesehen.
6. Datenverarbeitung
6.1 Coding
Coding, die Bewertung von offenen Aufgaben, ist bei CBAS nur für die Testhefte notwendig. Diese
wurden im Zuge des Codings für das klassische PISA durchgeführt (vgl. Kapitel VIII). Die computerunterstützen
Tests umfassen ausschließlich Fragen im geschlossenen Antwortformat. Somit ist das Umsetzen
von Antworten in Codes nicht nötig.
6.2 Weiterverarbeitung der Daten
Der bei traditionellen Paper-Pencil-Erhebungen sehr umfangreiche Prozess der Dateneingabe ist nur für
die Testheft- und Fragebogendaten notwendig. Die Ergebnisse der Computer-Tests können direkt in
KeyQuest importiert werden.
7. Qualitätssicherung und -kontrolle bei CBAS
Auch für CBAS wurden große Anstrengungen zur Qualitätssicherung und -kontrolle unternommen. Viele
der Maßnahmen werden ähnlich wie beim klassischen PISA-Test durchgeführt. Folgende Maßnahmen
zur Qualitätssicherung und -kontrolle wurden durchgeführt:
• Die Ziehung einer eigenen Stichprobe für CBAS unabhängig vom PISA-Feldtest hat den Vorteil, dass
die Ergebnisse des PISA-Feldtests in keiner Weise von der internationalen Zusatzstudie beeinträchtigt
werden. Die hohen Qualitätsmaßstäbe bei der Stichprobenziehung selbst wurden auch bei CBAS
realisiert.
XI. Web-Based Assessemnt
Seite 187

• Die Übersetzung der Instrumente unterliegt genau festgelegten Schritten mit laufender Qualitätssicherung.
Das gilt sowohl für die Items, die für die Testhefte verwendet wurden, als auch für die Aufgaben,
die für die computerunterstützte Testung vorgesehen sind.
• Es erfolgt eine genaue Kontrolle der Testhefte und Fragebögen auf Druckfehler, um eine optimale Qualität
der Instrumente zu ermöglichen.
• Um eventuelle Hardware-Probleme zu vermeiden und sicherzustellen, dass alle Programme auch
wirklich laufen, wurde der Test auf eigenen, von den Testleitern und Testleiterinnen mitgebrachten
Notebooks durchgeführt. Weiter wird so eine Vergleichbarkeit der Tests ermöglicht, da alle Computer
z. B. mit derselben Geschwindigkeit laufen oder dieselbe Bildschirmgröße haben.
• Die verwendete Test-Software muss eine Datensicherung bei Computerausfällen möglich machen.
Wenn etwa ein Computer im Netzwerk abstürzt, muss es möglich sein, dass zumindest die Daten der
anderen Notebooks gesammelt werden.
• Für die Durchführung wurden auch bei CBAS externe Testleiter/innen eingesetzt. Diese waren fix angestellt
und führten alle Tests durch. Durch ihre große Erfahrung konnte eine Test-Durchführung nach
den vorgesehenen Kriterien gewährleistet werden. Außerdem wurden Tests von den Mitarbeiterinnen
des nationalen Projektzentrums besucht und auf ihre korrekte Administration hin beobachtet.
• Kopien der Daten auf CD-Rom wurden an verschiedenen Orten gelagert.
• Das Coding der Testhefte unterlag der gleichen Kontrolle, wie sie auch bei PISA durchgeführt wurde.
Das qualifizierte Codingpersonal wurde mit Hilfe der standardisierten Workshopmaterialien geschult
und anschließend getestet. Die Zuordnung zu den Testheften erfolgte ebenso nach einem Rotationsschema,
wobei jeweils zwei Coder/innen zwei unterschiedliche Aufgabenblöcke bearbeiteten. Auch
hier erfolgten permanent Qualitätskontrollen durch die Supervisorin und anschließende Nachschulungen.
• Die Qualität der Dateneingabe wurde ebenfalls wie bei PISA von einem Mitarbeiter des ZVB ständig
überprüft.
8. Erkenntnisse aus der Machbarkeitsstudie
Österreich hat am internationalen Zusatzprojekt CBAS nur im Feldtest teilgenommen. Dieser war im
Sinn einer Machbarkeitsstudie konzipiert. Es wurde versucht, mit Hilfe der Testung am Computer einen
Mehrwert („added value“) einzubringen. Für Österreich wurde gezeigt, dass eine Testorganisation im hier
beschriebenen Design möglich ist.
International zeigt die Datenauswertung aus dem Feldtest folgende Ergebnisse:
• Es besteht ein moderater Zusammenhang zwischen den Leistungen, die mit Paper-Pencil-Test erhoben
wurden, und jenen, die computergestützt gemessen wurden.
• Die Schüler/innen bevorzugen die Computertestung gegenüber der klassischen Testung im Paper-
Pencil-Stil. Besonders Burschen machen den Test lieber am Computer als im Testheft.
• Ein deutlicher Vorteil der CBAS-Testung liegt in der reduzierten Leselast, die eine bessere Messung
der eigentlichen Naturwissenschafts-Kompetenz ermöglicht. Wie erwartet schlägt sich dieser Vorteil
vor allem in den Leistungen der Burschen nieder.
• Obwohl bei CBAS die nötigen Computerkenntnisse bewusst minimiert wurden, schneiden Schüler/innen
mit höheren Computer-Kompetenzen besser ab als solche mit niedrigeren Fähigkeiten.
• Geschlechtsunterschiede werden durch die computerunterstützte Testung deutlicher. Während Burschen,
die zuerst die Aufgaben im Testheft bearbeiten, meistens höhere Leistungen zeigen als Mädchen,
ist es bei anderer Reihenfolge umgekehrt. Burschen, die zuerst den Test am Computer gemacht
haben, liefern anschließend im Testheft schlechtere Leistungen als Mädchen.
Zusammenfassend lässt sich sagen, dass mit CBAS eine andere Messung der Naturwissenschafts-Kompetenz
möglich ist und dass Geschlechterdifferenzen deutlicher abgebildet werden. Zusätzlich zu den erweiterten
Möglichkeiten der Stimuluspräsentation ist hier ein „added value“ vorhanden. Österreich hat am CBAS
Haupttest schließlich nicht teilgenommen, da der inhaltliche Mehrgewinn unter den Erwartungen lag.
Seite 188
XI. Web-Based Assessment

Außerdem haben sich schlussendlich nur drei Länder am Haupttest beteiligt, was die Vergleichbarkeit
stark einschränkt.
Bibliografie
Lang, B. & Reiter, C. (2004). Web-based Assessment. In G. Haider & C. Reiter (Hrsg.), PISA 2003. Internationaler Vergleich von
Schülerleistungen. Technischer Bericht. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm
[Datum des Zugriffs: 14.05.2007]
XI. Web-Based Assessemnt
Seite 189

Seite 190
XI. Web-Based Assessment

XII
X
QUALITÄTSSICHERUNG
Claudia Schreiner
1. Einleitung
1.1 Zum Qualitätsbegriff
1.2 Was ist Qualitätssicherung?
1.3 Verantwortlichkeiten bei der Qualitätssicherung
1.4 Qualitätssicherung in allen Untersuchungsphasen
2. Qualitätssicherung in der Vorbereitungsphase
2.1 Erhebungsmaterialien
2.2 Stichprobenziehung (Sampling)
2.3 Screening
2.4 National Center Quality Monitoring
3. Qualitätssicherungsmaßnahmen während der Datenerhebung
3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität
3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL
3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK
3.4 PISA Quality Monitoring
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung
4.1 Rücklauf der Erhebungsinstrumente
4.2 Coding
4.3 Dateneingabe
4.4 Berufsklassifizierung
Dieser Text basiert auf dem entsprechenden Kapitel bei PISA 2003 (Wallner-Paschon 2004). Die Autorin dieses Kapitels
dankt Christina Wallner-Paschon für die Bereitstellung des Textes.

1. Einleitung
In diesem Kapitel wird vorerst auf den Qualitätsbegriff eingegangen sowie Zielsetzung und
Verantwortlichkeiten der Qualitätssicherungsmaßnahmen bei PISA erörtert. In weiteren Abschnitten
werden diese Maßnahmen, da sie vorwiegend an bestimmte Untersuchungsphasen gekoppelt sind, chronologisch
angeführt und erläutert.
1.1 Zum Qualitätsbegriff
Der Begriff „Qualität“ wird sowohl im Alltag als auch in der Forschung sehr unterschiedlich verwendet,
was vor allem daran liegt, dass er mehrere Dimensionen aufweist und somit verschiedene Zugänge hat.
Das Produkt von PISA – Daten von ungefähr 380 000 Schüler/innen und etwa 13 800 Schulen – werden,
wie bereits in Kapitel II erläutert, mit dem Ziel erhoben, den Teilnehmerländern Bildungsindikatoren im
Längsschnitt und im Ländervergleich zur Verfügung zu stellen, die zum einen zur Einschätzung und
Kontrolle der Effektivität des jeweiligen Bildungssystems herangezogen werden, und zum anderen als
Grundlage für schulpolitische Entscheidungen dienen. Aus diesem Grund bedeutet Qualität bei international
vergleichenden Schülerleistungsstudien wie PISA in erster Linie Datenqualität, da diese die
Aussagekraft der Ergebnisse bestimmt.
Um festzulegen, was Datenqualität im jeweiligen Fall ausmacht, können den Daten bestimmte
Eigenschaften bzw. Qualitätsmerkmale zugewiesen werden. Bei PISA sind hier die üblichen wissenschaftlichen
Hauptgütekriterien der Objektivität, Reliabilität und Validität als wichtige Qualitätsmerkmale zu
nennen. Darüber hinaus spielt die Vergleichbarkeit der Ergebnisse zwischen den Ländern eine wesentliche
Rolle. Eine gute Datenqualität in diesem Sinne kann aber grundsätzlich nur erreicht werden, wenn in allen
Untersuchungsphasen der Studie die Qualität der Prozeduren, die im Hinblick auf die Datenqualität
wesentlich sind, gewährleistet wird.
1.2 Was ist Qualitätssicherung?
Eine ähnliche Situation wie beim Qualitätsbegriff findet man auch bei diesbezüglichen Wortverbindungen,
die in der Literatur unterschiedlich verwendet werden. Für diesen Beitrag verwenden wir die Begriffe wie
im Folgenden definiert:
Bei der Qualitätssicherung (QS) wird sichergestellt, dass es Mechanismen, Verfahren und Prozesse gibt,
die dafür Sorge tragen, dass die gewünschte Qualität auch zu Stande kommt (Harvey & Green, 2000).
Qualitätssicherung wird somit als Oberbegriff bzw. Sammelbezeichnung für alle qualitätsbezogenen
Maßnahmen wie Qualitätsplanung, Qualitätslenkung, Qualitätskontrolle und Qualitätsentwicklung verstanden.
Bei der Qualitätsplanung geht es vorrangig um das Auswählen, Klassifizieren und Gewichten der
Qualitätsmerkmale, die Festlegung von Kriterien, anhand derer das Ausmaß an Qualität zu bemessen ist,
sowie die Formulierung von Qualitätsanforderungen bzw. Qualitätsmaßstäben.
Die Qualitätslenkung umfasst vorbeugende, überwachende und korrigierende Tätigkeiten zur Erfüllung
bzw. Sicherung der geplanten Qualitätsanforderungen. Bei PISA ist ein Großteil der qualitätslenkenden
Maßnahmen bereits ein integraler Bestandteil bei der Umsetzung einzelner Untersuchungsabläufe.
Die Qualitätskontrolle ist im Gegensatz dazu eine den jeweiligen Untersuchungsphasen nachgeschaltete
Maßnahme zur Überprüfung der Qualität im Sinne der jeweils festgelegten Qualitätsanforderungen. Bei
der Qualitätskontrolle werden SOLL und IST zwischen aufgestellten Qualitätskriterien und -standards
und der aktuellen Praxis verglichen und anschließend bewertet, ohne Einfluss auf die Qualität zu nehmen.
Sie erfolgt bei PISA meist mittels statistischer Methoden.
Obwohl es sich bei der Qualitätskontrolle um eine nachgeschaltete Überprüfung handelt, trägt sie in
gewissem Sinne auch zur Qualitätslenkung bei – nämlich dann, wenn – wie bei PISA – die Kontrollen
angekündigt bzw. bereits im Vorfeld festgelegt werden. Weiters sind Qualitätskontrollmaßnahmen auch
für die Qualitätsverbesserung bedeutsam, da sie – zumindest bei negativen Ergebnissen – den Qualitätsentwicklungsprozess
vorantreiben.
Seite 192
XII. Qualitätssicherung

Die Qualitätsentwicklung bzw. -verbesserung als letztes Element der QS, hat den Anspruch einer permanenten
Verbesserung der Qualität. Bei der Planung von PISA war man selbstverständlich von Anfang
an bemüht, eine hohe Qualität zu erzielen, wobei es eine Anmaßung wäre zu glauben, immer gleich ein
Optimum an potenziell möglichen Qualitätsanforderungen erreichen zu können. Weiters muss dabei auch
berücksichtigt werden, dass QS dynamischen Prozessen, wie beispielsweise technischen Fortschritten,
unterliegt. Deshalb sind immer wieder Qualitätsverbesserungsmaßnahmen notwendig, die in weiteren
Zyklen bei der Qualitätsplanung Berücksichtigung finden und bei einer Längsschnittstudie wie PISA eine
bedeutende Rolle spielen.
1.3 Verantwortlichkeiten bei der Qualitätssicherung
Maßnahmen zur Qualitätssicherung sind wie alle anderen Verantwortlichkeiten der Studie auf verschiedenen
Ebenen angesiedelt, da PISA auf der Zusammenarbeit verschiedener Instanzen aufbaut: Während die
OECD als Auftraggeber fungiert und allgemeine Zielsetzungen festlegt, ist ein internationales Konsortium
für das Design und die Richtlinien zur Durchführung der Studie im internationalen Rahmen verantwortlich
(vgl. auch Abschnitt 2 in Kapitel II). Die nationalen Zentren und die ihnen vorstehenden NPMs
sind die Durchführenden auf nationaler Ebene. Dementsprechend sind auch die Verantwortlichkeiten in
Bezug auf Qualitätssicherung auf diese Instanzen verteilt.
Die OECD hat hierbei – in erster Linie durch das PISA Governing Board (PGB) – die Aufgabe, allgemeine
Qualitätsanforderungen bzw. -maßstäbe festzusetzen und Entscheidungen in Bezug auf Konsequenzen
des Nicht-Erreichens dieser Maßstäbe zu treffen (Qualitätsplanung). Diese Qualitätsmaßstäbe sind im
Dokument „Technical Standards for the Implementation of PISA 2006“ formuliert (OECD, n. d.). In
ihrer Managementfunktion hat die OECD auch dafür Sorge zu tragen, dass es innerhalb der Studie
Mechanismen, Verfahren und Prozesse gibt, mit Hilfe derer die Qualität der Studie sichergestellt werden
kann. Zum Beispiel verpflichtet die OECD das internationale Konsortium dazu, eine Reihe von
unabhängigen Expertengruppen (SMEG, SAG, TAG) einzubeziehen (vgl. hierzu Abschnitt 2.4 und
3.2 in Kapitel II), was der Sicherstellung eines hohen Qualitätsniveaus dient. In Zusammenarbeit mit
diesen Expertengruppen zeichnet das internationale Konsortium für die Implementierung konkreter
Qualitätslenkungs-, Qualitätskontroll- und Qualitätsverbesserungsmaßnahmen in der Studie verantwortlich.
Für PISA 2006 besteht außerdem eine – vom internationalen Konsortium unabhängige – technische
Gruppe, die im Auftrag des PGB die Qualität der Studie in verschiedenen Bereichen laufend beobachtet
und evaluiert.
Die Richtlinien zur Umsetzung der Qualitätslenkungs- und Qualitätskontrollmaßnahmen auf nationaler
Ebene sind in den unterschiedlichen Manuals (z. B. Sampling Manual, Test Administrator Manual, Data
Entry Manual etc.) festgelegt und beschrieben. Für die Durchführung bzw. Umsetzung dieser Richtlinien
zeichnen sich die NPMs mit den ihnen unterstellten nationalen Zentren verantwortlich. Die Qualität der
Umsetzung dieser Richtlinien wird wiederum vom internationalen Konsortium im Zuge des „Quality
Monitorings“ (vgl. hierzu auch Abschnitt 1.4.1 idK.) beobachtet und begutachtet.
Zusätzlich zu den international geplanten und für alle Teilnehmerländer zwingend vorgeschriebenen
QS-Maßnahmen, kann Qualitätssicherung auch auf nationaler Ebene initiiert werden. Die nationalen
Zentren sind in solchen Fällen nicht mehr nur ausführende Instanz, sondern selbstständig für die Planung
und Implementierung dieser zusätzlichen Qualitätsmaßnahmen verantwortlich.
1.4 Qualitätssicherung in allen Untersuchungsphasen
Eine hohe Datenqualität kann grundsätzlich nur erzielt werden, wenn auf allen Ebenen einer Studie
Qualitätssicherung betrieben wird. Es erscheint deshalb zweckmäßig, die einzelnen Qualitätssicherungsmaßnahmen
chronologisch nach den Untersuchungsabläufen bei PISA anzuführen und zu erläutern. Wie
in Abbildung XII.1 auf der nächsten Seite ersichtlich ist, können die einzelnen Abläufe bei PISA unter
den drei Phasen „Vorbereitung“, „Datenerhebung“ und „Datenverarbeitung“ subsumiert werden. Die
innerhalb der einzelnen Abläufe eingerichteten qualitätssichernden Maßnahmen können eine lenkende,
XII. Qualitätssicherung
Seite 193

Untersuchungabläufe der PISA-Studie
chronologisch
Qualitätslenkung
Qualitätssicherung
Qualitätskontrolle
Qualitätsverbesserung
Quality Monitoring (Qualitätsüberwachung) X X X
Vorbereitung
Konstruktion von Testinstrumenten
(Itementwicklung)
Konstruktion von Kontextfragebögen
(Itementwicklung)
Übersetzung und Anpassung der
Erhebungsmaterialien und Manuals
Vorbereitung und Organisation der Materialien
Sicherung der Erhebungsmaterialien
X
X
X
X
X
X
Feldtest 2005
Haupttest 2006
Datenerhebung
Datenverarbeitung
Stichprobenziehung
(Schulebene - Schülerebene)
Screening X X X
Datenerhebungsprozesse
(Testdurchführung & Befragung)
X
X X X
Rücklauf der Erhebungsinstrumente X X
Coding X X X
Dateneingabe
Berufsklassifizierung (ISCO-Codierung) X X
X
X
X
X
QS-Maßnahmen, die vom internationalen Zentrum eingerichtet wurden und deren
Umsetzung für alle Teilnehmerländer obligatorisch war.
QS-Maßnahmen, die sowohl vom internationalen Zentrum vorgeschrieben wurden, als auch
solche, die auf nationaler Ebene in Österreich eingerichtet wurden.
QS-Maßnahmen, die auf nationaler Ebene in Österreich eingerichtet wurden.
Abbildung XII.1: Qualitätssicherungsmaßnahmen in den einzelnen Untersuchungsphasen bei PISA 2006
kontrollierende oder auch verbessernde Funktion aufweisen (vgl. Abschnitt 1.2 idK.). Ein Großteil der
Untersuchungsabläufe inkludiert qualitätssichernde Maßnahmen, die von internationaler Seite vorgeschrieben
sind, und somit von allen Teilnehmerländern verpflichtend eingehalten werden müssen. Bei
einigen Abläufen werden die international vorgeschriebenen qualitätssichernden Maßnahmen noch zusätzlich
durch nationale Maßnahmen ergänzt. Bei manchen Untersuchungsabläufen wiederum sind keine
QS-Maßnahmen von internationaler Seite vorgesehen, sondern werden nur auf nationaler Ebene eingeführt.
Ergänzend muss hinzugefügt werden, dass bei den auf nationaler Ebene initiierten QS-Maßnahmen,
nur jene berichtet werden, die in Österreich umgesetzt worden sind.
Zusätzlich sieht der zeitliche Plan vor dem Haupttest auch einen Feldtest vor, der vor allem der Erprobung
der Instrumente, Methoden und Prozeduren an einer kleineren Stichprobe dient und eine wichtige
Seite 194
XII. Qualitätssicherung

Qualitätslenkungsmaßnahme darstellt, da auf Grund der Erfahrungen und Ergebnisse dieses Feldtests
Modifikationen und Verbesserungen für den Haupttest gemacht werden können.
Das vorliegende Kapitel zielt darauf ab, einen möglichst umfassenden Überblick über qualitätssichernde
Maßnahmen bei PISA 2006 zu geben. Bei der chronologischen Darstellung der QS-Maßnahmen in
den Abschnitten 2–4, wie in Abbildung XII.1 dargestellt, werden jeweils am Anfang die Abläufe bzw.
Prozesse, auf die sich die qualitätssichernden Maßnahmen beziehen, noch einmal kurz dargestellt und für
eine detaillierte Beschreibung auf die entsprechenden Abschnitte vorangegangener Kapitel verwiesen. Im
Anschluss daran werden die qualitätssichernden Maßnahmen hinsichtlich ihrer Funktionen und Ziele sowie
deren Umsetzung beschrieben. Dabei werden jene Maßnahmen, die in Österreich selbstständig oder
in internationaler Zusammenarbeit durchgeführt werden, in der Regel ausführlicher behandelt, als jene,
die primär auf internationaler Ebene stattfinden.
Das Quality Monitoring (Qualitätsüberwachung) nimmt in Bezug auf den chronologischen Ablauf eine
Sonderstellung unter den qualitätssichernden Maßnahmen ein. Zum einen ist diese Maßnahme nicht
ausschließlich an eine der drei Untersuchungsphasen gekoppelt und zum anderen beziehen sich auch
einzelne Tätigkeiten innerhalb dieser Maßnahme nur teilweise auf bestimmte Untersuchungsphasen, weshalb
das Quality Monitoring bereits im folgenden Abschnitt im Überblick behandelt wird.
Wie in Abschnitt 1.2 dieses Kapitels angedeutet wurde, sind im Rahmen der Qualitätsverbesserung auch
neue qualitätssichernde Maßnahmen im Vergleich zu den letzten Untersuchungsdurchgängen von PISA
gesetzt worden. QS-Maßnahmen, die sich bereits bei PISA 2000 und/oder 2003 bewährt haben, finden
sich aber auch bei PISA 2006 wieder, weshalb einige Abschnitte dieses Kapitels – in mehr oder weniger
modifizierter Form – auf den Qualitätsteilen der technischen Berichte zu PISA 2000 (Reiter, 2001) und
PISA 2003 (Wallner-Paschon, 2004) beruhen.
1.4.1 Quality-Monitoring-Aktivitäten
Wie bereits erwähnt, sind die NPMs für die Durchführung der Studie auf nationaler Ebene und damit
auch für die Einhaltung der in den Manuals (Sampling Manual, Test Administrators Manual, Data Entry
Manual etc.) festgehaltenen Richtlinien und Qualitätsanforderungen verantwortlich. Die NPMs sind
grundsätzlich verpflichtet, dem internationalen Konsortium Abweichungen von diesen Richtlinien so
bald wie möglich mitzuteilen, damit von entsprechenden Expertinnen und Experten des Konsortiums
die Auswirkung auf die Datenqualität beurteilt werden kann. Ist die Qualität der Daten durch diese
Abweichungen gefährdet, werden diese nicht akzeptiert, sondern alternative Vorgehensweisen vorgeschlagen.
Auch das vom internationalen Konsortium eingerichtete Quality Monitoring (QM) hat eine ähnliche
Funktion, indem es primär darauf abzielt, Probleme früh zu identifizieren, um noch rechtzeitig Abhilfe
schaffen zu können (Qualitätslenkung).
Das QM besteht aus mehreren Aktivitäten, die nur teilweise an bestimmte Untersuchungsphasen gekoppelt
sind, und sich wie folgt darstellen:
(1) Die Installation einer zentralen Datenbank, in der alle nationalen Projektzentren bereits umgesetzte
Arbeitsschritte (Meilensteine) eintragen müssen. Diese Maßnahme wurde bei PISA 2003 neu
eingeführt und in PISA 2006 – vor allem technisch – weiterentwickelt. Sie dient in erster Linie der
Dokumentation wichtiger Untersuchungsprozeduren sowie als Warnsignal bei Problemen, da zeitliche
Verzögerungen für die Konsortiumsmitglieder sofort ersichtlich sind.
(2) Der Besuch aller nationalen Projektzentren von so genannten National Center Quality Monitors
(NCQMs). Unter anderem haben die NCQMs die Aufgabe, Daten mit Hilfe eines standardisierten
Interviews zu sammeln. Diese Aktivität ist der Vorbereitungsphase zuzuordnen, und wird in Abschnitt
2.4 dieses Kapitels im Detail beschrieben.
(3) Der Besuch einer bestimmten Anzahl von PISA-Schulen während der Datenerhebung in jedem Teilnehmerland
von so genannten PISA Quality Monitors (PQMs) (im Detail vgl. Abschnitt 3.4 idK.).
Bei jedem Schulbesuch eines PQMs wird ein Beobachtungsprotokoll der Testsitzung angefertigt und
ein Interview mit der/dem PISA-Schulkoordinator/in durchgeführt.
XII. Qualitätssicherung
Seite 195

(4) Berichte der Testleiter/innen zu den Testsitzungen, welche wichtige Informationen zur Qualität der
Datenerhebung liefern und in Abschnitt 3.2 dieses Kapitels beschrieben werden.
(5) Beurteilung/Evaluierung der Studie durch die NPMs in Form von strukturierten Rückmeldebögen
nach Feld- und Haupttest.
Die Informationen aus dem internationalen Quality Monitoring dienen vor allem der Qualitätskontrolle
und bilden einen wichtigen Teil der Basis für die Beurteilung der Qualität der Datensätze der einzelnen
Teilnehmerländer (siehe unten). Durch die vorherige Ankündigung der Maßnahmen bzw. den
Zeitpunkt mancher Maßnahmen, wie etwa dem NCQM-Besuch, erfüllen diese auch eine qualitätslenkende
Funktion. Darüber hinaus dienen die Rückmeldungen der NPMs an das internationale Zentrum
aber auch der weiteren Verbesserung der Qualität und tragen somit zur Qualitätsentwicklung bei.
1.4.2 Beurteilung der Datenqualität
Die beim QM gesammelten Daten werden in einer Datenbasis zusammengeführt, um sowohl einen
Gesamtbericht als auch einzelne Länderberichte zu erstellen. Damit sind die wesentlichen Prozeduren
und Richtlinien dokumentiert und deren Umsetzung nachweisbar.
Im Gesamtbericht werden ohne Identifizierung der Teilnehmerländer die Aktivitäten der Datenerhebung
im Detail dokumentiert. Die Länderberichte dienen vor allem der Technical Advisory Group (TAG) als
Basis zur Beurteilung der Qualität der Daten der einzelnen Teilnehmerländer. Außerdem werden in diese
Datenbeurteilung Informationen aus den Berichten über das Sampling und die Übersetzungsprozeduren
herangezogen sowie die Ergebnisse der beiden Reliabilitätsstudien zur Qualität der Vercodung der offenen
Schülerantworten auf Testaufgaben (vgl. Abschnitt 4.2.2 idK.). Weiters können auch Informationen
aus den Daten selbst – die im Zuge des File-Cleanings, der Skalierung der Leistungsdaten und der
Verarbeitung der Daten aus den Fragebögen entstehen – für diesen Prozess herangezogen werden. Diese
Informationen bilden die Ausgangsbasis für eine Empfehlung der TAG bezüglich der Verwendbarkeit der
Daten jedes Landes.
Die laufende Zusammenarbeit zwischen NPMs und dem internationalen Konsortium hat zum Ziel für
jedes Land qualitativ hochwertige Daten zu produzieren, die eine Empfehlung der TAG zur uneingeschränkten
Verwendung der Daten in den internationalen Vergleichen ermöglichen. Bei schwerwiegenden
Abweichungen von Richtlinien oder Qualitätsanforderungen – vor allem, wenn diese ohne Absprache
bzw. ohne Genehmigung des internationalen Projektzentrums erfolgt sind, kann die Empfehlung der
TAG bestimmte Einschränkungen in der Verwendung der Daten enthalten. Es kann zum Beispiel angeregt
werden, gemeinsam mit dem betroffenen Land gewisse Aspekte der Daten genauer zu prüfen. Unter
gewissen Umständen kann die Empfehlung lauten, die Ergebnisse eines Landes nur mit entsprechenden
Anmerkungen über die eingeschränkte Interpretier- und/oder Vergleichbarkeit der Daten zu publizieren.
Im Extremfall werden die Daten solcher Länder nicht in die internationale Datenbasis aufgenommen und
bei Publikationen nicht berücksichtigt. Letzteres ist bis dato aber noch nicht vorgekommen.
Die endgültige Form der Empfehlung bezüglich der Verwendbarkeit der Daten jedes einzelnen Landes
wird im internationalen technischen Bericht publiziert.
2. Qualitätssicherung in der Vorbereitungsphase
2.1 Erhebungsmaterialien
2.1.1 Die Konstruktion der Testinstrumente
Qualitätssicherungsmaßnahmen bei der Konstruktion der Testinstrumente ergeben sich primär durch
die verbindliche Anwendung international vorgegebener Prozeduren bei der Aufgabenentwicklung.
Qualitätssichernde Maßnahmen sind somit ein integraler Bestandteil bei der Testkonstruktion, die in
Abschnitt 5 in Kapitel III im Detail beschrieben wird. Diese Maßnahmen verfolgen vor allem das Ziel,
die Datenqualität im Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Hier kommen vor
allem Qualitätslenkungsmaßnahmen mit überwachender und korrigierender Funktion zum Einsatz:
Seite 196
XII. Qualitätssicherung

• Die erste Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu messenden
Bereiche (Frameworks). Die Entwicklung der Testaufgaben, die sowohl auf internationaler
als auch auf nationaler Ebene erfolgt, muss in Anlehnung an die theoretische Basis der Frameworks
geschehen. Die von den einzelnen Ländern eingereichten Testaufgaben werden vor der Aufnahme in
den Itempool vor allem auf ihre Übereinstimmung mit den Frameworks von internationalen Expertinnen
und Experten kontrolliert. Mit dieser Maßnahme wird primär die Validität der Testinstrumente
und damit auch die Gültigkeit der Daten sichergestellt.
• Eine weitere Maßnahme zur Gewährleistung der Validität ist die Evaluierung der Testaufgaben mit
Hilfe kognitiver Laborverfahren (Cognitive Laboratory). Diese kognitiven Techniken, wie zum Beispiel
das laute Denken, geben Hinweise darüber, wie Befragte gewisse Aufgaben oder Elemente davon
verstehen und interpretieren, sowie auf Grund welcher Überlegungen Antworten zu Stande kommen.
Diese Techniken eignen sich gut zur Überprüfung des Aufgabenverständnisses und der Einstufung
der hinter den einzelnen Aufgaben stehenden Lösungsprozesse.
• In einem weiteren Schritt werden die in den Testpool aufgenommenen Aufgaben durch nationale
Expertinnen und Experten (vgl. Abschnitt 3.2 in Kapitel II) bewertet. Auch diese Maßnahme dient
der Gewährleistung eines möglichst validen Testinstrumentariums. Durch die Beurteilung der Aufgaben
auch aus speziell nationaler Perspektive – also etwa, wie vertraut der Kontext von Aufgaben
15-/16-Jährigen im eigenen Land ist oder inwieweit die durch eine Aufgabe getesteten Prozesse und
Fähigkeiten Teil der nationalen Lehrpläne sind – spielt diese Rückmelderunde auch eine große Rolle
bei der Sicherstellung der Vergleichbarkeit der Daten zwischen den Ländern.
• Zeitgleich dazu werden seitens des internationalen Zentrums die Testaufgaben einem Pilottest 1 unterzogen.
• Die bis dato ausgewählten Testaufgaben werden in allen Ländern in einem Feldtest erprobt und Itemstatistiken,
sowohl über alle Länder hinweg, als auch getrennt für jedes Land berechnet. Dabei werden
die Testaufgaben auf ihre Messgenauigkeit (Reliabilität) hin analysiert. Mit Hilfe der Itemstatistiken
auf Länderebene können problematische bzw. riskante Aufgaben lokalisiert und nochmals auf Übersetzungsfehler,
kulturelle Passung etc. überprüft werden, womit die Objektivität und dadurch die
Vergleichbarkeit der Daten gesichert wird. Bei Problemen mit Testaufgaben über alle Länder hinweg
werden die jeweiligen Aufgaben für den Haupttest ausgeschlossen.
• Nach dem Feldtest erfolgt neben den Itemanalysen auch eine neuerliche Itembegutachtung auf nationaler
Ebene. Da sich einige Items im Verlauf der Itementwicklung verändern, sollen nationale
Expertinnen und Experten nochmals die Validität der Items beurteilen.
• Auf der Basis der Itemstatistiken und der nationalen Expertengutachten erfolgt dann die endgültige
Auswahl der Aufgaben für den Haupttest durch internationale Expertengruppen.
Im Rahmen einer Qualitätskontrolle werden auch am Ende des Haupttests Itemstatistiken berechnet.
Aufgaben, die sich hier noch immer als problematisch erweisen, können als letzte Konsequenz auf internationaler
Ebene oder nur für einzelne Länder aus der Berechnung der Leistungsscores ausgenommen
werden (für eine genaue Beschreibung vgl. Kapitel III).
2.1.2 Die Konstruktion der Kontextfragebögen
Die im Haupttest 2006 eingesetzten Kontextfragen wurden nicht alle neu entwickelt, sondern stellen
zum Teil eine Auswahl aus den bereits in PISA 2000 und 2003 eingesetzten Fragen dar. Die
Vorgehensweisen bei der Auswahl und Neukonstruktion der Fragen werden in Kapitel IV im Detail
erläutert. In diesem Kapitel werden die qualitätssichernden Aspekte nochmals hervorgehoben. Die dazu
vorgesehenen Maßnahmen – primär Qualitätslenkungsmaßnahmen mit überwachender und korrigierender
Funktion – verfolgen, wie bereits bei den Testinstrumenten, vor allem das Ziel, die Datenqualität im
Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Folgende Qualitätslenkungsmaßnahmen
sind international vorgeschrieben und erfolgen teils auf nationaler und teils auf internationaler Ebene und
sind punktuell identisch mit jenen Maßnahmen bei der Testkonstruktion:
XII. Qualitätssicherung
Seite 197

• Ausgangspunkt für die Erstellung der Fragebögen sind die vom PGB festgelegten Prioritäten. Diese
geben vor, welche Bereiche Kernbereiche der Kontextfragebögen darstellen und demnach aus Zwecken
des Vergleichs über die Zeit hinweg in jedem PISA-Zyklus verwendet werden müssen. Weiters
wird für jeden Erhebungsdurchgang festgelegt, welche Schwerpunkte spezielle Berücksichtigung finden
sollen.
• Eine weitere Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu
messenden Bereiche (Kontext-Framework) und die Konstruktion der Fragen in Anlehnung an diese
theoretische Basis, die ausschließlich von Expertinnen und Experten des Konsortiums durchgeführt
wird. Mit dieser Maßnahme wird sichergestellt, die Zusammenstellung der Fragebögen theoretisch
fundiert vorzunehmen.
• Eine weitere Qualitätssicherungsmaßnahme zur Gewährleistung der Validität ist die Evaluierung der
neu konstruierten Fragen mit Hilfe kognitiver Laborverfahren (Cognitive Laboratory), welche auch
bei den Testaufgaben verwendet werden. Ihre Anwendung bei Fragebogenitems gibt Hinweise darüber,
wie Befragte gewisse Fragen oder Elemente davon verstehen und interpretieren, sowie auf Grund
welcher Überlegungen Antworten zu Stande kommen. Diese Techniken eignen sich gut zur Überprüfung
des Fragenverständnisses, und werden auf internationaler Ebene durchgeführt.
• Seitens des internationalen Zentrums werden die neu konstruierten Kontextfragen einem Pilottest
unterzogen.
• In Form von schriftlichen Rückmelderunden und im Rahmen der NPM-Meetings werden von den
einzelnen Ländern die Fragebogenitems beurteilt.
• Alle Fragebogenitems werden in jedem Teilnehmerland in einem Feldtest erprobt. Die Feldtestdaten
werden vom internationalen Zentrum sowohl über alle Länder hinweg, als auch getrennt nach den
Ländern, ausgewertet. Dabei werden Fragen identifiziert, die einen hohen Anteil fehlender Antworten
(Missing-Anteil) aufweisen oder zu bestimmten Antwortmustern führen. Diese werden ausgeschlossen
oder gegebenenfalls modifiziert. Dabei ist anzumerken, dass es beim Feldtest für PISA 2006
vier Versionen des Feldtest-Schülerfragebogens gab, auf die die vielen neu konstruierten Items und
Fragenblöcke aufgeteilt wurden, um die Bearbeitungszeit der Schüler/innen auch im Feldtest auf eine
halbe Stunde begrenzen zu können. Weiters bietet die Verwendung mehrerer Fragebögen die Möglichkeit,
inhaltlich identische, aber etwas anders formulierte Fragen zu erproben, um zu sehen, welche
Art der Formulierung besser verstanden wird. Jene Fragen (Items), die zur Messung von einzelnen
Konstrukten dienen, werden nach dem Feldtest (und bestätigend nach dem Haupttest) einer Faktorenanalyse
unterzogen, um deren Struktur zu überprüfen.
• Die Daten der nationalen Zusatzerhebungen werden auf nationaler Ebene deskriptiv ausgewertet,
um Fragen mit einem hohen Missing-Anteil oder speziellen (unerwünschten) Antwortmustern zu
identifizieren.
• Auf der Basis der statistischen Analysen und der nationalen Bewertungen erfolgt die endgültige Auswahl
der Fragen für den Haupttest durch internationale Expertengruppen.
2.1.3 Übersetzung und Anpassung der internationalen Materialien
Da PISA eine internationale Studie ist, die in 57 Ländern und in knapp 40 verschiedenen Sprachen
durchgeführt wird, ergibt sich die Notwendigkeit, Test- und Fragebögen sowie einige Handbücher zu
übersetzen und den nationalen Gegebenheiten anzupassen. Im Detail sind die Übersetzungsvorgänge in
Abschnitt 4 in Kapitel III (Testinstrumente), Abschnitt 2 in Kapitel IV (Fragebögen) und in Abschnitt
6 in Kapitel VI (Handbücher) beschrieben. Die Qualitätssicherungsmaßnahmen in diesem Bereich
sind großteils ein integraler Bestandteil der Studie und somit obligatorisch für alle Teilnehmerländer in
die Übersetzungsprozeduren integriert. Sie dienen in erster Linie dem Zweck, die Vergleichbarkeit der
Ergebnisse zwischen den Ländern sicherzustellen, indem durch eine qualitativ hochwertige Übersetzung
und Anpassung der Materialien eine objektive Datenerhebung erfolgen kann.
Durch folgende Qualitätslenkungsmaßnahmen wird versucht, die Qualität der Übersetzungen und
Anpassungen der Materialien hoch zu halten:
Seite 198
XII. Qualitätssicherung

• Internationale Übersetzungstipps
Von internationaler Seite wird die Übersetzung dadurch unterstützt, dass im betreffenden NPM-Meeting
häufig auftretende Übersetzungsprobleme, -fallen und -fehler diskutiert werden. Dies ist vor allem auch
für neue Länder bzw. neue nationale Projektzentren hilfreich.
• Auswahl der Übersetzer/innen
Ein weiterer Aspekt in Bezug auf Qualitätslenkung ist die Auswahl der Übersetzer/innen. Die Erstellung
der Testinstrumente ins Deutsche wurde vom deutschen PISA-Zentrum organisiert. Die Einbeziehung
der österreichischen Science-Expertengruppe bei der Begutachtung dieser Übersetzungen sowie der nationalen
Adaption der Materialien soll die Tauglichkeit der Formulierungen für die Verwendung bei 15-/16-
Jährigen österreichischen Schüler/innen gewährleisten.
Die Fragebögen wurden teils von einer externen Übersetzerin, teils von Mitarbeiterinnen/Mitarbeitern
des nationalen Projektzentrums übersetzt, da hier Personen mit fundiertem Wissen in Bezug auf das österreichische
Schulsystem sowie mit theoretischen Kenntnissen und Erfahrung in der Fragebogenerstellung
benötigt werden.
Auch die Manuals werden von Mitarbeiterinnen und Mitarbeitern des nationalen Projektzentrums übersetzt.
• Nationale Übersetzungstrainings
Alle Länder müssen nach internationalen Vorgaben für die Übersetzer/innen der Testinstrumente ein
Training organisieren.
• Zweifachübersetzung (double translation) bei den Testmaterialien
Als Basis für die Übersetzung der Testinstrumente stehen Originalversionen in englischer und französischer
Sprache zur Verfügung. Alle Testaufgaben und Fragebogenitems werden von zwei Übersetzerinnen/
Übersetzern unabhängig voneinander übersetzt und anschließend von einer dritten Person zu einer
gemeinsamen Version zusammengeführt. Die „double translation“ dient dazu, Fehler zu minimieren,
indem erstens davon ausgegangen wird, dass zwei Personen meist nicht die gleichen Fehler machen
und so gegenseitig Schwachstellen in den Übersetzungen aufgedeckt werden können. Zweitens wird
durch die Übersetzung aus zwei verschiedenen Quellversionen das Problem zu umgehen versucht, dass
Formulierungen einer Sprache oft auf mehrere Arten gedeutet werden können. Das Heranziehen einer
zweiten Quellversion soll solche Uneindeutigkeiten minimieren. Auch die internationalen Fragebögen
werden dieser Prozedur unterzogen.
• Kooperation mit anderen deutschsprachigen Ländern bei den Testmaterialien
Der Umstand, dass mehrere Länder an PISA teilnehmen, die Testsitzungen (zumindest unter anderem)
auf Deutsch durchführen, ermöglicht eine enge Kooperation bei der Übersetzung. So kann einerseits der
Aufwand dieser Prozeduren auf mehrere Länder aufgeteilt werden und dadurch können insgesamt mehr
zeitliche Ressourcen für die jeweiligen Übersetzungen verwendet werden. Andererseits ermöglicht die
Zusammenarbeit gegenseitige Kontrolle und Feedback.
Bei der Übersetzung und Adaption der Erhebungsmaterialien dient die Kooperation mit anderen
Teilnehmerstaaten auch dazu, potentiell uneindeutige Passagen in den Testaufgaben und Fragebogenitems
aufzudecken. Nach Fertigstellung der gemeinsamen Version müssen – vor allem bei den Kontext-
Fragebögen – relativ umfangreiche Arbeiten geleistet werden, um die Fragestellungen an die nationalen
Gegebenheiten anzupassen.
• Anpassung der Erhebungsmaterialien und Manuals
Die Materialien müssen nationalen, sprachlichen, kulturellen sowie praktischen Gegebenheiten angepasst
werden. Dies geschieht nach international vorgegebenen Richtlinien, um die Vergleichbarkeit zwischen
verschiedenen Ländern nicht zu gefährden. Alle Anpassungen müssen dokumentiert und vom internationalen
Zentrum genehmigt werden.
• Verifikation der Erhebungsmaterialien und Handbücher
Als weitere Qualitätslenkungsmaßnahme wird vom internationalen Zentrum eine „Verifikationsstelle“
eingerichtet. Hier werden alle Übersetzungen von speziell geschulten Mitarbeiterinnen und Mitarbeitern
überprüft und mit Anmerkungen versehen an das entsprechende Land zurückgeschickt. Vor dem Druck
XII. Qualitätssicherung
Seite 199

müssen alle Erhebungsinstrumente ein zweites Mal zur Verifikationsstelle geschickt werden, um vor allem
das Layout zu verifizieren.
Einen ähnlichen Prozess durchlaufen die Handbücher für die Schulkoordinatorinnen und -koordinatoren
sowie für die Testleiter/innen. Bei diesen müssen ebenfalls alle Anpassungen an nationale Gegebenheiten
dokumentiert und von internationaler Seite genehmigt werden (dafür müssen bei größeren Änderungen
Rückübersetzungen der nationalen Versionen auf Englisch durchgeführt werden). Die Verifikationsstelle,
welche auch die Verifikation der Test- und Fragebögen vornimmt, stellt dann die sprachlich korrekte
Übersetzung sowie die Umsetzung der Adaptionen entsprechend der Dokumentation sicher.
Die Verifikation mit ihrem Kontrollcharakter ist als Qualitätslenkung zu sehen, da die Qualität der
Übersetzung und Anpassung überprüft wird, und die Verifikation vor dem Druck der Instrumente stattfindet,
so dass die Rückmeldungen des Verifikators/der Verifikatorin noch in den nationalen Versionen
berücksichtigt werden können. Ein aus diesem Prozess resultierender Übersetzungsbericht, der, wie erwähnt,
in den Beurteilungsprozess der Datenqualität der Länder einfließt, stellt zudem auch eine kontrollierende
Maßnahme dar.
2.1.4 Vorbereitung und Organisation der Materialien
Alle Materialien, die bei den Testsitzungen zum Einsatz kommen, müssen vorbereitet und organisiert
werden. Testhefte und Fragebögen müssen gedruckt und mit Etiketten versehen werden, die Schul- und
Schüleridentifikationsnummern enthalten. Hierbei müssen Rotationsschemata beachtet werden, damit
alle Testheftformen möglichst gleich oft zum Einsatz kommen und die Zuteilung von Formen zu Personen
zufällig erfolgt. Die etikettierten Materialien müssen dann zu Testpaketen für jede Schule zusammengestellt
werden (vgl. hierzu auch Kapitel VI in Abschnitt 4).
Die genaue Überprüfung aller Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der
Testdurchführung minimieren und die Zuordenbarkeit der Instrumente zu Schulen sowie Schülerinnen
und Schülern nach dem Rücklauf garantieren, um möglichst vollständige Daten zu bekommen.
Folgende Qualitätslenkungsmaßnahme ist von internationaler Seite her vorgeschrieben:
• Vor Beauftragung einer Druckerei muss jedes nationale Zentrum ein dafür von internationaler Seite
zur Verfügung gestelltes Mustertestheft drucken lassen und dieses an das internationale Konsortium
übermitteln, um eine zufrieden stellende Druckqualität sicherzustellen. Wenn ein Land hohe Druckqualität
beim vorangegangenen Erhebungszyklus nachweisen kann und die Druckerei nicht gewechselt
wird, können die „alten“ Testhefte für diesen Zweck herangezogen werden.
Weiters werden qualitätslenkende Maßnahmen in Österreich durchgeführt, die international nicht vorgeschrieben
sind und deshalb national unterschiedlich gehandhabt werden können:
• Die Blaupause aller Instrumente wird von PISA-Mitarbeiterinnen und Mitarbeitern auf Qualität,
Fehler und Vollständigkeit überprüft.
• Alle Materialien werden nach Eintreffen aus der Druckerei in zwei Schritten überprüft: eine erste sehr
genaue Überprüfung vom/von der für die Instrumente zuständigen Mitarbeiter/in bezieht sich auf
eine Stichprobe von Heften jeder Sorte, um eventuelle serielle Fehler sofort aufzudecken und entsprechende
Hefte oder ggf. ganze Chargen von weiteren Vorgängen ausschließen zu können. In einem
zweiten Schritt wird von externem Personal jedes einzelne Heft auf Vollständigkeit und entsprechende
Druckqualität überprüft.
• Die fertigen Schulpakete werden von zwei Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums
unabhängig voneinander auf Vollständigkeit und Korrektheit der Etikettierung überprüft.
• Außerdem werden die Testleiter/innen aufgefordert, vor jeder Testsitzung das entsprechende Schulpaket
noch einmal auf Vollständigkeit hin zu überprüfen.
2.1.5 Sicherung der Materialien
Spezielles Augenmerk wird auf die Sicherung der Materialien gelegt. Zum einen sind sämtliche
Testmaterialen vertraulich zu behandeln und dürfen nicht vervielfältigt oder veröffentlicht werden, um die
Seite 200
XII. Qualitätssicherung

Vergleichbarkeit der Leistungsdaten für die weiteren PISA-Erhebungen nicht zu gefährden. Zum anderen
muss sichergestellt werden, dass ausgefüllte Fragebögen und Testhefte zur Wahrung der Anonymität der
Schüler/innen nicht in fremde Hände gelangen. Dies spielt vor, während und nach der Datenerhebung
eine wichtige Rolle. Obwohl die vertrauliche Behandlung der Testmaterialien als auch die Wahrung der
Anonymität der Schüler/innen internationalen Richtlinien entspricht, werden diesbezüglich keine QS-
Maßnahmen seitens des internationalen Zentrums vorgegeben. Die Einhaltung dieser Richtlinien und
die damit einhergehenden qualitätssichernden Maßnahmen müssen von den teilnehmenden Ländern entsprechend
nationaler Gegebenheiten individuell geregelt werden. Im Folgenden werden die Maßnahmen,
die in Österreich während der Vorbereitungsphase getroffen werden, kurz beschrieben.
Die fertig gepackten Schulpakete werden bis zur Übergabe an die Testleiter/innen (TL) in Räumlichkeiten
des nationalen Zentrums verwahrt. Die Übergabe der Materialien an alle Testleiter/innen erfolgt persönlich
während der TL-Schulungen. Da diese an verschiedenen Orten in Österreich (vgl. Abschnitt 5.2 in
Kapitel VI) durchgeführt werden, müssen die Schulpakete von Mitarbeiterinnen und Mitarbeitern des
nationalen Projektzentrums zu den Schulungen gebracht werden. Dort übernehmen die Testleiter/innen
die Pakete, und sind ab diesem Zeitpunkt für die sichere Lagerung bis zum Rücklauf in das nationale
Zentrum verantwortlich. Die Übernahme der Pakete muss von den Testleiterinnen und Testleitern schriftlich
bestätigt werden. Weiters sind in den Verträgen mit den Testleiterinnen und Testleitern entsprechende
Vertraulichkeitsklauseln enthalten.
Vorteile dieser Vorgangsweise sind erstens die Umgehung von Postwegen, bei denen erfahrungsgemäß
Materialien verloren gehen, und die Tatsache, dass so keine Materialien zu irgendeinem Zeitpunkt vor
und auch nach den Testsitzungen an PISA-Schulen aufbewahrt werden müssen.
2.2 Stichprobenziehung (Sampling)
Qualitätsmaßnahmen beim Sampling dienen dazu, die Qualität der Stichprobe zu sichern, indem die
Repräsentativität der Stichprobe in jedem Land und damit die Vergleichbarkeit zwischen den Ländern
gewahrt werden kann. Alle Vorgangsweisen bei der Stichprobenziehung werden in Kapitel V beschrieben
und in diesem Abschnitt in Bezug auf Qualitätssicherung zusammenfassend dargestellt.
Durch die Installation folgender Qualitätslenkungsmaßnahmen beim Sampling wird die Vergleichbarkeit
zwischen den Ländern gewährleistet:
• Festsetzung eindeutiger Standards für die PISA-Stichprobe durch die OECD.
• Operationalisierung dieser Standards im Sampling-Manual. Hierzu gehören auch die internationalen
Vorgaben bezüglich der Rücklaufquoten, welche in Abschnitt 4 des Kapitels V beschrieben sind.
• Genaue Dokumentation des Stichprobenplans sowie der Samplingprozeduren mit Hilfe einheitlicher
Formulare, um die Nachvollziehbarkeit und damit auch die Vergleichbarkeit zu gewährleisten.
• Die Zufallsauswahl von Schulen aus einer Liste erfolgt auf internationaler Ebene durch Expertinnen
und Experten. Diese Qualitätslenkungsmaßnahme dient vor allem der Sicherstellung der Vergleichbarkeit
der Stichproben der verschiedenen Länder.
• Auch die Zufallsauswahl auf Schülerebene folgt internationalen Vorgaben und erfolgt durch die nationalen
Zentren im Normalfall über die Dateneingabesoftware „KeyQuest“. Durch die vereinheitlichte
einfache Handhabung und die automatische Dokumentation im Hintergrund des Programms sind
alle Schritte nachvollziehbar und können von den hierfür zuständigen internationalen Expertinnen
und Experten kontrolliert werden, um Fehler bei dieser Prozedur auszuschließen.
2.3 Screening
Zum Screening zählen alle Tätigkeiten, die in Verbindung mit der Teilnahme der ausgewählten Schulen an
der PISA-Studie stehen. Die Screening-Abläufe sind ein Teil der Testorganisation, deren genaue Umsetzung
in den Abschnitten 2 bis 3 beschrieben ist. Qualitätssichernde Maßnahmen in diesem Bereich dienen vor
allem dazu, die Teilnahmebereitschaft der Schulen und Schüler/innen an der Studie zu erhöhen, was einen
wesentlichen Beitrag zur Qualität der Daten und damit auch zu deren Vergleichbarkeit darstellt. Die
XII. Qualitätssicherung
Seite 201

Umsetzung wird sowohl durch qualitätslenkende als auch qualitätskontrollierende Maßnahmen begleitet,
die primär auf nationaler Ebene in Österreich eingeführt wurden.
2.3.1 Qualitätslenkungsmaßnahmen beim Screening
Folgende Maßnahmen der Qualitätslenkung sind im Rahmen des Screenings erwähnenswert:
• Die zuständigen Schulbehörden werden vorab über die Studie informiert und zur Unterstützung aufgefordert.
Hierbei ist auch ein Schreiben der Frau BM Gehrer an die amtsführenden Präsidentinnen
und Präsidenten der Landesschulräte bzw. des Stadtschulrats für Wien förderlich, um die Bedeutsamkeit
der Studie zu unterstreichen. Erst nach Information aller zuständigen Schulbehörden, in deren
Zuständigkeitsbereich PISA-Schulen fallen, werden die Schulen angeschrieben.
• Die Teilnahmemotivation der Schulen soll durch möglichst wenig Aufwand ihrerseits gesteigert werden,
indem für die Testdurchführung externe Testleiter/innen eingesetzt werden. Die Kontaktperson
für PISA an der Schule (Schulkoordinator/in – SK) ist nur dafür zuständig, eine Schülerliste zu erstellen,
einen Testraum zu organisieren und den Testtermin mit dem/der Testleiter/in zu koordinieren.
• Bei Nicht-Reagieren von Schulen auf Anschreiben des nationalen Zentrums wird jeweils telefonisch
mit den Schulen Kontakt aufgenommen. Dies erfolgt auch, wenn bei der Kontrolle der Schülerliste,
die von der Schule erstellt wurde, Informationen fehlen oder unplausibel erscheinen.
• Die Schulkoordinatorin/der Schulkoordinator, die/der von der Schulleitung zu bestimmen ist, wird
durch kurze, möglichst prägnante Briefe informiert und nicht, wie international vorgesehen, durch
ein relativ umfangreiches Handbuch. Diese Informationsschreiben werden jeweils zu den Zeitpunkten
verschickt, an denen bestimmte Arbeiten von der Schulkoordinatorin/vom Schulkoordinator
durchzuführen sind; so muss diese/r nicht selbst auf die Einhaltung von (längeren) Fristen achten.
• Der Aufwand für die Schulkoordinatorinnen und -koordinatoren wird finanziell abgegolten.
• Weiters gibt es für die Schulen die Möglichkeit der telefonischen Rücksprache mit dem nationalen
Zentrum, wenn weitere Informationen gewünscht werden oder Probleme oder Unklarheiten auftreten.
• Schüler/innen und Eltern erhalten vor dem Testtermin Informationsschreiben und die Möglichkeit,
über E-Mail oder Telefon weitere Informationen bei den zuständigen Personen am BMUKK, bei den
Elternvertreterinnen und -vertretern oder dem nationalen Zentrum einzuholen.
• Nach Abschluss aller Tests, erhalten die Schulkoordinatorinnen und Schulkoordinatoren ein Dankschreiben,
dem auch eine Teilnahmeurkunde für die jeweilige Schule beiliegt.
2.3.2 Maßnahmen zur Qualitätskontrolle beim Screening
Die Qualitätskontrolle beim Screening erfolgt in Form von Feedbackbögen, welche den
Schulkoordinatorinnen und -koordinatoren zugesendet werden. Diese Rückmeldungen dienen dazu,
die Anstrengungen, die bei der Qualitätslenkung betrieben werden, zu bewerten und gegebenenfalls bei
der nächsten Erhebung zu verbessern. Damit ist diese Maßnahme auch ein wesentlicher Beitrag zur
Qualitätsentwicklung.
Von den insgesamt 196 Schulkoordinatorinnen und -koordinatoren haben 151 die Möglichkeit der
Rückmeldung genutzt, was einem Rücklauf von 77 % entspricht.
Die Rückmeldebögen umfassen fünf Themenbereiche, von denen folgende drei zu den Vorbereitungsarbeiten
zählen:
• Fragen zum Informationsmaterial für den/die SK
• Fragen zur Kooperation mit dem/der Testleiter/in
• Fragen zur Teilnahmebereitschaft der Schüler/innen
Zu zwei dieser Themenbereiche liegen auch Informationen aus den – in PISA 2006 neu eingeführten –
Feedbackbögen der Testleiter/innen vor. Es sind dies Informationen
• zur Zusammenarbeit zwischen SK und TL aus Sicht der Testleiter/innen und
• zur Teilnahmebereitschaft der Schüler/innen.
Zwei Themenbereiche der SK-Befragung beziehen sich auf die Testsitzung selbst und werden deshalb
später in Abschnitt 3.3 in diesem Kapitel behandelt.
Seite 202
XII. Qualitätssicherung

Zufriedenheit mit Umfang und inhaltlicher
Gestaltung der Informationen
100 %
Schwierigkeit der Erstellung
der Schülerliste
80 %
68 %
30 %
60 %
40 %
20 %
40 %
55 %
sehr
zufrieden
zufrieden
1 % 0 %
weniger
zufrieden
nicht
zufrieden
0 %
sehr
leicht
eher
leicht
N = 149 N = 147
5 %
eher
schwierig
0 %
sehr
schwierig
Abbildung XII.2: SK-Rückmeldungen zum Informationsmaterial
Die Beurteilung des ersten Themenbereiches „Fragen zum Informationsmaterial für den/die
Schulkoordinator/in“, welches vom nationalen Zentrum in Briefform verfasst wurde, fällt relativ positiv
aus. Mit dem Umfang und der inhaltlichen Gestaltung der Informationen zweigen sich 68 % der
Befragten sehr und weitere 29 % eher zufrieden (vgl. das linke Diagramm in Abbildung XII.2). Nur 1 %
der SK gibt an, eher weniger zufrieden gewesen zu sein, keiner zeigte sich nicht zufrieden.
Ähnlich positiv fallen auch die Bewertungen der Informationen im Detail aus. Für insgesamt 95 % der
SK war die zentrale Aufgabe, die Erstellung der Schülerliste, sehr oder eher leicht. 5 % empfanden diese
Aufgabe als eher schwierig. Keine/r gab an, dies als sehr schwierig erlebt zu haben (vgl. das rechte
Diagramm in Abbildung XII.2).
Waren die Abläufe und die Ausschlusskriterien klar beschrieben?
Abläufe
97 %
3
Ausschluss-
Codes
93 %
7 %
0 % 20 % 40 % 60 % 80 % 100 %
N = 144/148
Ja
Nein
Abbildung XII.3: SK-Rückmeldungen zu Abläufen und Ausschlusskriterien
XII. Qualitätssicherung
Seite 203

Die Informationen über die Abläufe der Studie fanden 96 % der SK klar formuliert. 93 % der Befragten
geben weiters an, auch mit den Beschreibungen der Ausschlusskriterien für einzelne Schüler/innen und
den damit verbundenen Codes gut zurechtgekommen zu sein (vgl. Abbildung XII.3).
Beim zweiten Themenbereich „Kooperation mit dem/der Testleiter/in“, geben 89 % der SK an, mit der
Betreuung durch den/die Testleiter/in sehr zufrieden gewesen zu sein, weitere 11 % zeigen sich zufrieden.
Keine/r äußerte sich weniger oder nicht zufrieden (vgl. das linke Diagramm in Abbildung XII.4).
Dieses sehr positive Ergebnis wird noch durch einige zusätzliche Anmerkungen bezüglich der guten
Zusammenarbeit mit den TL unterstrichen.
Zufriedenheit mit der Betreuung
durch den/die Testleiter/in
100 %
Schwierigkeit der Vereinbarung
eines Testtermins
89 %
80 %
60 %
63 %
40 %
20 %
35 %
sehr
zufrieden
11 %
zufrieden
0 % 0 %
weniger
zufrieden
nicht
zufrieden
0 %
sehr
leicht
eher
leicht
N = 151 N = 151
2 %
eher
schwierig
0 %
sehr
schwierig
Abbildung XII.4: SK-Rückmeldungen zur Zusammenarbeit mit den TL
Das zweite Diagramm in Abbildung XII.4 zeigt, wie leicht oder schwierig die Vereinbarung eines
Testtermins mit den TL von den SK erlebt wurde. 63 % der SK geben an, die Terminvereinbarung wäre
sehr leicht gewesen, weitere 35 % beschreiben diese als eher leicht.
Dies ist ein Bereich, der in PISA 2003 von einigen SK als problematisch beurteilt wurde, was sich damals
auch in der Häufung von Kommentaren der SK zu diesem Themenbereich in Form der allgemeinen
Anmerkungen zeigte. Zwar kann das Zeitfenster der Erhebung auf Grund der internationalen Vorgaben
nicht – wie teilweise angeregt – in den Herbst verschoben werden. Durch entsprechende Vorinformationen
schon im ersten Anschreiben an die Schulen im Jänner und die Bitte an die Schulleitung, wenn möglich,
drei mögliche Termine für den PISA-Test innerhalb des Erhebungsfensters bei der Planung des zweiten
Semesters freizuhalten, scheint sich die Situation gebessert zu haben. Dies zeigt sich sowohl darin,
dass in PISA 2006 die Terminvereinbarung nur 2 % der SK als eher schwierig beurteilen, als auch in
der Tatsache, dass in den (frei formulierten) Anmerkungen der SK dieser Themenbereich nicht mehr
vorkommt. In PISA 2003 hatten 9 % der SK angegeben, Schwierigkeiten bei der Terminvereinbarung
gehabt zu haben.
Seite 204
XII. Qualitätssicherung

Die Kontaktaufnahme durch den/die Testleiter/in erfolgte ...
rechtzeitig
97 % 3
0 % 20 % 40 % 60 % 80 % 100 %
N = 148
Ja
Nein
Abbildung XII.5: SK-Rückmeldungen zur Kontaktaufnahme durch die TL
Abbildung XII.5 zeigt, dass 97 % der SK angeben, von dem/der zuständigen Testleiter/in rechtzeitig
kontaktiert worden zu sein.
Aus der Sicht der Testleiter/innen stellt sich die Kooperation mit den Schulkoordinatorinnen und -koordinatoren
ebenfalls positiv dar. 90 % jener Testleiter/innen, die den Rückmeldebogen in Bezug auf
die PISA-Studie ausgefüllt haben, beurteilten die Kooperationsbereitschaft der SK als gut, die restlichen
10 % als mittelmäßig. Einige Probleme erlebten die Testleiter/innen mit der Erreichbarkeit der SK: ein
Drittel berichtet davon, dass die SK schwer erreichbar waren; der Rest zeigt sich mit der Erreichbarkeit
der SK zufrieden.
Die Bereitschaft zur Teilnahme von Schülerinnen
und Schülern (bzw. deren Eltern) ...
100 %
80 %
85 %
60 %
40 %
20 %
0 %
war in fast
allen Fällen
vorhanden
13 %
konnte
meist
hergestellt
werden
N = 149
2 %
konnte in
wenigen
Fällen
hergestellt
werden
0 %
konnte
meist
nicht
hergestellt
werden
Abbildung XII.6: SK berichtet über Teilnahmebereitschaft
XII. Qualitätssicherung
Seite 205

Der dritte Bereich der SK-Befragung, der zur Vorbereitungsphase gehört, bezieht sich auf die
Teilnahmebereitschaft der Schüler/innen bzw. darauf, ob Eltern ihre Kinder vom Test abmelden möchten.
Die Rücklaufquoten stellen einen sensiblen Bereich in Bezug auf die Qualität und Vergleichbarkeit
der resultierenden Daten dar. Wenn es um die Teilnahmebereitschaft der Schüler/innen (und das
Einverständnis deren Eltern) geht, kommt dem/der SK eine zentrale Rolle zu. 85 % der SK berichten,
dass die Teilnahmebereitschaft in fast allen Fällen von vornherein vorhanden war, weitere 13 % geben an,
dass diese in den meisten Fällen durch ihre Überzeugungsarbeit hergestellt werden konnte. 2 % der SK
konnten diese nur in wenigen Fällen herstellen, keine/r gibt an, diese meist nicht herstellen zu können
(vgl. Abbildung XII.6 auf der vorhergehenden Seite). Diese Daten spiegeln die Informationen bezüglich
des tatsächlichen Rücklaufs zum größten Teil wider; jene zwei Schulen, in denen sich der/die jeweils
einzige Schüler/in des Zieljahrgangs vom Test abgemeldet hat (vgl. Kapitel VII) sind in diesen Analysen
nicht enthalten, da nur an SK von Schulen, in denen auch tatsächlich ein PISA-Test stattgefunden hat,
Rückmeldebögen versendet wurden.
Jene Testleiter/innen, die den Rückmeldebogen für TL für die PISA-Studie ausgefüllt haben, äußern
sich zur Abmeldeproblematik folgendermaßen: knapp 16 % haben ausschließlich in Schulen PISA-Tests
durchgeführt, in denen es keine Abmeldungen gab. 70 % geben an, rechtzeitig von den SK über vorliegende
Abmeldungen informiert worden zu sein, 14 % wurden nicht oder sehr spät über solche informiert.
Insgesamt gibt nur ein/e TL an, gegen Abmeldungen von Schülerinnen und Schülern oder deren
Eltern noch etwas tun gekonnt zu haben. Dies bestätigt die zentrale Rolle der SK in diesem Punkt.
Die Rücklaufstatistiken (vgl. Kapitel VII) zeigen aber, dass die Teilnahmebereitschaft (ob von vornherein
vorhanden und durch das Engagement von SK und/oder Schulleiterinnen und Schulleitern hergestellt)
sehr hoch war und in Bezug auf die Qualität der österreichischen PISA-2006-Daten keinen negativen
Einfluss haben dürfte.
2.4 National Center Quality Monitoring
Das National Center Quality Monitoring ist nur eine der Monitoring-Aktivitäten, die vom Internationalen
Zentrum eingeführt werden (vgl. Abschnitt 1.4.1 idK.). Dabei werden die nationalen Projektzentren
von so genannten National Center Quality Monitors (NCQMs) besucht, die vor Ort die Qualität
der Prozeduren der nationalen Zentren überprüfen. NCQMs arbeiten im Auftrag des internationalen
Konsortiums, sind mit den Verantwortlichkeiten eines NPM vertraut und werden vor ihren Besuchen
vom internationalen Zentrum für ihre Aufgaben trainiert. Die Qualitätsüberprüfung durch die NCQMs
wird auf der Basis eines standardisierten Interviews durchgeführt. Dieses umfasst Fragen zur Organisation
der nationalen Zentren, der Adäquatheit der Manuals, der Qualitätsüberwachung sowie zu den wichtigsten
Prozeduren wie beispielsweise der Stichprobenziehung, Übersetzung und dem Coding.
Die NCQMs besuchen im Feldtest nur die nationalen Projektzentren der neu hinzugekommenen und
in Bezug auf die richtige Prozessumsetzung gefährdeten Länder. Im Haupttest werden die Projektzentren
aller Teilnehmerländer kurz vor der Erhebungsphase besucht. Da Österreich bereits an den ersten beiden
Erhebungen teilgenommen hat und in früheren PISA-Erhebungen die vorgegebenen Prozeduren
regelkonform umgesetzt hat, wird das österreichische PISA-Projektzentrum nur im Haupttest von einem
NCQM besucht.
Zweck dieser Besuche ist die Überprüfung und Durchsicht aller Komponenten des PISA-Projekts mit
dem Fokus auf Datenerhebungsprozeduren im weitesten Sinne (vom Sampling bis zu geplanten File-
Cleaning-Prozeduren). Die NPMs sind angehalten mit den NCQMs zusammenzuarbeiten und ihnen
alle angeforderten Materialien zur Verfügung zu stellen.
Auf internationaler Ebene werden die Daten, die aus den Interviews vor dem Haupttest gewonnen werden,
in einem Bericht zusammengefasst. Die NCQM-Berichte werden dazu verwendet, das Ausmaß des
Erfolgs bezüglich der Einhaltung der vorgeschriebenen Ziele bei den einzelnen Phasen zu bewerten.
Eine weitere Aufgabe der NCQMs ist, die PISA Quality Monitors auf ihren Einsatz vorzubereiten (vgl.
Abschnitt 3.4 idK.).
Seite 206
XII. Qualitätssicherung

3. Qualitätssicherungsmaßnahmen während der Datenerhebung
Um möglichst objektive und damit vergleichbare Daten zu erhalten, ist es besonders wichtig, alle
Schüler/innen unter den gleichen Bedingungen zu testen. Deshalb spielt Qualitätssicherung während
der Datenerhebung in Bezug auf die Standardisierung der Testsitzungen (Durchführungsobjektivität)
eine große Rolle. Alle Vorgänge, die zur Vorbereitung auf die Tests getroffen werden, sowie der Ablauf
der Testsitzungen sind in Abschnitt 5 des Kapitels VI dokumentiert und im Detail beschrieben. Im vorliegenden
Kapitel sollen noch einmal jene Vorgänge herausgestrichen werden, die im Speziellen für die
Qualitätssicherung relevant sind. Dabei handelt es sich sowohl um qualitätslenkende (vgl. Abschnitt 3.1
idK.), als auch qualitätskontrollierende Maßnahmen (vgl. Abschnitt 3.2 idK.). Letztere werden auch verstärkt
für die Qualitätsentwicklung in der Phase der Datenerhebung genützt.
3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität
Vor allem drei Maßnahmen sind in Bezug auf die Objektivität und damit für die Vergleichbarkeit der
gewonnenen Ergebnisse von besonderer Bedeutung:
• Einsatz externer Personen für die Administration der Tests (externe TL),
• Schulung der Testleiter/innen,
• standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts.
Diese Maßnahmen leisten einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung
über die verschiedenen Schulen und Länder hinweg.
3.1.1 Externe Testleiter/innen
Der Einsatz von Personen als Testleiter/innen, die von außen zur Testschule kommen, den Test durchführen
und sämtliche Materialien wieder mitnehmen, hat verschiedene Vorteile, die einen positiven Einfluss
auf die Qualität der Testdurchführung mit sich bringen.
Die Testdurchführung ist dadurch objektiver, da die Versuchung, einzelnen Schülerinnen oder Schülern bei
Testaufgaben auf die Sprünge zu helfen, praktisch nicht vorhanden ist, und umgekehrt die Schüler/innen
unbeobachtet von einem Lehrer/einer Lehrerin ihrer Schule die Tests und Fragebögen bearbeiten können.
Der Testablauf findet durch den Einsatz externer Testleiter/innen kontrolliert und standardisiert statt, da
Vorbereitung und Einschulung bei wenigen Personen intensiver verlaufen können. Außerdem spielt auch
Erfahrung bei der Administration standardisierter Tests eine Rolle. Je mehr Testsitzungen geleitet werden,
desto vertrauter wird man mit den Prozeduren und Richtlinien. Im Bewusstsein dieser Tatsache hat das
nationale Projektzentrum ein stehendes Netz an Testleiterinnen und Testleitern aufgebaut, um großteils
Testleiter/innen einsetzen zu können, die bereits in vorhergehenden PISA-Testungen Erfahrung sammeln
konnten.
Ein weiterer Vorteil ist, dass als externe TL nur Personen in Frage kommen, die sich freiwillig zur Verfügung
stellen. Dadurch wird sichergestellt, dass die Beteiligten auch entsprechende Motivation mitbringen.
Gleichzeitig wird durch diese Maßnahme die Motivation der Schulen und Schulkoordinatorinnen und
-koordinatoren gestärkt, da ihnen ein großes Stück Arbeit abgenommen wird.
Die Administration der Tests durch schulfremde Personen hat zudem den Vorteil, die Vertraulichkeit in
Bezug auf persönliche Angaben der Schüler/innen – vor allem in den Fragebögen – zu sichern, da während
der Testsitzung keine Lehrer/innen der eigenen Schule Einsicht in die Arbeit der Schüler/innen nehmen
können und zu keinem Zeitpunkt vor oder nach dem Test Materialien in Schulen gelagert werden
müssen. Dies kann auch dazu führen, die Qualität der Daten aus den Schülerfragebögen zu verbessern,
da ehrlichere Antworten von Seiten der Schüler/innen zu erwarten sind.
Abgesehen davon, dass die externen TL einen großen Beitrag zur Qualitätslenkung während der
Datenerhebung leisten, spielen sie auch bei der Qualitätskontrolle eine Rolle, indem von ihnen relativ objektive
Rückmeldungen über die Abläufe und Geschehnisse an den Testtagen sowie über die Brauchbarkeit
von Manuals, Schulungen und sonstige Hilfestellungen erwartet werden kann (vgl. auch Abschnitt 3.2
idK.).
XII. Qualitätssicherung
Seite 207

3.1.2 Schulung der Testleiter/innen
Die Vertrautheit der TL mit den Abläufen der Testsitzungen wird durch zwei Maßnahmen gesichert: Zum
einen durch die Abhaltung von Schulungen für alle Testleiter/innen (auch jene, die bereits in früheren
Erhebungen tätig waren) und zum anderen durch selbstständige Vorbereitung der TL auf ihre Aufgabe.
Die Vorbereitung erfolgt in drei Schritten: Alle TL erhalten einige Zeit vor der Einschulung ein Exemplar
des Handbuchs zugeschickt. Dies ist mit der Bitte verbunden, sich persönlich vorzubereiten, damit bei
der Schulung schon eine gewisse Vertrautheit mit der Materie vorhanden ist. Daraufhin ist die Teilnahme
an einer halbtägigen Schulung für Testleiter/innen obligatorisch. Als dritter Schritt werden die TL aufgefordert,
sich zwischen Schulung und Testdurchführung noch einmal intensiv mit den besprochenen
Abläufen auseinander zu setzen.
3.1.3 Standardisierte Handbücher und Skripts
Das Handbuch für TL dient der Vereinheitlichung der Abläufe durch exakte Anweisungen. Diese
müssen allerdings nicht nur einheitlich, sondern auch verständlich sein. Hierbei spielen Struktur und
Übersichtlichkeit eine wichtige Rolle. Nur wenn man entsprechende Informationen schnell und zielsicher
finden kann, ist es auch noch bei Unklarheiten während der Tests möglich, mit Hilfe des Handbuchs
Entscheidungen zu treffen. Deshalb wurde bei der Gestaltung des Manuals auf nationaler Ebene besonderer
Wert auf die Gliederung und das Layout gelegt. In diesem Sinn werden die Rückmeldungen auf
die Feldtestversion des Handbuchs sehr gewissenhaft ausgewertet und in die inhaltliche und optische
Gestaltung der Haupttestversion einbezogen.
Ein weiterer Punkt, der entscheidenden Einfluss auf die Qualität der Testdurchführung hat, ist die international
einheitliche Administration der Tests. Hierzu leistet auch das Handbuch einen wichtigen
Beitrag. Der Ablauf der Testsitzungen muss in allen Ländern gleich sein, und auch die Anweisungen und
Erklärungen, die die Schüler/innen vor und während der Tests erhalten, dürfen sich zwischen den verschiedenen
Ländern nicht unterscheiden. Dies wird durch zwei Qualitätslenkungsmaßnahmen erreicht: Zum
einen gibt es als Ergänzung zur internationalen Version des Manuals Anmerkungen bezüglich erlaubter
und nicht erlaubter Anpassungen von Teilen und Texten des Manuals an nationale Gegebenheiten. Zum
anderen werden die Übersetzung und Adaption des Manuals – wie bei den Testinstrumenten – von internationaler
Seite überprüft und verifiziert. Besonders wichtig ist die internationale Einheitlichkeit bei den
Skripts – den Anleitungen, die den Schülerinnen und Schülern vor und während der Testdurchführung
gegeben werden. Diese sind im Handbuch für TL abgedruckt und müssen wörtlich vorgelesen werden.
Aus diesem Grund ist es von Bedeutung, dass sowohl die Übersetzung dieser Textpassagen akkurat ist, als
auch, dass sich die TL exakt an diese Vorgaben halten.
3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL
Während der Durchführung jeder Testsitzung wird von der Testleiterin oder dem Testleiter nach internationalen
Vorgaben ein standardisiertes Protokoll über Ablauf und eventuell aufgetretene Probleme geführt
(vgl. Abschnitt 5.4.5 in Kapitel VI). Diese Protokolle werden in erster Linie zur Unterstützung der
Rücklaufkontrolle angefertigt, enthalten aber auch viele wichtige Informationen, die zur Verbesserung
von Materialien und Prozeduren führen können. Im vorliegenden Kapitel sollen die Analyse-Ergebnisse
der Testsitzungs-Protokolle des Haupttests dargestellt werden. Indem die Rückmeldungen der Testleiter/innen
systematisiert und analysiert werden, kann einerseits abgeschätzt werden, wie genau die PISA-
Testungen den vorgeschriebenen Richtlinien entsprechen (Qualitätskontrolle); andererseits können die
Anmerkungen der Testleiter/innen zur Verbesserung von Materialien für weitere Zyklen der PISA-Studie
verwendet werden (Qualitätsentwicklung).
Bei jeder PISA-Testung, egal ob erste Testsitzung oder Nachtest, wird ein Protokoll geführt. Dieses umfasst
eine genaue Auflistung darüber, wo und wann der Test stattgefunden hat, sowie die Anzahl der
anwesenden bzw. abwesenden Schüler/innen. Zudem wird der zeitliche Ablauf genau protokolliert (siehe
unten). Im Anschluss werden die Testleiter/innen gebeten, einige Fragen zu potentiellen Problemfeldern
zu beantworten und gegebenenfalls zu erklären.
Seite 208
XII. Qualitätssicherung

Die im Folgenden beschriebenen Auswertungen beruhen auf den Protokollen von 194 ersten Testsitzungen
und 46 Nachtests (follow-up-sessions). Die Testung in Sonderschulen wird in diesen Auswertungen nicht
berücksichtigt, da die Testzeiten hier anders geregelt sind. Besonderes Gewicht wurde bei der Auswertung
auf eine exakte Einhaltung der vorgeschriebenen Zeiten sowie auf die Analyse von berichteten Problemen
gelegt.
3.2.1 Zur Dauer der PISA-Testung
Die genaue Einhaltung der vorgegebenen Dauer der beiden Testteile von jeweils 60 Minuten ist ein
wichtiger Qualitätsaspekt bei der Durchführung der Tests. Vor allem die Überschreitung dieser Zeit bei
einigen Schulen oder geballt in einigen Ländern könnte zur Verfälschung der Leistungsdaten führen und
deren Vergleichbarkeit gefährden.
Die vorgegebene Dauer von 60 Minuten für den ersten Testteil wurde, in 236 der 240 Testsitzungen exakt
eingehalten. Die Abweichungen in den anderen vier Testsitzungen sind von minimalem Ausmaß: in drei
Schulen gab es eine Abweichung von nur 1 Minute (zweimal nach unten, einmal nach oben); die größte
Abweichung beträgt 3 Minuten.
Auch beim zweiten Testteil zeigt sich, dass die vorgegebene Zeit von 60 Minuten in der Regel sehr genau
eingehalten wurde. Dies geschah in 225 von 240 Testsitzungen (94 %). Bei einer Testsitzung wurde
die Testzeit um 2 Minuten überschritten und bei 14 Testungen lag die Testzeit unter dem vorgegebenen
Zeitlimit, da die Schüler/innen schon vor Ende der zwei Stunden fertig waren. Nach internationalen
Richtlinien ist eine vorzeitige Beendigung akzeptabel, wenn alle Schüler/innen vor Erreichen des
Zeitlimits fertig sind.
Es kann also davon ausgegangen werden, dass es keine Unzulässigkeiten bei der vorgeschriebenen Dauer
von einer Stunde pro Testteil gegeben hat.
Für die Bearbeitung des Fragebogens waren 50 Minuten vorgesehen. Waren viele Schüler/innen nach
dieser Zeit noch nicht fertig, durften weitere 10 Minuten für die Bearbeitung der Fragebögen verwendet
werden. Die durchschnittliche Bearbeitungszeit lag bei 49 Minuten, wobei Werte zwischen 30 und 70
Minuten auftraten.
3.2.2 Schülerverhalten während der Testsitzung
Die TL werden auch nach dem Verhalten der Schüler/innen während der Testsitzung gefragt. Die diesbezüglichen
Aufzeichnungen sind in Abbildung XII.7 dargestellt. Dabei zeigt sich, dass die Disziplin
der Schüler/innen mit einem akzeptablen Anteil an Ausnahmen als durchaus gut zu bewerten ist. Etwas
Schüler/innen sprechen während
des Tests miteinander
62 % 36 % 3 %
Schüler/innen beschweren
sich oder diskutieren mit TA
91 % 9 %
Schüler/innen sind laut
und stören die Anderen
86 % 12 % 2 %
Schüler/innen werden
gegen Ende unruhig
49 % 39 % 11 %
N=235 bis 238
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
kein/e Schüler/in
einige Schüler/innen
die meisten Schüler/innen
Abbildung XII.7: Schülerverhalten während der Testsitzung
XII. Qualitätssicherung
Seite 209

problematisch ist der hohe Anteil an Testsitzungen (knapp über 50 %), in denen einige bis die meisten
Schüler/innen gegen Ende der Testsitzung unruhig wurden. Dieses Problem resultiert daraus, dass viele
Schüler/innen bereits vor Ablauf der zwei Stunden mit der Bearbeitung der Testaufgaben fertig sind.
Obwohl die Schüler/innen im Vorfeld darum gebeten werden Lesestoff, Lernstoff oder Hausübungen
mitzunehmen, konnte die Unruhe am Ende der Testsitzungen nicht gänzlich gedämmt werden. Es wäre
aber durchaus angebracht, auf internationaler Ebene einheitliche Maßnahmen zu überlegen, um dieses
Problem unter Kontrolle zu bringen. Weiters wird von fast 40 % der Testsitzungen berichtet, dass
Schüler/innen miteinander redeten (oder dies zumindest versuchten). Unter Umständen könnte dieses
Problem aber die gleiche Wurzel wie das vorher angesprochene haben, nämlich dass Schüler/innen vor
Ablauf der zwei Stunden mit dem Test fertig sind.
3.2.3 Störungen während der Testsitzung
Weiters werden die TL im Feedbackbogen auch zu Störungen, wie beispielsweise Lautsprecherdurchsagen,
Alarm oder Wechsel des Klassenraumes, befragt. Diesbezügliche Aufzeichnungen sind in Abbildung XII.8
dargestellt und zeigen, dass Störungen insgesamt nur in wenigen Fällen vorkommen. Diese betreffen vor
allem Schüler/innen oder Lehrer/innen, die in den Testraum kommen, sowie Lautsprecherdurchsagen.
Störungen durch ...
Lautsprecherdurchsagen
8 % 92 %
Alarm
2 %
98 %
Wechsel des Testraums
1 %
99 %
nicht am Test teilnehmende
Schüler/innen
4 % 96 %
Schüler/innen o. Lehrer/innen,
die in den Testraum kamen
10 % 90 %
N= 234-236
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
ja
nein
Abbildung XII.8: Störungen während der Testsitzung
3.2.4 Schwierigkeiten in Verbindung mit Testheften und Fragebögen
Von Problemen mit Testheften (in Bezug auf Druck, Heftung etc.) wird in 2 % der Testsitzungen berichtet.
Diese Anmerkungen betreffen vor allem Probleme mit der Heftung (z. B. fehlende Seiten) und in zwei
Fällen Probleme der Testleiterin oder des Testleiters mit dem Austeilen der Hefte nach der Schüler-ID.
Schwierigkeiten mit einzelnen Testaufgaben werden in weniger als 2 % der Protokolle vermerkt, wobei es
sich hier in erster Linie um Kommentare zu Unklarheiten bei Fragestellungen handelt.
Ebenfalls mit zwei Fragen werden Probleme bezüglich der Schülerfragebögen erhoben. In etwa 2 % der
Protokolle wird von Problemen mit dem Fragebogen berichtet, wobei sich die diesbezüglichen Anmerkungen
auf Probleme mit der Heftung der Fragebögen beziehen. Von Schwierigkeiten mit spezifischen Fragen
Seite 210
XII. Qualitätssicherung

wird in knapp 6 % der Protokolle berichtet; diese beziehen sich auf das Problem, dass den Schülerinnen
und Schülern Informationen zur Beantwortung einiger Fragen, wie etwa der Berufsausbildung und dem
Schulabschluss der Eltern fehlten, auf jene Fragen, die den Naturwissenschaftsunterricht betreffen (auf
Grund der unterschiedlichen unterrichteten Fächer) sowie eine überflüssige Anleitung zum Überspringen
einer Frage im nationalen Fragebogenteil einer Version.
3.2.5 Sonstige Problemfelder während der Testsitzung
Die TL können am Ende des Protokollformulars sonstige Problemfelder, die nicht explizit abgefragt werden,
notieren. Hier werden in hohem Ausmaß die Länge des Schülerfragebogens und die damit einhergehende
Ermüdung der Schüler/innen erwähnt sowie die frühzeitige Fertigstellung der Aufgaben in den
Testheften von einigen Jugendlichen und die dadurch entstehende Unruhe protokolliert.
Ergänzend dazu gibt es allgemeine Kommentare, die sich auf den Wunsch nach Feedback über die
Leistung der Schüler/innen vor allem von Seiten der Schüler/innen, die den Wunsch nach individuellen
Rückmeldungen äußerten, beziehen.
3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK
Wie bereits in Abschnitt 2.3.2 in diesem Kapitel beschrieben wurde, werden die Schulkoordinatorinnen
und Schulkoordinatoren nach Abschluss aller Testsitzungen und dem Eintreffen des Materials im PISA-
Projektzentrum um Rückmeldung in Form von Feedbackbögen gebeten. Einer der vier Themenbereiche,
nach denen gefragt wird, bezieht sich auf den Testtag selbst.
95 % der Schulkoordinatorinnen und -koordinatoren geben an, während der Testsitzung selbst keine
Probleme gehabt zu haben. Die Schwierigkeiten, die genannt werden, beziehen sich vor allem auf das
Fehlen von Schülerinnen und Schülern (vgl. Abbildung XII.9).
Probleme am Tag des Tests
Probleme
5 % 95 %
0 % 20 % 40 % 60 % 80 % 100 %
N = 151
Ja
Nein
Abbildung XII.9: Probleme am Tag des Tests
Neben dieser allgemein gehaltenen Frage zu möglichen Problemen am Testtag wurden die SK bei PISA
2006 auch danach gefragt, ob auf Grund der Teilnahme der Schule Kontakt mit Medien stattgefunden
hat und wenn ja, ob dies zu Problemen geführt hat.
Abbildung XII.10 auf der nächsten Seite zeigt, dass 13 % der SK von Kontakten mit Vertreterinnen oder
Vertretern der Medien berichten. In den meisten Fällen fand dies auf Initiative der Medien statt, in einigen
Fällen auf Wunsch der Schulbehörden und nur in zwei Fällen kam die Initiative von der Schule selbst.
Wie Medien von der Teilnahme einzelner Schulen erfahren, ist nicht geklärt. Das nationale Zentrum gibt
dazu strikt keine Informationen nach außen; die Vertreter/innen der Schulbehörden, die im Verlauf des
Screening-Prozesses über die Auswahl von Schulen in ihrem Wirkungsbereich informiert werden, werden
ebenfalls um vertrauliche Behandlung dieser Informationen gebeten.
Von Problemen für die PISA-Testsitzung auf Grund des Kontakts mit Medien berichtet aber keine einzige
Schulkoordinatorin/kein einziger Schulkoordinator.
XII. Qualitätssicherung
Seite 211

Kontakt mit Medienvertretern auf Grund der Teilnahme an PISA
Nein
87 %
Ja
13 %
1 %
7 %
4 %
Ja, auf Initiative
von Medienvertretern
Ja, auf Initiative
der Schule hin
Ja, auf Wunsch
der Schulbehörden
3.4 PISA Quality Monitoring
N = 149
Abbildung XII.10: Kontakt mit Medien auf Grund der Teilnahme an PISA
Das PISA Quality Monitoring ist eine der Monitoring-Aktivitäten die vom Internationalen Zentrum
eingerichtet wurden. Im Gegensatz zu den übrigen Monitoring-Aktivitäten (vgl. hierzu Abschnitt 1.4.1
idK.), kann das PISA Quality Monitoring eindeutig der Untersuchungsphase „Datenerhebung“ zugeordnet
werden, weshalb es auch an dieser Stelle im Detail behandelt wird.
Beim PISA Quality Monitoring werden in allen Teilnehmerländern ungefähr 10 % der PISA-Schulen
von einem PISA Quality Monitor (PQM) unangekündigt am Testtag besucht. Der PQM hat dabei die
Aufgabe, mit Hilfe eines standardisierten Beobachtungsprotokolls die Testdurchführung zu beobachten
und Abweichungen von den Richtlinien zu protokollieren. Der Einsatz von zumindest zwei PQMs pro
Land hat das Ziel, Daten zur Qualität der Testdurchführung zu sammeln, um die Einhaltung der internationalen
Richtlinien, für die die nationalen Zentren verantwortlich sind, beurteilen und dokumentieren
zu können.
Die PQMs müssen Personen sein, die
• gut über die PISA-Abläufe und Materialien Bescheid wissen,
• Erfahrung im Bereich Assessment und/oder Unterricht und Schulen haben,
• unabhängig vom NPM und dem nationalen Projektzentrum sind (nicht in derselben Institution arbeiten),
• fließend die jeweilige Testsprache sowie Englisch oder Französisch sprechen und
• fähig sind, PISA seriös und kompetent zu repräsentieren.
Die NPMs haben dabei die Aufgabe, in ihrem Land geeignete Interessenten zu finden und deren
Lebensläufe an das internationale Konsortium zu übermitteln. Die Nominierung der PQMs durch die
NPM darf nicht später als 6 Wochen vor Beginn des Testfensters, aber vorzugsweise 3 Monate vor diesem
erfolgen. Im internationalen Konsortium fällt dann die Entscheidung über die Vertragsabschlüsse. PQMs
sind somit Beauftragte des internationalen Konsortiums, vertraglich an dieses gebunden und werden auch
von diesem bezahlt. Die PQMs werden von einem Abgesandten des internationalen Konsortiums – dem
so genannten National Center Quality Monitor (NCQM) – geschult. Der NCQM ist primär für die
Qualitätsüberwachung der nationalen Zentren verantwortlich (vgl. Abschnitt 2.4 idK.) und übernimmt
im Rahmen dieser Aufgabe auch die Schulung der PQMs. Die NPMs haben jeweils die Aufgabe, die
NCQMs als Vertreter/innen des PISA-Konsortiums zu unterstützen und bei der Lösung von eventuell
auftretenden Problemen mit den PQMs zu helfen.
Die PQMs müssen jedoch auch mit dem nationalen Zentrum zusammenarbeiten, um die nötigen
Informationen über ausgewählte Schulen und deren Testtermine zu erhalten, dürfen aber dem NPM
nicht über ihre laufende Arbeit als PQM Bericht erstatten.
Seite 212
XII. Qualitätssicherung

In Österreich wurden nach internationalen Vorgaben im Haupttest 15 Schulen von zwei PQMs besucht.
Zur Durchführung ihrer Aufgabe bekommen die PQMs ein Handbuch in englischer und französischer
Sprache, ein nationales Handbuch für Testleiter/innen und Einblick in alle verwendeten Testmaterialien.
Zur Vorbereitung auf die eintägige Schulungseinheit durch den NCQM wird vom internationalen
Zentrum empfohlen, dass die PQMs an einer lokalen Schulung für Testleiter/innen teilnehmen. In
Österreich nahm ein PQM an der Schulung in Salzburg und einer an jener in Graz teil.
Gemeinsam mit dem NCQM wählen die PQMs eine möglichst repräsentative Stichprobe an Schulen aus,
die dann zu besuchen ist. Unter Berücksichtigung der Erreichbarkeit (Anreisekosten sollten in Grenzen
gehalten werden) und der Testzeiten von Schulen (pro PQM kann an einem Tag nur eine Schule besucht
werden) werden die übrigen Schulen so gewählt, dass alle Schultypen und möglichst viele verschiedene
TL abgedeckt werden.
Die Besuche erfolgen im konkreten Fall unangekündigt, wobei die TL grundsätzlich über die Möglichkeit
eines PQM-Besuchs informiert sind. Weder der/die Testleiter/in noch der/die Schulkoordinator/in werden
davon in Kenntnis gesetzt, welche Schulen tatsächlich für das PISA Quality Monitoring ausgewählt
wurden. Der PQM hat, wie der TL, eine Stunde vor Testbeginn an der Schule zu sein, um anhand eines
vorgegebenen Protokolls die Vorbereitungsarbeiten des TL sowie die Durchführung der Testsitzung zu
dokumentieren. Im Anschluss muss der PQM ein kurzes Interview mit dem/der Schulkoordinator/in
führen.
Die Berichte der PQMs werden, wie in Abschnitt 2.4 in diesem Kapitel bereits erläutert, gemeinsam mit
anderen Berichten zur Beurteilung der Daten eines Landes herangezogen, womit dieser Maßnahme in
indirekter Form auch eine kontrollierende Funktion zukommt. Die qualitätslenkende Funktion dieser
Maßnahme besteht darin, dass die Berichte beim Datencleaning behilflich sind, da Schulen, bei denen die
PQMs Bedenken bezüglich der Datenerhebung haben, entsprechend gekennzeichnet sind. Zum anderen
kann davon ausgegangen werden, dass das Wissen um eine Überwachung der Datenerhebung durchaus
die Bemühungen sowohl der nationalen Zentren als auch der TL positiv beeinflusst, die diesbezüglichen
Qualitätsanforderungen zu erfüllen. Aus den gesammelten Daten lassen sich aber auch Maßnahmen zur
qualitativen Verbesserung der Datenerhebungsprozeduren für die nächste PISA-Erhebung (2009) ableiten,
womit das PISA-Quality-Monitoring auch als eine Maßnahme zur Qualitätsentwicklung betrachtet
werden kann.
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung
4.1 Rücklauf der Erhebungsinstrumente
Die qualitätssichernden Maßnahmen in Bezug auf den Rücklauf der Erhebungsinstrumente werden international
nicht vorgegeben, sondern können von den nationalen Projektzentren individuell geregelt
werden. Die in Österreich durchgeführten Maßnahmen sind primär der Qualitätslenkung zuzuordnen
und haben vor allem das Ziel, alle Materialien vollständig und unbeschädigt ins PISA-Zentrum zurückzuholen
und hierbei die Vertraulichkeit, die den Schüler/innen zugesichert worden ist, zu gewährleisten.
Ein erster wichtiger Punkt dabei ist der Transport der Materialien zurück nach Salzburg sowie die damit
verbundene Lagerung der Schulpakete zwischen Testsitzung und Abtransport. Sowohl im Feld- als auch
im Haupttest wird am Pädagogischen Institut jedes Bundeslandes eine zentrale Sammelstelle organisiert
(vgl. Abschnitt 5.6 in Kapitel VI). Bei der Übergabe der Schulpakete von der Testleiterin bzw. des
Testleiters an die Verantwortliche/den Verantwortlichen der jeweiligen Sammelstelle wird dies schriftlich
bestätigt. Von den Sammelstellen werden die Materialien dann von einer Spedition abgeholt und zum
ZVB in Salzburg gebracht. So können sowohl die Lagerung von Testmaterialien an Schulen und somit
die Gefährdung der Anonymität der Schülerdaten als auch Postwege mit voraussichtlichem Verlusten von
Materialien vermieden werden.
Die Vollständigkeit der Materialien wird im Rahmen der Rücklaufkontrolle gleich nach Eintreffen der
Schulpakete überprüft. Bei dieser wird genau registriert, wie viele Testhefte, Fragebögen, Schülerlisten
XII. Qualitätssicherung
Seite 213

und Testsitzungsprotokolle von welcher Schule ausgefüllt, leer oder beschädigt zurückkommen. Um
auch sicherzustellen, dass bei den eigentlichen Datenverarbeitungsprozessen keine Materialien mehr
verloren gehen können, finden alle Arbeiten – das Coding (Vercodung der Antworten auf die offenen
Testfragen) und die Dateneingabe – in Räumlichkeiten des nationalen Zentrums statt. Die hierfür angestellten
Personen, werden entsprechend der internationalen Vorgabe auch schriftlich zur vertraulichen
Behandlung der Materialien verpflichtet.
4.2 Coding
PISA 2006 umfasst 79 Aufgaben mit offenem Antwortformat. Die eigenständig formulierten
Schülerantworten auf diese Aufgaben müssen vor der Eingabe in den Computer mit Zifferncodes
versehen, also vorcodet werden. Ziel der qualitätssichernden Maßnahmen bei diesem Prozess ist eine
möglichst objektive Beurteilung der Schülerantworten. Dies geschieht in Form von qualitätslenkenden
Maßnahmen, die primär ein integraler Bestandteil der international vorgeschriebenen Coding-Prozedur
sind und im Detail in Kapitel VIII beschrieben werden. Im folgenden Abschnitt (4.2.1) werden diese
Maßnahmen zusammenfassend dargestellt. Inwieweit die Qualitätsanforderungen erreicht werden, wird
durch Qualitätskontrollmaßnahmen auf internationaler Ebene geprüft und in Abschnitt 4.2.2 dieses
Kapitels dargestellt.
Grundsätzlich können beim Coding folgende Probleme auftreten:
(1) Nicht allen Schülerantworten können trotz Handbuch mit den Bewertungsrichtlinien (Coding Guide)
eindeutige Codes zugeordnet werden.
(2) Die Zuordnung der Codes ist nicht unabhängig von der Coderin/vom Coder.
(3) Unterschiedliche Schärfen bei der Vergabe der Codes zwischen den Ländern.
Fehlerquellen wie unter Pkt. 1 dargestellt wirken sich vor allem auf die Zuverlässigkeit (Reliabilität)
der Daten aus. Die zweite und dritte Fehlerquelle hingegen beeinflussen primär die Objektivität und
Vergleichbarkeit der Daten zwischen den Ländern negativ.
4.2.1 Qualitätslenkung beim Coding
Wichtigste Basis des Codings sind die standardisierten Bewertungsrichtlinien (Coding Guides), welche
die Beschreibung sämtlicher Codes aller offenen Aufgaben enthalten. Diese müssen den gleichen
Übersetzungs- und Verifikationsprozess wie die Testitems selbst (vgl. Abschnitt 4 in Kapitel III) durchlaufen,
wodurch sichergestellt wird, dass alle Teilnehmerstaaten die gleiche Bewertungsbasis haben, was
Voraussetzung für eine objektive Beurteilung ist. Ein internationales Coder-Training bildet einen weiteren
Schritt zur Objektivierung des Codings. Jeweils im Februar vor Feld- und Haupttest finden diese
Schulungen statt, die dazu dienen, zumindest je eine/n Teilnehmer/in pro Land und Testdomäne mit der
Auslegung und Interpretation der Bewertungsrichtlinien vertraut zu machen.
Auf Länderebene werden Coderschulungen nach internationalen Richtlinien organisiert. Dazu gehört
die Auswahl der Coder/innen, die nach internationalen Vorgaben kriteriumsorientiert erfolgen muss.
Entsprechend dieser Vorgaben werden in Österreich nur Personen als Coder/in gewählt, die mit der jeweiligen
Testdomäne und dem Umgang mit Antworten von 15-/16-jährigen Schülerinnen und Schülern vertraut sind,
also vorzugsweise Lehrer/innen, Unterrichtspraktikantinnen/-praktikanten und Lehramtskandidatinnen/
-kandidaten entsprechender Unterrichtsfächer.
Für jede Domäne erfolgt eine eigene Schulung, an der alle Coder/innen der jeweiligen Domäne teilnehmen
müssen. Hier wird größtes Augenmerk darauf gelegt, dass nach Abschluss des Trainings zwischen
allen Codern und Coderinnen einer Domäne Konsens bezüglich der Handhabung und Verwendung der
Bewertungsrichtlinien herrscht. Unmittelbar nach der Schulung müssen die Coder/innen im Schnitt etwa
10 Beispielantworten je Item codieren; in Naturwissenschaft entspricht das etwa 410 Beispielantworten.
Der Anteil richtig vercodeter Antworten muss mindestens 85 % betragen. Falls diese Schwelle nicht erreicht
wird, muss der/die jeweilige Coder/in nachgeschult werden, bevor er/sie mit der eigentlichen Coding-
Prozedur beginnen darf. Ist auch die Nachschulung erfolglos, besteht grundsätzlich die Möglichkeit,
eine/n bereits geschulte/n Ersatzcoder/in zu rekrutieren, was in Österreich aber nicht nötig war.
Seite 214
XII. Qualitätssicherung

Durch spezielle Rotationsschemata bei der Zuteilung von Testheften zu Codern und Coderinnen wird
sichergestellt, dass jedes Testheft von mehreren Codern bzw. Coderinnen bearbeitet wird, indem ein/e
Coder/in nur jeweils einen von insgesamt 4 Aufgabenclustern pro Testheft beurteilt. Das Rotieren der
Testhefte beim Coding hat den Zweck, die Qualität der Leistungsdaten durch etwaige Tendenzen einzelner
Coder/innen zur strengeren und weniger strengen Beurteilungen nicht zu beeinflussen.
Auch während der Coding-Prozedur werden noch qualitätslenkende Maßnahmen durchgeführt. Für
die Betreuung der Coder/innen während der Arbeit stehen für jede Domäne zwei Supervisorinnen zur
Verfügung. Können die Supervisorinnen Entscheidungen bezüglich der Vergabe der Codes zu einzelnen
Schülerantworten nicht treffen, steht ein international eingerichtetes E-Mail-Coder-Query-Service zur
Verfügung, das in solchen Fällen die Vergabe des Codes übernimmt. Weiters müssen die Supervisorinnen
die Codevergabe einer jeden Coderin/eines jeden Coders stichprobenweise kontrollieren. Eine
Rückmeldung bei gefundenen Fehlcodierungen erfolgt immer vor der nächsten Coding-Einheit, damit
die Fehlvercodungen ausgebessert werden können und sich nicht weiter fortsetzen.
4.2.2 Qualitätskontrolle beim Coding
Ob und inwieweit die qualitätslenkenden Maßnahmen zur Verbesserung der Objektivität der Beurteilungen
erfolgreich sind, wird durch zwei Qualitätskontrollmaßnahmen – das Multiple Coding und die Inter-
Country-Rater-Reliability-Study – geprüft.
Beim Multiple Coding muss jedes Land einen Teil der Aufgaben jeweils von vier verschiedenen Coderinnen
bzw. Codern beurteilen lassen, so dass Vergleiche zwischen den vergebenen Codes Rückschlüsse auf die
Reliabilität der Bewertungen ermöglichen (Interrater-Reliabilität). Wie diese Prozedur, das Multiple
Coding, in Österreich praktisch umgesetzt wird, ist in den Abschnitten 4.4.2 und 5.4.2 in Kapitel VIII
beschrieben.
Im Feldtest hat das Multiple Coding eine qualitätslenkende Funktion mit dem Ziel, die Qualität des
Codings für den Haupttest zu verbessern. Grundsätzlich werden hier zwei Bereiche unterschieden:
(1) Wenn festgestellt wird, dass sich Coder/innen in einem Land allgemein oder bei einzelnen Items uneinig
bei der Vergabe von Codes sind, könnte dies auf schlecht qualifizierte Coder/innen, Übersetzungsfehler
im Coding Guide oder Fehler beim Training der Coder/innen in diesem Land zurückzuführen sein.
Probleme dieser Art müssen von den nationalen Zentren nach dem Feldtest genau analysiert werden,
damit die daraus gewonnenen Erkenntnisse für entsprechende Verbesserungen beim Haupttest genutzt
werden können.
(2) Wenn über mehrere Länder hinweg Diskrepanzen bei der Vergabe von Codes bei einzelnen Items
auftreten, kann dies auf Unklarheiten in den Coding-Anleitungen zurückzuführen sein. Probleme
mit den Bewertungsrichtlinien einzelner Items müssen von internationaler Seite her gelöst werden.
Im Haupttest hat das Multiple Coding primär eine Kontrollfunktion, bei der die Reliabilität der
Bewertungen in jedem Land im Mittelpunkt steht. Die qualitätslenkende Funktion wie beim Feldtest
tritt in den Hintergrund, da die Möglichkeit, nach dem Haupttest qualitätssichernd einzugreifen, sehr
stark eingeschränkt ist. Vorstellbare qualitätslenkende Konsequenzen wären, einzelne Items in einigen
Ländern oder international aus den Berechnungen auszunehmen, oder in extremen Fällen Booklets einzelner
Länder oder einzelner Coder/innen noch einmal beurteilen zu lassen.
Die Daten des Multiple Codings werden auf internationaler Ebene ausgewertet und im technischen
Bericht des internationalen Zentrums publiziert, der zum gegebenen Zeitpunkt noch nicht vorliegt. An
dieser Stelle soll jedoch kurz erklärt werden, nach welchem Prinzip die Daten weiterverarbeitet werden:
Die Idee der Analyse beruht auf dem Prinzip einer Varianzzerlegung. Damit ist gemeint, dass sich die
Codes, die die Schüler/innen erhalten, jeweils voneinander unterschieden. Unterschiedlich große Anteile
dieser Unterschiede (der Varianz) der Bewertungen werden durch das Item (wie schwierig dieses ist), den/
die Schüler/in (ihre/seine Fähigkeit) und den/die Coder/in erklärt; weiters spielen Interaktionen zwischen
Coder/in und Schüler/in, Coder/in und Item sowie Item und Schüler/in eine Rolle. Das Ziel der Analyse
ist die Bestimmung des Varianzanteils, der auf die Coder/innen zurückzuführen ist.
XII. Qualitätssicherung
Seite 215

Der Vergleich der Größe dieses Anteils zwischen verschiedenen Ländern kann Aufschluss über die
Reliabilität der Bewertungen in diesen Ländern geben. Andererseits kann durch eine Analyse der Daten
nach Items die Reliabilität einzelner Items über alle Länder hinweg bestimmt werden.
Ein weiterer Indikator für die Qualität der Bewertungen ist eine Reliabilitätsanalyse, bei der die Variablen
„Schüler/in“ und „Items“ jeweils konstant gehalten und der/die Coder/in variiert wird. Die Korrelation
zwischen den Ergebnissen von verschiedenen Coderinnen bzw. Codern kann ebenfalls Aufschluss über
die Zuverlässigkeit der Beurteilungen geben.
Durch das Multiple Coding kann jedoch nicht überprüft werden, ob die Coder/innen eines Landes systematisch
alle oder einzelne Items zu streng oder zu milde beurteilen, solange sie sich untereinander einig
sind. Um solche systematischen Bewertungsfehler aufzudecken, wurde die Inter-Country-Rater-Reliability-
Study entwickelt. Bei dieser zweiten internationalen Kontrollmaßnahme werden die Antworten auf verschiedene
Items von 180 Multiple-Coding-Testheften an das internationale Zentrum geschickt und dort
von einer fünften Coderin bzw. einem fünften Coder beurteilt, um systematische Beurteilungsfehler in
einzelnen Ländern aufdecken zu können.
Die internationalen Coder/innen sind meist Personen, die bei der Verifikation der Testmaterialien schon
für das internationale Zentrum gearbeitet haben. Sie werden von Mitgliedern des Konsortiums für das
Coding der Items geschult. Als Abschluss des Trainings muss jede/r von ihnen ein Set von fingierten
Schülerantworten beurteilen, und diese werden mit Benchmarks, von internationaler Seite vorgegebenen
korrekten Codes, verglichen. Danach werden die Booklets eines oder mehrerer Länder bewertet. Die
vergebenen Codes werden elektronisch verarbeitet und dann mit den Codes aus dem nationalen Multiple
Coding verglichen. Bei Diskrepanzen wird die Antwort der internationalen Coderin/vom internationalen
Coder ins Englische übersetzt und von der Supervisorin/dem Supervisor der internationalen Coder/innen
noch einmal kontrolliert und entschieden, ob die Beurteilung im Land, oder die des internationalen
Coders/der internationalen Coderin den Richtlinien im Coding Guide (besser) entspricht. Der Anteil,
bei dem die nationalen Coder/innen von dem international als richtig definierten Code abweichen, soll
Aufschluss über die Güte des Codings der einzelnen Länder geben. Vor allem kann herausgefunden werden,
ob Tendenzen zu übertriebener Strenge oder Milde beim Beurteilen einzelner Items in einem Land
festzustellen sind, die auf Fehler bei der Auslegung der Bewertungsrichtlinien beim nationalen Training
der Coder/innen oder Übersetzungsfehler in der nationalen Coding-Anleitung zurückzuführen wären.
4.3 Dateneingabe
Die Qualitätssicherung bei der Dateneingabe dient der Qualitätslenkung, mit Hilfe derer durch vorbeugende
Maßnahmen und Überwachungsmechanismen Dateneingabefehler vermieden oder korrigiert werden.
Qualitätssicherungsmaßnahmen in diesem Bereich beziehen sich auf die Auswahl und Schulung des
Dateneingabe-Personals, die Anwendung der Dateneingabesoftware „KeyQuest“ sowie die Prozeduren
des File Cleanings und Database Managements (vgl. Abschnitt 4 in Kapitel X).
Die ersten Maßnahmen, um eine möglichst fehlerfreie Datenbasis zu bekommen, beziehen sich auf die
Auswahl und Schulung des Dateneingabe-Personals. Hierfür gibt es keine internationalen Vorgaben,
weshalb dieser Teil national unterschiedlich geregelt werden kann. In Österreich werden hier folgende
Maßnahmen zur Minimierung der Eingabefehler gesetzt:
• Bei der Auswahl des Dateneingabe-Personals wird auf Kriterien wie Verlässlichkeit und Genauigkeit
geachtet.
• Alle Personen werden für ihre Aufgabe speziell geschult. Diese Einschulung umfasst sowohl allgemeine
Informationen zur Dateneingabe-Software als auch Erklärungen zu Besonderheiten des jeweils zu
bearbeitenden Instruments. Am Ende der Einschulung bekommt jede/r Mitarbeiter/in die Möglichkeit,
einige Datensätze unter Betreuung einzugeben.
Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch
Kontrollmechanismen der Dateneingabe-Software „KeyQuest“ und zum anderen durch Kontrollen von
Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums überprüft.
Seite 216
XII. Qualitätssicherung

Im konkreten Fall dienen diese Maßnahmen der Minimierung systematischer und unsystematischer
Eingabefehler. Obwohl die Verwendung der vom internationalen Zentrum zur Verfügung gestellten
Dateneingabesoftware „KeyQuest“ keine verbindliche Vorgabe darstellt, wurde sie in Österreich zur
Dateneingabe benützt, da es sich dabei um eine anwenderfreundliche Software handelt, mit deren Hilfe
folgende Arten von Eingabefehlern verhindert werden können (im Detail hierzu siehe Abschnitt 4.2,
Kapitel X):
• Durch die in der Dateneingabe-Software „KeyQuest“ integrierten Kontrollmechanismen wird schon
während der Dateneingabe verhindert, dass ungültige oder bereits vorhandene Identifikationsvariablen
eingegeben werden.
• Bei den meisten Variablen sind außerdem „Out-of-Range-Checks“ (Definition gültiger Wertebereiche)
im Programm eingebaut. Dadurch können keine Werte außerhalb des definierten Wertebereichs
eingegeben werden.
In Österreich werden zusätzlich folgende qualitätslenkende Maßnahmen während der Dateneingabe getroffen:
• Die Dateneingabe erfolgt ausnahmslos in Räumlichkeiten des nationalen Zentrums, womit mögliche
Fehler beim Sichern der Daten durch das Dateneingabepersonal vermieden werden, indem die Sicherung
durch PISA-Mitarbeiter/innen in regelmäßigen Abständen erfolgen kann.
• Bei jeder Coderin/jedem Coder werden stichprobenartig immer wieder einige Datensätze mit den
Originalinstrumenten verglichen. Diese überwachende Maßnahme erfolgt verstärkt am Anfang der
Dateneingabe, um systematische Fehler schnell aufdecken und korrigieren zu können, indem die
Coder/innen nachgeschult werden – womit der Maßnahme gleichermaßen eine korrigierende und
vorbeugende Funktion zukommt.
• Weiters stehen während der gesamten Dateneingabe immer Mitarbeiter/innen des PISA-Teams für
Fragen oder bei Problemen zur Verfügung.
Das File Cleaning am Ende der Dateneingabe stellt eine Qualitätslenkungsmaßnahme mit korrigierender
Funktion dar. Durch verschiedene Arten von Kontrollen wird die Datenqualität im Hinblick auf
Verlässlichkeit im Sinne von „Fehlerfreiheit“ sichergestellt. File-Cleaning-Prozeduren werden sowohl auf
nationaler als auch auf internationaler Ebene durchgeführt, wobei letztere nur in enger Zusammenarbeit
mit den nationalen Verantwortlichen stattfinden können und im internationalen technischen Bericht
beschrieben werden.
Die Überprüfungen im nationalen Projektzentrum umfassen folgende Arten von Kontrollen, die im
Abschnitt 4 in Kapitel X detaillierter erläutert werden:
• Validitätschecks dienen der Überprüfung und Sicherstellung der Datenintegrität. Kontrolliert werden
Eindeutigkeit von IDs innerhalb von Instrumenten bzw. entsprechende Verbindungen zwischen
verschiedenen Instrumenten. Die meisten dieser Überprüfungen können mit der Dateneingabe-Software
KeyQuest durchgeführt werden.
• Physikalische Checks sind Überprüfungen, bei denen Datensätze oder Teile daraus mit den entsprechenden
Fragebögen, Listen oder Testheften verglichen werden. Diese Art von Überprüfung wird –
wie oben schon erwähnt – laufend während der Dateneingabe bei einer Stichprobe der eingegebenen
Testhefte und Fragebögen durchgeführt. Im Rahmen des eigentlichen File Cleanings nach Abschluss
der Dateneingabe werden verschiedene Instrumente sowohl in Bezug auf Identifikationsvariablen als
auch bezüglich der Angaben zum Geburtsdatum und Geschlecht kontrolliert.
• Plausibilitätschecks werden bei allen Instrumenten durchgeführt, wobei sich die Überprüfungen hierbei
auf inhaltliche Aspekte beziehen: So sollen Eingabefehler aufgedeckt werden, die sich in unplausiblen
Daten niederschlagen. Ein Beispiel dafür sind etwa Datensätze, in denen Schüler/innen zwar
bei einer Frage angeben, dass es bei ihnen zu Hause keinen PC gibt, sie aber bei einer anderen Frage
antworten, zu Hause einen PC zu nutzen.
Am Ende ist noch zu erwähnen, dass während des gesamten Dateneingabeprozesses eine regelmäßige und
systematische Datensicherung sowie eine exakte Dokumentation aller Vorgänge gemacht werden.
XII. Qualitätssicherung
Seite 217

4.4 Berufsklassifizierung
Qualitätssicherung bei der Codierung der Schülerangaben zum Beruf der Eltern sowie zum geplanten
Beruf der Schüler/innen (Details hierzu sind in Kapitel IX beschrieben) beziehen sich vor allem
auf Qualitätslenkungs- und Qualitätskontrollmaßnahmen. Von internationaler Seite wird lediglich
das anzuwendende Klassifikationsschema (ISCO-88) verpflichtend vorgegeben und dessen tatsächliche
Verwendung anhand der Daten kontrolliert, womit auch ein gewisses Maß an Objektivität und
Vergleichbarkeit der Daten sichergestellt wird. Durch die obligatorische Anwendung von ISCO-88 wird
auch gleichzeitig die Gültigkeit der Daten gesichert, da die auf diesem Berufsklassifizierungsschema beruhenden
Skalen, wie beispielsweise die Skala zum sozioökonomischen Status, auf Validität hin geprüfte
Skalen darstellen (Ganzeboom & Treiman, 1996). Über diese qualitätslenkenden Maßnahmen hinaus
bietet das internationale Zentrum nur eine freiwillige Qualitätskontrollmaßnahme, nämlich die „ISCO-
Zweifachcodierung“, an. Österreich hat sich an dieser Option nicht beteiligt; Informationen aus einer
Mehrfachcodierung liegen für Österreich aber aus PISA 2003 vor (Wallner-Paschon, 2004), wo dies als
nationale QS-Maßnahme durchgeführt wurde.
Die aus dieser Mehrfachcodierung resultierenden Erkenntnisse haben zu Änderungen in der Vorgehensweise
der ISCO-Codierung der österreichischen Daten geführt, die vor allem qualitätslenkender Natur sind
und sich primär auf die Objektivität der Daten beziehen, aber auch Vorteile in Bezug auf die Effizienz
bieten.
Als Grundlage für die Codierung der Berufe wurde basierend auf speziell bereinigten Daten aus Feld- und
Haupttest 2003 eine Datenbank erstellt, die die verschiedenen ISCO-Codes mit Schlüsselwörtern, welche
aus den Schülerantworten abgeleitet werden können, verknüpft. Diese wurde im Feldtest zu PISA 2006
erprobt und anhand der Daten und Erfahrungen aus diesem ergänzt und verbessert bzw. vereinfacht. Die
Arbeit der Coder/innen beschränkt sich bei der halbautomatisierten Codierung auf die Identifizierung
von Schlüsselwörtern; die Datenbank vergibt dann entsprechende Codes automatisch. Kommen Berufe
zum ersten Mal vor, werden Schlüsselwörter und Code gemeinsam mit der Supervisorin vergeben und in
der Datenbank ergänzt (vgl. Kapitel IX). Folgende Vorteile können in Bezug auf die Qualitätssicherung
aus dieser Vorgehensweise – im Vergleich zur direkten Vergabe von ISCO-Codes durch die Coder/innen
– abgeleitet werden:
• Flüchtigkeitsfehler, etwa durch das Vertauschen von Ziffern beim Eintippen der Codes o. ä., können
nicht mehr vorkommen.
• Gleiche Berufe erhalten automatisch die gleichen Codes, da die Interpretation, die bei der Zuordnung
eines Berufs zu einem Code erfolgt, einmal zentral und nicht bei jeder Vergabe von neuem durchgeführt
wird.
• Die Vergleichbarkeit der vergebenen Codes wird innerhalb und zwischen den Coderinnen und Codern,
aber mittelfristig auch über die Zeit hinweg erhöht.
Folgende Qualitätslenkungsmaßnahmen, die vorrangig eine vorbeugende Funktion haben, verfolgen zudem
das Ziel, objektive Daten zu erzeugen:
• Die ISCO-Coder/innen werden nach Kriterien wie Verlässlichkeit, Genauigkeit und Erfahrung mit
der Berufsklassifizierung nach ISCO ausgewählt.
• Für die ISCO-Coder/innen gibt es eine Einschulung, bei der sowohl allgemeine Informationen zur
Berufsklassifizierung nach ISCO als auch diesbezügliche Besonderheiten und Regeln erklärt und anhand
konkreter Datensätze eingeübt werden. Darüber hinaus werden die Coder/innen gezielt für die
Verwendung der ISCO-Datenbank und die technischen Abläufe rund um die Vercodung geschult.
• Weiters müssen die Coder/innen ein Übungsfile bearbeiten, bei dem anschließend alle codierten
Datensätze überprüft und mit den Coderinnen und Codern individuell besprochen werden. Diese
Maßnahme zu Beginn der Klassifizierung dient dazu, systematische Fehler bei der Identifikation der
Schlüsselwörter schnell aufdecken und korrigieren zu können, womit der Maßnahme vor allem eine
korrigierende und vorbeugende Funktion zukommt.
Seite 218
XII. Qualitätssicherung

• Alle Datensätze werden von der Supervisorin kontrolliert und regelmäßig an die Coder/innen rückgemeldet.
Zudem besteht während des gesamten Codiervorgangs die Möglichkeit, bei der Supervisorin
bezüglich der Vergabe von Codes rückzufragen.
• Durch die gleiche alphabetische Zuteilung der Files zu Coderinnen bzw. Codern entwickeln diese
praktisch ein „Expertenwissen“ über diese Berufe, wodurch eine höhere Übereinstimmung gegeben
ist.
• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich
der ISCO-Codierung zu Rate gezogen.
Bibliografie
Ganzeboom H. B. G & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988
International Standard Classification of Occupations. Social Science Research 25, 201–239.
Harvey L., Green D. (2000). Qualität definieren. Fünf unterschiedliche Ansätze. Zeitschrift für Pädagogik, 41, 17–39.
Reiter C. (2001). Qualitätssicherung und Qualitätskontrolle. In Haider G. (Hrsg.), PISA 2000. Technischer Report (S.
259–286). Innsbruck: Studienverlag.
OECD (nicht datiert). Technical Standards for the Implementation of PISA 2003. Heruntergeladen am 2. Juni 2004 auf
www.pisa.oecd.org/docs/manual_tech_2003.htm.
1
Dieser Pilottest unterscheidet sich vom Feldtest dadurch, dass die Testaufgaben nicht in allen Teilnehmerländern erprobt
werden, sondern nur in einigen vom internationalen Zentrum ausgewählten Ländern.
XII. Qualitätssicherung
Seite 219