ExtErnE Evaluation von SchulEn - AQS - in Rheinland-Pfalz

Externe Evaluation
von Schulen
Handbuch
schulen bilden gute schulen bilden gute

Schulische Qualitätsentwi
Externe Evaluation
Datenschutz
Stichproben
Rheinland-Pfalz
Evaluationsverfahren
ualitätssicherung
empirische Erhebungsv
Zielvereinbarung
schulen bilden gute schulen bilden gute

Inhaltsverzeichnis
cklung
Vorwort 3
1. Auftrag und Selbstverständnis der AQS 4
2. Orientierungsrahmen Schulqualität (ORS)
und externe Evaluation 7
3. Die Erhebungsinstrumente 9
4. Das Evaluationsverfahren 14
5. Rückmeldung der Evaluationsergebnisse an die Schule 16
6. Was kommt nach der Evaluation 18
7. Externe Unterstützer und Unterstützerinnen 22
8. Planung, Logistik und Controlling 24
9. Datenschutz – Basis für Vertrauen 26
Glossar 28
Literaturverzeichnis 32
erfahren
schulen bilden gute schulen bilden gute

Kriterien
Transparenz
Methodensupervision
Auswertungen
rientierungsrahmen Schulqualität
Gesprächsleitfäden
Triangulation
Controlling
Erhebungsinstrumente
schulen bilden gute schulen bilden gute

Vorwort
Dr. Josef Peter Mertes,
Präsident der Aufsichtsund
Dienstleisungsdirektion
Liebe Leserinnen und Leser,
die externe Evaluation von Schulen ist ein wichtiger
Baustein der Qualitätsentwicklung von Schulen
in Rheinland-Pfalz. Ziel ist es, den Schulen differenzierte,
datengestützte Rückmeldungen zu
ihrem Ist-Stand in Bezug auf grundlegende schulische
Prozesse und die Unterrichtsqualität zu geben.
Die Ergebnisse sind der Ausgangspunkt für
begründete Entwicklungsentscheidungen und Innovationen
in den Schulen. Sie sind einerseits verbindliche
Grundlage für den Abschluss von Zielvereinbarungen,
andererseits geben sie auch wichtige
Impulse für andere Bereiche und Wege der schulischen
Qualitätsentwicklung.
Das vorliegende Handbuch richtet sich an alle Personen
und Gruppen, die an Schulentwicklung in
Rheinland-Pfalz beteiligt sind. Es bietet einen
Überblick über die empirische Konzeption der externen
Evaluation durch die AQS und beschreibt
die wesentlichen Prozessschritte einer Schulevaluation.
Weitere wichtige Bestandteile bilden dabei
die Ergebnisrückmeldung und die Frage, wie es
nach dem AQS-Besuch weitergeht. Zudem finden
sich im Handbuch Informationen zum Datenschutz
sowie zu den logistischen, planerischen und technischen
Abläufen in der AQS.
Mit dem Handbuch zur externen Evaluation trägt
die AQS ihrem Anspruch weiter Rechnung, eine
möglichst hohe Transparenz über ihre Verfahren
und Abläufe für alle Beteiligten zu erzeugen. Die
Nachvollziehbarkeit der Verfahren und Abläufe
sind Grundlage für Akzeptanz in den Schulen. Akzeptanz
und Vertrauen seitens der Betroffenen
wiederum bilden die Voraussetzungen dafür, dass
die Evaluation positive Wirkungen in Hinblick auf
die schulische Qualitätsentwicklung entfalten
kann.
Dr. Josef Peter Mertes
Präsident der Aufsichts- und
Dienstleistungsdirektion
schulen bilden gute schulen bilden gute
3

1. Auftrag und Selbst verständnis der AQS
1. Auftrag und Selbstverständnis
der AQS
Schulische Qualitätsentwicklung in
Rheinland-Pfalz
„Das Bildungswesen ist bei uns das
größte Unternehmen der öffentlichen
Hand, mit den meisten Beschäftigten
und den meisten ‚Kunden‘.
Es gestaltet Millionen von menschlichen
Schicksalen mit.“
Helmut Fend: Qualität im Bildungswesen. Weinheim 1988, S. 357
Das Thema „Qualitätsentwicklung“ hat im Schulwesen
seit dem Ende der 1990er Jahre einen besonderen
Stellenwert inne. Die Gründe dafür sind
vielschichtig. Sicherlich hat das ernüchternde Abschneiden
Deutschlands im internationalen Vergleich
diese Entwicklung verstärkt. Ebenso tragen
aber auch die Anpassungsnotwendigkeiten des
Schulsystems an gesellschaftliche Veränderungen
und Herausforderungen (z. B. gestiegenes Qualifikationsniveau
in der Arbeitswelt, Globalisierung,
demografischer Wandel, Integration von Zuwanderern)
und ein verändertes Steuerungsverständnis
im Bildungsbereich zur Implementation veränderter
Qualitätssysteme bei.
Seit Ende der 1990er Jahre hat Rheinland-Pfalz bei
der Entwicklung der Schulen des Landes dem Aspekt
der Qualitätsentwicklung verstärkte Aufmerksamkeit
gewidmet, z. B. durch die Beteiligung
des Landes an den internationalen Leistungsstudien
und die Qualitätsprogrammarbeit an den Schulen.
Im Jahr 2005 wurde die schulische Qualitätsarbeit
durch die externe Evaluation und die darauf
aufbauenden Zielvereinbarungen ausgeweitet. Zur
Umsetzung der externen Evaluation wurde die
„Agentur für Qualitätssicherung, Evaluation und
Selbstständigkeit von Schulen“ (AQS) gegründet,
die 2006 die Arbeit aufnahm. Seit 2009 ist die externe
Evaluation im Schulgesetz (§ 97a) von Rheinland-Pfalz
verankert.
Evaluation der Einzelschule und
schulübergreifende Auswertungen
Die AQS hat den Auftrag, die externe Evaluation
der rund 1.600 staatlichen Schulen in Rheinland-
Pfalz durchzuführen sowie darüber hinaus schulübergreifende
Auswertungen vorzunehmen. Die
AQS sieht sich als Partner innerhalb des schulischen
Mehrebenensystems mit unterschiedlichen
Beteiligten (z. B. Schulen, Schulaufsicht, Pädagogisches
Landesinstitut, Ministerium). Aufgabe der
Beteiligten ist es, sich zu koordinieren und damit
die Entwicklung und Sicherung von Schulqualität
gemeinsam über entsprechende Aushandlungsprozesse
voranzubringen und so kooperatives Handeln
zu initiieren. Ziele sind eine hohe Unterrichtsqualität
und die Sicherung guter Lernergebnisse für
die Schülerinnen und Schüler.
Ein unverzichtbares Grundmerkmal ist die Fairness
im Evaluationsverfahren. Sie schafft Akzeptanz und
Vertrauen, ohne die schulentwicklerische Impulse
durch die externe Evaluation kaum denkbar sind.
Partizipation, Mitgestaltung und Transparenz sind
für die Arbeit der AQS konstitutiv. Alle an Schule
beteiligten Personen und Gruppen sind – soweit
dies möglich ist – kontinuierlich an Entwicklung
und Ausgestaltung des Evaluationsverfahrens und
der Evaluationsinstrumente beteiligt; alle Verfahren
sind offengelegt.
Über eine evidenzbasierte Qualitätsentwicklung in
den Schulen und im Schulsystem sollen auf der
Grundlage von Daten und geprüften Informatio-
4

1. Auftrag und Selbst verständnis der AQS
nen erfolgen, damit Maßnahmen zielgerichtet entwickelt
werden und an den richtigen und dringlichen
Herausforderungen ansetzen.
Rheinland-pfälzische Schulen sind im Rahmen ihrer
Selbstständigkeit für ihre Qualitätssicherungsund
Entwicklungsarbeit verantwortlich. Sie steuern
ihre Qualitätsentwicklung auf der Grundlage
des Orientierungsrahmens Schulqualität (ORS).
Sie geben sich auf der Grundlage von externer Evaluation
Ziele und ergreifen Maßnahmen, diese zu
erreichen. Sie überprüfen die Umsetzung und Wirkungen
durch Verfahren der internen Evaluation.
Die Rechenschaftslegung über die geleistete Arbeit
und die erreichte Qualität erfolgt dann wiederum
über die erneute externe Evaluation.
Qualitätsentwicklung und
Qualitätssicherung in der AQS
Die AQS versteht sich als lernende Organisation,
die ihre Arbeit einer konsequenten Weiterentwicklung
und Verbesserung verpflichtet sieht. Dabei
orientiert sich die AQS an den Standards der „Deutschen
Gesellschaft für Evaluation“ (www.degeval.
de). Alle Arbeitsschritte werden regelmäßig auf
Verbesserungsmöglichkeiten hin überprüft. Dass
der Anspruch einer kontinuierlichen Qualitätsentwicklung
und -sicherung in der AQS nicht bloß ein
Lippenbekenntnis ist, zeigt ein Blick auf die Verfahren
der Qualitätsentwicklung und -sicherung.
Was ist externe Evaluation
Der Begriff „Evaluation“ wird sehr unterschiedlich
verwendet. Im weitesten Sinne bedeutet
Evaluation die Bewertung z.B. eines Produkts, eines
Prozesses oder ein ganzes Programms. Während
Evaluation im Alltagssinne nicht notwendigerweise
auf systematische Verfahren und
datengestützte Belege zurückgreift, ist die explizite
Verwendung wissenschaftlicher Forschungsmethoden
und -techniken für Evaluationsforschung
konstitutiv. Evaluationen sind kein
Selbstzweck. Sie sollen einen Nutzen bringen sowie
Wirkungen von Maßnahmen und Programmen
dokumentieren. Ziel ist es, auf Grundlage
der Evaluationsbefunde Prozesse effektiver zu
gestalten, Input effizienter einzusetzen, den Output
zu erhöhen und zu verbessern.
Man unterscheidet interne und externe Evaluation.
Bei der internen Evaluation führen diejenigen
Personen, welche die Maßnahmen umsetzen,
auch die Evaluationsuntersuchung durch. Im Falle
der externen Evaluation wird die Evaluation
von einer anderen Einrichtung oder Person übernommen.
Angestrebt wird eine überpartei liche
Evaluation mit dem Blick von außen.
Externe Evaluation im Selbstverständnis der AQS
ist durch folgende Merkmale definiert:
■■
Sie erfolgt durch eine unabhängige Agentur
(AQS) und gibt den Schulen eine Rückmeldung
zum Stand ihrer Qualitätsentwicklung
mit dem Blick von außen.
■■
Sie ist ein geplanter und systematischer Prozess
(von der Kontaktaufnahme bis zur Ergebnisrückmeldung).
■■
Die Evaluation erfolgt auf Grundlage von gültigen
und objektiven Messverfahren (Einsatz
empirischer Instrumente).
■■
Sie bewertet anhand definierter Kriterien
(Orientierungsrahmen Schulqualität).
■■
Externe Evaluation soll einen konkreten Nutzen
haben und zu Konsequenzen führen (z. B.
Zielvereinbarungen und deren Umsetzung im
schulischen Qualitätsmanagement).
5

1. Auftrag und Selbst verständnis der AQS
Maßnahmen zur Qualitätssicherung
■■
Evaluation der eigenen Arbeit durch die
Schulen:
Alle Schulen, die von der AQS evaluiert werden,
haben die Möglichkeit, die Arbeit der AQS zu bewerten
und Rückmeldung zu geben. Dazu wird
den Schulen ein Fragebogen zur Verfügung gestellt.
Die AQS erhält auf diese Weise wertvolle
Hinweise für ihre interne Qualitätssicherung
und die „kundenorientierte“ Weiterentwicklung
des Evaluationsverfahrens.
■■
Reflexionsworkshops und Trainings:
AQS-intern finden im zweimonatlichen Rhythmus
Reflexionsworkshops und Trainings für alle
Evaluatorinnen und Evaluatoren statt. Feste Bestandteile
sind dabei regelmäßige Videotrainings
zu den Einblicknahmen in Lehr- und Lernsituationen,
um zu ermitteln, inwieweit ein
gemeinsames Gegenstandsverständnis vorliegt
und wo dieses durch zusätzliche Trainings verbessert
werden kann. Jede Referentin und jeder
Referent erhält in diesen Trainings eine Rückmeldung,
wo sie bzw. er in den Bewertungen
deutlich vom Gesamtwert abweicht (z. B. Mildeoder
Strenge effekte). Im zeitlichen Vergleich
zeigt sich, inwieweit diese Trainings eine angleichende
Wirkung haben. Auch zur Gesprächsführung
und -dokumentation im Rahmen von leitfadengestützten
Gesprächen sowie zur Reflexion
des Evalua tionsgeschehens in den Schulen gibt
es regelmäßige Trainingsangebote (z. B. hemmende
und fördernde Faktoren bei der Ergebnisrückmeldung,
Umgang mit Widerständen).
■■
Methodensupervision:
Das Wissenschafts- und Analyseteam der AQS
nimmt an Vorbereitungs-, Schul- und Rückmeldebesuch
teil, um den Einsatz der Methoden
und Abläufe zu beobachten und Auffälligkeiten
festzuhalten. Die Ergebnisse werden an die
Evaluationsteams zurückgespiegelt und auf
Weiterentwicklungsnotwendigkeiten hin überprüft.
Gegebenenfalls werden Verbesserungen
initiiert.
■■
Wissenschaftliche Beratung:
Die Rückmeldungen der wissenschaftlichen Beratung
(Prof. Dr. Andreas Helmke) sind von hoher
Bedeutung für die (Weiter-)Entwicklung von
Erhebungsinstrumenten, Auswertungsformen,
Ergebnisdarstellungen und -rückmeldungen.
Regelmäßig finden Beratungsgespräche statt.
■■
Vernetzung und Kooperation:
Die AQS steht in regelmäßigem Austausch mit
den Evaluationseinrichtungen anderer Bundesländer,
wissenschaftlichen Einrichtungen und
Universitäten sowie internationalen Kooperationspartnern.
Orientierungsrahmen Schulqualität
RAHMENBEDINGUNGEN
1. Bildungspolitische Vorgaben
• Bildungs- und Erziehungsauftrag
• Bildungsinhalte
• Bildungsstandards
• Schulart
2. Standortfaktoren
• Schulträger
• Regionale Besonderheiten
• Schulische Besonderheiten
3. Personelle und sächliche Ressourcen
Unterstützungsleistungen
• Personalsituation
• Unterrichtsversorgung
• Gebäude- und Raumsituation
• Technische und materielle Ausstattung
• Unterstützung von außen
4. Schülerschaft und Schulumfeld
• Zusammensetzung der Schülerschaft
• Lernvoraussetzungen,
Entwicklungsbedingungen
• Soziokultureller Hintergrund
6

2. Orientierungsrahmen Schulqualität (ORS) und externe Evaluation
2. Orientierungsrahmen
Schulqualität (ORS) und
externe Evaluation
Die Bedeutung des ORS für schulische
Qualitätsentwicklung
Der Orientierungsrahmen Schulqualität (ORS) für
Rheinland-Pfalz beschreibt Qualitätsbereiche, die
sowohl von Praktikerinnen und Praktikern als auch
von der Unterrichts- und Schulforschung als jene
Felder des schulischen Handelns identifiziert wurden,
die maßgeblich das Gelingen von Schule, von
Lehren und Lernen und kollegialem Miteinander
prägen. Der Orientierungsrahmen fördert eine systemische
Sicht auf die Prozesse der Qualitätsentwicklung
in Schulen. Diese Prozesse können von
der Schule planvoll gestaltet werden. Im Mittel-
SCHULISCHE UND UNTERRICHTLICHE PROZESSE
ERGEBNISSE UND WIRKUNGEN
5. Schulleitung
und Schulmanagement
• Führung
• Personalentwicklung
• Schulisches Management
6. Professionalität des Personals
• Pädagogisches Selbstverständnis
• Externe Kooperation
• Interne Kooperation
• Fortbildung und Beratung
• Umgang mit beruflichen Anforderungen
und Belastungen
7. Schulleben
• Öffnung der Schule
• Mitwirkung
• Beziehungen innerhalb der Schule
• Unterstützungsangebote für
Schülerinnen und Schüler
• Eltern-Partizipation
8. Ziele und Strategien der
Qualitätsentwicklung
• Qualitätsprogrammarbeit
• Schuleigene Arbeitspläne
• Individuelle Förderung
• Evaluation (intern/extern)
9. Unterrichtsqualität
• Klassenmanagement
• Lernförderliches Unterrichtsklima
• Motivierung
• Klarheit
• Wirkungs- und
Kompetenzorientierung
• Umgang mit Heterogenität,
Differenzierung
• Schülerorientierung, Unterstützung
• Aktivierung
• Angemessene Methodenvariation
• Konsolidierung, Lernerfolgssicherung
10. Kompetenzen, Abschlüsse, Bildungsund
Berufslaufbahnen
• Fachliche, über- und außerfachliche
Kompetenzen
• Schulabschlüsse und Abgänger/innen
ohne Abschluss, Wiederholerquote,
Schullaufbahnentscheidungen
• Weiterer Bildungs- und Berufsweg
11. Zufriedenheit der Beteiligten
• Schulgemeinschaft
• Abnehmende Einrichtungen und Betriebe,
regionales Umfeld
7

2. Orientierungsrahmen Schulqualität (ORS) und externe Evaluation
punkt steht die Unterrichtsqualität, für die die Unterrichtsforschung
fach- und schulartübergreifend
wirksame Qualitätsprinzipien herausgearbeitet
hat.
Der ORS ist ein Grundkonsens darüber, was in
Rheinland-Pfalz unter einer guten Schule verstanden
wird. Er ist eine wichtige Arbeitsgrundlage für
alle an Schule beteiligten Gruppen und Personen
(Schulen, AQS, Schulaufsicht, Pädagogisches Landesinstitut,
Pädagogische Serviceeinrichtungen,
Studienseminare, Ministerium).
Der ORS in der externen Evaluation
Während im ORS ein sehr umfangreicher Möglichkeitsraum
beschrieben ist, der den Schulen vielfältige
Impulse und Denkanstöße für die Schul- und
Unterrichtsentwickung liefern kann, muss sich die
externe Evaluation inhaltlich auf bestimmte Bereiche
konzentrieren: Im Mittelpunkt der AQS-Evaluation
stehen die fächer- und schulartübergreifenden
Qualitätsmerkmale von Unterricht sowie
ausgewählte schulische Prozesse. Die fachliche
und fachdidaktische Qualität des Unterrichts ist
von außerordentlich hoher Wichtigkeit. Ihre Berücksichtigung
im Evaluationsverfahren ist wünschenswert,
kann aber aus Gründen der inhaltlichen
Schwerpunktsetzungen gemäß AQS-Auftrag
und aufgrund der Ressourcenlage, noch nicht realisiert
werden. Zudem gibt es derzeit keine geeigneten
fachspezifischen Evaluationsverfahren.
Die inhaltliche Ausrichtung der AQS am Orientierungsrahmen
führt zu einer stringenten und durchgehenden
Fokussierung der verschiedenen Erhebungsinstrumente
auf die Dimensionen, Kriterien
und Indikatoren des ORS. Konsequenterweise folgt
auch der Evaluationsbericht der Struktur und den
Inhalten des ORS.
Die sich an den Bericht der externen Evaluation gemäß
Schulgesetz anschließenden Zielvereinbarungen
sind ebenfalls am ORS ausgerichtet. Diese
liegen in der Zuständigkeit von Schule und Schulaufsicht
(Abt. 3). Für die Schulen kann die interne
Evaluation im Zusammenhang mit den Zielvereinbarungen
besonders hilfreich sein, wenn auch sie
am ORS entlang erfolgt oder die Erhebungsinstrumente
der AQS dazu verwendet werden.
Durch den ORS und seine systematische Berücksichtigung
auf allen Ebenen der AQS-Evaluation
wird das Verfahren der externen Evaluation nachvollziehbar
und transparent.
Orientierungsrahmen Schulqualität, externe und interne Evaluation sowie Zielvereinbarungen
Orientierungsrahmen
Schulqualität
■ Qualitätsbereiche
■ Dimensionen
■ Kriterien
■ Indikatoren
Externe Evaluation (AQS)
Erhebungsinstrumente
■ Fragebögen
■ Einblicknahmen in Lehr- und Lernsituationen
■ Leitfadengestützte Gespräche
■ Schulrundgang, Schulträgerbefragung
Zielvereinbarungen
■ Schule
■ Schulaufsicht (Abt. 3)
■ Schule
Interne Evaluation
8

3. Die Erhebungs instrumente
3. Die Erhebungsinstrumente
Die Ergebnisse aus der externen Evaluation helfen
Schulen, Konzepte für ihr pädagogisches Handeln
zu entwickeln und ihnen eine Rückmeldung darüber
zu geben, inwiefern sie die selbst gesetzten Ziele
auf der Grundlage des ORS unter den gegebenen
Voraussetzungen erreicht haben.
Methodische Grundüberlegungen
Die Qualität von Schule und Unterricht ist nicht
nur komplex, sondern auch nicht unmittelbar und
direkt beobachtbar. Überall da, wo Wissen über
menschliches Handeln und soziale Prozesse, soziale
Strukturen und Zusammenhänge überprüft werden
sollen, bietet sich der Einsatz von Werkzeugen
der empirischen Sozialforschung an. Gerade dann,
wenn empirische Daten eine hilfreiche Unterstützung
für schulische Akteure sein sollen, ist die Qualität
der Daten und des professionellen Umgangs
mit diesen unerlässlich.
Die AQS orientiert ihre Arbeit deswegen an empirischen
Gütekriterien. Es sind dies Reliabilität, Objektivität
und Validität. Damit ein Verfahren als
reliabel gelten kann, muss die Unabhängigkeit der
Evaluationsergebnisse von den zuständigen Evaluatorinnen
und Evaluatoren gewährleistet sein. Je
eher unterschiedliche Personen beim gleichen
Vorgehen und dem gleichen Sachverhalt zu gleichen
Ergebnissen kommen, desto höher ist die Reliabilität
des Verfahrens. Reliabilität ist die Bedingung
für seine Validität (Gültigkeit). Sind die
Evaluationsergebnisse des gewählten Verfahrens
nicht objektiv und reliabel, so sind sie auch nicht
valide. Die Validität ist das Maß an Gültigkeit, mit
dem das Verfahren auch tatsächlich die gefragten
Einstellungen und Meinungen misst, die gemessen
werden sollen. Die Objektivität ist z. B. wiederum
abhängig davon, wie präzise und eindeutig Messanweisungen
sind, wie hoch das Maß an Standardisierung
ist und wie klar und eindeutig das Verfahren
und die Inhalte für alle Beteiligten sind. Die
Einhaltung der genannten Gütekriterien wird in
der AQS fort laufend über unterschiedliche Verfahren
überprüft. Dazu zählen neben Reliabilitätsanalysen
u. a. auch (Re-)Trainings der Evaluatorinnen
und Evaluatoren.
Triangulation: Vielfalt der Methoden,
Perspektiven und Daten
Schulische Qualitätsentwicklung kann am ehesten
zuverlässig bewertet werden, wenn Schul- und Unterrichtsqualität
aus der Sicht möglichst vieler Befragtengruppen
(multiperspektivischer Ansatz, Triangulation)
berücksichtigt werden. Dazu zählen
Schülerinnen und Schüler, Lehrkräfte, Eltern,
Schulträger, verschiedene schulische Gremien
sowie die Ausbildungsbetriebe und die dualen
Partner bei den Berufsbildenden Schulen. Deren
Sichtweisen auf die jeweilige Schule werden gegenübergestellt
und verglichen, um so ein ausgewogenes
und facettenreiches Bild von Schule zu
erhalten.
Triangulation bedeutet nicht nur die Einnahme unterschiedlicher
Perspektiven auf den untersuchten
Gegenstand, sondern auch den Einsatz unterschiedlicher
Methoden. Da jede Methode für sich
genommen nicht nur Vor-, sondern auch Nachteile
hat, werden die Perspektiven über unterschiedliche
Methoden erhoben. Je nach Fragestellung und
Zielgruppe werden passende empirische Methoden
eingesetzt.
9

3. Die Erhebungs instrumente
Vielfalt der Methoden
Leitfadengestützte
Gespräche
Schuldaten
Dokumentenanalyse
Evaluationsbericht
Einblicknahmen
in
Lehr- und
Lernsituation
Fragebögen
Fragebögen erlauben es, in kurzer Zeit eine hohe
Personenzahl zu befragen. Je nach Schulart kann
die AQS so Schülerinnen und Schüler, Lehrkräfte,
Eltern bzw. Sorgeberechtigte sowie Ausbilderinnen
und Ausbilder von Betrieben und Schulträger befragen.
Die Erhebung erfolgt online; die Befragung
der Eltern bzw. Erziehungsberechtigten erfolgt
über Papierfragebögen, um auch diejenigen Personen
beteiligen zu können, die keinen PC-Zugang
haben bzw. nutzen können.
Die Fragebögen enthalten überwiegend Fragen
nach den Einschätzungen und Bewertungen der
Befragten zu ihrer Schule: Ausgewählte Kriterien
und Indikatoren eines ORS-Bereichs sind hier in
messbare Aussagen (Items) übersetzt. Jedem Item
sind Antwortvorgaben zugeordnet, mit Hilfe derer
die jeweils befragte Person den Grad der persönlichen
Zustimmung oder Ablehnung zu der formulierten
Aussage ausdrücken kann.
Am Ende der jeweiligen Fragebögen finden sich
Fragen zu Merkmalen der Befragungspersonen
(z. B. soziodemographische Fragen wie Alter, Geschlecht,
Migrationshintergrund oder Bildungsstand
der Eltern). Für die Auswertung der Daten
sind einzelne Merkmale weniger von Interesse (z. B.
soll nicht ermittelt werden, in wie vielen Haushal-
Schulrundgang
Schülern wird jede dritte Schülerin bzw. jeder dritte
Schüler befragt, mindestens aber 500 Schülerinnen
und Schüler. Die Befragung der Eltern bzw. Sorgeberechtigten
orientiert sich an der Schülerbefragung,
d. h. für die Erhebung wird je ein Elternteil der
befragten Schülergruppe herangezogen. Bei Lehrkräften
findet immer eine Vollerhebung statt.
Einblicknahmen in den Unterricht werden bei mindestens
50 und höchstens 100 Prozent der Lehrkräfte,
die am Schulbesuchstag unterrichten, vorgenommen.
Die Rückmeldungen der AQS in Form eines Berichtes
sollen für die schulischen Akteure begründet
und intersubjektiv nachvollziehbar sein. Deshalb
steht vor der Analyse zunächst die Frage nach geeigneten
analytisch-empirischen Evaluationsverfahren
oder -methoden.
Stichproben
Fragebögen
Vor der Durchführung einer Datenerhebung muss
geklärt werden, welche Personen befragt werden
sollen. Hier wird zwischen Vollerhebung und Teilerhebung
unterschieden.
Werden Daten aller Personen der Grundgesamtheit
erhoben, handelt es sich um eine Vollerhebung.
Die Grundgesamtheit einer Schule bilden
alle Lehrkräfte, alle Schülerinnen und Schüler, je
Schülerin bzw. je Schüler ein Elternteil bzw. Erziehungsberechtigter,
etc. der jeweiligen Schule zum
Zeitpunkt der Vorbereitung der externen Evaluation.
Wird nur eine Teilmenge (Stichprobe) ausgewählt,
handelt es sich um eine Teilerhebung.
An Schulen mit bis zu 400 Schülerinnen und Schülern
führt die AQS sowohl für die Schülergruppe als
auch für Lehrkräfte sowie Eltern bzw. Erziehungsberechtigte
eine Vollerhebung durch. Bei Schulen
mit einer größeren Schülerschaft werden Teilerhebungen
durchgeführt. Hier werden sogenannte Zufallsstichproben
gezogen, bei denen jede Person
aus der Grundgesamtheit die gleiche Chance hat
wie alle anderen Personen, in die Stichprobe zu gelangen.
An Schulen mit 401 bis 1.000 Schülerinnen
und Schülern wird jede zweite Person befragt, mindestens
aber 400 Schülerinnen und Schüler. An
Schulen mit 1.001 bis 1.600 Schülerinnen und
10

3. Die Erhebungs instrumente
Auszug aus dem Fragebogen für Lehrkräfte
15.
15.1
15.2
15.3
15.4
15.5
Bitte kreuzen Sie an, inwieweit die folgenden Aussagen Ihrer Meinung nach
zutreffen.
Trifft nicht
zu
Trifft eher
nicht zu
Trifft eher
zu
Trifft zu
Die Schülerinnen und Schüler erhalten von mir Anregungen
zur Reflexion und Verbesserung der eigenen Lernstrategien. l0907_31
Wenn die Schülerinnen und Schüler unterschiedliche
Lösungen gefunden haben, können sie in Kleingruppen
darüber diskutieren.
l0907_27
Ich stelle je nach Können der Schülerinnen und Schüler
unterschiedlich schwierige Aufgaben. l0910_10
Von Schülerinnen und Schüler mit guten Leistungen verlange
ich deutlich mehr als von anderen. l0910_13
In meinem Unterricht haben die Schülerinnen und Schüler
genügend Zeit zum Üben. l0909_01
ten der Befragten sich eine Spülmaschine befindet
oder wie viele Bücher ein Haushalt besitzt). Erst in
der Kombination geben mehrere Merkmale Hinweise
auf z. B. die sozioökonomische Stellung von
Familien. Diese dienen dazu, die Mitglieder einer
Stichprobe oder einer Zielgruppe zu beschreiben
und weitere Fragestellungen zu analysieren. Die in
den Fragebögen der AQS enthaltenen Fragen nach
sozioökonomischen Merkmalen sind angelehnt an
andere Studien, wie z. B. die PISA-Studie.
Einblicknahme in Lehr- und
Lernsituation
Um Unterricht beschreiben und anhand vorgegebener
Kriterien beurteilen zu können, sind Beobachtungen
das Mittel der Wahl. Die Evaluatorinnen
und Evaluatoren besuchen dazu unterschiedliche
Unterrichtsstunden und erfassen auf diese Weise
die Lehr- und Lernkultur der Schule. Damit die Beobachtungen
vergleichbar sind, wird ein standardisierter
Bogen „Einblicknahme in die Lehr- und
Lernsituation“ (ELL) eingesetzt.
Auszug aus dem Bogen für Lehr- und Lernsituationen
Differenzierung
31.
32.
33.
34.
35.
Die Lernarrangements (Medien, Material, Organisationsformen)
ermöglichen individuelles Lernen.
Die Schüler/innen wählen zwischen unterschiedlichen Aufgaben,
Medien oder Lernwegen (je nach Interesse, Lernpräferenz oder
Vorkenntnissen).
Die Lehrperson ist bemüht sicherzustellen, dass alle Schüler/innen
den Unterrichtsinhalten folgen können.
Es wird ein Helfersystem (tutorielles Lernen, Helferprinzip, „Lernen
durch Lehren“) praktiziert.
Die Schüler/innen können phasenweise in individuellem Tempo
lernen.
trifft
nicht zu
trifft
eher
nicht zu
trifft
eher zu
trifft zu
nicht
beurteilbar
11

3. Die Erhebungs instrumente
Bei den Einblicknahmen in Lehr- und Lernsituationen
geht es ausdrücklich nicht um die Bewertung
oder Beurteilung einzelner Lehrkräfte oder Unterrichtssequenzen
(wofür die in der Regel 20-minütige
Einblicknahme nicht ausreichend wäre), sondern
darum, die Schule als Organisation mit ihrer
Lehr- und Lernkultur möglichst umfassend und differenziert
wahrzunehmen. Das bloße Vorhandensein
eines Merkmals sagt noch nichts über die
Qualität der Umsetzung oder dessen Angemessenheit
in der spezifischen Unterrichtssequenz aus.
Insofern stellt die einzelne Unterrichtsbeobachtung
einen Einblick dar, nicht mehr und nicht weniger.
Auf Schulebene kann eine Übersicht dagegen
aufschlussreich sein und Anlass zu Nachfragen und
konstruktiven Empfehlungen geben, z. B. wenn in
einer Schule kaum Medien eingesetzt werden,
wenn bestimmte Sozialformen des Unterrichts
auffällig unter- oder überrepräsentiert sind. Aus
den genannten Gründen halten sich die Evaluatorinnen
und Evaluatoren der AQS, anders als dies
etwa bei Lehrproben üblich ist, während der Einblicknahme
in den Unterricht diskret zurück. Ebenfalls
folgt daraus, dass einer einzelnen Lehrkraft im
Anschluss an die Einblicknahme keine individuelle
Rückmeldung gegeben werden kann.
Gesprächsleitfäden
Durch den Einsatz qualitativer Erhebungsinstrumente
können Informationen zu zentralen Inhaltsbereichen
schulischer Qualitätsentwicklung in
ergänzung zu den Erkenntnissen aus den standardisierten
Erhebungen vertieft und spezifiziert werden.
Die verwendeten Gesprächsleitfäden (qualitative
Erhebungsinstrumente) beinhalten Fragen,
die zum einen sicherstellen, dass bestimmte, für
die jeweilige Zielgruppe (z. B. Schulleitung, Gremienvertretung)
relevante Themenbereiche zu einem
ausgewählten Kriterium eines ORS-Bereichs angesprochen
werden. Zum anderen sind sie aber so
offen formuliert, dass die Informationen, die die
Gesprächspartner mitteilen, dadurch angemessen
erfasst werden können. Dies kann dazu beitragen,
dass die Besonderheiten einer Schule berücksichtigt
werden können und die Schule so einfacher die
Ansatzpunkte für ihre zukünftige Arbeit findet.
12

3. Die Erhebungs instrumente
Weitere Erhebungsinstrumente
Die AQS setzt weitere Erhebungsinstrumente in
der Evaluation ein. Der Schulrundgang beispielsweise
dient dazu, unter pädagogischen Aspekten
das Raumangebot, die Ausstattung und die Ausgestaltung
der Schule zu erfassen. Zum Einsatz
kommt ein standardisierter Erfassungsbogen.
Weiterhin werden zu Beginn des Evaluationsprozesses
statistische Kennzahlen und für die Schule
kennzeichnende Informationen erhoben. Dabei
sind verschiedene Themenfelder wie Daten der
Schule, ausgewählte Standortfaktoren, personelle
und sächliche Ressourcen, Schülerschaft und
Schulumfeld sowie Abschlüsse und Schullaufbahnen
in der Betrachtung.
Hinzu kommt die Schulträgerbefragung. Hierbei
handelt es sich um eine schriftliche Befragung, bei
der der für die jeweilige Schule zuständige Schulträger
über den aktuellen Stand der Schule in einigen
seiner Zuständigkeitsbereiche befragt wird.
Der Schulträger kann insbesondere über die erwartete
regionale Entwicklung der Schülerzahlen, die
Planungen für den Schulstandort an sich und den
baulichen Zustand der entsprechenden Schule
Auskunft erteilen.
Die Auswertung der Daten
Über die Datenerhebung entstehen unterschiedliche
Datenarten. Diese werden in einem elektronischen
Gesamtdatensatz einer Schule zusammengefasst
und für den Einzelbericht einer Schule
weiter aufbereitet. Die Auswertungen erfolgen in
erster Linie mit dem Statistikprogramm SPSS. Es
werden überwiegend Mittelwertberechnungen
durchgeführt. Dazu werden je nach Auswertungsinteresse
die Antworten eines Kriteriums oder die
mehrerer Kriterien addiert und anschließend die
Durchschnittswerte (= arithmetisches Mittel) sowie
die dazugehörigen Streuungen (= Standardabweichung)
berechnet. Hinzu kommen die Berechnung
von Häufigkeitsverteilungen und anderen
statistischen Werten.
13

4. Das Evaluations verfahren
4. Das Evaluationsverfahren
Die externe Evaluation einer Schule gliedert sich in
verschiedene Schritte und erstreckt sich über mehrere
Wochen. Die AQS betrachtet die Schule als
System und bezieht alle Mitglieder der Schulgemeinschaft
ein. Wertschätzung und Sensibilität im
Umgang mit den schulischen Akteuren sind Gelingensbedingungen
einer Evaluation.
Das Evaluationsteam
Die Evaluationsteams variieren je nach Größe der
Schule. Die Teams setzen sich zusammen aus der
Teamleitung und speziell für die Aufgabe qualifizierten
Schulleiterinnen, Schulleitern oder Lehrkräften
(Koreferentinnen und Koreferenten). Die
Verantwortung für die fachgerechte Durchführung
des Evaluationsverfahrens in der Schule liegt
in den Händen der hierfür zuständigen Teamleitung.
Dabei handelt es sich um hauptamtliche
Referentinnen und Referenten der AQS sowie um
ausgewählte externe Evaluatorinnen und Evaluatoren,
die zuvor ein entsprechendes Schulungsprogramm
bei der AQS durchlaufen haben. Bei
der Zusammensetzung des Evaluationsteams wird
darauf geachtet, dass mindestens ein Teammitglied
über fundierte Kenntnisse der jeweiligen
Schulart verfügt.
Ablauf der externen Evaluation
Kontaktaufnahme
• Information der
Schulgemeinschaft
Schuldaten
• Onlinebefragung
der Schulleitung
• Eingabe der Schuldaten
Befragung
• Schülerinnen
und Schüler
• Lehrkräfte
• Eltern
• Duale Partner
14

4. Das Evaluations verfahren
Information und Kontaktaufnahme
Die Schule wird frühzeitig und schriftlich über die
bevorstehende Evaluation informiert. Die zuständige
AQS-Teamleitung nimmt Kontakt zur Schulleitung
auf und klärt den geplanten Ablauf der
evaluation sowie die Modalitäten des Evaluationsbesuchs.
Zudem erläutert sie die Aufgaben, die die
Schule im Vorfeld des Evaluationsbesuchs zu erfüllen
hat. Dazu zählen unter anderem Informationen
über die schulischen Rahmenbedingungen und die
Bereitstellung wichtiger schulischer Dokumente
für die Evaluation. Ebenso werden die organisatorischen
und technischen Vorkehrungen zur Durchführung
der Online-Befragungen thematisiert. Zur
Vorbereitung erhält die Schule unterstützende Informationsmaterialien
und Handreichungen. Im
Anschluss an die Kontaktaufnahme finden alle Fragebogenerhebungen
statt.
Evaluationsbesuch
Abhängig von der Größe der Schule erstreckt sich
der Evaluationsbesuch über einen oder mehrere
Tage. Er umfasst 20-minütige Einblicknahmen in
die Lehr- und Lernsituationen sowie leitfadengestützte
Gespräche mit der Schulleitung, den Lehrkräften,
der Elternvertretung und an weiterführenden
Schulen auch mit der Schülervertretung sowie
mit dem Örtlichen Personalrat, den Gleichstellungsbeauftragten
und den örtlichen Vertrauenspersonen.
Weiterhin findet ein Schulrundgang
statt.
Evaluationsformate
In Abhängigkeit von Schulgröße und Schulart gibt
es unterschiedliche Evaluationsformate, die sich
z.B. hinsichtlich der Anzahl der Evaluationstage,
der Teamgröße sowie den Erhebungsmethoden
und Auswertungsverfahren voneinander unterscheiden.
Evaluationsbesuch Rückmeldung Zielvereinbarung
Schulrundgang
Einblicknahme in Lehr- und
Lernsituationen
Gespräche mit:
• Schülervertretung
• Schulelternbeirat
• Lehrkräften
• Schulleitung
• Übergabe des Berichts
• Vorstellung der
Ergebnisse
• Übergabe an
Schulaufsicht
Schule und Schulaufsicht
(Abt. 3) erarbeiten verbindliche
Zielvereinbarungen auf
der Basis der Evaluationsergebnisse.
15

5. Rückmeldung der Evaluationsergebnisse an die Schule
5. Rückmeldung der
Evaluationsergebnisse an
die Schule
Der AQS-Evaluationsbericht
Der AQS-Evaluationsbericht ist Grundlage von
zielgerichteten Innovationsprozessen und Qualitätsentwicklung
in rheinland-pfälzischen Schulen.
Aufgrund seines breiten inhaltlichen Spektrums
kann der Bericht als Grundlage für sehr unterschiedliche
Schulentwicklungsschritte genutzt
werden. Für den Abschluss von Zielvereinbarungen
ist der Evaluationsbericht verpflichtende Grundlage
(Schulgesetz § 97a).
Die AQS achtet bei der Erstellung der Evaluationsberichte
in besonderer Weise auf Verständlichkeit
und Transparenz. So gehört es zum Bericht, dass
die verwendeten Methoden, die Datengrundlage
und die Aussagekraft der Daten transparent dargelegt
werden. Um einen schnellen Einstieg in die Ergebnisse
zu ermöglichen, findet sich im AQS-
Evaluations bericht eine knappe und übersichtliche
Darstellung der zentralen Evaluationsergebnisse.
Die ORS-Elemente Rahmenbedingungen, schulische
und unterrichtliche Prozesse sowie die Ergebnisse
und Wirkungen der Schule bilden zugleich
auch die Berichtsgliederung. Der weitaus größte
Teil des Berichts behandelt die Unterrichtsqualität.
Kriterien zur Schul- und
Unterrichtsqualität
Die AQS evaluiert im Rahmen ihres Auftrags die
rheinland-pfälzischen Schulen im Hinblick auf
zahlreiche Kriterien und gewährleistet somit die
Transparenz des Verfahrens, die Nachvollziehbarkeit
der Ergebnisse und bietet den Schulen durch
die Ausrichtung am ORS verbindliche und kontinuierliche
Anhaltspunkte für die Qualitätsentwicklung.
Die Kriterien sind eng an die Erkenntnisse der
Schul- und Unterrichtsforschung angelehnt. Die
Kriterien zur Unterrichtsqualität orientieren sich
beispielsweise an den Befunden der Unterrichtsforschung,
insbesondere an den Merkmalen für guten
Unterricht (Helmke 2009). Diese Kriterien ermöglichen
es der AQS, an jede Schule die gleichen
Maßstäbe anzulegen und somit faire Ergebnisrückmeldungen
auf einer empirisch gestützten Basis zu
liefern. Die Evaluationsdaten zeigen Entwicklungsfelder
und Stärken aus Sicht der externen Evaluation
im Hinblick auf diese Kriterien auf.
Stärken und Entwicklungsfelder
Evaluation ist stets mit Bewertung verbunden und
gibt Stärken und Entwicklungsfelder des untersuchten
Evaluationsbereichs wieder. Die Bewertung
ist kriterial, d. h. sie ist an den Kriterien des
ORS und den mit diesen benannten Qualitätsvorstellungen
für Schulen in Rheinland-Pfalz ausgerichtet.
Die Schulen erhalten von der AQS auf der
Grundlage der erhobenen Daten differenzierte
Rückmeldungen zu ihrem Entwicklungsstand, der
in vier Stufen von Stärken und Entwicklungsfeldern
abgebildet wird. In der rechts abgebildeten
Tabelle sind diese Ausprägungen benannt und beschrieben.
16

5. Rückmeldung der Evaluationsergebnisse an die Schule
Ergebnisrückmeldung
Die erhobenen Daten aus den Befragungen, Gesprächen
und den Beobachtungen werden nach sozialwissenschaftlichen
Kriterien ausgewertet und in
einem Ergebnisbericht zusammengefasst. Dieser
wird Schule, Schulaufsicht (Abt. 3), Ministerium
und dem Bezirkspersonalrat zur Kenntnis gebracht.
Aber weder ist der Prozess von den „Daten zu den
Taten“ ein Selbstläufer, noch erzeugt ein Angebot
automatisch Nutzung und Wirkung. Deswegen
stellt die AQS die Evaluationsergebnisse den Schulen
nicht nur schriftlich zur Verfügung, sondern
führt an jeder evaluierten Schule eine eigenständige
Rückmeldeveranstaltung als Einstieg in die Datennutzung
und die darauf aufbauende Schul- und
Unterrichtsentwicklung durch. Dies erfolgt in einer
Gesamtkonferenz (Schulleitung, Lehrkräfte, Elternund
Schülervertretung, Abteilung 3 der Schulaufsicht)
an der Schule. Die AQS-Referentin bzw. der
AQS-Referent stellt zentrale Evaluationsergebnisse
vor und zeigt die ausgewiesenen Stärken und
Entwicklungsfelder auf, wie sie für die Schule ermittelt
wurden. Eine intensive Beschäftigung mit den
einzelnen Kapiteln des Berichtes seitens der Schulgemeinschaft
schließt sich an. Angeführte Stärken
sollen die Schulgemeinschaft motivieren, den bisherigen
Weg weiterzugehen. Bei deutlich werdenden
Entwicklungsfeldern gibt der Bericht Hinweise
zur weiteren Arbeit.
Evaluation ist für die AQS kein Selbstzweck. Die Ergebnisse
sollen von der Schulgemeinschaft für die
schulische Qualitätsentwicklung genutzt werden.
Dazu müssen die Evaluationsbefunde „anschlussfähig“,
d. h. vor dem „Hintergrund der Erfahrungen“
der Beteiligten verständlich sein, aber auch gezielte
Impulse für Entwicklungen geben.
Kategorien und Farbcodes der AQS-Ergebnisrückmeldung
Kategorie Definition Farbcodes
Hinweise auf
ausgeprägte
Stärken
Hinweise auf
Stärken
Hinweise auf
Entwicklungs felder
Hinweise auf
ausgeprägte
Entwicklungsfelder
Von ausgeprägten Stärken wird dann gesprochen, wenn die
herangezogenen Ergebnisse insgesamt deutlich im zutreffenden Bereich
liegen. Ausgeprägte Stärken identifizieren Themenfelder, in denen die
Schule bereits einen sehr hohen Standard vorweisen kann. Diese
ausgeprägten Stärken gilt es von der Schule weiterhin zu sichern.
Von Stärken wird dann gesprochen, wenn die Ergebnisse bereits auf ein
hohes Qualitätsniveau schließen lassen, jedoch im Rahmen der externen
Evaluation noch Entwicklungsspielraum besteht.
Von Entwicklungsfeldern wird dann gesprochen, wenn die
herangezogenen Ergebnisse insgesamt zwar eher im zutreffenden
Bereich liegen, aber noch eine Weiterentwicklung möglich ist.
Von ausgeprägten Entwicklungsfeldern wird dann gesprochen, wenn die
herangezogenen Ergebnisse insgesamt im eher nicht zutreffenden
Bereich liegen. Aus Sicht der externen Evaluation entsprechen die von
der Schule bisher in diesen Bereichen unternommenen Schritte nicht oder
nicht in ausreichendem Umfang den Qualitätsanforderungen, die im
Orientierungsrahmen Schulqualität (ORS) beschrieben sind.
17

6. Was kommt nach der Evaluation
6. Was kommt nach der
Evaluation
Die sich an die Evaluation anschließenden Reflexionsprozesse,
die zielgerichtete und begründete Ableitung
und Umsetzung von Maßnahmen liegen im
Verantwortungsbereich der Schulen und der Schulaufsicht
sowie der übrigen Prozessbeteiligten. Ein
strukturierter Datennutzungsprozess ist notwendig,
um konkrete Schritte in der Schulentwicklung
einleiten und die schulische Qualität voranbringen
zu können.
Rezeptionsmodell zur Analyse und Nutzung von Daten der externen Evaluation an Schulen in Rheinland-Pfalz
Überblick I:
Qualitätsprofil
Ergebnisse der externen
Evaluation auf Ebene der
Dimensionen des ORS
Überblick II:
Zentrale Evaluationsergebnisse (ZEVA)
Ergebnisse der externen
Evaluation auf Ebene der
Kriterien des ORS
Dimensionsübergeifende Mittelwerte
Grundschule
alle Schularten
Unterrichtsqualität
Externe Kooperation
Interne Kooperation
Fortbildung und Beratung
Elternpartizipation
Qualitätsmanagement
Kompetenzorientierung
Individuelle Förderung
Klassenmanagement
Lernförderliches Unterrichtsklima
Motivierung
Klarheit und Strukturierung
Wirkungs- und Kompetenzorientierung
Schülerorientierung, Unterstützung
Aktivierung
1,00 1,50 2,00 2,50 3,00 3,50 4,00
Klarheit und Strukturierung
■
■
■
Berücksichtigung des Vorwissens der
Schülerinnen und Schüler
Unterstützung des Lernens durch
strukturierende Hinweise
Sicherung von Verständlichkeit
und sprachlicher Klarheit
Rezeption
Ergebnisse erfassen
Überblick gewinnen
18

6. Was kommt nach der Evaluation
Datennutzungsmodell für die Schulen
Daten alleine bewirken noch keine schulische Entwicklung.
Erst in der aktiven Auseinandersetzung
und Arbeit der Schule mit dem Evaluationsbericht
können Entwicklungsprozesse initiiert werden und
sich Wirkungen entfalten: Schul- und Unterrichtsentwicklung
finden immer in den Schulen statt.
Um die Schulen auf dem Weg von den Daten zu
den Taten zu unterstützen, hat die AQS neben verschiedenen
Materialien (z. B. Praxishefte mit zahlreichen
Lesehilfen, Glossare, Musterberichte) das
RADAR-Modell entwickelt. Es steht für Rezeptionsmodell
zur Analyse und Nutzung von Daten der
externen Evaluation an Schulen in Rheinland-Pfalz
und orientiert sich an den Arbeiten der Forschungsgruppe
um Professor Andreas Helmke an der Universität
Koblenz-Landau zur Nutzung von Evaluationsdaten.
Das RADAR-Modell gibt den Schulen
eine nachvollziehbare und strukturierte Abfolge
von Schritten der konkreten Nutzung und Verwendung
von Ergebnisse der externen Evaluation an
die Hand.
(RADAR)
Vertiefung I:
Detail- und Differenzierungsdaten
Einschätzung der unterschiedlichen
Akteure auf Ebene von Mittelwerten
im Perspektivenvergleich
Vertiefung II:
Detail- und Differenzierungsdaten
Einschätzung der unterschiedlichen
Akteure auf Ebene des Einzelitems
Unterstützung des Lernens durch strukturierende Hinweise
Unterstützung des Lernens durch strukturierende Hinweise
LK: Unterstützung des Lernens
durch Strukturierende Hinweise
S: Unterstützung des Lernens
durch Strukturierende Hinweise
ELL: Unterstützung des Lernens
durch Strukturierende Hinweise
1,0 1,5 2,0 2,5 3,0 3,5 4,0
1 = „trifft nicht zu“ 4 = „trifft zu“
trifft trifft eher
nicht zu nicht zu
trifft
eher zu trifft zu Gesamt
LK: Ich verdeutliche den Schülerinnen
und Schülern, was sie in der jeweiligen - - 36% 64% 11
Unterrichtseinheit lernen sollen.
LK: In meinen Unterrichtsstunden
gebe ich immer wieder Hinweise zu - - 20% 80% 10
besonders wichtigen Punkten.
LK: Am Ende einer Unterrichtsstunde
fasse ich die wichtigsten Ergebnisse
- - 64% 36% 11
zusammen.
S: Ich weiß im Unterricht, was ich
lernen soll.
- - 20% 80% 60
ELL: Die Schwerpunkte des Lernens
werden ausdrücklich thematisiert.
31% 8% 31% 31% 13
ELL: Der Lernstoff wird strukturiert. 8% 17% 50% 25% 12
Nutzung für die Qualitätsentwicklung
Konkrete Maßnahmen für die Schul- und
Unterrichtsentwicklung ableiten
Reflexion
Aktion
Ergebnisse vergleichen
Widersprüche aufklären
Perspektivenvergleiche durchführen
Mit eigenen Erfahrungen abgleichen
Befunde deuten
Interpretationen anstellen
Ziele vereinbaren
Maßnahmen umsetzen
Interne Evaluation durchführen
19

6. Was kommt nach der Evaluation
Rezeption
In der Phase der Rezeption erfolgt eine erste inhaltliche
Auseinandersetzung mit dem Evaluationsbericht.
Ziel ist es, einen Überblick über die Ergebnisse
zu gewinnen und zu erkennen, in welchen
Bereichen der schulischen Prozesse und der Unterrichtsqualität
die Stärken und Entwicklungsfelder
der eigenen Schule liegen. Im AQS-Bericht wird
dieser Schritt durch knappe und übersichtliche
zusammenfassungen unterstützt. Farb- und Zeichencodes
symbolisieren dabei die Befunde und
erleichtern die Orientierung hinsichtlich der Evaluationsdaten.
Reflexion
Nachdem eine erste Orientierung im Hinblick auf
die Evaluationsbefunde erfolgt ist, beginnt die vertiefende
Reflexion. Ziel ist es, die dringlichen
Handlungsfelder für die Schule zu identifizieren.
Dazu können die Ergebnisse in der Schulgemeinschaft
mit den eigenen Erfahrungen abgeglichen
werden. Es werden Interpretationen getroffen und
Widersprüche sowie Klärungsbedarfe benannt. Besonders
dann, wenn die Schule einen oder mehrere
schulische Inhaltsbereiche ausgewählt hat, die für
eine Zielvereinbarung oder andere Schulentwicklungsschritte
in Betracht kommen, ist die intensive
Auseinandersetzung mit den Detail- und Differenzierungsdaten
sinnvoll. Sie enthalten z. B. die Sichten
der verschiedenen Befragtengruppen (Perspektivenvergleiche)
oder auch die Ergebnisse für alle
Einzelitems (relative Häufigkeiten mit der Angabe
der Stichprobengröße je Item/Aussage) sowie die
Ergebnisse der Einblicknahmen in Lehr- und Lernsituationen.
Auf dieser Ebene erhält die Schule also
sehr konkrete Hinweise für die Schul- und Unterrichtsentwicklung.
Aktion und (interne) Evaluation
Die schulischen Reflexionsprozesse münden in die
Phase der Aktion. Dies meint die Entwicklung und
Realisierung konkreter Maßnahmen auf der Grundlage
von Daten und geprüften Informationen. Neben
den Zielvereinbarungen sind weitere Projekte
und Maßnahmen der Schulen denkbar. Über interne
Evaluation vergewissert sich die Schule über den
Fortgang und den Erfolg der Maßnahmen. Die AQS
stellt den Schulen ab 2012 verstärkt Unterstützungsangebote
im Bereich der internen Evaluation
zur Verfügung.
Formblatt Zielvereinbarung
Schulname
Bitte pro Zielvereinbarung ein Formblatt verwenden!
Ziel SMART
Zielvereinbarung
Handlungsplanung
spezifisch-konkret
messbar
aktiv beeinflussbar
realisierbar
terminiert
Maßnahmen
20

6. Was kommt nach der Evaluation
Von den Evaluationsergebnissen zu den
Zielvereinbarungen
Die gewinnbringende Auseinandersetzung der
Schulgemeinschaft ist die Grundlage des gesetzlich
vorgeschriebenen Zielvereinbarungsprozesses,
für den die Schule verantwortlich ist und der von
der Schulaufsicht (Abt. 3) begleitet und unterstützt
wird. Je nach Größe der Schule kann eine
Steuergruppe oder aber auch die Gesamtkonferenz
die Prozesssteuerung übernehmen. Das Pädagogische
Landesinstitut und die pädagogischen Serviceeinrichtungen
bieten in dieser Phase auf Nachfrage
passgenaue Unterstützungsleistungen an.
Der Zielvereinbarungsprozess mündet in schriftlich
fixierte Zielvereinbarungen, die zwischen Schule
und Schulaufsicht geschlossen werden und die in
einer Gesamtkonferenz verabschiedet werden.
Diese Zielvereinbarungen setzen vorrangige pädagogische
Schwerpunkte der Schule für die nächste
Zeit fest, führen eventuell bereits bestehende Vereinbarungen
aus dem Qualitätsprogramm fort und
bilden somit die Grundlage für die qualitative Weiterentwicklung
der Schule. Die Zielvereinbarungen
orientieren sich an der „SMART-Formel“:
S
Spezifisch: Das Ziel ist konkret und es
macht deutlich, was sich wo verändern soll.
M Messbar: Es ist anhand von Indikatoren
überprüfbar, ob das Ziel erreicht wurde.
A
R
T
Aktiv beeinflussbar / Akzeptiert: Das Ziel ist
auf die Beteiligten zugeschnitten.
Realistisch: Das Ziel ist erreichbar.
Terminiert: Das Ziel wird in einem festgelegten
Zeitraum erreicht.
Indikatoren
Interne Evaluation
Messverfahren
Abschluss bis
(Zeitraum der Arbeit an der
Maßnahme)
21

7. Externe Unterstützer und Unterstützerinnen
7. Externe Unterstützer
und Unterstützerinnen
Um die Schulevaluationen in angemessener Zeit
und mit der gebotenen Qualität durchzuführen, ist
die AQS auf die Mitwirkung von qualifizierten externen
Unterstützerinnen und Unterstützern angewiesen.
Sie rekrutieren sich aus Schulleiterinnen
und Schulleitern, Funktionsstelleninhaberinnen
und -inhabern sowie qualifizierten Lehrkräften.
Nach einer besonderen Qualifizierung verstärken
diese die Evaluationsteams bei den Schulbesuchen
oder übernehmen eigenständig die Durchführung
von Evaluationen.
Ausbildung und Einsatz von externen
Unterstützerinnen und Unterstützern
Die Qualifizierung der externen Unterstützerinnen
und Unterstützer (z. B. Koreferentinnen und Koreferenten)
besteht aus mehreren Bausteinen, die in
Kooperation mit dem Pädagogischen Landesinstitut
durchgeführt wird. Zu Beginn der Ausbildung
steht ein mehrtägiges Seminar. Im Rahmen dieser
Fortbildungsveranstaltung lernen die Teilnehmerinnen
und Teilnehmer die Grundlagen, Methoden
und Verfahren der externen Evaluation in
22

7. Externe Unterstützer und Unterstützerinnen
Rheinland-Pfalz kennen. Sie trainieren den Einsatz
der Erhebungsinstrumente. anschließend hospitieren
sie bei zwei Evaluationsbesuchen.
Der Einsatz der externen Unterstützerinnen und
Unterstützer erfolgt in der Regel an den Schulbesuchstagen.
Sie führen Einblicknahmen in Lehrund
Lernsituationen durch und sind an Gesprächen
mit Vertreterinnen und Vertretern der schulischen
Gremien eingebunden. Bei der Einsatzplanung
werden Schulartbezug, regionale Nähe und besondere
Ausschlusskriterien (z. B. kein Einsatz an der
Nachbarschule) berücksichtigt.
Nach umfangreichen praktischen Erfahrungen in
den AQS-Evaluationsteams können die externen
Unterstützerinnen und Unterstützer eine modularisierte
Schulung zur externen Teamleitung durchlaufen.
Neben den theore tischen Grundlagen erwerben
sie dort vertiefte praktische Erfahrungen
im Hinblick auf die Planung und die Umsetzung
von Schulevaluationen. Anschließend übernehmen
die Personen zunehmend selbstverantwortlich
Anteile der Evaluation.
Multiplikatoren der schulischen
Qualitätsarbeit
Für alle externen Unterstützerinnen und Unterstützer
bietet die AQS regelmäßige Dienstbesprechungen,
Workshops und Seminare an. Diese dienen
der Information über Weiterentwicklungen bei
den Evaluationsverfahren und -instrumenten sowie
dem gegenseitigen Erfahrungsaustausch. Ergänzt
wird das Konzept durch ein begleitendes
Schulungs- und Informationsangebot.
Durch ihre enge Anbindung an die AQS erhalten die
externen Unterstützerinnen und Unterstützer
fachliche Impulse zu aktuellen Bildungsfragen und
Schulforschungsergebnissen. Sie sind somit nicht
nur eine wichtige Säule bei der fundierten Umsetzung
der Evaluationsverfahren. Gleichzeitig eröffnet
sich ihnen durch den Rollen- und Perspektivenwechsel
ein großes Spektrum an fachlichen und
persönlichen Bereicherungen, das auch zur Optimierung
der Unterrichtsentwicklung an der eigenen
Schule beitragen kann. Der Blick „über den
Zaun“ in andere Schulen und andere Schularten
erweitert den eigenen Horizont und sensibilisiert
sie für das, was eine gute Schule ausmacht.
23

8. Planung, Logistik und Controlling
8. Planung, Logistik und
Controlling
Die Evaluation der Schulen erfordert eine professionelle
Planung, Organisation und Prozessüberwachung.
Neben einem gut organisierten Logistik-
Team steuert ein IT-gestütztes System den
Evaluationsprozess und sorgt dafür, dass die Daten
strukturiert und sicher verarbeitet werden. Gleichzeitig
gilt es, die Prozessbeteiligten web-basiert zu
vernetzen und Kommunikation und Datentransfer
zu gewährleisten.
Elektronisches Besuchsmanagement
Die Evaluationsplanung erfolgt jeweils für ein
Schulhalbjahr. Mit Hilfe eines eigens für die AQS
entwickelten elektronischen Besuchsmanagements
(eBM) werden die ausgewählten Schulen
automatisiert bestimmten Teamleitungen und Terminen
zugeordnet. Das System berücksichtigt dabei
den Schulart- bzw. Regionalbezug (Wohnort)
der jeweiligen Teamleitung. So entsteht ein individuelles
Besuchsprogramm für jede Teamleitung.
Die Evaluation einer Schule untergliedert sich in
eine Vielzahl einzelner Prozessschritte, Aufgaben
und der Termine, die von unterschiedlichen, am
Evaluationsprozess beteiligten Personen wahrgenommen
werden, z. B. der Teamleitung, den Mitarbeiterinnen
und Mitarbeitern der Evaluationssachbearbeitung,
dem Logistik-Team oder dem
Wissenschaftsteam.
Prozessbegleitung und Controlling
Den Teamleitungen stehen Sachbearbeiterinnen
und Sachbearbeiter zur Seite. Sie begleiten den
Evaluationsprozess vom Erst anschreiben einer
Schule bis zur Veraktung des Ergebnisberichts. Jeder
Evaluationsprozess wird als Liste im sogenannten
Workflow des eBM dargestellt. Alle an einer
Auszug aus dem eBM
24

8. Planung, Logistik und Controlling
Evaluation beteiligten Personen haben Zugriff auf
diesen Workflow. So erhalten sie jederzeit einen
aktuellen Überblick über den Stand des Evaluationsprozesses.
Mithilfe des eBM sind tagesaktuelle
Prozessstatistiken möglich, die z. B. als Grundlage
für das Controlling dienen.
Organisation der Befragung und
digitale Datenerfassung
Ein kleines Logistik-Team sorgt für Druck und Versand
der Materialien, die für das Evaluationsverfahren
erforderlich sind. Für die Durchführung der
schriftlichen Befragung der Eltern druckt das Logistik-Team
die erforderliche Anzahl an Fragebögen.
Für Schülerinnen und Schüler, die Lehrkräfte,
Schulleitung und die dualen Partner sind Onlinebefragungen
über das AQS-Portal vorgesehen. Hierfür
wird ihnen ein Login zur Verfügung gestellt, mit
dem sie zum Fragebogen im AQS-Portal gelangen.
Mithilfe eines Hochleistungsscanners, der bis zu
100 Seiten pro Minute verarbeiten kann, werden
alle von den Schulen zurückgesandten Fragebögen
eingescannt. Die geschulten Fachkräfte der Logistik
nehmen bei diesem Prozess Plausibilitätsprüfungen
vor und beheben bei Bedarf Fehler nach
einem abgestimmten Verfahren. Sind alle Instrumente
erfasst, werden die Daten zur Auswertung in
die Datenbank exportiert. Sie sind nun bereit für
die Auswertung durch das Wissenschaftsteam.
25

9. Datenschutz – Basis für Vertrauen
9. Datenschutz – Basis für
Vertrauen
Bei der externen Evaluation werden viele Daten
aus Befragungen, Gesprächen und anderen Quellen
verarbeitet. Da nach dem rheinland-pfälzischen
Schulgesetz alle öffentlichen Schulen zur Teilnahme
verpflichtet sind, hat der Datenschutz für die
AQS hohe Priorität. Alle an der externen Evaluation
beteiligten Personen sind zur Einhaltung des
Datenschutzes verpflichtet.
■■
Bei der Evaluation werden nur solche Daten erhoben,
die zur Erfüllung des Auftrags erforderlich
sind.
■■
Grundsätzlich erfolgt die Datenerhebung anonym.
Falls bei der Erhebung ein Personenbezug
möglich ist, werden alle erforderlichen prozessualen
und technischen Verfahren angewandt,
um die Daten zu anonymisieren.
■■
Alle Prozessbeteiligten werden rechtzeitig und
ausführlich über die Zielsetzung und das Verfahren
der Evaluation informiert.
Rechte und Pflichten der
Prozessbeteiligten
■■
Die Schulleitung und die Lehrkräfte sind nach
dem Schulgesetz verpflichtet, an der externen
Evaluation mitzuwirken. Dies umfasst die Teilnahme
an der schriftlichen Befragung, den Gesprächen
sowie den Einblicknahmen in Lehrund
Lernsituationen.
■■
Auch für Schülerinnen und Schüler sowie Eltern
und Sorgeberechtigte sieht das Schulgesetz
eine hohe Verbindlichkeit für die Mitwirkung
vor. Bei der schriftlichen Befragung der Schüle-
rinnen und Schüler, die für Schüler und Eltern
nicht zwingend ist, können Eltern und Sorgeberechtigte
die Schülerfragebögen vorab in der
Schule einsehen. Sollten sie die Teilnahme ihres
Kindes an der Befragung ablehnen, so müssen
sie dies der Schulleitung rechtzeitig mitteilen.
Falls Eltern die Teilnahme verweigern, darf den
Schülerinnen und Schülern daraus kein Nachteil
entstehen. Die Teilnahme an den Gesprächen
ist für den Schulelternbeirat und die Schülervertretung
freiwillig. Verpflichtend ist die
Teilnahme am evaluierten Unterricht.
■■
Alle bei der AQS beschäftigten oder von ihr beauftragten
Personen, die an Erhebung, Auswertung
und Aufbewahrung von Daten beteiligt
sind, werden regelmäßig über die datenschutzrelevanten
Verfahren informiert und haben eine
entsprechende Verpflichtungserklärung zur Einhaltung
des Datenschutzes unterzeichnet.
■■
Externe Unterstützerinnen und Unterstützer
sowie Referentinnen und Referenten der Abteilung
3 der ADD werden vor dem Einsatz von der
jeweiligen Teamleitung der AQS auf die datenschutzrelevanten
Aspekte der Datenerhebung
informiert. Für sie gilt, dass sie nicht in der eigenen
Schule oder in unmittelbarer Nachbarschaft
zur eigenen Schule eingesetzt werden,
bzw. in ihrem Aufsichtsbezirk evaluieren.
Sicherung der Anonymität
Bereits bei der Erhebung der Daten wird darauf geachtet,
dass ein Personenbezug unterbleibt.
Sämtliche Datensätze der schriftlichen Befragung
von Lehrkräften, Schülerinnen und Schülern und
26

9. Datenschutz – Basis für Vertrauen
Eltern werden dabei so anonymisiert, dass ein
Rückbezug auf Personen nicht mehr möglich ist.
Bevor das Wissenschaftlerteam die Daten zur Auswertung
erhält, wird die Schulnummer des Datensatzes
durch einen neutralen Code (Hashcode) ersetzt.
Als ausgewertete, kumulierte Ergebnisse, die
keinen Rückschluss auf bestimmte Personen zulassen,
werden die Befunde anschließend wieder der
jeweiligen Schule zugeordnet und finden in Form
von Tabellen und Grafiken Eingang in den Bericht
der Schule.
Im Evaluationsbericht erscheinen daher keine personenbezogenen
Daten, da sich die Aussagen auf
die Prozesse in Schule und Unterricht und nicht auf
einzelne Personen beziehen. Eine Ausnahme bildet
die Schulleitung, die aufgrund ihrer besonderen
Funktion notwendigerweise identifizierbar bleibt.
Die AQS arbeitet eng mit dem Landesbeauftragten
für den Datenschutz zusammen. Das Verfahren
wurde mit den Bezirkspersonalräten für die Lehrkräfte
an staatlichen Schulen des Landes abgestimmt
und in einer Dienstvereinbarung niedergeschrieben.
Anonymisierung der Befragungsdaten
Elternbefragung
Lehrer-/Schülerbefragung
Online
Papierfragebogen
12345 GHS Mainz
Onlinefragebogen
12345 GHS Mainz
Posteingang
Bearbeitung
Büro-
Sachbearbeitung
Koordinator
Hash-
Verschlüsselung
Sch-NR > Hash-Nr:
12345 GHS Mainz > cf482d7a3f
Scanstation
anonymisierte
Daten
cf482d7a3f:
Rohdaten
Datenbankserver
Wissenschaftliche
Referenten
SPSS
SPSS
Auswertung
aggregierte
Daten
cf482d7a3f:
aggregierte Daten
– Konstruktdarstellung
Dateiserver
27

Glossar
Glossar
Appendix
Arithmetisches Mittel
Befragung, schriftliche
Dimension
Einblicknahmen in
Lehr- und Lernsituationen
(ELL)
Entwicklungsfeld
Entwicklungsfeld,
ausgeprägtes
Erhebungsinstrument
Evaluation
Im Appendix werden die ➝ Items des ➝ ELL-Bogens durch konkrete Sachverhalte
und typische Beispiele veranschaulicht. Diese dienen der Darstellung
des Bedeutungsgehalts der jeweiligen ➝ Items.
➝ Mittelwert
Von einer schriftlichen Befragung wird dann gesprochen, wenn die Befragungsteilnehmerinnen
und -teilnehmer in einem ➝ Fragebogen vorgegebene
Fragen selbstständig schriftlich beantworten.
Jeder Qualitätsbereich (➝ ORS-Bereich) des ➝ Orientierungsrahmens
Schulqualität wird anhand verschiedener Dimensionen beschrieben. Beispielsweise
gliedert sich der ➝ ORS-Bereich „Schulleitung und Schulmanagement“
in die Dimensionen Führung, Personalentwicklung und Schulisches
Management.
Die ➝ Evaluatorinnen und Evaluatoren der AQS nehmen im Rahmen der
➝ externen Evaluation Einblick in Lehr- und Lernsituationen an einer
Schule. Bei diesen Einblicknahmen geht es nicht um die Beobachtung einer
einzelnen Lehrkraft, sondern um das Sammeln von Einblicken und deren
Verdichtung zu einem Gesamteindruck über die „Unterrichtskultur“ einer
Schule. Die Einblicknahmen erfolgen mittels eines standardisierten
Bogens.
Ein Entwicklungsfeld ist eine Kategorie der Ergebnisrückmeldung an Schulen
im AQS-Evaluationsbericht. Von Entwicklungsfeldern wird dann gesprochen,
wenn alle herangezogenen Ergebnisse zwar eher im zutreffenden
Bereich liegen, aber noch eine Weiterentwicklung möglich ist.
Ein ausgeprägtes Entwicklungsfeld ist eine Kategorie der Ergebnisrückmeldung
an Schulen im AQS-Evaluationsbericht. Von ausgeprägten Entwicklungsfeldern
wird dann gesprochen, wenn alle herangezogenen Ergebnisse
im nicht zutreffenden Bereich liegen.
Ein Datenerhebungsinstrument ist ein physisch vorhandenes Hilfsmittel
(z. B. in Papier- oder elektronischer Form) zur Sammlung von Daten.
➝ Fragebogen und ➝ Gesprächsleitfäden sind Beispiele für Datenerhebungsinstrumente
bei der AQS.
Unter Evaluation von Schulen versteht man eine systematische, Kriterien
geleitete und datengestützte Bewertung der pädagogischen Arbeit.
28

Glossar
Evaluation, externe
Evaluation, interne
Fragebogen
Gesamterhebung
Leitfadengestützte
Gespräche
Gesprächsleitfaden
Grundgesamtheit
Häufigkeitsverteilung
Indikator
Item
Kriterium
Merkmal
Bei einer externen Evaluation handelt es sich um eine Überprüfung der
schulischen Qualitätsentwicklung (Ziele, Maßnahmen, Umsetzung) durch
außerschulische Einrichtungen oder Personen.
Die Überprüfung der schulischen Qualitätsentwicklung (Ziele, Maßnahmen,
Umsetzung) durch diejenigen Personen einer Schule, welche die
Maßnahmen umsetzen, wird als interne Evaluation bezeichnet.
Ein Fragebogen ist ein empirisches ➝ Erhebungsinstrument, das bei
➝ schriftlichen Befragungen eingesetzt wird. Im Fragebogen werden Inhalt,
Anzahl, Reihenfolge sowie die sprachliche Formulierung der Fragen
im Vorfeld festgelegt.
Bei einer Gesamterhebung erstreckt sich die Datenerhebung auf sämtliche
Elemente der ➝ Grundgesamtheit (z. B. alle Lehrkräfte einer Schule).
Ein leitfadengestütztes Gespräch ist eine Form der Datenerhebung, bei der
der Gesprächsführende (die „Interviewerin“ bzw. der „Interviewer“) in direktem
Kontakt mit den Gesprächsteilnehmenden (den „Interviewten“)
entlang eines inhaltlich strukturierten ➝ Gesprächsleitfadens Fragen
stellt, um unter kontrollierten Bedingungen Informationen zu gewinnen
und die je spezifischen Blickwinkel schulischer Akteure zu beleuchten.
Ein Leitfaden ist ein empirisches ➝ Erhebungsinstrument, das für mündliche
Befragungen („Interviews“) eingesetzt wird. In den von der AQS eingesetzten
Gesprächsleitfäden wird das Gespräch durch offene Leitfragen vorstrukturiert.
Der Gesprächsführende kann Reihenfolge und Formulierung
der Fragen modifizieren.
Unter Grundgesamtheit (N) ist diejenige Menge an Individuen, Fällen oder
Ereignissen zu verstehen, auf die sich die Aussagen einer Untersuchung beziehen
sollen.
Beim Verfahren der Häufigkeitsverteilung wird festgestellt, wie häufig jede
einzelne Merkmalsausprägung eines ➝ Items in den Daten vorkommt.
Ein Indikator ist ein Anzeiger (von lat. Indicare: auf etwas zeigen/etwas zeigen)
für das Vorhandensein eines Sachverhaltes, dessen Vorliegen nicht
unmittelbar beobachtbar ist.
Ein Item ist eine als Frage oder Urteil formulierte Aussage, zu der eine Befragte
bzw. ein Befragter ihre bzw. seine Zustimmung oder Ablehnung –
ggf. in unterschiedlicher Intensität – äußern kann.
Ein Kriterium (altgr. „krites“: der Richter) ist ein Gesichtspunkt, auf welchen
bei der Bewertung eines Evaluationsgegenstandes explizit Bezug genommen
wird.
➝ Variable
29

Glossar
Mittelwert
Objektivität
Online-Befragung
Orientierungsrahmen
Schulqualität (ORS)
ORS-Bereich
RADAR-Modell
Reliabilität
Schulrundgang
S.M.A.R.T.
Standardabweichung
Der Mittelwert ist die Kurzbezeichnung für das ➝ Arithmetische Mittel.
Das Arithmetische Mittel ist ein Maß für die zentrale Tendenz einer
➝ Häufigkeitsverteilung. Es entspricht der Summe der Einzelwerte dividiert
durch die Anzahl der Fälle.
Objektivität ist ein Gütekriterium für wissenschaftliche Untersuchungen.
Wenn ein Ergebnis objektiv ist, dann ist es unabhängig von der jeweiligen
Person, die das Messinstrument einsetzt.
Bei Online-Befragungen füllen die Teilnehmerinnen und Teilnehmer den
➝ Fragebogen auf dem Server einer Einrichtung oder eines Providers mittels
Internet online aus.
Der Orientierungsrahmen Schulqualität ist ein Dokument des für Bildung
zuständigen Ministeriums in Rheinland-Pfalz, in dem Qualitätsbereiche
(➝ ORS-Bereiche) beschrieben sind, die maßgeblich das Gelingen von
Schule, von Lehren und Lernen sowie kollegialem Miteinander prägen.
Der ➝ Orientierungsrahmen Schulqualität umfasst 11 Qualitätsbereiche
(ORS-Bereiche), die sich drei übergeordneten Feldern der Schulentwicklung
zuordnen lassen (Rahmenbedingungen, schulische und unterrichtliche
Prozesse, Ergebnisse und Wirkungen). Beispielsweise werden die ORS-
Bereiche „Schulleitung und Schulmanagement“ sowie „Professionalität
des Personals“ den schulischen und unterrichtlichen Prozessen zugeordnet.
Das „Rezeptionsmodell zur Analyse und Nutzung von Daten der externen
Evaluation an Schulen in Rheinland-Pfalz (RADAR)“ gibt den Schulen eine
nachvollziehbare und strukturierte Abfolge von Schritten der konkreten
Nutzung und Verwendung der Ergebnisse der ➝ externen Evaluation an
die Hand.
Reliabilität (Zuverlässigkeit) ist ein Gütekriterium für empirische Untersuchungen.
Ergebnisse sind dann reliabel, wenn bei einer Wiederholung der
Messung unter gleichen Bedingungen das gleiche Messergebnis erzielt
wird.
Der Schulrundgang als ➝ Erhebungsinstrument in der ➝ externen Evaluation
dient dazu, unter pädagogischen Aspekten das Raumangebot, die
Ausstattung und die Ausgestaltung der Schule zu erfassen.
Die so genannte SMART-Formel ist eine Arbeitshilfe zur Formulierung von
Zielen. Die Formulierung von Zielen (z. B. im Rahmen von ➝ Zielvereinbarungen)
soll demnach SMART erfolgen, d. h. S-pezifisch, M-essbar, A-ktiv
beeinflussbar/A-kzeptiert, R-ealistisch und T-erminiert.
Die Standardabweichung ist in der deskriptiven Statistik eine Maßzahl für
die Variation der einzelnen Beobachtungswerte um den Stichprobenmittelwert,
d. h. ein Maß für die Streuung von Messwerten.
30

Glossar
Stichprobe
Stärke
Stärke, ausgeprägte
Triangulation
Validität
Variable
Vollerhebung
Zielvereinbarung
Eine Stichprobe ist eine Auswahl von Elementen aus einer ➝ Grundgesamtheit.
Entscheidet ein Zufallsprozess über die Aufnahme eines Elements
in die Stichprobe, so spricht man von einer Zufallstichprobe.
Eine Stärke ist eine Kategorie der Ergebnisrückmeldung an Schulen im
AQS-Evaluationsbericht. Von Stärken wird dann gesprochen, wenn die Ergebnisse
bereits auf ein hohes Qualitätsniveau schließen lassen, jedoch im
Rahmen der ➝ externen Evaluation noch weitere Steigerungsmöglichkeiten
identifiziert werden können.
Eine ausgeprägte Stärke ist eine Kategorie der Ergebnisrückmeldung an
Schulen im AQS-Evaluationsbericht Von ausgeprägten Stärken wird dann
gesprochen, wenn alle herangezogenen Ergebnisse deutlich im zutreffenden
Bereich liegen.
Der Begriff Triangulation bezeichnet in der sozialwissenschaftlichen Forschung
die Beantwortung von Forschungsfragen dadurch, dass der Forschungsgegenstand
von zwei und mehr Punkten aus beleuchtet wird.
Validität (Gültigkeit) ist ein Gütekriterium für empirische Untersuchungen.
Ein ➝ Erhebungsinstrument ist valide, wenn es den Tatbestand misst, den
es messen soll.
Eine Variable ist ein ➝ Merkmal eines Untersuchungsobjektes mit mindestens
zwei Ausprägungen. So hat z. B. die Variable „Geschlecht“ die Variablen-
bzw. Merkmalsausprägungen „männlich“ und „weiblich“.
Bei einer Vollerhebung erstreckt sich die Datenerhebung auf sämtliche
Elemente der ➝ Grundgesamtheit.
Zielvereinbarungen sind verbindliche Absprachen zwischen zwei hierarchischen
Ebenen für einen festgelegten Zeitraum über zu erreichende Ergebnisse
und dazu durchzuführende Maßnahmen. Auf der Grundlage des
AQS-Evaluationsberichtes werden Zielvereinbarungen zwischen Schule
und Schulaufsicht (Abt. 3) getroffen.
31

Literaturverzeichnis
1. Ackeren, Isabell .v. (2003): Evaluation, Rückmeldung
und Schulentwicklung. Münster
2. Altrichter, Herbert. / Maag Merki, Katharina.
(Hg.) (2010): Handbuch Neue Steuerung im
Schulsystem. Wiesbaden
3. Bohl, Thorsten / Kiper, Hanna (Hg.) (2009):
Lernen aus Evaluationsergebnissen. Bad Heilbrunn
4. Bortz, Jürgen (2010): Statistik: Für Humanund
Sozialwissenschaftler, 7. Auflage. Berlin
5. Böttcher, Wolfgang / Dicke, Jan Nikolas /
hogrebe, Nina (Hg.) (2010): Evaluation, Bildung
und Gesellschaft. Münster
6. Böttcher, Wolfgang / Holtappels, Heinz Günther
/ Brohm, Michaela. (Hg.) (2006): Evaluation
im Bildungswesen. Weinheim-München
7. Döbert, Hans / Dedering, Kathrin (Hg.) (2008):
Externe Evaluation von Schulen. Historische,
rechtliche und vergleichende Aspekte. Münster
8. Fend, Helmut (1998): Qualität im Bildungswesen.
Weinheim u. a.
9. Flick, Uwe (2004): Triangulation. Eine Einführung,
Wiesbaden
10. Gollwitzer, Mario / Jäger, Reinhold (2007):
Evaluation. Workbook. Weinheim-Basel
11. Helmke, Andreas. (2004). Von der Evaluation
zur Innovation: Pädagogische Nutzbarmachung
von Vergleichsarbeiten in der Grundschule,
in: Seminar, 2/2004, S. 90–112
12. Helmke, Andreas (2009): Unterrichtsqualität
und Lehrerprofessionalität. Diagnose, Evaluation
und Verbesserung des Unterrichts. Seelze-
Velber
13. Hosenfeld, Ingmar / Groß Ophoff, Jana (2007):
Nutzung und Nutzen von Evaluationsstudien
in Schule und Unterricht, in: Empirische Pädagogik
21/4, S. 352–367
14. Koch, Barbara (2011): Wie gelangen Innovationen
in die Schule Wiesbaden Schnell, Rainer
/ Hill, Paul / Esser, Elke: (2008): Methoden
der empirischen Sozialforschung, 8. Auflage.
München
15. Seipel, Christian / Rieker, Peter (2003): Integrative
Sozialforschung, Weinheim
16. Stockmann, Reinhard / Meyer, Wolfgang
(2010): Evaluation. Eine Einführung. Opalden –
Farmington Hill
17. Wottawa, Heinrich / Thierau, Heike (2003):
Lehrbuch Evaluation
18. Schönig, Wolfgang / Baltruschat, Astrid /
Klenk, Gerald (Hg.) (2010): Dimensionen pädagogisch
akzentuierter Schulevaluation. Baltmannsweiler
schulen bilden gute schulen bilden gute

Impressum
Agentur für Qualitätssicherung, Evaluation und
Selbstständigkeit von Schulen
Steinkaut 3
55543 Bad Kreuznach
www.aqs.rlp.de
Externe Evaluation von Schulen in Rheinland-
Pfalz (Handbuch)
Text: Dr. Patricia Erbeldinger, Dr. Judith Hilgers,
Dr. Thomas Wetzstein, Dr. Britta Winkler,
Dr. Stefanie Würtz, Michael Bigos, Dirk Gross,
Stefan Hammer, Christiane Hofmann, Rolf
Brüdern, Barbara Rütz, Thorsten Kimmes, Andrea
Kohl, Rolf Stachowitz, Astrid Becker
Redaktion: Dr. Thomas Wetzstein, Astrid Becker,
Dr. Stefanie Würtz, Paul Pardall
Grafik und Layout: Katrin Pfeil, Büro für
Visuelle Gestaltung, Mainz
© Copyright AQS Juni 2011
schulen bilden gute schulen bilden gute

Steinkaut 3
55543 Bad Kreuznach
info@aqs.rlp.de
www.aqs.rlp.de
schulen bilden gute schulen bilden gute