ExtErnE Evaluation von SchulEn - AQS - in Rheinland-Pfalz
ExtErnE Evaluation von SchulEn - AQS - in Rheinland-Pfalz
ExtErnE Evaluation von SchulEn - AQS - in Rheinland-Pfalz
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Externe <strong>Evaluation</strong><br />
<strong>von</strong> Schulen<br />
Handbuch<br />
schulen bilden gute schulen bilden gute
Schulische Qualitätsentwi<br />
Externe <strong>Evaluation</strong><br />
Datenschutz<br />
Stichproben<br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong><br />
<strong>Evaluation</strong>sverfahren<br />
ualitätssicherung<br />
empirische Erhebungsv<br />
Zielvere<strong>in</strong>barung<br />
schulen bilden gute schulen bilden gute
Inhaltsverzeichnis<br />
cklung<br />
Vorwort 3<br />
1. Auftrag und Selbstverständnis der <strong>AQS</strong> 4<br />
2. Orientierungsrahmen Schulqualität (ORS) <br />
und externe <strong>Evaluation</strong> 7<br />
3. Die Erhebungs<strong>in</strong>strumente 9<br />
4. Das <strong>Evaluation</strong>sverfahren 14<br />
5. Rückmeldung der <strong>Evaluation</strong>sergebnisse an die Schule 16<br />
6. Was kommt nach der <strong>Evaluation</strong> 18<br />
7. Externe Unterstützer und Unterstützer<strong>in</strong>nen 22<br />
8. Planung, Logistik und Controll<strong>in</strong>g 24<br />
9. Datenschutz – Basis für Vertrauen 26<br />
Glossar 28<br />
Literaturverzeichnis 32<br />
erfahren<br />
schulen bilden gute schulen bilden gute
Kriterien<br />
Transparenz<br />
Methodensupervision<br />
Auswertungen<br />
rientierungsrahmen Schulqualität<br />
Gesprächsleitfäden<br />
Triangulation<br />
Controll<strong>in</strong>g<br />
Erhebungs<strong>in</strong>strumente<br />
schulen bilden gute schulen bilden gute
Vorwort<br />
Dr. Josef Peter Mertes,<br />
Präsident der Aufsichtsund<br />
Dienstleisungsdirektion<br />
Liebe Leser<strong>in</strong>nen und Leser,<br />
die externe <strong>Evaluation</strong> <strong>von</strong> Schulen ist e<strong>in</strong> wichtiger<br />
Bauste<strong>in</strong> der Qualitätsentwicklung <strong>von</strong> Schulen<br />
<strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong>. Ziel ist es, den Schulen differenzierte,<br />
datengestützte Rückmeldungen zu<br />
ihrem Ist-Stand <strong>in</strong> Bezug auf grundlegende schulische<br />
Prozesse und die Unterrichtsqualität zu geben.<br />
Die Ergebnisse s<strong>in</strong>d der Ausgangspunkt für<br />
begründete Entwicklungsentscheidungen und Innovationen<br />
<strong>in</strong> den Schulen. Sie s<strong>in</strong>d e<strong>in</strong>erseits verb<strong>in</strong>dliche<br />
Grundlage für den Abschluss <strong>von</strong> Zielvere<strong>in</strong>barungen,<br />
andererseits geben sie auch wichtige<br />
Impulse für andere Bereiche und Wege der schulischen<br />
Qualitätsentwicklung.<br />
Das vorliegende Handbuch richtet sich an alle Personen<br />
und Gruppen, die an Schulentwicklung <strong>in</strong><br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong> beteiligt s<strong>in</strong>d. Es bietet e<strong>in</strong>en<br />
Überblick über die empirische Konzeption der externen<br />
<strong>Evaluation</strong> durch die <strong>AQS</strong> und beschreibt<br />
die wesentlichen Prozessschritte e<strong>in</strong>er Schulevaluation.<br />
Weitere wichtige Bestandteile bilden dabei<br />
die Ergebnisrückmeldung und die Frage, wie es<br />
nach dem <strong>AQS</strong>-Besuch weitergeht. Zudem f<strong>in</strong>den<br />
sich im Handbuch Informationen zum Datenschutz<br />
sowie zu den logistischen, planerischen und technischen<br />
Abläufen <strong>in</strong> der <strong>AQS</strong>.<br />
Mit dem Handbuch zur externen <strong>Evaluation</strong> trägt<br />
die <strong>AQS</strong> ihrem Anspruch weiter Rechnung, e<strong>in</strong>e<br />
möglichst hohe Transparenz über ihre Verfahren<br />
und Abläufe für alle Beteiligten zu erzeugen. Die<br />
Nachvollziehbarkeit der Verfahren und Abläufe<br />
s<strong>in</strong>d Grundlage für Akzeptanz <strong>in</strong> den Schulen. Akzeptanz<br />
und Vertrauen seitens der Betroffenen<br />
wiederum bilden die Voraussetzungen dafür, dass<br />
die <strong>Evaluation</strong> positive Wirkungen <strong>in</strong> H<strong>in</strong>blick auf<br />
die schulische Qualitätsentwicklung entfalten<br />
kann.<br />
Dr. Josef Peter Mertes<br />
Präsident der Aufsichts- und<br />
Dienstleistungsdirektion<br />
schulen bilden gute schulen bilden gute<br />
3
1. Auftrag und Selbst verständnis der <strong>AQS</strong><br />
1. Auftrag und Selbstverständnis<br />
der <strong>AQS</strong><br />
Schulische Qualitätsentwicklung <strong>in</strong><br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong><br />
„Das Bildungswesen ist bei uns das<br />
größte Unternehmen der öffentlichen<br />
Hand, mit den meisten Beschäftigten<br />
und den meisten ‚Kunden‘.<br />
Es gestaltet Millionen <strong>von</strong> menschlichen<br />
Schicksalen mit.“<br />
Helmut Fend: Qualität im Bildungswesen. We<strong>in</strong>heim 1988, S. 357<br />
Das Thema „Qualitätsentwicklung“ hat im Schulwesen<br />
seit dem Ende der 1990er Jahre e<strong>in</strong>en besonderen<br />
Stellenwert <strong>in</strong>ne. Die Gründe dafür s<strong>in</strong>d<br />
vielschichtig. Sicherlich hat das ernüchternde Abschneiden<br />
Deutschlands im <strong>in</strong>ternationalen Vergleich<br />
diese Entwicklung verstärkt. Ebenso tragen<br />
aber auch die Anpassungsnotwendigkeiten des<br />
Schulsystems an gesellschaftliche Veränderungen<br />
und Herausforderungen (z. B. gestiegenes Qualifikationsniveau<br />
<strong>in</strong> der Arbeitswelt, Globalisierung,<br />
demografischer Wandel, Integration <strong>von</strong> Zuwanderern)<br />
und e<strong>in</strong> verändertes Steuerungsverständnis<br />
im Bildungsbereich zur Implementation veränderter<br />
Qualitätssysteme bei.<br />
Seit Ende der 1990er Jahre hat Rhe<strong>in</strong>land-<strong>Pfalz</strong> bei<br />
der Entwicklung der Schulen des Landes dem Aspekt<br />
der Qualitätsentwicklung verstärkte Aufmerksamkeit<br />
gewidmet, z. B. durch die Beteiligung<br />
des Landes an den <strong>in</strong>ternationalen Leistungsstudien<br />
und die Qualitätsprogrammarbeit an den Schulen.<br />
Im Jahr 2005 wurde die schulische Qualitätsarbeit<br />
durch die externe <strong>Evaluation</strong> und die darauf<br />
aufbauenden Zielvere<strong>in</strong>barungen ausgeweitet. Zur<br />
Umsetzung der externen <strong>Evaluation</strong> wurde die<br />
„Agentur für Qualitätssicherung, <strong>Evaluation</strong> und<br />
Selbstständigkeit <strong>von</strong> Schulen“ (<strong>AQS</strong>) gegründet,<br />
die 2006 die Arbeit aufnahm. Seit 2009 ist die externe<br />
<strong>Evaluation</strong> im Schulgesetz (§ 97a) <strong>von</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong><br />
verankert.<br />
<strong>Evaluation</strong> der E<strong>in</strong>zelschule und<br />
schulübergreifende Auswertungen<br />
Die <strong>AQS</strong> hat den Auftrag, die externe <strong>Evaluation</strong><br />
der rund 1.600 staatlichen Schulen <strong>in</strong> Rhe<strong>in</strong>land-<br />
<strong>Pfalz</strong> durchzuführen sowie darüber h<strong>in</strong>aus schulübergreifende<br />
Auswertungen vorzunehmen. Die<br />
<strong>AQS</strong> sieht sich als Partner <strong>in</strong>nerhalb des schulischen<br />
Mehrebenensystems mit unterschiedlichen<br />
Beteiligten (z. B. Schulen, Schulaufsicht, Pädagogisches<br />
Landes<strong>in</strong>stitut, M<strong>in</strong>isterium). Aufgabe der<br />
Beteiligten ist es, sich zu koord<strong>in</strong>ieren und damit<br />
die Entwicklung und Sicherung <strong>von</strong> Schulqualität<br />
geme<strong>in</strong>sam über entsprechende Aushandlungsprozesse<br />
voranzubr<strong>in</strong>gen und so kooperatives Handeln<br />
zu <strong>in</strong>itiieren. Ziele s<strong>in</strong>d e<strong>in</strong>e hohe Unterrichtsqualität<br />
und die Sicherung guter Lernergebnisse für<br />
die Schüler<strong>in</strong>nen und Schüler.<br />
E<strong>in</strong> unverzichtbares Grundmerkmal ist die Fairness<br />
im <strong>Evaluation</strong>sverfahren. Sie schafft Akzeptanz und<br />
Vertrauen, ohne die schulentwicklerische Impulse<br />
durch die externe <strong>Evaluation</strong> kaum denkbar s<strong>in</strong>d.<br />
Partizipation, Mitgestaltung und Transparenz s<strong>in</strong>d<br />
für die Arbeit der <strong>AQS</strong> konstitutiv. Alle an Schule<br />
beteiligten Personen und Gruppen s<strong>in</strong>d – soweit<br />
dies möglich ist – kont<strong>in</strong>uierlich an Entwicklung<br />
und Ausgestaltung des <strong>Evaluation</strong>sverfahrens und<br />
der <strong>Evaluation</strong>s<strong>in</strong>strumente beteiligt; alle Verfahren<br />
s<strong>in</strong>d offengelegt.<br />
Über e<strong>in</strong>e evidenzbasierte Qualitätsentwicklung <strong>in</strong><br />
den Schulen und im Schulsystem sollen auf der<br />
Grundlage <strong>von</strong> Daten und geprüften Informatio-<br />
4
1. Auftrag und Selbst verständnis der <strong>AQS</strong><br />
nen erfolgen, damit Maßnahmen zielgerichtet entwickelt<br />
werden und an den richtigen und dr<strong>in</strong>glichen<br />
Herausforderungen ansetzen.<br />
Rhe<strong>in</strong>land-pfälzische Schulen s<strong>in</strong>d im Rahmen ihrer<br />
Selbstständigkeit für ihre Qualitätssicherungsund<br />
Entwicklungsarbeit verantwortlich. Sie steuern<br />
ihre Qualitätsentwicklung auf der Grundlage<br />
des Orientierungsrahmens Schulqualität (ORS).<br />
Sie geben sich auf der Grundlage <strong>von</strong> externer <strong>Evaluation</strong><br />
Ziele und ergreifen Maßnahmen, diese zu<br />
erreichen. Sie überprüfen die Umsetzung und Wirkungen<br />
durch Verfahren der <strong>in</strong>ternen <strong>Evaluation</strong>.<br />
Die Rechenschaftslegung über die geleistete Arbeit<br />
und die erreichte Qualität erfolgt dann wiederum<br />
über die erneute externe <strong>Evaluation</strong>.<br />
Qualitätsentwicklung und<br />
Qualitätssicherung <strong>in</strong> der <strong>AQS</strong><br />
Die <strong>AQS</strong> versteht sich als lernende Organisation,<br />
die ihre Arbeit e<strong>in</strong>er konsequenten Weiterentwicklung<br />
und Verbesserung verpflichtet sieht. Dabei<br />
orientiert sich die <strong>AQS</strong> an den Standards der „Deutschen<br />
Gesellschaft für <strong>Evaluation</strong>“ (www.degeval.<br />
de). Alle Arbeitsschritte werden regelmäßig auf<br />
Verbesserungsmöglichkeiten h<strong>in</strong> überprüft. Dass<br />
der Anspruch e<strong>in</strong>er kont<strong>in</strong>uierlichen Qualitätsentwicklung<br />
und -sicherung <strong>in</strong> der <strong>AQS</strong> nicht bloß e<strong>in</strong><br />
Lippenbekenntnis ist, zeigt e<strong>in</strong> Blick auf die Verfahren<br />
der Qualitätsentwicklung und -sicherung.<br />
Was ist externe <strong>Evaluation</strong><br />
Der Begriff „<strong>Evaluation</strong>“ wird sehr unterschiedlich<br />
verwendet. Im weitesten S<strong>in</strong>ne bedeutet<br />
<strong>Evaluation</strong> die Bewertung z.B. e<strong>in</strong>es Produkts, e<strong>in</strong>es<br />
Prozesses oder e<strong>in</strong> ganzes Programms. Während<br />
<strong>Evaluation</strong> im Alltagss<strong>in</strong>ne nicht notwendigerweise<br />
auf systematische Verfahren und<br />
datengestützte Belege zurückgreift, ist die explizite<br />
Verwendung wissenschaftlicher Forschungsmethoden<br />
und -techniken für <strong>Evaluation</strong>sforschung<br />
konstitutiv. <strong>Evaluation</strong>en s<strong>in</strong>d ke<strong>in</strong><br />
Selbstzweck. Sie sollen e<strong>in</strong>en Nutzen br<strong>in</strong>gen sowie<br />
Wirkungen <strong>von</strong> Maßnahmen und Programmen<br />
dokumentieren. Ziel ist es, auf Grundlage<br />
der <strong>Evaluation</strong>sbefunde Prozesse effektiver zu<br />
gestalten, Input effizienter e<strong>in</strong>zusetzen, den Output<br />
zu erhöhen und zu verbessern.<br />
Man unterscheidet <strong>in</strong>terne und externe <strong>Evaluation</strong>.<br />
Bei der <strong>in</strong>ternen <strong>Evaluation</strong> führen diejenigen<br />
Personen, welche die Maßnahmen umsetzen,<br />
auch die <strong>Evaluation</strong>suntersuchung durch. Im Falle<br />
der externen <strong>Evaluation</strong> wird die <strong>Evaluation</strong><br />
<strong>von</strong> e<strong>in</strong>er anderen E<strong>in</strong>richtung oder Person übernommen.<br />
Angestrebt wird e<strong>in</strong>e überpartei liche<br />
<strong>Evaluation</strong> mit dem Blick <strong>von</strong> außen.<br />
Externe <strong>Evaluation</strong> im Selbstverständnis der <strong>AQS</strong><br />
ist durch folgende Merkmale def<strong>in</strong>iert:<br />
■■<br />
Sie erfolgt durch e<strong>in</strong>e unabhängige Agentur<br />
(<strong>AQS</strong>) und gibt den Schulen e<strong>in</strong>e Rückmeldung<br />
zum Stand ihrer Qualitätsentwicklung<br />
mit dem Blick <strong>von</strong> außen.<br />
■■<br />
Sie ist e<strong>in</strong> geplanter und systematischer Prozess<br />
(<strong>von</strong> der Kontaktaufnahme bis zur Ergebnisrückmeldung).<br />
■■<br />
Die <strong>Evaluation</strong> erfolgt auf Grundlage <strong>von</strong> gültigen<br />
und objektiven Messverfahren (E<strong>in</strong>satz<br />
empirischer Instrumente).<br />
■■<br />
Sie bewertet anhand def<strong>in</strong>ierter Kriterien<br />
(Orientierungsrahmen Schulqualität).<br />
■■<br />
Externe <strong>Evaluation</strong> soll e<strong>in</strong>en konkreten Nutzen<br />
haben und zu Konsequenzen führen (z. B.<br />
Zielvere<strong>in</strong>barungen und deren Umsetzung im<br />
schulischen Qualitätsmanagement).<br />
5
1. Auftrag und Selbst verständnis der <strong>AQS</strong><br />
Maßnahmen zur Qualitätssicherung<br />
■■<br />
<strong>Evaluation</strong> der eigenen Arbeit durch die<br />
Schulen:<br />
Alle Schulen, die <strong>von</strong> der <strong>AQS</strong> evaluiert werden,<br />
haben die Möglichkeit, die Arbeit der <strong>AQS</strong> zu bewerten<br />
und Rückmeldung zu geben. Dazu wird<br />
den Schulen e<strong>in</strong> Fragebogen zur Verfügung gestellt.<br />
Die <strong>AQS</strong> erhält auf diese Weise wertvolle<br />
H<strong>in</strong>weise für ihre <strong>in</strong>terne Qualitätssicherung<br />
und die „kundenorientierte“ Weiterentwicklung<br />
des <strong>Evaluation</strong>sverfahrens.<br />
■■<br />
Reflexionsworkshops und Tra<strong>in</strong><strong>in</strong>gs:<br />
<strong>AQS</strong>-<strong>in</strong>tern f<strong>in</strong>den im zweimonatlichen Rhythmus<br />
Reflexionsworkshops und Tra<strong>in</strong><strong>in</strong>gs für alle<br />
Evaluator<strong>in</strong>nen und Evaluatoren statt. Feste Bestandteile<br />
s<strong>in</strong>d dabei regelmäßige Videotra<strong>in</strong><strong>in</strong>gs<br />
zu den E<strong>in</strong>blicknahmen <strong>in</strong> Lehr- und Lernsituationen,<br />
um zu ermitteln, <strong>in</strong>wieweit e<strong>in</strong><br />
geme<strong>in</strong>sames Gegenstandsverständnis vorliegt<br />
und wo dieses durch zusätzliche Tra<strong>in</strong><strong>in</strong>gs verbessert<br />
werden kann. Jede Referent<strong>in</strong> und jeder<br />
Referent erhält <strong>in</strong> diesen Tra<strong>in</strong><strong>in</strong>gs e<strong>in</strong>e Rückmeldung,<br />
wo sie bzw. er <strong>in</strong> den Bewertungen<br />
deutlich vom Gesamtwert abweicht (z. B. Mildeoder<br />
Strenge effekte). Im zeitlichen Vergleich<br />
zeigt sich, <strong>in</strong>wieweit diese Tra<strong>in</strong><strong>in</strong>gs e<strong>in</strong>e angleichende<br />
Wirkung haben. Auch zur Gesprächsführung<br />
und -dokumentation im Rahmen <strong>von</strong> leitfadengestützten<br />
Gesprächen sowie zur Reflexion<br />
des Evalua tionsgeschehens <strong>in</strong> den Schulen gibt<br />
es regelmäßige Tra<strong>in</strong><strong>in</strong>gsangebote (z. B. hemmende<br />
und fördernde Faktoren bei der Ergebnisrückmeldung,<br />
Umgang mit Widerständen).<br />
■■<br />
Methodensupervision:<br />
Das Wissenschafts- und Analyseteam der <strong>AQS</strong><br />
nimmt an Vorbereitungs-, Schul- und Rückmeldebesuch<br />
teil, um den E<strong>in</strong>satz der Methoden<br />
und Abläufe zu beobachten und Auffälligkeiten<br />
festzuhalten. Die Ergebnisse werden an die<br />
<strong>Evaluation</strong>steams zurückgespiegelt und auf<br />
Weiterentwicklungsnotwendigkeiten h<strong>in</strong> überprüft.<br />
Gegebenenfalls werden Verbesserungen<br />
<strong>in</strong>itiiert.<br />
■■<br />
Wissenschaftliche Beratung:<br />
Die Rückmeldungen der wissenschaftlichen Beratung<br />
(Prof. Dr. Andreas Helmke) s<strong>in</strong>d <strong>von</strong> hoher<br />
Bedeutung für die (Weiter-)Entwicklung <strong>von</strong><br />
Erhebungs<strong>in</strong>strumenten, Auswertungsformen,<br />
Ergebnisdarstellungen und -rückmeldungen.<br />
Regelmäßig f<strong>in</strong>den Beratungsgespräche statt.<br />
■■<br />
Vernetzung und Kooperation:<br />
Die <strong>AQS</strong> steht <strong>in</strong> regelmäßigem Austausch mit<br />
den <strong>Evaluation</strong>se<strong>in</strong>richtungen anderer Bundesländer,<br />
wissenschaftlichen E<strong>in</strong>richtungen und<br />
Universitäten sowie <strong>in</strong>ternationalen Kooperationspartnern.<br />
Orientierungsrahmen Schulqualität<br />
RAHMENBEDINGUNGEN<br />
1. Bildungspolitische Vorgaben<br />
• Bildungs- und Erziehungsauftrag<br />
• Bildungs<strong>in</strong>halte<br />
• Bildungsstandards<br />
• Schulart<br />
2. Standortfaktoren<br />
• Schulträger<br />
• Regionale Besonderheiten<br />
• Schulische Besonderheiten<br />
3. Personelle und sächliche Ressourcen<br />
Unterstützungsleistungen<br />
• Personalsituation<br />
• Unterrichtsversorgung<br />
• Gebäude- und Raumsituation<br />
• Technische und materielle Ausstattung<br />
• Unterstützung <strong>von</strong> außen<br />
4. Schülerschaft und Schulumfeld<br />
• Zusammensetzung der Schülerschaft<br />
• Lernvoraussetzungen,<br />
Entwicklungsbed<strong>in</strong>gungen<br />
• Soziokultureller H<strong>in</strong>tergrund<br />
6
2. Orientierungsrahmen Schulqualität (ORS) und externe <strong>Evaluation</strong><br />
2. Orientierungsrahmen<br />
Schulqualität (ORS) und<br />
externe <strong>Evaluation</strong><br />
Die Bedeutung des ORS für schulische<br />
Qualitätsentwicklung<br />
Der Orientierungsrahmen Schulqualität (ORS) für<br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong> beschreibt Qualitätsbereiche, die<br />
sowohl <strong>von</strong> Praktiker<strong>in</strong>nen und Praktikern als auch<br />
<strong>von</strong> der Unterrichts- und Schulforschung als jene<br />
Felder des schulischen Handelns identifiziert wurden,<br />
die maßgeblich das Gel<strong>in</strong>gen <strong>von</strong> Schule, <strong>von</strong><br />
Lehren und Lernen und kollegialem Mite<strong>in</strong>ander<br />
prägen. Der Orientierungsrahmen fördert e<strong>in</strong>e systemische<br />
Sicht auf die Prozesse der Qualitätsentwicklung<br />
<strong>in</strong> Schulen. Diese Prozesse können <strong>von</strong><br />
der Schule planvoll gestaltet werden. Im Mittel-<br />
SCHULISCHE UND UNTERRICHTLICHE PROZESSE<br />
ERGEBNISSE UND WIRKUNGEN<br />
5. Schulleitung<br />
und Schulmanagement<br />
• Führung<br />
• Personalentwicklung<br />
• Schulisches Management<br />
6. Professionalität des Personals<br />
• Pädagogisches Selbstverständnis<br />
• Externe Kooperation<br />
• Interne Kooperation<br />
• Fortbildung und Beratung<br />
• Umgang mit beruflichen Anforderungen<br />
und Belastungen<br />
7. Schulleben<br />
• Öffnung der Schule<br />
• Mitwirkung<br />
• Beziehungen <strong>in</strong>nerhalb der Schule<br />
• Unterstützungsangebote für<br />
Schüler<strong>in</strong>nen und Schüler<br />
• Eltern-Partizipation<br />
8. Ziele und Strategien der<br />
Qualitätsentwicklung<br />
• Qualitätsprogrammarbeit<br />
• Schuleigene Arbeitspläne<br />
• Individuelle Förderung<br />
• <strong>Evaluation</strong> (<strong>in</strong>tern/extern)<br />
9. Unterrichtsqualität<br />
• Klassenmanagement<br />
• Lernförderliches Unterrichtsklima<br />
• Motivierung<br />
• Klarheit<br />
• Wirkungs- und<br />
Kompetenzorientierung<br />
• Umgang mit Heterogenität,<br />
Differenzierung<br />
• Schülerorientierung, Unterstützung<br />
• Aktivierung<br />
• Angemessene Methodenvariation<br />
• Konsolidierung, Lernerfolgssicherung<br />
10. Kompetenzen, Abschlüsse, Bildungsund<br />
Berufslaufbahnen<br />
• Fachliche, über- und außerfachliche<br />
Kompetenzen<br />
• Schulabschlüsse und Abgänger/<strong>in</strong>nen<br />
ohne Abschluss, Wiederholerquote,<br />
Schullaufbahnentscheidungen<br />
• Weiterer Bildungs- und Berufsweg<br />
11. Zufriedenheit der Beteiligten<br />
• Schulgeme<strong>in</strong>schaft<br />
• Abnehmende E<strong>in</strong>richtungen und Betriebe,<br />
regionales Umfeld<br />
7
2. Orientierungsrahmen Schulqualität (ORS) und externe <strong>Evaluation</strong><br />
punkt steht die Unterrichtsqualität, für die die Unterrichtsforschung<br />
fach- und schulartübergreifend<br />
wirksame Qualitätspr<strong>in</strong>zipien herausgearbeitet<br />
hat.<br />
Der ORS ist e<strong>in</strong> Grundkonsens darüber, was <strong>in</strong><br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong> unter e<strong>in</strong>er guten Schule verstanden<br />
wird. Er ist e<strong>in</strong>e wichtige Arbeitsgrundlage für<br />
alle an Schule beteiligten Gruppen und Personen<br />
(Schulen, <strong>AQS</strong>, Schulaufsicht, Pädagogisches Landes<strong>in</strong>stitut,<br />
Pädagogische Servicee<strong>in</strong>richtungen,<br />
Studiensem<strong>in</strong>are, M<strong>in</strong>isterium).<br />
Der ORS <strong>in</strong> der externen <strong>Evaluation</strong><br />
Während im ORS e<strong>in</strong> sehr umfangreicher Möglichkeitsraum<br />
beschrieben ist, der den Schulen vielfältige<br />
Impulse und Denkanstöße für die Schul- und<br />
Unterrichtsentwickung liefern kann, muss sich die<br />
externe <strong>Evaluation</strong> <strong>in</strong>haltlich auf bestimmte Bereiche<br />
konzentrieren: Im Mittelpunkt der <strong>AQS</strong>-<strong>Evaluation</strong><br />
stehen die fächer- und schulartübergreifenden<br />
Qualitätsmerkmale <strong>von</strong> Unterricht sowie<br />
ausgewählte schulische Prozesse. Die fachliche<br />
und fachdidaktische Qualität des Unterrichts ist<br />
<strong>von</strong> außerordentlich hoher Wichtigkeit. Ihre Berücksichtigung<br />
im <strong>Evaluation</strong>sverfahren ist wünschenswert,<br />
kann aber aus Gründen der <strong>in</strong>haltlichen<br />
Schwerpunktsetzungen gemäß <strong>AQS</strong>-Auftrag<br />
und aufgrund der Ressourcenlage, noch nicht realisiert<br />
werden. Zudem gibt es derzeit ke<strong>in</strong>e geeigneten<br />
fachspezifischen <strong>Evaluation</strong>sverfahren.<br />
Die <strong>in</strong>haltliche Ausrichtung der <strong>AQS</strong> am Orientierungsrahmen<br />
führt zu e<strong>in</strong>er str<strong>in</strong>genten und durchgehenden<br />
Fokussierung der verschiedenen Erhebungs<strong>in</strong>strumente<br />
auf die Dimensionen, Kriterien<br />
und Indikatoren des ORS. Konsequenterweise folgt<br />
auch der <strong>Evaluation</strong>sbericht der Struktur und den<br />
Inhalten des ORS.<br />
Die sich an den Bericht der externen <strong>Evaluation</strong> gemäß<br />
Schulgesetz anschließenden Zielvere<strong>in</strong>barungen<br />
s<strong>in</strong>d ebenfalls am ORS ausgerichtet. Diese<br />
liegen <strong>in</strong> der Zuständigkeit <strong>von</strong> Schule und Schulaufsicht<br />
(Abt. 3). Für die Schulen kann die <strong>in</strong>terne<br />
<strong>Evaluation</strong> im Zusammenhang mit den Zielvere<strong>in</strong>barungen<br />
besonders hilfreich se<strong>in</strong>, wenn auch sie<br />
am ORS entlang erfolgt oder die Erhebungs<strong>in</strong>strumente<br />
der <strong>AQS</strong> dazu verwendet werden.<br />
Durch den ORS und se<strong>in</strong>e systematische Berücksichtigung<br />
auf allen Ebenen der <strong>AQS</strong>-<strong>Evaluation</strong><br />
wird das Verfahren der externen <strong>Evaluation</strong> nachvollziehbar<br />
und transparent.<br />
Orientierungsrahmen Schulqualität, externe und <strong>in</strong>terne <strong>Evaluation</strong> sowie Zielvere<strong>in</strong>barungen<br />
Orientierungsrahmen<br />
Schulqualität<br />
■ Qualitätsbereiche<br />
■ Dimensionen<br />
■ Kriterien<br />
■ Indikatoren<br />
Externe <strong>Evaluation</strong> (<strong>AQS</strong>)<br />
Erhebungs<strong>in</strong>strumente<br />
■ Fragebögen<br />
■ E<strong>in</strong>blicknahmen <strong>in</strong> Lehr- und Lernsituationen<br />
■ Leitfadengestützte Gespräche<br />
■ Schulrundgang, Schulträgerbefragung<br />
Zielvere<strong>in</strong>barungen<br />
■ Schule<br />
■ Schulaufsicht (Abt. 3)<br />
■ Schule<br />
Interne <strong>Evaluation</strong><br />
8
3. Die Erhebungs <strong>in</strong>strumente<br />
3. Die Erhebungs<strong>in</strong>strumente<br />
Die Ergebnisse aus der externen <strong>Evaluation</strong> helfen<br />
Schulen, Konzepte für ihr pädagogisches Handeln<br />
zu entwickeln und ihnen e<strong>in</strong>e Rückmeldung darüber<br />
zu geben, <strong>in</strong>wiefern sie die selbst gesetzten Ziele<br />
auf der Grundlage des ORS unter den gegebenen<br />
Voraussetzungen erreicht haben.<br />
Methodische Grundüberlegungen<br />
Die Qualität <strong>von</strong> Schule und Unterricht ist nicht<br />
nur komplex, sondern auch nicht unmittelbar und<br />
direkt beobachtbar. Überall da, wo Wissen über<br />
menschliches Handeln und soziale Prozesse, soziale<br />
Strukturen und Zusammenhänge überprüft werden<br />
sollen, bietet sich der E<strong>in</strong>satz <strong>von</strong> Werkzeugen<br />
der empirischen Sozialforschung an. Gerade dann,<br />
wenn empirische Daten e<strong>in</strong>e hilfreiche Unterstützung<br />
für schulische Akteure se<strong>in</strong> sollen, ist die Qualität<br />
der Daten und des professionellen Umgangs<br />
mit diesen unerlässlich.<br />
Die <strong>AQS</strong> orientiert ihre Arbeit deswegen an empirischen<br />
Gütekriterien. Es s<strong>in</strong>d dies Reliabilität, Objektivität<br />
und Validität. Damit e<strong>in</strong> Verfahren als<br />
reliabel gelten kann, muss die Unabhängigkeit der<br />
<strong>Evaluation</strong>sergebnisse <strong>von</strong> den zuständigen Evaluator<strong>in</strong>nen<br />
und Evaluatoren gewährleistet se<strong>in</strong>. Je<br />
eher unterschiedliche Personen beim gleichen<br />
Vorgehen und dem gleichen Sachverhalt zu gleichen<br />
Ergebnissen kommen, desto höher ist die Reliabilität<br />
des Verfahrens. Reliabilität ist die Bed<strong>in</strong>gung<br />
für se<strong>in</strong>e Validität (Gültigkeit). S<strong>in</strong>d die<br />
<strong>Evaluation</strong>sergebnisse des gewählten Verfahrens<br />
nicht objektiv und reliabel, so s<strong>in</strong>d sie auch nicht<br />
valide. Die Validität ist das Maß an Gültigkeit, mit<br />
dem das Verfahren auch tatsächlich die gefragten<br />
E<strong>in</strong>stellungen und Me<strong>in</strong>ungen misst, die gemessen<br />
werden sollen. Die Objektivität ist z. B. wiederum<br />
abhängig da<strong>von</strong>, wie präzise und e<strong>in</strong>deutig Messanweisungen<br />
s<strong>in</strong>d, wie hoch das Maß an Standardisierung<br />
ist und wie klar und e<strong>in</strong>deutig das Verfahren<br />
und die Inhalte für alle Beteiligten s<strong>in</strong>d. Die<br />
E<strong>in</strong>haltung der genannten Gütekriterien wird <strong>in</strong><br />
der <strong>AQS</strong> fort laufend über unterschiedliche Verfahren<br />
überprüft. Dazu zählen neben Reliabilitätsanalysen<br />
u. a. auch (Re-)Tra<strong>in</strong><strong>in</strong>gs der Evaluator<strong>in</strong>nen<br />
und Evaluatoren.<br />
Triangulation: Vielfalt der Methoden,<br />
Perspektiven und Daten<br />
Schulische Qualitätsentwicklung kann am ehesten<br />
zuverlässig bewertet werden, wenn Schul- und Unterrichtsqualität<br />
aus der Sicht möglichst vieler Befragtengruppen<br />
(multiperspektivischer Ansatz, Triangulation)<br />
berücksichtigt werden. Dazu zählen<br />
Schüler<strong>in</strong>nen und Schüler, Lehrkräfte, Eltern,<br />
Schulträger, verschiedene schulische Gremien<br />
sowie die Ausbildungsbetriebe und die dualen<br />
Partner bei den Berufsbildenden Schulen. Deren<br />
Sichtweisen auf die jeweilige Schule werden gegenübergestellt<br />
und verglichen, um so e<strong>in</strong> ausgewogenes<br />
und facettenreiches Bild <strong>von</strong> Schule zu<br />
erhalten.<br />
Triangulation bedeutet nicht nur die E<strong>in</strong>nahme unterschiedlicher<br />
Perspektiven auf den untersuchten<br />
Gegenstand, sondern auch den E<strong>in</strong>satz unterschiedlicher<br />
Methoden. Da jede Methode für sich<br />
genommen nicht nur Vor-, sondern auch Nachteile<br />
hat, werden die Perspektiven über unterschiedliche<br />
Methoden erhoben. Je nach Fragestellung und<br />
Zielgruppe werden passende empirische Methoden<br />
e<strong>in</strong>gesetzt.<br />
9
3. Die Erhebungs <strong>in</strong>strumente<br />
Vielfalt der Methoden<br />
Leitfadengestützte<br />
Gespräche<br />
Schuldaten<br />
Dokumentenanalyse<br />
<strong>Evaluation</strong>sbericht<br />
E<strong>in</strong>blicknahmen<br />
<strong>in</strong><br />
Lehr- und<br />
Lernsituation<br />
Fragebögen<br />
Fragebögen erlauben es, <strong>in</strong> kurzer Zeit e<strong>in</strong>e hohe<br />
Personenzahl zu befragen. Je nach Schulart kann<br />
die <strong>AQS</strong> so Schüler<strong>in</strong>nen und Schüler, Lehrkräfte,<br />
Eltern bzw. Sorgeberechtigte sowie Ausbilder<strong>in</strong>nen<br />
und Ausbilder <strong>von</strong> Betrieben und Schulträger befragen.<br />
Die Erhebung erfolgt onl<strong>in</strong>e; die Befragung<br />
der Eltern bzw. Erziehungsberechtigten erfolgt<br />
über Papierfragebögen, um auch diejenigen Personen<br />
beteiligen zu können, die ke<strong>in</strong>en PC-Zugang<br />
haben bzw. nutzen können.<br />
Die Fragebögen enthalten überwiegend Fragen<br />
nach den E<strong>in</strong>schätzungen und Bewertungen der<br />
Befragten zu ihrer Schule: Ausgewählte Kriterien<br />
und Indikatoren e<strong>in</strong>es ORS-Bereichs s<strong>in</strong>d hier <strong>in</strong><br />
messbare Aussagen (Items) übersetzt. Jedem Item<br />
s<strong>in</strong>d Antwortvorgaben zugeordnet, mit Hilfe derer<br />
die jeweils befragte Person den Grad der persönlichen<br />
Zustimmung oder Ablehnung zu der formulierten<br />
Aussage ausdrücken kann.<br />
Am Ende der jeweiligen Fragebögen f<strong>in</strong>den sich<br />
Fragen zu Merkmalen der Befragungspersonen<br />
(z. B. soziodemographische Fragen wie Alter, Geschlecht,<br />
Migrationsh<strong>in</strong>tergrund oder Bildungsstand<br />
der Eltern). Für die Auswertung der Daten<br />
s<strong>in</strong>d e<strong>in</strong>zelne Merkmale weniger <strong>von</strong> Interesse (z. B.<br />
soll nicht ermittelt werden, <strong>in</strong> wie vielen Haushal-<br />
Schulrundgang<br />
Schülern wird jede dritte Schüler<strong>in</strong> bzw. jeder dritte<br />
Schüler befragt, m<strong>in</strong>destens aber 500 Schüler<strong>in</strong>nen<br />
und Schüler. Die Befragung der Eltern bzw. Sorgeberechtigten<br />
orientiert sich an der Schülerbefragung,<br />
d. h. für die Erhebung wird je e<strong>in</strong> Elternteil der<br />
befragten Schülergruppe herangezogen. Bei Lehrkräften<br />
f<strong>in</strong>det immer e<strong>in</strong>e Vollerhebung statt.<br />
E<strong>in</strong>blicknahmen <strong>in</strong> den Unterricht werden bei m<strong>in</strong>destens<br />
50 und höchstens 100 Prozent der Lehrkräfte,<br />
die am Schulbesuchstag unterrichten, vorgenommen.<br />
Die Rückmeldungen der <strong>AQS</strong> <strong>in</strong> Form e<strong>in</strong>es Berichtes<br />
sollen für die schulischen Akteure begründet<br />
und <strong>in</strong>tersubjektiv nachvollziehbar se<strong>in</strong>. Deshalb<br />
steht vor der Analyse zunächst die Frage nach geeigneten<br />
analytisch-empirischen <strong>Evaluation</strong>sverfahren<br />
oder -methoden.<br />
Stichproben<br />
Fragebögen<br />
Vor der Durchführung e<strong>in</strong>er Datenerhebung muss<br />
geklärt werden, welche Personen befragt werden<br />
sollen. Hier wird zwischen Vollerhebung und Teilerhebung<br />
unterschieden.<br />
Werden Daten aller Personen der Grundgesamtheit<br />
erhoben, handelt es sich um e<strong>in</strong>e Vollerhebung.<br />
Die Grundgesamtheit e<strong>in</strong>er Schule bilden<br />
alle Lehrkräfte, alle Schüler<strong>in</strong>nen und Schüler, je<br />
Schüler<strong>in</strong> bzw. je Schüler e<strong>in</strong> Elternteil bzw. Erziehungsberechtigter,<br />
etc. der jeweiligen Schule zum<br />
Zeitpunkt der Vorbereitung der externen <strong>Evaluation</strong>.<br />
Wird nur e<strong>in</strong>e Teilmenge (Stichprobe) ausgewählt,<br />
handelt es sich um e<strong>in</strong>e Teilerhebung.<br />
An Schulen mit bis zu 400 Schüler<strong>in</strong>nen und Schülern<br />
führt die <strong>AQS</strong> sowohl für die Schülergruppe als<br />
auch für Lehrkräfte sowie Eltern bzw. Erziehungsberechtigte<br />
e<strong>in</strong>e Vollerhebung durch. Bei Schulen<br />
mit e<strong>in</strong>er größeren Schülerschaft werden Teilerhebungen<br />
durchgeführt. Hier werden sogenannte Zufallsstichproben<br />
gezogen, bei denen jede Person<br />
aus der Grundgesamtheit die gleiche Chance hat<br />
wie alle anderen Personen, <strong>in</strong> die Stichprobe zu gelangen.<br />
An Schulen mit 401 bis 1.000 Schüler<strong>in</strong>nen<br />
und Schülern wird jede zweite Person befragt, m<strong>in</strong>destens<br />
aber 400 Schüler<strong>in</strong>nen und Schüler. An<br />
Schulen mit 1.001 bis 1.600 Schüler<strong>in</strong>nen und<br />
10
3. Die Erhebungs <strong>in</strong>strumente<br />
Auszug aus dem Fragebogen für Lehrkräfte<br />
15.<br />
15.1<br />
15.2<br />
15.3<br />
15.4<br />
15.5<br />
Bitte kreuzen Sie an, <strong>in</strong>wieweit die folgenden Aussagen Ihrer Me<strong>in</strong>ung nach<br />
zutreffen.<br />
Trifft nicht<br />
zu<br />
Trifft eher<br />
nicht zu<br />
Trifft eher<br />
zu<br />
Trifft zu<br />
Die Schüler<strong>in</strong>nen und Schüler erhalten <strong>von</strong> mir Anregungen<br />
zur Reflexion und Verbesserung der eigenen Lernstrategien. l0907_31<br />
Wenn die Schüler<strong>in</strong>nen und Schüler unterschiedliche<br />
Lösungen gefunden haben, können sie <strong>in</strong> Kle<strong>in</strong>gruppen<br />
darüber diskutieren.<br />
l0907_27<br />
Ich stelle je nach Können der Schüler<strong>in</strong>nen und Schüler<br />
unterschiedlich schwierige Aufgaben. l0910_10<br />
Von Schüler<strong>in</strong>nen und Schüler mit guten Leistungen verlange<br />
ich deutlich mehr als <strong>von</strong> anderen. l0910_13<br />
In me<strong>in</strong>em Unterricht haben die Schüler<strong>in</strong>nen und Schüler<br />
genügend Zeit zum Üben. l0909_01<br />
ten der Befragten sich e<strong>in</strong>e Spülmasch<strong>in</strong>e bef<strong>in</strong>det<br />
oder wie viele Bücher e<strong>in</strong> Haushalt besitzt). Erst <strong>in</strong><br />
der Komb<strong>in</strong>ation geben mehrere Merkmale H<strong>in</strong>weise<br />
auf z. B. die sozioökonomische Stellung <strong>von</strong><br />
Familien. Diese dienen dazu, die Mitglieder e<strong>in</strong>er<br />
Stichprobe oder e<strong>in</strong>er Zielgruppe zu beschreiben<br />
und weitere Fragestellungen zu analysieren. Die <strong>in</strong><br />
den Fragebögen der <strong>AQS</strong> enthaltenen Fragen nach<br />
sozioökonomischen Merkmalen s<strong>in</strong>d angelehnt an<br />
andere Studien, wie z. B. die PISA-Studie.<br />
E<strong>in</strong>blicknahme <strong>in</strong> Lehr- und<br />
Lernsituation<br />
Um Unterricht beschreiben und anhand vorgegebener<br />
Kriterien beurteilen zu können, s<strong>in</strong>d Beobachtungen<br />
das Mittel der Wahl. Die Evaluator<strong>in</strong>nen<br />
und Evaluatoren besuchen dazu unterschiedliche<br />
Unterrichtsstunden und erfassen auf diese Weise<br />
die Lehr- und Lernkultur der Schule. Damit die Beobachtungen<br />
vergleichbar s<strong>in</strong>d, wird e<strong>in</strong> standardisierter<br />
Bogen „E<strong>in</strong>blicknahme <strong>in</strong> die Lehr- und<br />
Lernsituation“ (ELL) e<strong>in</strong>gesetzt.<br />
Auszug aus dem Bogen für Lehr- und Lernsituationen<br />
Differenzierung<br />
31.<br />
32.<br />
33.<br />
34.<br />
35.<br />
Die Lernarrangements (Medien, Material, Organisationsformen)<br />
ermöglichen <strong>in</strong>dividuelles Lernen.<br />
Die Schüler/<strong>in</strong>nen wählen zwischen unterschiedlichen Aufgaben,<br />
Medien oder Lernwegen (je nach Interesse, Lernpräferenz oder<br />
Vorkenntnissen).<br />
Die Lehrperson ist bemüht sicherzustellen, dass alle Schüler/<strong>in</strong>nen<br />
den Unterrichts<strong>in</strong>halten folgen können.<br />
Es wird e<strong>in</strong> Helfersystem (tutorielles Lernen, Helferpr<strong>in</strong>zip, „Lernen<br />
durch Lehren“) praktiziert.<br />
Die Schüler/<strong>in</strong>nen können phasenweise <strong>in</strong> <strong>in</strong>dividuellem Tempo<br />
lernen.<br />
trifft<br />
nicht zu<br />
trifft<br />
eher<br />
nicht zu<br />
trifft<br />
eher zu<br />
trifft zu<br />
nicht<br />
beurteilbar<br />
11
3. Die Erhebungs <strong>in</strong>strumente<br />
Bei den E<strong>in</strong>blicknahmen <strong>in</strong> Lehr- und Lernsituationen<br />
geht es ausdrücklich nicht um die Bewertung<br />
oder Beurteilung e<strong>in</strong>zelner Lehrkräfte oder Unterrichtssequenzen<br />
(wofür die <strong>in</strong> der Regel 20-m<strong>in</strong>ütige<br />
E<strong>in</strong>blicknahme nicht ausreichend wäre), sondern<br />
darum, die Schule als Organisation mit ihrer<br />
Lehr- und Lernkultur möglichst umfassend und differenziert<br />
wahrzunehmen. Das bloße Vorhandense<strong>in</strong><br />
e<strong>in</strong>es Merkmals sagt noch nichts über die<br />
Qualität der Umsetzung oder dessen Angemessenheit<br />
<strong>in</strong> der spezifischen Unterrichtssequenz aus.<br />
Insofern stellt die e<strong>in</strong>zelne Unterrichtsbeobachtung<br />
e<strong>in</strong>en E<strong>in</strong>blick dar, nicht mehr und nicht weniger.<br />
Auf Schulebene kann e<strong>in</strong>e Übersicht dagegen<br />
aufschlussreich se<strong>in</strong> und Anlass zu Nachfragen und<br />
konstruktiven Empfehlungen geben, z. B. wenn <strong>in</strong><br />
e<strong>in</strong>er Schule kaum Medien e<strong>in</strong>gesetzt werden,<br />
wenn bestimmte Sozialformen des Unterrichts<br />
auffällig unter- oder überrepräsentiert s<strong>in</strong>d. Aus<br />
den genannten Gründen halten sich die Evaluator<strong>in</strong>nen<br />
und Evaluatoren der <strong>AQS</strong>, anders als dies<br />
etwa bei Lehrproben üblich ist, während der E<strong>in</strong>blicknahme<br />
<strong>in</strong> den Unterricht diskret zurück. Ebenfalls<br />
folgt daraus, dass e<strong>in</strong>er e<strong>in</strong>zelnen Lehrkraft im<br />
Anschluss an die E<strong>in</strong>blicknahme ke<strong>in</strong>e <strong>in</strong>dividuelle<br />
Rückmeldung gegeben werden kann.<br />
Gesprächsleitfäden<br />
Durch den E<strong>in</strong>satz qualitativer Erhebungs<strong>in</strong>strumente<br />
können Informationen zu zentralen Inhaltsbereichen<br />
schulischer Qualitätsentwicklung <strong>in</strong><br />
ergänzung zu den Erkenntnissen aus den standardisierten<br />
Erhebungen vertieft und spezifiziert werden.<br />
Die verwendeten Gesprächsleitfäden (qualitative<br />
Erhebungs<strong>in</strong>strumente) be<strong>in</strong>halten Fragen,<br />
die zum e<strong>in</strong>en sicherstellen, dass bestimmte, für<br />
die jeweilige Zielgruppe (z. B. Schulleitung, Gremienvertretung)<br />
relevante Themenbereiche zu e<strong>in</strong>em<br />
ausgewählten Kriterium e<strong>in</strong>es ORS-Bereichs angesprochen<br />
werden. Zum anderen s<strong>in</strong>d sie aber so<br />
offen formuliert, dass die Informationen, die die<br />
Gesprächspartner mitteilen, dadurch angemessen<br />
erfasst werden können. Dies kann dazu beitragen,<br />
dass die Besonderheiten e<strong>in</strong>er Schule berücksichtigt<br />
werden können und die Schule so e<strong>in</strong>facher die<br />
Ansatzpunkte für ihre zukünftige Arbeit f<strong>in</strong>det.<br />
12
3. Die Erhebungs <strong>in</strong>strumente<br />
Weitere Erhebungs<strong>in</strong>strumente<br />
Die <strong>AQS</strong> setzt weitere Erhebungs<strong>in</strong>strumente <strong>in</strong><br />
der <strong>Evaluation</strong> e<strong>in</strong>. Der Schulrundgang beispielsweise<br />
dient dazu, unter pädagogischen Aspekten<br />
das Raumangebot, die Ausstattung und die Ausgestaltung<br />
der Schule zu erfassen. Zum E<strong>in</strong>satz<br />
kommt e<strong>in</strong> standardisierter Erfassungsbogen.<br />
Weiterh<strong>in</strong> werden zu Beg<strong>in</strong>n des <strong>Evaluation</strong>sprozesses<br />
statistische Kennzahlen und für die Schule<br />
kennzeichnende Informationen erhoben. Dabei<br />
s<strong>in</strong>d verschiedene Themenfelder wie Daten der<br />
Schule, ausgewählte Standortfaktoren, personelle<br />
und sächliche Ressourcen, Schülerschaft und<br />
Schulumfeld sowie Abschlüsse und Schullaufbahnen<br />
<strong>in</strong> der Betrachtung.<br />
H<strong>in</strong>zu kommt die Schulträgerbefragung. Hierbei<br />
handelt es sich um e<strong>in</strong>e schriftliche Befragung, bei<br />
der der für die jeweilige Schule zuständige Schulträger<br />
über den aktuellen Stand der Schule <strong>in</strong> e<strong>in</strong>igen<br />
se<strong>in</strong>er Zuständigkeitsbereiche befragt wird.<br />
Der Schulträger kann <strong>in</strong>sbesondere über die erwartete<br />
regionale Entwicklung der Schülerzahlen, die<br />
Planungen für den Schulstandort an sich und den<br />
baulichen Zustand der entsprechenden Schule<br />
Auskunft erteilen.<br />
Die Auswertung der Daten<br />
Über die Datenerhebung entstehen unterschiedliche<br />
Datenarten. Diese werden <strong>in</strong> e<strong>in</strong>em elektronischen<br />
Gesamtdatensatz e<strong>in</strong>er Schule zusammengefasst<br />
und für den E<strong>in</strong>zelbericht e<strong>in</strong>er Schule<br />
weiter aufbereitet. Die Auswertungen erfolgen <strong>in</strong><br />
erster L<strong>in</strong>ie mit dem Statistikprogramm SPSS. Es<br />
werden überwiegend Mittelwertberechnungen<br />
durchgeführt. Dazu werden je nach Auswertungs<strong>in</strong>teresse<br />
die Antworten e<strong>in</strong>es Kriteriums oder die<br />
mehrerer Kriterien addiert und anschließend die<br />
Durchschnittswerte (= arithmetisches Mittel) sowie<br />
die dazugehörigen Streuungen (= Standardabweichung)<br />
berechnet. H<strong>in</strong>zu kommen die Berechnung<br />
<strong>von</strong> Häufigkeitsverteilungen und anderen<br />
statistischen Werten.<br />
13
4. Das <strong>Evaluation</strong>s verfahren<br />
4. Das <strong>Evaluation</strong>sverfahren<br />
Die externe <strong>Evaluation</strong> e<strong>in</strong>er Schule gliedert sich <strong>in</strong><br />
verschiedene Schritte und erstreckt sich über mehrere<br />
Wochen. Die <strong>AQS</strong> betrachtet die Schule als<br />
System und bezieht alle Mitglieder der Schulgeme<strong>in</strong>schaft<br />
e<strong>in</strong>. Wertschätzung und Sensibilität im<br />
Umgang mit den schulischen Akteuren s<strong>in</strong>d Gel<strong>in</strong>gensbed<strong>in</strong>gungen<br />
e<strong>in</strong>er <strong>Evaluation</strong>.<br />
Das <strong>Evaluation</strong>steam<br />
Die <strong>Evaluation</strong>steams variieren je nach Größe der<br />
Schule. Die Teams setzen sich zusammen aus der<br />
Teamleitung und speziell für die Aufgabe qualifizierten<br />
Schulleiter<strong>in</strong>nen, Schulleitern oder Lehrkräften<br />
(Koreferent<strong>in</strong>nen und Koreferenten). Die<br />
Verantwortung für die fachgerechte Durchführung<br />
des <strong>Evaluation</strong>sverfahrens <strong>in</strong> der Schule liegt<br />
<strong>in</strong> den Händen der hierfür zuständigen Teamleitung.<br />
Dabei handelt es sich um hauptamtliche<br />
Referent<strong>in</strong>nen und Referenten der <strong>AQS</strong> sowie um<br />
ausgewählte externe Evaluator<strong>in</strong>nen und Evaluatoren,<br />
die zuvor e<strong>in</strong> entsprechendes Schulungsprogramm<br />
bei der <strong>AQS</strong> durchlaufen haben. Bei<br />
der Zusammensetzung des <strong>Evaluation</strong>steams wird<br />
darauf geachtet, dass m<strong>in</strong>destens e<strong>in</strong> Teammitglied<br />
über fundierte Kenntnisse der jeweiligen<br />
Schulart verfügt.<br />
Ablauf der externen <strong>Evaluation</strong><br />
Kontaktaufnahme<br />
• Information der<br />
Schulgeme<strong>in</strong>schaft<br />
Schuldaten<br />
• Onl<strong>in</strong>ebefragung<br />
der Schulleitung<br />
• E<strong>in</strong>gabe der Schuldaten<br />
Befragung<br />
• Schüler<strong>in</strong>nen<br />
und Schüler<br />
• Lehrkräfte<br />
• Eltern<br />
• Duale Partner<br />
14
4. Das <strong>Evaluation</strong>s verfahren<br />
Information und Kontaktaufnahme<br />
Die Schule wird frühzeitig und schriftlich über die<br />
bevorstehende <strong>Evaluation</strong> <strong>in</strong>formiert. Die zuständige<br />
<strong>AQS</strong>-Teamleitung nimmt Kontakt zur Schulleitung<br />
auf und klärt den geplanten Ablauf der<br />
evaluation sowie die Modalitäten des <strong>Evaluation</strong>sbesuchs.<br />
Zudem erläutert sie die Aufgaben, die die<br />
Schule im Vorfeld des <strong>Evaluation</strong>sbesuchs zu erfüllen<br />
hat. Dazu zählen unter anderem Informationen<br />
über die schulischen Rahmenbed<strong>in</strong>gungen und die<br />
Bereitstellung wichtiger schulischer Dokumente<br />
für die <strong>Evaluation</strong>. Ebenso werden die organisatorischen<br />
und technischen Vorkehrungen zur Durchführung<br />
der Onl<strong>in</strong>e-Befragungen thematisiert. Zur<br />
Vorbereitung erhält die Schule unterstützende Informationsmaterialien<br />
und Handreichungen. Im<br />
Anschluss an die Kontaktaufnahme f<strong>in</strong>den alle Fragebogenerhebungen<br />
statt.<br />
<strong>Evaluation</strong>sbesuch<br />
Abhängig <strong>von</strong> der Größe der Schule erstreckt sich<br />
der <strong>Evaluation</strong>sbesuch über e<strong>in</strong>en oder mehrere<br />
Tage. Er umfasst 20-m<strong>in</strong>ütige E<strong>in</strong>blicknahmen <strong>in</strong><br />
die Lehr- und Lernsituationen sowie leitfadengestützte<br />
Gespräche mit der Schulleitung, den Lehrkräften,<br />
der Elternvertretung und an weiterführenden<br />
Schulen auch mit der Schülervertretung sowie<br />
mit dem Örtlichen Personalrat, den Gleichstellungsbeauftragten<br />
und den örtlichen Vertrauenspersonen.<br />
Weiterh<strong>in</strong> f<strong>in</strong>det e<strong>in</strong> Schulrundgang<br />
statt.<br />
<strong>Evaluation</strong>sformate<br />
In Abhängigkeit <strong>von</strong> Schulgröße und Schulart gibt<br />
es unterschiedliche <strong>Evaluation</strong>sformate, die sich<br />
z.B. h<strong>in</strong>sichtlich der Anzahl der <strong>Evaluation</strong>stage,<br />
der Teamgröße sowie den Erhebungsmethoden<br />
und Auswertungsverfahren <strong>von</strong>e<strong>in</strong>ander unterscheiden.<br />
<strong>Evaluation</strong>sbesuch Rückmeldung Zielvere<strong>in</strong>barung<br />
Schulrundgang<br />
E<strong>in</strong>blicknahme <strong>in</strong> Lehr- und<br />
Lernsituationen<br />
Gespräche mit:<br />
• Schülervertretung<br />
• Schulelternbeirat<br />
• Lehrkräften<br />
• Schulleitung<br />
• Übergabe des Berichts<br />
• Vorstellung der<br />
Ergebnisse<br />
• Übergabe an<br />
Schulaufsicht<br />
Schule und Schulaufsicht<br />
(Abt. 3) erarbeiten verb<strong>in</strong>dliche<br />
Zielvere<strong>in</strong>barungen auf<br />
der Basis der <strong>Evaluation</strong>sergebnisse.<br />
15
5. Rückmeldung der <strong>Evaluation</strong>sergebnisse an die Schule<br />
5. Rückmeldung der<br />
<strong>Evaluation</strong>sergebnisse an<br />
die Schule<br />
Der <strong>AQS</strong>-<strong>Evaluation</strong>sbericht<br />
Der <strong>AQS</strong>-<strong>Evaluation</strong>sbericht ist Grundlage <strong>von</strong><br />
zielgerichteten Innovationsprozessen und Qualitätsentwicklung<br />
<strong>in</strong> rhe<strong>in</strong>land-pfälzischen Schulen.<br />
Aufgrund se<strong>in</strong>es breiten <strong>in</strong>haltlichen Spektrums<br />
kann der Bericht als Grundlage für sehr unterschiedliche<br />
Schulentwicklungsschritte genutzt<br />
werden. Für den Abschluss <strong>von</strong> Zielvere<strong>in</strong>barungen<br />
ist der <strong>Evaluation</strong>sbericht verpflichtende Grundlage<br />
(Schulgesetz § 97a).<br />
Die <strong>AQS</strong> achtet bei der Erstellung der <strong>Evaluation</strong>sberichte<br />
<strong>in</strong> besonderer Weise auf Verständlichkeit<br />
und Transparenz. So gehört es zum Bericht, dass<br />
die verwendeten Methoden, die Datengrundlage<br />
und die Aussagekraft der Daten transparent dargelegt<br />
werden. Um e<strong>in</strong>en schnellen E<strong>in</strong>stieg <strong>in</strong> die Ergebnisse<br />
zu ermöglichen, f<strong>in</strong>det sich im <strong>AQS</strong>-<br />
<strong>Evaluation</strong>s bericht e<strong>in</strong>e knappe und übersichtliche<br />
Darstellung der zentralen <strong>Evaluation</strong>sergebnisse.<br />
Die ORS-Elemente Rahmenbed<strong>in</strong>gungen, schulische<br />
und unterrichtliche Prozesse sowie die Ergebnisse<br />
und Wirkungen der Schule bilden zugleich<br />
auch die Berichtsgliederung. Der weitaus größte<br />
Teil des Berichts behandelt die Unterrichtsqualität.<br />
Kriterien zur Schul- und<br />
Unterrichtsqualität<br />
Die <strong>AQS</strong> evaluiert im Rahmen ihres Auftrags die<br />
rhe<strong>in</strong>land-pfälzischen Schulen im H<strong>in</strong>blick auf<br />
zahlreiche Kriterien und gewährleistet somit die<br />
Transparenz des Verfahrens, die Nachvollziehbarkeit<br />
der Ergebnisse und bietet den Schulen durch<br />
die Ausrichtung am ORS verb<strong>in</strong>dliche und kont<strong>in</strong>uierliche<br />
Anhaltspunkte für die Qualitätsentwicklung.<br />
Die Kriterien s<strong>in</strong>d eng an die Erkenntnisse der<br />
Schul- und Unterrichtsforschung angelehnt. Die<br />
Kriterien zur Unterrichtsqualität orientieren sich<br />
beispielsweise an den Befunden der Unterrichtsforschung,<br />
<strong>in</strong>sbesondere an den Merkmalen für guten<br />
Unterricht (Helmke 2009). Diese Kriterien ermöglichen<br />
es der <strong>AQS</strong>, an jede Schule die gleichen<br />
Maßstäbe anzulegen und somit faire Ergebnisrückmeldungen<br />
auf e<strong>in</strong>er empirisch gestützten Basis zu<br />
liefern. Die <strong>Evaluation</strong>sdaten zeigen Entwicklungsfelder<br />
und Stärken aus Sicht der externen <strong>Evaluation</strong><br />
im H<strong>in</strong>blick auf diese Kriterien auf.<br />
Stärken und Entwicklungsfelder<br />
<strong>Evaluation</strong> ist stets mit Bewertung verbunden und<br />
gibt Stärken und Entwicklungsfelder des untersuchten<br />
<strong>Evaluation</strong>sbereichs wieder. Die Bewertung<br />
ist kriterial, d. h. sie ist an den Kriterien des<br />
ORS und den mit diesen benannten Qualitätsvorstellungen<br />
für Schulen <strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong> ausgerichtet.<br />
Die Schulen erhalten <strong>von</strong> der <strong>AQS</strong> auf der<br />
Grundlage der erhobenen Daten differenzierte<br />
Rückmeldungen zu ihrem Entwicklungsstand, der<br />
<strong>in</strong> vier Stufen <strong>von</strong> Stärken und Entwicklungsfeldern<br />
abgebildet wird. In der rechts abgebildeten<br />
Tabelle s<strong>in</strong>d diese Ausprägungen benannt und beschrieben.<br />
16
5. Rückmeldung der <strong>Evaluation</strong>sergebnisse an die Schule<br />
Ergebnisrückmeldung<br />
Die erhobenen Daten aus den Befragungen, Gesprächen<br />
und den Beobachtungen werden nach sozialwissenschaftlichen<br />
Kriterien ausgewertet und <strong>in</strong><br />
e<strong>in</strong>em Ergebnisbericht zusammengefasst. Dieser<br />
wird Schule, Schulaufsicht (Abt. 3), M<strong>in</strong>isterium<br />
und dem Bezirkspersonalrat zur Kenntnis gebracht.<br />
Aber weder ist der Prozess <strong>von</strong> den „Daten zu den<br />
Taten“ e<strong>in</strong> Selbstläufer, noch erzeugt e<strong>in</strong> Angebot<br />
automatisch Nutzung und Wirkung. Deswegen<br />
stellt die <strong>AQS</strong> die <strong>Evaluation</strong>sergebnisse den Schulen<br />
nicht nur schriftlich zur Verfügung, sondern<br />
führt an jeder evaluierten Schule e<strong>in</strong>e eigenständige<br />
Rückmeldeveranstaltung als E<strong>in</strong>stieg <strong>in</strong> die Datennutzung<br />
und die darauf aufbauende Schul- und<br />
Unterrichtsentwicklung durch. Dies erfolgt <strong>in</strong> e<strong>in</strong>er<br />
Gesamtkonferenz (Schulleitung, Lehrkräfte, Elternund<br />
Schülervertretung, Abteilung 3 der Schulaufsicht)<br />
an der Schule. Die <strong>AQS</strong>-Referent<strong>in</strong> bzw. der<br />
<strong>AQS</strong>-Referent stellt zentrale <strong>Evaluation</strong>sergebnisse<br />
vor und zeigt die ausgewiesenen Stärken und<br />
Entwicklungsfelder auf, wie sie für die Schule ermittelt<br />
wurden. E<strong>in</strong>e <strong>in</strong>tensive Beschäftigung mit den<br />
e<strong>in</strong>zelnen Kapiteln des Berichtes seitens der Schulgeme<strong>in</strong>schaft<br />
schließt sich an. Angeführte Stärken<br />
sollen die Schulgeme<strong>in</strong>schaft motivieren, den bisherigen<br />
Weg weiterzugehen. Bei deutlich werdenden<br />
Entwicklungsfeldern gibt der Bericht H<strong>in</strong>weise<br />
zur weiteren Arbeit.<br />
<strong>Evaluation</strong> ist für die <strong>AQS</strong> ke<strong>in</strong> Selbstzweck. Die Ergebnisse<br />
sollen <strong>von</strong> der Schulgeme<strong>in</strong>schaft für die<br />
schulische Qualitätsentwicklung genutzt werden.<br />
Dazu müssen die <strong>Evaluation</strong>sbefunde „anschlussfähig“,<br />
d. h. vor dem „H<strong>in</strong>tergrund der Erfahrungen“<br />
der Beteiligten verständlich se<strong>in</strong>, aber auch gezielte<br />
Impulse für Entwicklungen geben.<br />
Kategorien und Farbcodes der <strong>AQS</strong>-Ergebnisrückmeldung<br />
Kategorie Def<strong>in</strong>ition Farbcodes<br />
H<strong>in</strong>weise auf<br />
ausgeprägte<br />
Stärken<br />
H<strong>in</strong>weise auf<br />
Stärken<br />
H<strong>in</strong>weise auf<br />
Entwicklungs felder<br />
H<strong>in</strong>weise auf<br />
ausgeprägte<br />
Entwicklungsfelder<br />
Von ausgeprägten Stärken wird dann gesprochen, wenn die<br />
herangezogenen Ergebnisse <strong>in</strong>sgesamt deutlich im zutreffenden Bereich<br />
liegen. Ausgeprägte Stärken identifizieren Themenfelder, <strong>in</strong> denen die<br />
Schule bereits e<strong>in</strong>en sehr hohen Standard vorweisen kann. Diese<br />
ausgeprägten Stärken gilt es <strong>von</strong> der Schule weiterh<strong>in</strong> zu sichern.<br />
Von Stärken wird dann gesprochen, wenn die Ergebnisse bereits auf e<strong>in</strong><br />
hohes Qualitätsniveau schließen lassen, jedoch im Rahmen der externen<br />
<strong>Evaluation</strong> noch Entwicklungsspielraum besteht.<br />
Von Entwicklungsfeldern wird dann gesprochen, wenn die<br />
herangezogenen Ergebnisse <strong>in</strong>sgesamt zwar eher im zutreffenden<br />
Bereich liegen, aber noch e<strong>in</strong>e Weiterentwicklung möglich ist.<br />
Von ausgeprägten Entwicklungsfeldern wird dann gesprochen, wenn die<br />
herangezogenen Ergebnisse <strong>in</strong>sgesamt im eher nicht zutreffenden<br />
Bereich liegen. Aus Sicht der externen <strong>Evaluation</strong> entsprechen die <strong>von</strong><br />
der Schule bisher <strong>in</strong> diesen Bereichen unternommenen Schritte nicht oder<br />
nicht <strong>in</strong> ausreichendem Umfang den Qualitätsanforderungen, die im<br />
Orientierungsrahmen Schulqualität (ORS) beschrieben s<strong>in</strong>d.<br />
17
6. Was kommt nach der <strong>Evaluation</strong><br />
6. Was kommt nach der<br />
<strong>Evaluation</strong><br />
Die sich an die <strong>Evaluation</strong> anschließenden Reflexionsprozesse,<br />
die zielgerichtete und begründete Ableitung<br />
und Umsetzung <strong>von</strong> Maßnahmen liegen im<br />
Verantwortungsbereich der Schulen und der Schulaufsicht<br />
sowie der übrigen Prozessbeteiligten. E<strong>in</strong><br />
strukturierter Datennutzungsprozess ist notwendig,<br />
um konkrete Schritte <strong>in</strong> der Schulentwicklung<br />
e<strong>in</strong>leiten und die schulische Qualität voranbr<strong>in</strong>gen<br />
zu können.<br />
Rezeptionsmodell zur Analyse und Nutzung <strong>von</strong> Daten der externen <strong>Evaluation</strong> an Schulen <strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong><br />
Überblick I:<br />
Qualitätsprofil<br />
Ergebnisse der externen<br />
<strong>Evaluation</strong> auf Ebene der<br />
Dimensionen des ORS<br />
Überblick II:<br />
Zentrale <strong>Evaluation</strong>sergebnisse (ZEVA)<br />
Ergebnisse der externen<br />
<strong>Evaluation</strong> auf Ebene der<br />
Kriterien des ORS<br />
Dimensionsübergeifende Mittelwerte<br />
Grundschule<br />
alle Schularten<br />
Unterrichtsqualität<br />
Externe Kooperation<br />
Interne Kooperation<br />
Fortbildung und Beratung<br />
Elternpartizipation<br />
Qualitätsmanagement<br />
Kompetenzorientierung<br />
Individuelle Förderung<br />
Klassenmanagement<br />
Lernförderliches Unterrichtsklima<br />
Motivierung<br />
Klarheit und Strukturierung<br />
Wirkungs- und Kompetenzorientierung<br />
Schülerorientierung, Unterstützung<br />
Aktivierung<br />
1,00 1,50 2,00 2,50 3,00 3,50 4,00<br />
Klarheit und Strukturierung<br />
■<br />
■<br />
■<br />
Berücksichtigung des Vorwissens der<br />
Schüler<strong>in</strong>nen und Schüler<br />
Unterstützung des Lernens durch<br />
strukturierende H<strong>in</strong>weise<br />
Sicherung <strong>von</strong> Verständlichkeit<br />
und sprachlicher Klarheit<br />
Rezeption<br />
Ergebnisse erfassen<br />
Überblick gew<strong>in</strong>nen<br />
18
6. Was kommt nach der <strong>Evaluation</strong><br />
Datennutzungsmodell für die Schulen<br />
Daten alle<strong>in</strong>e bewirken noch ke<strong>in</strong>e schulische Entwicklung.<br />
Erst <strong>in</strong> der aktiven Ause<strong>in</strong>andersetzung<br />
und Arbeit der Schule mit dem <strong>Evaluation</strong>sbericht<br />
können Entwicklungsprozesse <strong>in</strong>itiiert werden und<br />
sich Wirkungen entfalten: Schul- und Unterrichtsentwicklung<br />
f<strong>in</strong>den immer <strong>in</strong> den Schulen statt.<br />
Um die Schulen auf dem Weg <strong>von</strong> den Daten zu<br />
den Taten zu unterstützen, hat die <strong>AQS</strong> neben verschiedenen<br />
Materialien (z. B. Praxishefte mit zahlreichen<br />
Lesehilfen, Glossare, Musterberichte) das<br />
RADAR-Modell entwickelt. Es steht für Rezeptionsmodell<br />
zur Analyse und Nutzung <strong>von</strong> Daten der<br />
externen <strong>Evaluation</strong> an Schulen <strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong><br />
und orientiert sich an den Arbeiten der Forschungsgruppe<br />
um Professor Andreas Helmke an der Universität<br />
Koblenz-Landau zur Nutzung <strong>von</strong> <strong>Evaluation</strong>sdaten.<br />
Das RADAR-Modell gibt den Schulen<br />
e<strong>in</strong>e nachvollziehbare und strukturierte Abfolge<br />
<strong>von</strong> Schritten der konkreten Nutzung und Verwendung<br />
<strong>von</strong> Ergebnisse der externen <strong>Evaluation</strong> an<br />
die Hand.<br />
(RADAR)<br />
Vertiefung I:<br />
Detail- und Differenzierungsdaten<br />
E<strong>in</strong>schätzung der unterschiedlichen<br />
Akteure auf Ebene <strong>von</strong> Mittelwerten<br />
im Perspektivenvergleich<br />
Vertiefung II:<br />
Detail- und Differenzierungsdaten<br />
E<strong>in</strong>schätzung der unterschiedlichen<br />
Akteure auf Ebene des E<strong>in</strong>zelitems<br />
Unterstützung des Lernens durch strukturierende H<strong>in</strong>weise<br />
Unterstützung des Lernens durch strukturierende H<strong>in</strong>weise<br />
LK: Unterstützung des Lernens<br />
durch Strukturierende H<strong>in</strong>weise<br />
S: Unterstützung des Lernens<br />
durch Strukturierende H<strong>in</strong>weise<br />
ELL: Unterstützung des Lernens<br />
durch Strukturierende H<strong>in</strong>weise<br />
1,0 1,5 2,0 2,5 3,0 3,5 4,0<br />
1 = „trifft nicht zu“ 4 = „trifft zu“<br />
trifft trifft eher<br />
nicht zu nicht zu<br />
trifft<br />
eher zu trifft zu Gesamt<br />
LK: Ich verdeutliche den Schüler<strong>in</strong>nen<br />
und Schülern, was sie <strong>in</strong> der jeweiligen - - 36% 64% 11<br />
Unterrichtse<strong>in</strong>heit lernen sollen.<br />
LK: In me<strong>in</strong>en Unterrichtsstunden<br />
gebe ich immer wieder H<strong>in</strong>weise zu - - 20% 80% 10<br />
besonders wichtigen Punkten.<br />
LK: Am Ende e<strong>in</strong>er Unterrichtsstunde<br />
fasse ich die wichtigsten Ergebnisse<br />
- - 64% 36% 11<br />
zusammen.<br />
S: Ich weiß im Unterricht, was ich<br />
lernen soll.<br />
- - 20% 80% 60<br />
ELL: Die Schwerpunkte des Lernens<br />
werden ausdrücklich thematisiert.<br />
31% 8% 31% 31% 13<br />
ELL: Der Lernstoff wird strukturiert. 8% 17% 50% 25% 12<br />
Nutzung für die Qualitätsentwicklung<br />
Konkrete Maßnahmen für die Schul- und<br />
Unterrichtsentwicklung ableiten<br />
Reflexion<br />
Aktion<br />
Ergebnisse vergleichen<br />
Widersprüche aufklären<br />
Perspektivenvergleiche durchführen<br />
Mit eigenen Erfahrungen abgleichen<br />
Befunde deuten<br />
Interpretationen anstellen<br />
Ziele vere<strong>in</strong>baren<br />
Maßnahmen umsetzen<br />
Interne <strong>Evaluation</strong> durchführen<br />
19
6. Was kommt nach der <strong>Evaluation</strong><br />
Rezeption<br />
In der Phase der Rezeption erfolgt e<strong>in</strong>e erste <strong>in</strong>haltliche<br />
Ause<strong>in</strong>andersetzung mit dem <strong>Evaluation</strong>sbericht.<br />
Ziel ist es, e<strong>in</strong>en Überblick über die Ergebnisse<br />
zu gew<strong>in</strong>nen und zu erkennen, <strong>in</strong> welchen<br />
Bereichen der schulischen Prozesse und der Unterrichtsqualität<br />
die Stärken und Entwicklungsfelder<br />
der eigenen Schule liegen. Im <strong>AQS</strong>-Bericht wird<br />
dieser Schritt durch knappe und übersichtliche<br />
zusammenfassungen unterstützt. Farb- und Zeichencodes<br />
symbolisieren dabei die Befunde und<br />
erleichtern die Orientierung h<strong>in</strong>sichtlich der <strong>Evaluation</strong>sdaten.<br />
Reflexion<br />
Nachdem e<strong>in</strong>e erste Orientierung im H<strong>in</strong>blick auf<br />
die <strong>Evaluation</strong>sbefunde erfolgt ist, beg<strong>in</strong>nt die vertiefende<br />
Reflexion. Ziel ist es, die dr<strong>in</strong>glichen<br />
Handlungsfelder für die Schule zu identifizieren.<br />
Dazu können die Ergebnisse <strong>in</strong> der Schulgeme<strong>in</strong>schaft<br />
mit den eigenen Erfahrungen abgeglichen<br />
werden. Es werden Interpretationen getroffen und<br />
Widersprüche sowie Klärungsbedarfe benannt. Besonders<br />
dann, wenn die Schule e<strong>in</strong>en oder mehrere<br />
schulische Inhaltsbereiche ausgewählt hat, die für<br />
e<strong>in</strong>e Zielvere<strong>in</strong>barung oder andere Schulentwicklungsschritte<br />
<strong>in</strong> Betracht kommen, ist die <strong>in</strong>tensive<br />
Ause<strong>in</strong>andersetzung mit den Detail- und Differenzierungsdaten<br />
s<strong>in</strong>nvoll. Sie enthalten z. B. die Sichten<br />
der verschiedenen Befragtengruppen (Perspektivenvergleiche)<br />
oder auch die Ergebnisse für alle<br />
E<strong>in</strong>zelitems (relative Häufigkeiten mit der Angabe<br />
der Stichprobengröße je Item/Aussage) sowie die<br />
Ergebnisse der E<strong>in</strong>blicknahmen <strong>in</strong> Lehr- und Lernsituationen.<br />
Auf dieser Ebene erhält die Schule also<br />
sehr konkrete H<strong>in</strong>weise für die Schul- und Unterrichtsentwicklung.<br />
Aktion und (<strong>in</strong>terne) <strong>Evaluation</strong><br />
Die schulischen Reflexionsprozesse münden <strong>in</strong> die<br />
Phase der Aktion. Dies me<strong>in</strong>t die Entwicklung und<br />
Realisierung konkreter Maßnahmen auf der Grundlage<br />
<strong>von</strong> Daten und geprüften Informationen. Neben<br />
den Zielvere<strong>in</strong>barungen s<strong>in</strong>d weitere Projekte<br />
und Maßnahmen der Schulen denkbar. Über <strong>in</strong>terne<br />
<strong>Evaluation</strong> vergewissert sich die Schule über den<br />
Fortgang und den Erfolg der Maßnahmen. Die <strong>AQS</strong><br />
stellt den Schulen ab 2012 verstärkt Unterstützungsangebote<br />
im Bereich der <strong>in</strong>ternen <strong>Evaluation</strong><br />
zur Verfügung.<br />
Formblatt Zielvere<strong>in</strong>barung<br />
Schulname<br />
Bitte pro Zielvere<strong>in</strong>barung e<strong>in</strong> Formblatt verwenden!<br />
Ziel SMART<br />
Zielvere<strong>in</strong>barung<br />
Handlungsplanung<br />
spezifisch-konkret<br />
messbar<br />
aktiv bee<strong>in</strong>flussbar<br />
realisierbar<br />
term<strong>in</strong>iert<br />
Maßnahmen<br />
20
6. Was kommt nach der <strong>Evaluation</strong><br />
Von den <strong>Evaluation</strong>sergebnissen zu den<br />
Zielvere<strong>in</strong>barungen<br />
Die gew<strong>in</strong>nbr<strong>in</strong>gende Ause<strong>in</strong>andersetzung der<br />
Schulgeme<strong>in</strong>schaft ist die Grundlage des gesetzlich<br />
vorgeschriebenen Zielvere<strong>in</strong>barungsprozesses,<br />
für den die Schule verantwortlich ist und der <strong>von</strong><br />
der Schulaufsicht (Abt. 3) begleitet und unterstützt<br />
wird. Je nach Größe der Schule kann e<strong>in</strong>e<br />
Steuergruppe oder aber auch die Gesamtkonferenz<br />
die Prozesssteuerung übernehmen. Das Pädagogische<br />
Landes<strong>in</strong>stitut und die pädagogischen Servicee<strong>in</strong>richtungen<br />
bieten <strong>in</strong> dieser Phase auf Nachfrage<br />
passgenaue Unterstützungsleistungen an.<br />
Der Zielvere<strong>in</strong>barungsprozess mündet <strong>in</strong> schriftlich<br />
fixierte Zielvere<strong>in</strong>barungen, die zwischen Schule<br />
und Schulaufsicht geschlossen werden und die <strong>in</strong><br />
e<strong>in</strong>er Gesamtkonferenz verabschiedet werden.<br />
Diese Zielvere<strong>in</strong>barungen setzen vorrangige pädagogische<br />
Schwerpunkte der Schule für die nächste<br />
Zeit fest, führen eventuell bereits bestehende Vere<strong>in</strong>barungen<br />
aus dem Qualitätsprogramm fort und<br />
bilden somit die Grundlage für die qualitative Weiterentwicklung<br />
der Schule. Die Zielvere<strong>in</strong>barungen<br />
orientieren sich an der „SMART-Formel“:<br />
S<br />
Spezifisch: Das Ziel ist konkret und es<br />
macht deutlich, was sich wo verändern soll.<br />
M Messbar: Es ist anhand <strong>von</strong> Indikatoren<br />
überprüfbar, ob das Ziel erreicht wurde.<br />
A<br />
R<br />
T<br />
Aktiv bee<strong>in</strong>flussbar / Akzeptiert: Das Ziel ist<br />
auf die Beteiligten zugeschnitten.<br />
Realistisch: Das Ziel ist erreichbar.<br />
Term<strong>in</strong>iert: Das Ziel wird <strong>in</strong> e<strong>in</strong>em festgelegten<br />
Zeitraum erreicht.<br />
Indikatoren<br />
Interne <strong>Evaluation</strong><br />
Messverfahren<br />
Abschluss bis<br />
(Zeitraum der Arbeit an der<br />
Maßnahme)<br />
21
7. Externe Unterstützer und Unterstützer<strong>in</strong>nen<br />
7. Externe Unterstützer<br />
und Unterstützer<strong>in</strong>nen<br />
Um die Schulevaluationen <strong>in</strong> angemessener Zeit<br />
und mit der gebotenen Qualität durchzuführen, ist<br />
die <strong>AQS</strong> auf die Mitwirkung <strong>von</strong> qualifizierten externen<br />
Unterstützer<strong>in</strong>nen und Unterstützern angewiesen.<br />
Sie rekrutieren sich aus Schulleiter<strong>in</strong>nen<br />
und Schulleitern, Funktionsstellen<strong>in</strong>haber<strong>in</strong>nen<br />
und -<strong>in</strong>habern sowie qualifizierten Lehrkräften.<br />
Nach e<strong>in</strong>er besonderen Qualifizierung verstärken<br />
diese die <strong>Evaluation</strong>steams bei den Schulbesuchen<br />
oder übernehmen eigenständig die Durchführung<br />
<strong>von</strong> <strong>Evaluation</strong>en.<br />
Ausbildung und E<strong>in</strong>satz <strong>von</strong> externen<br />
Unterstützer<strong>in</strong>nen und Unterstützern<br />
Die Qualifizierung der externen Unterstützer<strong>in</strong>nen<br />
und Unterstützer (z. B. Koreferent<strong>in</strong>nen und Koreferenten)<br />
besteht aus mehreren Bauste<strong>in</strong>en, die <strong>in</strong><br />
Kooperation mit dem Pädagogischen Landes<strong>in</strong>stitut<br />
durchgeführt wird. Zu Beg<strong>in</strong>n der Ausbildung<br />
steht e<strong>in</strong> mehrtägiges Sem<strong>in</strong>ar. Im Rahmen dieser<br />
Fortbildungsveranstaltung lernen die Teilnehmer<strong>in</strong>nen<br />
und Teilnehmer die Grundlagen, Methoden<br />
und Verfahren der externen <strong>Evaluation</strong> <strong>in</strong><br />
22
7. Externe Unterstützer und Unterstützer<strong>in</strong>nen<br />
Rhe<strong>in</strong>land-<strong>Pfalz</strong> kennen. Sie tra<strong>in</strong>ieren den E<strong>in</strong>satz<br />
der Erhebungs<strong>in</strong>strumente. anschließend hospitieren<br />
sie bei zwei <strong>Evaluation</strong>sbesuchen.<br />
Der E<strong>in</strong>satz der externen Unterstützer<strong>in</strong>nen und<br />
Unterstützer erfolgt <strong>in</strong> der Regel an den Schulbesuchstagen.<br />
Sie führen E<strong>in</strong>blicknahmen <strong>in</strong> Lehrund<br />
Lernsituationen durch und s<strong>in</strong>d an Gesprächen<br />
mit Vertreter<strong>in</strong>nen und Vertretern der schulischen<br />
Gremien e<strong>in</strong>gebunden. Bei der E<strong>in</strong>satzplanung<br />
werden Schulartbezug, regionale Nähe und besondere<br />
Ausschlusskriterien (z. B. ke<strong>in</strong> E<strong>in</strong>satz an der<br />
Nachbarschule) berücksichtigt.<br />
Nach umfangreichen praktischen Erfahrungen <strong>in</strong><br />
den <strong>AQS</strong>-<strong>Evaluation</strong>steams können die externen<br />
Unterstützer<strong>in</strong>nen und Unterstützer e<strong>in</strong>e modularisierte<br />
Schulung zur externen Teamleitung durchlaufen.<br />
Neben den theore tischen Grundlagen erwerben<br />
sie dort vertiefte praktische Erfahrungen<br />
im H<strong>in</strong>blick auf die Planung und die Umsetzung<br />
<strong>von</strong> Schulevaluationen. Anschließend übernehmen<br />
die Personen zunehmend selbstverantwortlich<br />
Anteile der <strong>Evaluation</strong>.<br />
Multiplikatoren der schulischen<br />
Qualitätsarbeit<br />
Für alle externen Unterstützer<strong>in</strong>nen und Unterstützer<br />
bietet die <strong>AQS</strong> regelmäßige Dienstbesprechungen,<br />
Workshops und Sem<strong>in</strong>are an. Diese dienen<br />
der Information über Weiterentwicklungen bei<br />
den <strong>Evaluation</strong>sverfahren und -<strong>in</strong>strumenten sowie<br />
dem gegenseitigen Erfahrungsaustausch. Ergänzt<br />
wird das Konzept durch e<strong>in</strong> begleitendes<br />
Schulungs- und Informationsangebot.<br />
Durch ihre enge Anb<strong>in</strong>dung an die <strong>AQS</strong> erhalten die<br />
externen Unterstützer<strong>in</strong>nen und Unterstützer<br />
fachliche Impulse zu aktuellen Bildungsfragen und<br />
Schulforschungsergebnissen. Sie s<strong>in</strong>d somit nicht<br />
nur e<strong>in</strong>e wichtige Säule bei der fundierten Umsetzung<br />
der <strong>Evaluation</strong>sverfahren. Gleichzeitig eröffnet<br />
sich ihnen durch den Rollen- und Perspektivenwechsel<br />
e<strong>in</strong> großes Spektrum an fachlichen und<br />
persönlichen Bereicherungen, das auch zur Optimierung<br />
der Unterrichtsentwicklung an der eigenen<br />
Schule beitragen kann. Der Blick „über den<br />
Zaun“ <strong>in</strong> andere Schulen und andere Schularten<br />
erweitert den eigenen Horizont und sensibilisiert<br />
sie für das, was e<strong>in</strong>e gute Schule ausmacht.<br />
23
8. Planung, Logistik und Controll<strong>in</strong>g<br />
8. Planung, Logistik und<br />
Controll<strong>in</strong>g<br />
Die <strong>Evaluation</strong> der Schulen erfordert e<strong>in</strong>e professionelle<br />
Planung, Organisation und Prozessüberwachung.<br />
Neben e<strong>in</strong>em gut organisierten Logistik-<br />
Team steuert e<strong>in</strong> IT-gestütztes System den<br />
<strong>Evaluation</strong>sprozess und sorgt dafür, dass die Daten<br />
strukturiert und sicher verarbeitet werden. Gleichzeitig<br />
gilt es, die Prozessbeteiligten web-basiert zu<br />
vernetzen und Kommunikation und Datentransfer<br />
zu gewährleisten.<br />
Elektronisches Besuchsmanagement<br />
Die <strong>Evaluation</strong>splanung erfolgt jeweils für e<strong>in</strong><br />
Schulhalbjahr. Mit Hilfe e<strong>in</strong>es eigens für die <strong>AQS</strong><br />
entwickelten elektronischen Besuchsmanagements<br />
(eBM) werden die ausgewählten Schulen<br />
automatisiert bestimmten Teamleitungen und Term<strong>in</strong>en<br />
zugeordnet. Das System berücksichtigt dabei<br />
den Schulart- bzw. Regionalbezug (Wohnort)<br />
der jeweiligen Teamleitung. So entsteht e<strong>in</strong> <strong>in</strong>dividuelles<br />
Besuchsprogramm für jede Teamleitung.<br />
Die <strong>Evaluation</strong> e<strong>in</strong>er Schule untergliedert sich <strong>in</strong><br />
e<strong>in</strong>e Vielzahl e<strong>in</strong>zelner Prozessschritte, Aufgaben<br />
und der Term<strong>in</strong>e, die <strong>von</strong> unterschiedlichen, am<br />
<strong>Evaluation</strong>sprozess beteiligten Personen wahrgenommen<br />
werden, z. B. der Teamleitung, den Mitarbeiter<strong>in</strong>nen<br />
und Mitarbeitern der <strong>Evaluation</strong>ssachbearbeitung,<br />
dem Logistik-Team oder dem<br />
Wissenschaftsteam.<br />
Prozessbegleitung und Controll<strong>in</strong>g<br />
Den Teamleitungen stehen Sachbearbeiter<strong>in</strong>nen<br />
und Sachbearbeiter zur Seite. Sie begleiten den<br />
<strong>Evaluation</strong>sprozess vom Erst anschreiben e<strong>in</strong>er<br />
Schule bis zur Veraktung des Ergebnisberichts. Jeder<br />
<strong>Evaluation</strong>sprozess wird als Liste im sogenannten<br />
Workflow des eBM dargestellt. Alle an e<strong>in</strong>er<br />
Auszug aus dem eBM<br />
24
8. Planung, Logistik und Controll<strong>in</strong>g<br />
<strong>Evaluation</strong> beteiligten Personen haben Zugriff auf<br />
diesen Workflow. So erhalten sie jederzeit e<strong>in</strong>en<br />
aktuellen Überblick über den Stand des <strong>Evaluation</strong>sprozesses.<br />
Mithilfe des eBM s<strong>in</strong>d tagesaktuelle<br />
Prozessstatistiken möglich, die z. B. als Grundlage<br />
für das Controll<strong>in</strong>g dienen.<br />
Organisation der Befragung und<br />
digitale Datenerfassung<br />
E<strong>in</strong> kle<strong>in</strong>es Logistik-Team sorgt für Druck und Versand<br />
der Materialien, die für das <strong>Evaluation</strong>sverfahren<br />
erforderlich s<strong>in</strong>d. Für die Durchführung der<br />
schriftlichen Befragung der Eltern druckt das Logistik-Team<br />
die erforderliche Anzahl an Fragebögen.<br />
Für Schüler<strong>in</strong>nen und Schüler, die Lehrkräfte,<br />
Schulleitung und die dualen Partner s<strong>in</strong>d Onl<strong>in</strong>ebefragungen<br />
über das <strong>AQS</strong>-Portal vorgesehen. Hierfür<br />
wird ihnen e<strong>in</strong> Log<strong>in</strong> zur Verfügung gestellt, mit<br />
dem sie zum Fragebogen im <strong>AQS</strong>-Portal gelangen.<br />
Mithilfe e<strong>in</strong>es Hochleistungsscanners, der bis zu<br />
100 Seiten pro M<strong>in</strong>ute verarbeiten kann, werden<br />
alle <strong>von</strong> den Schulen zurückgesandten Fragebögen<br />
e<strong>in</strong>gescannt. Die geschulten Fachkräfte der Logistik<br />
nehmen bei diesem Prozess Plausibilitätsprüfungen<br />
vor und beheben bei Bedarf Fehler nach<br />
e<strong>in</strong>em abgestimmten Verfahren. S<strong>in</strong>d alle Instrumente<br />
erfasst, werden die Daten zur Auswertung <strong>in</strong><br />
die Datenbank exportiert. Sie s<strong>in</strong>d nun bereit für<br />
die Auswertung durch das Wissenschaftsteam.<br />
25
9. Datenschutz – Basis für Vertrauen<br />
9. Datenschutz – Basis für<br />
Vertrauen<br />
Bei der externen <strong>Evaluation</strong> werden viele Daten<br />
aus Befragungen, Gesprächen und anderen Quellen<br />
verarbeitet. Da nach dem rhe<strong>in</strong>land-pfälzischen<br />
Schulgesetz alle öffentlichen Schulen zur Teilnahme<br />
verpflichtet s<strong>in</strong>d, hat der Datenschutz für die<br />
<strong>AQS</strong> hohe Priorität. Alle an der externen <strong>Evaluation</strong><br />
beteiligten Personen s<strong>in</strong>d zur E<strong>in</strong>haltung des<br />
Datenschutzes verpflichtet.<br />
■■<br />
Bei der <strong>Evaluation</strong> werden nur solche Daten erhoben,<br />
die zur Erfüllung des Auftrags erforderlich<br />
s<strong>in</strong>d.<br />
■■<br />
Grundsätzlich erfolgt die Datenerhebung anonym.<br />
Falls bei der Erhebung e<strong>in</strong> Personenbezug<br />
möglich ist, werden alle erforderlichen prozessualen<br />
und technischen Verfahren angewandt,<br />
um die Daten zu anonymisieren.<br />
■■<br />
Alle Prozessbeteiligten werden rechtzeitig und<br />
ausführlich über die Zielsetzung und das Verfahren<br />
der <strong>Evaluation</strong> <strong>in</strong>formiert.<br />
Rechte und Pflichten der<br />
Prozessbeteiligten<br />
■■<br />
Die Schulleitung und die Lehrkräfte s<strong>in</strong>d nach<br />
dem Schulgesetz verpflichtet, an der externen<br />
<strong>Evaluation</strong> mitzuwirken. Dies umfasst die Teilnahme<br />
an der schriftlichen Befragung, den Gesprächen<br />
sowie den E<strong>in</strong>blicknahmen <strong>in</strong> Lehrund<br />
Lernsituationen.<br />
■■<br />
Auch für Schüler<strong>in</strong>nen und Schüler sowie Eltern<br />
und Sorgeberechtigte sieht das Schulgesetz<br />
e<strong>in</strong>e hohe Verb<strong>in</strong>dlichkeit für die Mitwirkung<br />
vor. Bei der schriftlichen Befragung der Schüle-<br />
r<strong>in</strong>nen und Schüler, die für Schüler und Eltern<br />
nicht zw<strong>in</strong>gend ist, können Eltern und Sorgeberechtigte<br />
die Schülerfragebögen vorab <strong>in</strong> der<br />
Schule e<strong>in</strong>sehen. Sollten sie die Teilnahme ihres<br />
K<strong>in</strong>des an der Befragung ablehnen, so müssen<br />
sie dies der Schulleitung rechtzeitig mitteilen.<br />
Falls Eltern die Teilnahme verweigern, darf den<br />
Schüler<strong>in</strong>nen und Schülern daraus ke<strong>in</strong> Nachteil<br />
entstehen. Die Teilnahme an den Gesprächen<br />
ist für den Schulelternbeirat und die Schülervertretung<br />
freiwillig. Verpflichtend ist die<br />
Teilnahme am evaluierten Unterricht.<br />
■■<br />
Alle bei der <strong>AQS</strong> beschäftigten oder <strong>von</strong> ihr beauftragten<br />
Personen, die an Erhebung, Auswertung<br />
und Aufbewahrung <strong>von</strong> Daten beteiligt<br />
s<strong>in</strong>d, werden regelmäßig über die datenschutzrelevanten<br />
Verfahren <strong>in</strong>formiert und haben e<strong>in</strong>e<br />
entsprechende Verpflichtungserklärung zur E<strong>in</strong>haltung<br />
des Datenschutzes unterzeichnet.<br />
■■<br />
Externe Unterstützer<strong>in</strong>nen und Unterstützer<br />
sowie Referent<strong>in</strong>nen und Referenten der Abteilung<br />
3 der ADD werden vor dem E<strong>in</strong>satz <strong>von</strong> der<br />
jeweiligen Teamleitung der <strong>AQS</strong> auf die datenschutzrelevanten<br />
Aspekte der Datenerhebung<br />
<strong>in</strong>formiert. Für sie gilt, dass sie nicht <strong>in</strong> der eigenen<br />
Schule oder <strong>in</strong> unmittelbarer Nachbarschaft<br />
zur eigenen Schule e<strong>in</strong>gesetzt werden,<br />
bzw. <strong>in</strong> ihrem Aufsichtsbezirk evaluieren.<br />
Sicherung der Anonymität<br />
Bereits bei der Erhebung der Daten wird darauf geachtet,<br />
dass e<strong>in</strong> Personenbezug unterbleibt.<br />
Sämtliche Datensätze der schriftlichen Befragung<br />
<strong>von</strong> Lehrkräften, Schüler<strong>in</strong>nen und Schülern und<br />
26
9. Datenschutz – Basis für Vertrauen<br />
Eltern werden dabei so anonymisiert, dass e<strong>in</strong><br />
Rückbezug auf Personen nicht mehr möglich ist.<br />
Bevor das Wissenschaftlerteam die Daten zur Auswertung<br />
erhält, wird die Schulnummer des Datensatzes<br />
durch e<strong>in</strong>en neutralen Code (Hashcode) ersetzt.<br />
Als ausgewertete, kumulierte Ergebnisse, die<br />
ke<strong>in</strong>en Rückschluss auf bestimmte Personen zulassen,<br />
werden die Befunde anschließend wieder der<br />
jeweiligen Schule zugeordnet und f<strong>in</strong>den <strong>in</strong> Form<br />
<strong>von</strong> Tabellen und Grafiken E<strong>in</strong>gang <strong>in</strong> den Bericht<br />
der Schule.<br />
Im <strong>Evaluation</strong>sbericht ersche<strong>in</strong>en daher ke<strong>in</strong>e personenbezogenen<br />
Daten, da sich die Aussagen auf<br />
die Prozesse <strong>in</strong> Schule und Unterricht und nicht auf<br />
e<strong>in</strong>zelne Personen beziehen. E<strong>in</strong>e Ausnahme bildet<br />
die Schulleitung, die aufgrund ihrer besonderen<br />
Funktion notwendigerweise identifizierbar bleibt.<br />
Die <strong>AQS</strong> arbeitet eng mit dem Landesbeauftragten<br />
für den Datenschutz zusammen. Das Verfahren<br />
wurde mit den Bezirkspersonalräten für die Lehrkräfte<br />
an staatlichen Schulen des Landes abgestimmt<br />
und <strong>in</strong> e<strong>in</strong>er Dienstvere<strong>in</strong>barung niedergeschrieben.<br />
Anonymisierung der Befragungsdaten<br />
Elternbefragung<br />
Lehrer-/Schülerbefragung<br />
Onl<strong>in</strong>e<br />
Papierfragebogen<br />
12345 GHS Ma<strong>in</strong>z<br />
Onl<strong>in</strong>efragebogen<br />
12345 GHS Ma<strong>in</strong>z<br />
Poste<strong>in</strong>gang<br />
Bearbeitung<br />
Büro-<br />
Sachbearbeitung<br />
Koord<strong>in</strong>ator<br />
Hash-<br />
Verschlüsselung<br />
Sch-NR > Hash-Nr:<br />
12345 GHS Ma<strong>in</strong>z > cf482d7a3f<br />
Scanstation<br />
anonymisierte<br />
Daten<br />
cf482d7a3f:<br />
Rohdaten<br />
Datenbankserver<br />
Wissenschaftliche<br />
Referenten<br />
SPSS<br />
SPSS<br />
Auswertung<br />
aggregierte<br />
Daten<br />
cf482d7a3f:<br />
aggregierte Daten<br />
– Konstruktdarstellung<br />
Dateiserver<br />
27
Glossar<br />
Glossar<br />
Appendix<br />
Arithmetisches Mittel<br />
Befragung, schriftliche<br />
Dimension<br />
E<strong>in</strong>blicknahmen <strong>in</strong><br />
Lehr- und Lernsituationen<br />
(ELL)<br />
Entwicklungsfeld<br />
Entwicklungsfeld,<br />
ausgeprägtes<br />
Erhebungs<strong>in</strong>strument<br />
<strong>Evaluation</strong><br />
Im Appendix werden die ➝ Items des ➝ ELL-Bogens durch konkrete Sachverhalte<br />
und typische Beispiele veranschaulicht. Diese dienen der Darstellung<br />
des Bedeutungsgehalts der jeweiligen ➝ Items.<br />
➝ Mittelwert<br />
Von e<strong>in</strong>er schriftlichen Befragung wird dann gesprochen, wenn die Befragungsteilnehmer<strong>in</strong>nen<br />
und -teilnehmer <strong>in</strong> e<strong>in</strong>em ➝ Fragebogen vorgegebene<br />
Fragen selbstständig schriftlich beantworten.<br />
Jeder Qualitätsbereich (➝ ORS-Bereich) des ➝ Orientierungsrahmens<br />
Schulqualität wird anhand verschiedener Dimensionen beschrieben. Beispielsweise<br />
gliedert sich der ➝ ORS-Bereich „Schulleitung und Schulmanagement“<br />
<strong>in</strong> die Dimensionen Führung, Personalentwicklung und Schulisches<br />
Management.<br />
Die ➝ Evaluator<strong>in</strong>nen und Evaluatoren der <strong>AQS</strong> nehmen im Rahmen der<br />
➝ externen <strong>Evaluation</strong> E<strong>in</strong>blick <strong>in</strong> Lehr- und Lernsituationen an e<strong>in</strong>er<br />
Schule. Bei diesen E<strong>in</strong>blicknahmen geht es nicht um die Beobachtung e<strong>in</strong>er<br />
e<strong>in</strong>zelnen Lehrkraft, sondern um das Sammeln <strong>von</strong> E<strong>in</strong>blicken und deren<br />
Verdichtung zu e<strong>in</strong>em Gesamte<strong>in</strong>druck über die „Unterrichtskultur“ e<strong>in</strong>er<br />
Schule. Die E<strong>in</strong>blicknahmen erfolgen mittels e<strong>in</strong>es standardisierten<br />
Bogens.<br />
E<strong>in</strong> Entwicklungsfeld ist e<strong>in</strong>e Kategorie der Ergebnisrückmeldung an Schulen<br />
im <strong>AQS</strong>-<strong>Evaluation</strong>sbericht. Von Entwicklungsfeldern wird dann gesprochen,<br />
wenn alle herangezogenen Ergebnisse zwar eher im zutreffenden<br />
Bereich liegen, aber noch e<strong>in</strong>e Weiterentwicklung möglich ist.<br />
E<strong>in</strong> ausgeprägtes Entwicklungsfeld ist e<strong>in</strong>e Kategorie der Ergebnisrückmeldung<br />
an Schulen im <strong>AQS</strong>-<strong>Evaluation</strong>sbericht. Von ausgeprägten Entwicklungsfeldern<br />
wird dann gesprochen, wenn alle herangezogenen Ergebnisse<br />
im nicht zutreffenden Bereich liegen.<br />
E<strong>in</strong> Datenerhebungs<strong>in</strong>strument ist e<strong>in</strong> physisch vorhandenes Hilfsmittel<br />
(z. B. <strong>in</strong> Papier- oder elektronischer Form) zur Sammlung <strong>von</strong> Daten.<br />
➝ Fragebogen und ➝ Gesprächsleitfäden s<strong>in</strong>d Beispiele für Datenerhebungs<strong>in</strong>strumente<br />
bei der <strong>AQS</strong>.<br />
Unter <strong>Evaluation</strong> <strong>von</strong> Schulen versteht man e<strong>in</strong>e systematische, Kriterien<br />
geleitete und datengestützte Bewertung der pädagogischen Arbeit.<br />
28
Glossar<br />
<strong>Evaluation</strong>, externe<br />
<strong>Evaluation</strong>, <strong>in</strong>terne<br />
Fragebogen<br />
Gesamterhebung<br />
Leitfadengestützte<br />
Gespräche<br />
Gesprächsleitfaden<br />
Grundgesamtheit<br />
Häufigkeitsverteilung<br />
Indikator<br />
Item<br />
Kriterium<br />
Merkmal<br />
Bei e<strong>in</strong>er externen <strong>Evaluation</strong> handelt es sich um e<strong>in</strong>e Überprüfung der<br />
schulischen Qualitätsentwicklung (Ziele, Maßnahmen, Umsetzung) durch<br />
außerschulische E<strong>in</strong>richtungen oder Personen.<br />
Die Überprüfung der schulischen Qualitätsentwicklung (Ziele, Maßnahmen,<br />
Umsetzung) durch diejenigen Personen e<strong>in</strong>er Schule, welche die<br />
Maßnahmen umsetzen, wird als <strong>in</strong>terne <strong>Evaluation</strong> bezeichnet.<br />
E<strong>in</strong> Fragebogen ist e<strong>in</strong> empirisches ➝ Erhebungs<strong>in</strong>strument, das bei<br />
➝ schriftlichen Befragungen e<strong>in</strong>gesetzt wird. Im Fragebogen werden Inhalt,<br />
Anzahl, Reihenfolge sowie die sprachliche Formulierung der Fragen<br />
im Vorfeld festgelegt.<br />
Bei e<strong>in</strong>er Gesamterhebung erstreckt sich die Datenerhebung auf sämtliche<br />
Elemente der ➝ Grundgesamtheit (z. B. alle Lehrkräfte e<strong>in</strong>er Schule).<br />
E<strong>in</strong> leitfadengestütztes Gespräch ist e<strong>in</strong>e Form der Datenerhebung, bei der<br />
der Gesprächsführende (die „Interviewer<strong>in</strong>“ bzw. der „Interviewer“) <strong>in</strong> direktem<br />
Kontakt mit den Gesprächsteilnehmenden (den „Interviewten“)<br />
entlang e<strong>in</strong>es <strong>in</strong>haltlich strukturierten ➝ Gesprächsleitfadens Fragen<br />
stellt, um unter kontrollierten Bed<strong>in</strong>gungen Informationen zu gew<strong>in</strong>nen<br />
und die je spezifischen Blickw<strong>in</strong>kel schulischer Akteure zu beleuchten.<br />
E<strong>in</strong> Leitfaden ist e<strong>in</strong> empirisches ➝ Erhebungs<strong>in</strong>strument, das für mündliche<br />
Befragungen („Interviews“) e<strong>in</strong>gesetzt wird. In den <strong>von</strong> der <strong>AQS</strong> e<strong>in</strong>gesetzten<br />
Gesprächsleitfäden wird das Gespräch durch offene Leitfragen vorstrukturiert.<br />
Der Gesprächsführende kann Reihenfolge und Formulierung<br />
der Fragen modifizieren.<br />
Unter Grundgesamtheit (N) ist diejenige Menge an Individuen, Fällen oder<br />
Ereignissen zu verstehen, auf die sich die Aussagen e<strong>in</strong>er Untersuchung beziehen<br />
sollen.<br />
Beim Verfahren der Häufigkeitsverteilung wird festgestellt, wie häufig jede<br />
e<strong>in</strong>zelne Merkmalsausprägung e<strong>in</strong>es ➝ Items <strong>in</strong> den Daten vorkommt.<br />
E<strong>in</strong> Indikator ist e<strong>in</strong> Anzeiger (<strong>von</strong> lat. Indicare: auf etwas zeigen/etwas zeigen)<br />
für das Vorhandense<strong>in</strong> e<strong>in</strong>es Sachverhaltes, dessen Vorliegen nicht<br />
unmittelbar beobachtbar ist.<br />
E<strong>in</strong> Item ist e<strong>in</strong>e als Frage oder Urteil formulierte Aussage, zu der e<strong>in</strong>e Befragte<br />
bzw. e<strong>in</strong> Befragter ihre bzw. se<strong>in</strong>e Zustimmung oder Ablehnung –<br />
ggf. <strong>in</strong> unterschiedlicher Intensität – äußern kann.<br />
E<strong>in</strong> Kriterium (altgr. „krites“: der Richter) ist e<strong>in</strong> Gesichtspunkt, auf welchen<br />
bei der Bewertung e<strong>in</strong>es <strong>Evaluation</strong>sgegenstandes explizit Bezug genommen<br />
wird.<br />
➝ Variable<br />
29
Glossar<br />
Mittelwert<br />
Objektivität<br />
Onl<strong>in</strong>e-Befragung<br />
Orientierungsrahmen<br />
Schulqualität (ORS)<br />
ORS-Bereich<br />
RADAR-Modell<br />
Reliabilität<br />
Schulrundgang<br />
S.M.A.R.T.<br />
Standardabweichung<br />
Der Mittelwert ist die Kurzbezeichnung für das ➝ Arithmetische Mittel.<br />
Das Arithmetische Mittel ist e<strong>in</strong> Maß für die zentrale Tendenz e<strong>in</strong>er<br />
➝ Häufigkeitsverteilung. Es entspricht der Summe der E<strong>in</strong>zelwerte dividiert<br />
durch die Anzahl der Fälle.<br />
Objektivität ist e<strong>in</strong> Gütekriterium für wissenschaftliche Untersuchungen.<br />
Wenn e<strong>in</strong> Ergebnis objektiv ist, dann ist es unabhängig <strong>von</strong> der jeweiligen<br />
Person, die das Mess<strong>in</strong>strument e<strong>in</strong>setzt.<br />
Bei Onl<strong>in</strong>e-Befragungen füllen die Teilnehmer<strong>in</strong>nen und Teilnehmer den<br />
➝ Fragebogen auf dem Server e<strong>in</strong>er E<strong>in</strong>richtung oder e<strong>in</strong>es Providers mittels<br />
Internet onl<strong>in</strong>e aus.<br />
Der Orientierungsrahmen Schulqualität ist e<strong>in</strong> Dokument des für Bildung<br />
zuständigen M<strong>in</strong>isteriums <strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong>, <strong>in</strong> dem Qualitätsbereiche<br />
(➝ ORS-Bereiche) beschrieben s<strong>in</strong>d, die maßgeblich das Gel<strong>in</strong>gen <strong>von</strong><br />
Schule, <strong>von</strong> Lehren und Lernen sowie kollegialem Mite<strong>in</strong>ander prägen.<br />
Der ➝ Orientierungsrahmen Schulqualität umfasst 11 Qualitätsbereiche<br />
(ORS-Bereiche), die sich drei übergeordneten Feldern der Schulentwicklung<br />
zuordnen lassen (Rahmenbed<strong>in</strong>gungen, schulische und unterrichtliche<br />
Prozesse, Ergebnisse und Wirkungen). Beispielsweise werden die ORS-<br />
Bereiche „Schulleitung und Schulmanagement“ sowie „Professionalität<br />
des Personals“ den schulischen und unterrichtlichen Prozessen zugeordnet.<br />
Das „Rezeptionsmodell zur Analyse und Nutzung <strong>von</strong> Daten der externen<br />
<strong>Evaluation</strong> an Schulen <strong>in</strong> Rhe<strong>in</strong>land-<strong>Pfalz</strong> (RADAR)“ gibt den Schulen e<strong>in</strong>e<br />
nachvollziehbare und strukturierte Abfolge <strong>von</strong> Schritten der konkreten<br />
Nutzung und Verwendung der Ergebnisse der ➝ externen <strong>Evaluation</strong> an<br />
die Hand.<br />
Reliabilität (Zuverlässigkeit) ist e<strong>in</strong> Gütekriterium für empirische Untersuchungen.<br />
Ergebnisse s<strong>in</strong>d dann reliabel, wenn bei e<strong>in</strong>er Wiederholung der<br />
Messung unter gleichen Bed<strong>in</strong>gungen das gleiche Messergebnis erzielt<br />
wird.<br />
Der Schulrundgang als ➝ Erhebungs<strong>in</strong>strument <strong>in</strong> der ➝ externen <strong>Evaluation</strong><br />
dient dazu, unter pädagogischen Aspekten das Raumangebot, die<br />
Ausstattung und die Ausgestaltung der Schule zu erfassen.<br />
Die so genannte SMART-Formel ist e<strong>in</strong>e Arbeitshilfe zur Formulierung <strong>von</strong><br />
Zielen. Die Formulierung <strong>von</strong> Zielen (z. B. im Rahmen <strong>von</strong> ➝ Zielvere<strong>in</strong>barungen)<br />
soll demnach SMART erfolgen, d. h. S-pezifisch, M-essbar, A-ktiv<br />
bee<strong>in</strong>flussbar/A-kzeptiert, R-ealistisch und T-erm<strong>in</strong>iert.<br />
Die Standardabweichung ist <strong>in</strong> der deskriptiven Statistik e<strong>in</strong>e Maßzahl für<br />
die Variation der e<strong>in</strong>zelnen Beobachtungswerte um den Stichprobenmittelwert,<br />
d. h. e<strong>in</strong> Maß für die Streuung <strong>von</strong> Messwerten.<br />
30
Glossar<br />
Stichprobe<br />
Stärke<br />
Stärke, ausgeprägte<br />
Triangulation<br />
Validität<br />
Variable<br />
Vollerhebung<br />
Zielvere<strong>in</strong>barung<br />
E<strong>in</strong>e Stichprobe ist e<strong>in</strong>e Auswahl <strong>von</strong> Elementen aus e<strong>in</strong>er ➝ Grundgesamtheit.<br />
Entscheidet e<strong>in</strong> Zufallsprozess über die Aufnahme e<strong>in</strong>es Elements<br />
<strong>in</strong> die Stichprobe, so spricht man <strong>von</strong> e<strong>in</strong>er Zufallstichprobe.<br />
E<strong>in</strong>e Stärke ist e<strong>in</strong>e Kategorie der Ergebnisrückmeldung an Schulen im<br />
<strong>AQS</strong>-<strong>Evaluation</strong>sbericht. Von Stärken wird dann gesprochen, wenn die Ergebnisse<br />
bereits auf e<strong>in</strong> hohes Qualitätsniveau schließen lassen, jedoch im<br />
Rahmen der ➝ externen <strong>Evaluation</strong> noch weitere Steigerungsmöglichkeiten<br />
identifiziert werden können.<br />
E<strong>in</strong>e ausgeprägte Stärke ist e<strong>in</strong>e Kategorie der Ergebnisrückmeldung an<br />
Schulen im <strong>AQS</strong>-<strong>Evaluation</strong>sbericht Von ausgeprägten Stärken wird dann<br />
gesprochen, wenn alle herangezogenen Ergebnisse deutlich im zutreffenden<br />
Bereich liegen.<br />
Der Begriff Triangulation bezeichnet <strong>in</strong> der sozialwissenschaftlichen Forschung<br />
die Beantwortung <strong>von</strong> Forschungsfragen dadurch, dass der Forschungsgegenstand<br />
<strong>von</strong> zwei und mehr Punkten aus beleuchtet wird.<br />
Validität (Gültigkeit) ist e<strong>in</strong> Gütekriterium für empirische Untersuchungen.<br />
E<strong>in</strong> ➝ Erhebungs<strong>in</strong>strument ist valide, wenn es den Tatbestand misst, den<br />
es messen soll.<br />
E<strong>in</strong>e Variable ist e<strong>in</strong> ➝ Merkmal e<strong>in</strong>es Untersuchungsobjektes mit m<strong>in</strong>destens<br />
zwei Ausprägungen. So hat z. B. die Variable „Geschlecht“ die Variablen-<br />
bzw. Merkmalsausprägungen „männlich“ und „weiblich“.<br />
Bei e<strong>in</strong>er Vollerhebung erstreckt sich die Datenerhebung auf sämtliche<br />
Elemente der ➝ Grundgesamtheit.<br />
Zielvere<strong>in</strong>barungen s<strong>in</strong>d verb<strong>in</strong>dliche Absprachen zwischen zwei hierarchischen<br />
Ebenen für e<strong>in</strong>en festgelegten Zeitraum über zu erreichende Ergebnisse<br />
und dazu durchzuführende Maßnahmen. Auf der Grundlage des<br />
<strong>AQS</strong>-<strong>Evaluation</strong>sberichtes werden Zielvere<strong>in</strong>barungen zwischen Schule<br />
und Schulaufsicht (Abt. 3) getroffen.<br />
31
Literaturverzeichnis<br />
1. Ackeren, Isabell .v. (2003): <strong>Evaluation</strong>, Rückmeldung<br />
und Schulentwicklung. Münster<br />
2. Altrichter, Herbert. / Maag Merki, Kathar<strong>in</strong>a.<br />
(Hg.) (2010): Handbuch Neue Steuerung im<br />
Schulsystem. Wiesbaden<br />
3. Bohl, Thorsten / Kiper, Hanna (Hg.) (2009):<br />
Lernen aus <strong>Evaluation</strong>sergebnissen. Bad Heilbrunn<br />
4. Bortz, Jürgen (2010): Statistik: Für Humanund<br />
Sozialwissenschaftler, 7. Auflage. Berl<strong>in</strong><br />
5. Böttcher, Wolfgang / Dicke, Jan Nikolas /<br />
hogrebe, N<strong>in</strong>a (Hg.) (2010): <strong>Evaluation</strong>, Bildung<br />
und Gesellschaft. Münster<br />
6. Böttcher, Wolfgang / Holtappels, He<strong>in</strong>z Günther<br />
/ Brohm, Michaela. (Hg.) (2006): <strong>Evaluation</strong><br />
im Bildungswesen. We<strong>in</strong>heim-München<br />
7. Döbert, Hans / Deder<strong>in</strong>g, Kathr<strong>in</strong> (Hg.) (2008):<br />
Externe <strong>Evaluation</strong> <strong>von</strong> Schulen. Historische,<br />
rechtliche und vergleichende Aspekte. Münster<br />
8. Fend, Helmut (1998): Qualität im Bildungswesen.<br />
We<strong>in</strong>heim u. a.<br />
9. Flick, Uwe (2004): Triangulation. E<strong>in</strong>e E<strong>in</strong>führung,<br />
Wiesbaden<br />
10. Gollwitzer, Mario / Jäger, Re<strong>in</strong>hold (2007):<br />
<strong>Evaluation</strong>. Workbook. We<strong>in</strong>heim-Basel<br />
11. Helmke, Andreas. (2004). Von der <strong>Evaluation</strong><br />
zur Innovation: Pädagogische Nutzbarmachung<br />
<strong>von</strong> Vergleichsarbeiten <strong>in</strong> der Grundschule,<br />
<strong>in</strong>: Sem<strong>in</strong>ar, 2/2004, S. 90–112<br />
12. Helmke, Andreas (2009): Unterrichtsqualität<br />
und Lehrerprofessionalität. Diagnose, <strong>Evaluation</strong><br />
und Verbesserung des Unterrichts. Seelze-<br />
Velber<br />
13. Hosenfeld, Ingmar / Groß Ophoff, Jana (2007):<br />
Nutzung und Nutzen <strong>von</strong> <strong>Evaluation</strong>sstudien<br />
<strong>in</strong> Schule und Unterricht, <strong>in</strong>: Empirische Pädagogik<br />
21/4, S. 352–367<br />
14. Koch, Barbara (2011): Wie gelangen Innovationen<br />
<strong>in</strong> die Schule Wiesbaden Schnell, Ra<strong>in</strong>er<br />
/ Hill, Paul / Esser, Elke: (2008): Methoden<br />
der empirischen Sozialforschung, 8. Auflage.<br />
München<br />
15. Seipel, Christian / Rieker, Peter (2003): Integrative<br />
Sozialforschung, We<strong>in</strong>heim<br />
16. Stockmann, Re<strong>in</strong>hard / Meyer, Wolfgang<br />
(2010): <strong>Evaluation</strong>. E<strong>in</strong>e E<strong>in</strong>führung. Opalden –<br />
Farm<strong>in</strong>gton Hill<br />
17. Wottawa, He<strong>in</strong>rich / Thierau, Heike (2003):<br />
Lehrbuch <strong>Evaluation</strong><br />
18. Schönig, Wolfgang / Baltruschat, Astrid /<br />
Klenk, Gerald (Hg.) (2010): Dimensionen pädagogisch<br />
akzentuierter Schulevaluation. Baltmannsweiler<br />
schulen bilden gute schulen bilden gute
Impressum<br />
Agentur für Qualitätssicherung, <strong>Evaluation</strong> und<br />
Selbstständigkeit <strong>von</strong> Schulen<br />
Ste<strong>in</strong>kaut 3<br />
55543 Bad Kreuznach<br />
www.aqs.rlp.de<br />
Externe <strong>Evaluation</strong> <strong>von</strong> Schulen <strong>in</strong> Rhe<strong>in</strong>land-<br />
<strong>Pfalz</strong> (Handbuch)<br />
Text: Dr. Patricia Erbeld<strong>in</strong>ger, Dr. Judith Hilgers,<br />
Dr. Thomas Wetzste<strong>in</strong>, Dr. Britta W<strong>in</strong>kler,<br />
Dr. Stefanie Würtz, Michael Bigos, Dirk Gross,<br />
Stefan Hammer, Christiane Hofmann, Rolf<br />
Brüdern, Barbara Rütz, Thorsten Kimmes, Andrea<br />
Kohl, Rolf Stachowitz, Astrid Becker<br />
Redaktion: Dr. Thomas Wetzste<strong>in</strong>, Astrid Becker,<br />
Dr. Stefanie Würtz, Paul Pardall<br />
Grafik und Layout: Katr<strong>in</strong> Pfeil, Büro für<br />
Visuelle Gestaltung, Ma<strong>in</strong>z<br />
© Copyright <strong>AQS</strong> Juni 2011<br />
schulen bilden gute schulen bilden gute
Ste<strong>in</strong>kaut 3<br />
55543 Bad Kreuznach<br />
<strong>in</strong>fo@aqs.rlp.de<br />
www.aqs.rlp.de<br />
schulen bilden gute schulen bilden gute