An den "i5 Vorsitzenden des Ausschusses für Schule und ... - GEW

Ministerium für Schule und Weiterbildung NRW, 40190 Düsseldorf
Ministerium für
Schule und Weiterbildung
des Lande r rhein-Westfalen
LAf\!DTAG
Die Ministe inORDfiHEIN,·\fIlESTFALEN
15. \;V;.\HLPEHIODE
VOR E
An den "i5
Vorsitzenden
des Ausschusses für Schule und Weiterbildung des LandtagsNRVV
Herrn Wolfgang Große Brömer
Platz des Landtags 1
40221 Düsseldorf
2. Gesetz zur Änderung des Schulgesetzes Drucksache 14/27
Assessmentcenter
Sehr geehrter Herr Vorsitzender,"&oe$cr /t&r ~ ~(
im Zuge der Beratungen zum 2. Schulrechtsänderungsgesetz in der 14.
Legislaturperiode haben die Fraktionen der CDU und der FDP ihre Änderungsanträge
zum § 61 SchulG wie folgt begründet:
2.S. Mai 2011
Seite 1 von 2
Aktenzeichen:
412-6,07,01-50216
bei Antwort bitte angeben
Sylvia Löhrmann MdL
Stellv. Ministerpräsidentin
Auskunft erteilt:
Herr Schmidt
Telefon 0211 5867-3258
Telefax 0211 5867-493258
Klausdieter,schmidt@msw,nrw,de
"Zukünftig wird als Voraussetzung für die Bewerbung um das Amt einer
Schulleiterin oder eines Schulleiters der erfolgreiche Abschluss einer
Schulleiterfortbildung stehen, die in mehreren Modulen überwiegend in
staatlicher Verantwortung durchgeführt und mit einem Assessment­
Center abgeschlossen wird, das die Eignung für ein solches Amt bestätigt."
In der Folge hat die damalige Landesregierung mit Runderlass vom
25.11.2008 (BASS 21-01 Nr. 30) das Verfahren der Bewerbung von
Lehrerinnen und Lehrern um ein Amt als Schulleiterin oder als Schulleiter
neu geregelt und ein Assessment-Center (Eignungsfeststeilungsverfahren
- EFV) eingeführt. Der Auftrag zur externen Evaluierung dieses
seit Anfang 2009 praktizierten Verfahren ist nach öffentlicher Ausschreibung
an Herrn Professor Harm Kuper von der Freien Universität
Berlin vergeben worden.
In dem nunmehr vorliegenden Evaluierungsbericht der FU Berlin, den
ich zur Information der Mitglieder des Ausschusses für Schule und Weiterbildung
übersende, wird festgestellt, dass das EFV eine kompetenzbasierte,
valide Auswahl künftiger Schulleiterinnen und Schulleiter ermöglicht
und bei den Lehrkräften auf eine hohe Akzeptanz stößt.
Anschrift:
Völklinger Straße 49
40221 Düsseldorf
Telefon 0211 5867-40
Telefax 0211 5867-3220
poststelle@msw,nrw,de
www.schulministerium.nrw.de

Das EFV wird unter Berücksichtigung der von der FU Berlin aufgezeig- Seite 2 von 2
ten Entwicklungsperspektiven'; unef unter Beachtung des Dienstrechts
weiterentwickelt.
Mit freundlichen Grüßen
s~~~ma~~

Andreas Ortenburger & Harm Kuper
Evaluation des Eignungsfeststellungsverfahrens zukünftiger
Schulleiterinnen und Schulleiter in N ordrhein-Westfalen
-ABSCHLUSSBERICHT-

Inhaltsverzeichnis
INHALTSVERZEICHNIS ...................................................................................................................... 11
TABELLEN ............................................................................................................................................. IV
ABBILDUNGEN ...................................................................................................................................... V
1. ZUSAMMENFASSUNG DER ERGEBNISSE ............................................................................. ]
2. ZUR EVALUATION DES EIGNUNGSFESTSTELLUNGSVERFAHRENS ........................... 4
2.1 ZIELSETZUNG DER EVALUATION ........... _................... _. __ ...._........................................................ 5
2.2 METHODISCHES VORGEHEN UND DATENLAGE.. ......................................................................... 6
2.2.1 Erklärende Hinweise zu den verwendeten statistischen Kennwerten ........... _...................... 8
2.3 ÜBUNGEN UND KOMPETENZEN IM EFV ........_._._ ........._............................................................. 9
2.4 BETEILIGTE ................................... _...................... _................................................................... 11
3. ANALYSE DER EVALUIERTEN VERFAHREN ..................................................................... ]3
3.1 ERGEBNISSE DES EIGNUNGSFESTSTELLUNGSVERFAHRENS ......................... _............................. 13
3.2 BEFRAGUNG DER TEILNEHMERINNEN UND TEILNEHMER ................._.........._.... _....................... 15
3.2_1 Differenzierung nach Geschlecht _______ .. _.. ........... _._ ........... _........_............... 18
3.2_2 Differenzierung nach Alter und Dienstzeit _._. ___ .___ ._._ .... _.... __ ._ ........ _.. _.. _.. _..._... _.. _._ ... ___ .... _ 18
3.2.3 Differenzierung nach Schulfonn.. . __ .... _... _. __ .........................._..................... _...... 19
3.2.4 Differenzierung nach Merkmalen der Schule ......... _. ___ ......... _...... _____ .. _._._ .... ____ ..... __ .20
3.2.5 Vomjahrzmgen und Qualifizierung __ ... ____ .............. _.. _.... __ ..... _... ._._ .................... 22
3.2.6 Zufriedenheit und Akzeptanz aus Teilnehmersicht ..... __ ............. _.............. _... _................... 25
3_2_7 Einschätzungen der Übungen aus Teilnehmersicht._ .. _........_........ ___ ...... __ .___ .. ._. __ .. __ ........ _.. 28
3.2.8 Zusammenfassung __ .__ ... _.......... _._ .. __ .... _... ____ ... _.... _...... __ .......... 34
3.3 BEFRAGUNG DER BEOBACHTERrNNEN UND BEOBACHTER ..............._................ _........... __ ......... 36
3.3.1 Differenzierung nach Geschlecht ________ .. __ ._ .... ___ ................................ _............................ 41
3_3.2 Differenzierung nach Profession ___ ._____ .. __ .. _. ____ ._ .. __ ....................... _. _................... __ .. _..... 42
3_3.3 Einschätzungen der Übungen aus Beobachtersicht .. _...................... _.......... _.. _.. _......... _._ .... 45
3.3.4 Zusammenfassung._ ........ _.. __________ ._. __ .__ . __ .. _............... __ .. _..... ___ ................ ___ ._ ........ 50
3.4 DIE MULTITRAIT-MULTlMETHOD-MATRIX ..... _.. _................._............ __ ..............._... _................_ 51
3.5 ZUR INTER-RATER-RELlABlLlTÄT . __.......... _ ... _................................._..........._................ 55
3.6 ANALYSE DER EINZELITEMS ................. __ .. __ ................_......................................................_.... 57
3.6_1 Kompetenzdimension "Rollenklarheit ... _____ .................... _... __ ....... __ ........ ____ .. _... __ ............. 57
3.6.2 Kompetenzdimension "Management .... __ . __ __ ... _............._.......... _._ ... _...... __ ............. 60
3.6.3 KOl71petenzdimension "Kommunikation" ..... __ .. _... _...... _...................._.. _.................. _......... 63
3.6.4 Kompetenzdimension ,,Innovatio/1'· .. __ .... _._ ..... _.. _......... _...... _... _......... __ ..... _._ ........._..... _..... 65
3.6.5 Zusammenfassung_ .......... _. __ . ....... __ ._ ... ___ ....................... _.... __ ........_.. ________ ..... _....... _... 68
3.7 ANMERKUNGEN ZUM BEURTEILUNGSSYSTEM .......................................................................... 70
4. EMPFEHLUNGEN ....................................................................................................................... 75
ANHANG ................................................................................................................................................. 77
5. ZUSÄ TZLICHE TABELLEN ...................................................................................................... 77
5.1 TEILNEHMERBEURTEILUNGEN DER ÜBUNGEN NACH EFV-GESAMTURTEIL ............................. 78
5.2 DIFFERENZIERUNG DER BEOBACHTUNGSERGEBNISSE NACH ALTER, DIENSTZElT UND
"FUNKTIONSERFAHRUNG"........_........_.... __ ................................................ _............................... 82
6. ERGEBNISSE DER AC-FORSCHUNG UND IHRE BEACHTUNG IM EFV ....................... 85
7. BEOBACHTUNG DES EFVS AM 30./3].03.2009 ...................................................................... 87
7.1 VORBEMERKUNG .................... _... _.. __ ............. _................................................._......................... 87
7.1 _1 Räume und Rahmen .. _..... __ ...... _._ ......_.. _... _............_........... _......... ___ .. _........_.............. _...... 87
7.2 DIE GRUPPENDISKUSSION ............_.... _..................................................................................... 88
7.2.1 Teilnehmer/-innen-Seite._ .. ....................... _................................................._._ ..................... 89
7.2.2 Beobachter/-innen-Seite .................................................................................................... 90
II

7J 3 ZU/11 1nhalt ....... ...... ... ...................................................................................................... 90
7.3 DIE PRÄSENTATION ................................................................................................................. 90
7.3.1 Teilnehmer/-innen-Seite .................................................................................................... 91
7.3.2 Beobachter/-innen-Seite ...................................... '" ........................................................... 91
7.3.3 ZUI711nhalt ......................................................................................................................... 92
7.4 DAS BERA TUNGSGESPRÄCH ..................................................................................................... 92
7.4.1 Teilnehmer/-innen-Seile .................................................................................................... 93
7.4.2 Beobachter/-innen-Seite ................................................................................................... 93
7.4.3 Rollenspielerl-innel1. .......................................................................................................... 94
7.4.4 Zum1nhalt ......................................................................................................................... 94
7.5 DER POSTKORB ........................................................................................................................ 94
7.5.1 Teilnehmer/-innen-Seite ..................................................................................................... 95
7.5.2 Beobachterl-innen-Seite .................................................................................................... 95
7.5.3 ZUl711nhalt ......................................................................................................................... 97
7.6 SCHLUSSBEMERKUNG .............................................................................................................. 97
8. BEOBACHTUNG DES BRIEFINGS DER BEOBACHTERJ-INNEN AM 26.06.2009 .......... 98
9. BEOBACHTUNG DES EFVS AM 02./03.07.2009 .................................................................... 100
9.1 VORBEMERKUNG ................................................................................................................... 100
9.1.1 Räume und Rahmen...... ........................... ..................................................... .... 100
9.2 DIE GRUPPENDISKUSSION ...................................................................................................... 101
9.3 DIE PRÄSENTATION ............................................................................................................... 102
9.4 DAsBERATlJNGSGESPRÄCH ................................................................................................... 103
9.5 DIE FALLSTUDIE ..................................................................................................................... 103
9.6 SCHLUSSBEMERKUNG ............................................................................................................ 105
10. BEOBACHTUNG DES EFVS AM 28./29.09.2009 .................................................................... 105
10.1 VORBEMERKUNG .................................................................................................................... 105
10.1.1 Räume und Rahmen.. ........................................................................................ 105
10.2 GRUPPENDISKUSSION ............................................................................................................. 106
10.3 PRÄSENTATION ...................................................................................................................... 107
10.4 KONFLIKTGESPRÄCH .............................................................................................................. 108
10.5 POSTKORBÜBUNG UND INTERV1EW ...................................................................................... 109
10.6 SCHLUSSBEMERKUNG ........................................................................................................... I 10
1]. BEOBACHTUN G DES EFVS AM 22./23.1 0.2009 .................................................................... 111
11.1 VORBEMERKUNG .................................................................................................................... 111
11.1.1 Räume und Rahmen ......................................................................................................... 111
11.2 GRUPPEND1SKUSS10N ..................................................................................................::........ I 12
11.3 PRÄSENTAT10N ...................................................................................................................... 112
I I .4 BERATUNGSGESPRÄCH .......................................................................................................... 113
I I .5 FALLSTUDIE lJND INTERV1EW ................................................................................................. I 13
I I .6 SCHLUSSBEMERKUNG .......................................................................................................... I 14
]2. BEOBACHTUNG DES EFVS AM 21./22.12.2009 .................................................................... 114
12.1 VORBEMERKUNG .................................................................................................................... 114
12.1.1 Räume und Rahmen..... ....................................... ............................... .............. ..115
12.2 GRUPPENDlSKUSS10N ........................................................................................................... I 15
12.3 PRÄSENTATlON .................................................................................................................... 116
12 .4 KONFLIKTGESPRÄCH .......................................................................................................... I I 6
12.5 FALLSTUDIE UND INTERV1EW .............................................................................................. I 17
12.6 SCHLUSSBEMERKUNG ......................................................................................................... I 17
]3. BEOBACHTUNG DES EFVS AM 25./26.03.2010 .................................................................... ] 17
13.1 VORBEMERK1JNG ................................................................................................................ 117
13.1.1 Räume und Rahmen ........................................................................................................ 117
13.2 GRUPPENDISKUSSION ........................................................................................................... 118
1lI

13.3 BERATUNGSGESPRÄCH ........................................................................................................... 119
13.4 PRÄSENTATION ...................................................................................................................... 120
13.5 POSTKORB UND INTERVIEW .................................................................................................... 121
13.6 SCHLUSSBEMERKUNG ............................................................................................................ 122
]4. LITERATUR ................................................................................................................................ ]23
Tabellen
TABELLE I : ÜBERSICHT ÜBER DIE EVALUIERTEN EIGNUNGSFESTSTELLUNGSVERFAHREN ............................ 7
TABELLE 2: BEURTEILUNGS- UND PUNKTEVERGABERASTER ...................................................................... 14
TABELLE 3: GRÖßE DES LEHRERKOLLEGIUMS NACH SCHULFORM .............................................................. 16
TABELLE 4: ANZAHL DER SCHÜLER/-INNEN NACH SCHUL FORM ................................................................. 17
TABELLE 5: EFV -GESAMTURTEIL NACH GESCHLECHT ............................................................................. 18
TABELLE 6: EFV -GESAMTURTEIL NACH ALTER ......................................................................................... 19
TABELLE 7: EFV -GESAMTURTEIL NACH DIENSTZEIT ................................................................................. 19
TABELLE 8: EFV-GESAMTURTEIL NACH SCHULFORM ................................................................................ 20
TABELLE 9: EFV -GESAMTURTEIL NACH GRÖßE DES KOLLEGIUMS ............................................................. 21
TABELLE 10: EFV -GESAMTURTEIL NACH ANZAHL DER SCHÜLER/-INNEN ................................................. 21
TABELLE 11: EFV-GESAMTURTEIL NACH SCHULUMFELD .......................................................................... 22
TABELLE 12: ERFAHRUNGEN IN DER STELLVERTRETENDEN SCHULLEITUNG .............................................. 22
TABELLE 13: AC-ERFAHRUNG ................................................................................................................... 23
TABELLE 14: EFV-GESAMTURTEIL NACH AC-ERFAHRUNG ....................................................................... 23
TABELLE 15: QUALIFlZIERENDE MAßNAHMEN ............................................................................................ 24
TABELLE 16: EFV-GESAMTURTEIL NACH QUALlFlZIERUNGSMAßNAHME. .................................................. 25
TABELLE 17: EINSCHÄTZUNG DES EFVs ..................................................................................................... 26
TABELLE 18: BEURTEILUNG DES EFVs NACH EFV-GESAMTERGEBNJS ...................................................... 27
TABELLE 19: BEOBACHTENDE NACH PROFESSION UND GESCHLECHT ......................................................... 37
TABELLE 20: BEOBACHTENDE NACH PROFESSION UND REGIERUNGSBEZIRK .............................................. 37
TABELLE 2J : DURCHSCHNITTSALTER DER BEOBACHTENDEN ..................................................................... 38
TABELLE 22: DURCHSCHNITTLICHE DIENSTZEIT DER BEOBACHTENDEN .................................................... 38
TABELLE 23: BISHERIGE "FUNKTIONSERFAHRUNG" .................................................................................... 38
TABELLE 24: QUALIFIZIERUNGEN (N=147) ................................................................................................. 39
TABELLE 25: BEURTEILUNGEN NACH ÜBUNG UND KOMPETENZ (N=818) .................................................. 40
TABELLE 26: ÜBERSICHT "ANALYSEGRUPPEN" .......................................................................................... 40
TABELLE 27: POSTKORB/F ALLSTUDIE - ERGEBNISSE NACH GESCHLECHT DER BEOBACHTER ..................... 41
TABELLE 28: GESPRÄCHSÜBUNG - ERGEBNISSE NACH GESCHLECHT DER BEOBACHTER ............................ 41
TABELLE 29: PRÄSENTATION - ERGEBNISSE NACH GESCHLECHT DER BEOBACHTER ................................. .41
TABELLE 30: GRUPPENDISKUSSION - ERGEBNISSE NACH GESCHLECHT DER BEOBACHTER ......................... 42
TABELLE 31: POSTKORB/FALLSTUDIE - ERGEBNISSE NACH BEOBACHTERPROFESSION ............................... 43
TABELLE 32: GESPRÄCHSÜBUNG - ERGEBNISSE NACH BEOBACHTERPROFESSION ..................................... .43
TABELLE 33: PRÄSENTATION - ERGEBNISSE NACH BEOBACHTERPROFESSION ............................................ 43
TABELLE 34: GRUPPENDISKUSSION - ERGEBNISSE NACH BEOBACHTERPROFESSION ................................... 43
TABELLE 35: POSTKORBIF ALLSTUDIE - ERGEBNIS NACH "FUNKTIONSERFAHRUNG" .................................. 44
TABELLE 36: EFV-MTMM-MATRIX (N = 818 BEURTEILUNGEN) ............................................................... 52
TABELLE 37: KORRELATIONEN ZWISCHEN DEN BEURTEILENDEN (lNTER-RATER-RELlABILlTÄT) .............. 56
TABELLE 38: ROLLENKLARHEIT (POSTKORB/FALLSTUDlE) ........................................................................ 58
TABELLE 39: ROLLENKLARHEIT (BERATUNGS-, BEURTEILUNGS- ODER KONFLIKTGESPR.) ........................ 59
TABELLE 40: MANAGEMENT (POSTKORB/FALLSTUDlE) .............................................................................. 60
TABELLE 41 : MANAGEMENT (PRÄSENTATION) ........................................................................................... 62
TABELLE 42: KOMMUNI)(A TION (GRUPPENDISKUSSION) ............................................................................. 63
TABELLE 43: KOMMUNIKATION (BERATUNGS-, BEURTEILUNGS- ODER KONFLIKTGESPR.) ........................ 65
TABELLE 44: ]NNOVATION (GRUPPENDISKUSSION) ..................................................................................... 66
TABELLE 45: ]NNOVATION (PRÄSENTATION) .............................................................................................. 67
TABELLE 46: TRENNSCHÄRFEPROBLEMATIK (ADDITIVER ]NDEX) ............................................................... 72
IV

TABELLE 47: GESAMTURTEIL NACH WERTEBEREICHEN ........................................................................ 73
TABELLE 48: TRENNSCHÄRfE-PROBLEMATIK (MITTELWERT-INDEX) ........................................................ 74
TABELLE 49: TEILNEHMERBEURTEILUNG DER GRUPPENDISKUSSION NACH EFV -GESAMTURTEIL ............. 78
TABELLE 50: TEILNEHMERBEURTEIUJNG DER PRÄSENTATION NACH EFV-GESAMTURTEIL. ...................... 79
TABELLE 51: TEILNEHMERBEURTEILUNG DER GESPRÄCHSÜBUNG NACH EFV -GESAMTURTEIL ................. 80
TABELLE 52: TEILNEHMERBEURTEILUNG DES POSTKORBS NACH EFV -GESAMTURTEIL. ............................ 8 J
TABELLE 53: POSTKORB/FALLSTUDlE - ERGEBNIS NACH ALTER ............................................................... 82
TABELLE 54: GESPRÄCHSÜBUNG - ERGEBNIS NACH ALTER ..................................................................... 82
TABELLE 55: PRÄSENTA TION - ERGEBNIS NACH ALTER .............................................................................. 82
TABELLE 56: GRUPPENDlSKUSSION - ERGEBNIS NACH ALTER .................................................................... 82
TABELLE 57: POSTKORB/FALLSTUDlE - ERGEBNIS NACH DIENSTZEIT ........................................................ 83
TABELLE 58: GESPRÄCHSÜBUNG - ERGEBNIS NACH DIENSTZEIT ................................................................ 83
TABELLE 59: PRÄsENTATION - ERGEBNIS NACH DIENSTZEIT ...................................................................... 83
TABELLE 60: GRUPPENDlSKUSSION - ERGEBNIS NACH DIENSTZEIT ............................................................ 83
TABELLE 6J: POSTKORB/F ALLSTUDlE - ERGEBNIS NACH "FUNKTIONSERfAHRUNG" .................................. 84
TABELLE 62: GESPRÄCHSÜBUNG - ERGEBNIS NACH "FUNKTIONSERfAHRUNG" ......................................... 84
TABELLE 63: PRÄSENTATION - ERGEBNIS NACH "FUNKTlONSERfAHRUNG" ............................................... 84
TABELLE 64: GRUPPENDlSKUSSION - ERGEBNIS NACH "FUNKTIONSERfAHRUNG" ...................................... 84
TABELLE 65: DIE AUfGABEN ZUM 02./03.07.2009 IM ÜBERBLICK .......................................... JOO
TABELLE 66: DIE AUfGABEN ZUM 28./29.09.2009 IM ÜBERBLICK .................... .......................... 106
TABELLE 67: DIE AUfGABEN ZUM 22./23.10.2009 IM ÜBERBLICK ................................................... J J2
TABELLE 68: DIE AUfGABEN ZUM 2J ./22.12.2009 IM ÜBERBLICK ...... ...................." .....:........... J J5
TABELLE 69: DIE AUfGABEN ZUM 25./26.03.2010 IM ÜBERBLlCK ........................................................ 118
Abbildungen
ABBILDUNG 1: ZUORDNUNG VON ÜBUNG UND KOMPETENZ .................................................................... 10
ABBILDUNG 3: BEURTEILUNGSSTUFEN ................................. . ............................................... J 3
ABBILDUNG 4: BISHERIGE ENDERGEBNISSE. ............................
.................................. J4
ABBILDUNG 5: SCHULfORM, AN DER DlE TEILNEHMER/-INNEN UNTERRICHTEN (N= 364) ........................... 16
ABBILDUNG 6: DIE VORBEREITUNGSZEIT WAR AUSREICHEND ................................................................... 29
ABBILDUNG 7: ZUR BEARBEITUNG DER AUfGABE HÄ TTE ICH WESENTLICH MEHR ZElT GEBRAUCHT ......... 30
ABBILDUNG 8: DIE AUf GABEN STELLUN G W AR VERSTÄNDLICH .................................................................. 31
ABBILDUNG 9: ICH GLAUBE, DASS ICH MlT DlESER AUfGABE GUT ZURECHTGEKOMMEN BIN ...................... 32
ABBILDUNG 10: SELBSTEINSCHÄTZUNG DER KOMPETENZEN .................................................................... 33
ABBILDUNG J J: DIE AUfGABE SPIEGELT ANfORDERUNGEN AN SCHULLEITER/-INNEN WIDER ................... 46
ABBILDUNG J2: ICH GLAUBE, DASS DlE ZU BEARBEITENDE AUfGABE REALISTISCH WAR .......................... .47
ABBILDUNG 13: VERGLEICHBARE SITUATIONEN HABE ICH SELBST SCHON BEWÄLTIGEN MÜSSEN .............. 47
ABBILDUNG 14: DIE BEIDEN KOMPETENZEN WAREN IN DER ÜBUNG GUT AUSEINANDERZUHALTEN ........... 49
ABBILDUNG 15: IN DlESER ÜBUNG WAR ES EINfACH, ... KOMPETENZ ZU BEOBACHTEN ............................... 50
ABBILDUNG 16: ROLLENKLARHEIT IN AUfGABE J ................. ............................................. 58
ABBILDUNG J 7: ROLLENKLARHEIT IN AUfGABE 2..................................... .................................... 59
ABBlLDUNG 18: MANAGEMENT IN DER POSTKORB-ÜBUNG. ................... . .............................. 6J
ABBILDUNG 19: MANAGEMENT IN DER PRÄSENTATION ......................... ............................................ 62
ABBILDUNG 20: KOMMUNIKATION IN DER GRUPPENDlSKUSSION ...... .. ................................................. 64
ABBILDUNG 21: KOMMUNIKATION IN DER GESPRÄCHSÜBUNG .......... ................................................. 65
ABBILDUNG 22: INNOVATION IN DER GRUPPENDlSKUSSION ........ ............................. 66
ABBILDUNG 23: INNOVATION IN DER PRÄSENTATION .............................................................................. 67
v

1. Zusammenfassung der Ergebnisse
Mit dem Eignungsfeststel1ungsverfahren wird ein innovativer Weg der kompetenzbasierten
Auswahl zukünftiger Schul1eiterinnen und Schul1eiter beschritten. Die
Evaluation der ersten Anwendungen des EFV basiert auf Beurteilungsdaten, die im Verfahren
selbst entstanden sind, sowie auf zusätzlich erhobenen Daten zur Einschätzung
des EFV durch die Kandidatinnen und Kandidaten sowie durch die Beobachterinnen
und Beobachter.
Im Gesamtergebnis belegt die Evaluation des EFV die Zuverlässigkeit, Differenzierungsfahigkeit
und organisatorische Handhabbarkeit des Verfahrens. Es findet
aufgrund der Einschätzungen der beteiligten Expertinnen und Experten zur Angemessenheit
der Aufgaben fur die Überprüfung von Schulleitungskompetenzen, aufgrund der
Transparenz des Verfahrens und seiner Passung in den administrativen Kontext der
Auswahlentscheidungen sowie aufgrund seiner Objektivität sowohl bei den Kandidatinnen
und Kandidaten als auch bei den Beobachterinnen und Beobachtern eine hohe Akzeptanz.
Das Verfahren leistet eine Differenzierung der Kandidatinnen und Kandidaten
anhand der ihnen zugeschriebenen Kompetenzen in die Kategorien nicht bestanden,
Leistungen übertreffen die Anforderungen und Leistungen übertreffen die Anforderungen
in besonderem Maße. Die mit den EFV geleistete Differenzierung ist fur Entscheidungen
über die Besetzung von Schulleitungsämtem im Rahmen geltender administrativer
Bestimmungen funktional und erweist sich somit für die operativen Zwecke des
EFV als valide.
Für die Objektivität des Verfahrens spricht, dass Faktoren, von denen kein Einfluss
auf die Beurteilung im EFV erwartet werden kann (Geschlecht; Schulmerkmale;
Einstellungen gegenüber dem EFV), nicht im Zusammenhang mit den Beurteilungen
stehen. Das trifft weitgehend auch fur die Zugehörigkeit der Kandidatinnen und Kandidaten
zu Schulen einer bestimmten Fonn zu; eine Ausnahme bildet jedoch die Hauptschule.
Personen, die hier tätig sind, haben eine geringere Chance, das EFV zu bestehen,
als die Kolleginnen und Kollegen von anderen Schulfonnen. Eine mögliche Erklärung
fur diesen Zusammenhang ergibt sich aus der oftmals geringen Größe der Kollegien an

Hauptschulen. Die Größe der Schule - gemessen an der Anzahl von Lehrerinnen und
Lehrern sowie an der Anzahl der Schülerinnen und Schülern - steht in einem statistisch
bedeutsamen Zusammenhang mit der Beurteilung im Verfahren; möglicherweise bieten
größere Schulen günstigere Gelegenheit für den Erwerb der im EFV geprüften Kompetenzen
in der Praxis. Ein weiterer statistisch bedeutsamer Zusammenhang ist zwischen
der Beurteilung im EFV und dem Alter der Kandidatinnen und Kandidaten nachweisbar.
Personen, die das EFV erfolgreich durchlaufen, sind im Durchschnitt jünger als
diejenigen, die die Kriterien des EFV nicht erfüllen. Eine mögliche Ursache kann die
höhere Aufgeschlossenheit jüngerer Kolleginnen und Kollegen gegenüber neuen Methoden
des Schulmanagements und gegenüber Assessment Centern sein.
Die Ergebnisse aus der Befragung der Beobachterinnen und Beobachter können
als ein gut infonniertes und vom Ausgang einzelner EFVen unabhängiges Expertenurted
über die Qualität des EFV gewertet werden. Eindrucksvoll ist dabei insbesondere
die von den Beobachterinnen und Beobachtern gegebene Zustimmung zur Relevanz der
im EFV gestellten Aufgaben und zur Beobachtbarkeit der Kompetenzen.
Auch aus der Perspektive der Beobachterinnen und Beobachter kann die Objektivität
der Beurteilungen bestätigt werden. Zufallskritisch abzusichernde Differenzen in
den Beurteilungen nach der Herkunft, dem Geschlecht oder der Berufserfahrung sind -
mit geringfügigen Ausnahmen - nicht belegbar.
Die Reliabilität eines Erhebungsverfahrens ist eine notwendige Voraussetzung
für seine Validität Die Ergebnisse der ReHabilitätsprüfung des EFV zeigen ein gemischtes,
aber erwartbares und letztlich positiv zu beurteilendes Bild. Die Skalen zur
Beobachtung der einzelnen Kompetenzkonstrukte weisen in sich hohe Reliabilitätskoeffizienten
auf; sie belegen die Übereinstimmung der BeUJ1eilungen unterschiedlicher
Beobachter und die Konsistenz der ltems, anhand derer die Beurteilung erfolgt. Die
bohe Übereinstimmung der Beurteilungen im Rahmen des "Vier-Augen-Prinzips" ist
bervorzuheben. Auch ohne eine vorherige Abstimmung kommen die jeweils pro Kandidatin/Kandidat
und Aufgabe eingesetzten zwei Beobachter zu stark übereinstimmenden
Beurteilungen. Die Erhöhung der BeurteileJiibereinstimmung nach der Abstimmung
individueller Bem1eilungen weist auf die Konsensbereitschaft und -fähigkeit der Beobacl1tenden
hinsichtlich der Urteilskriterien hin.
2

Die Multitrait-Multimethod-Matrix des EFV ist zur Überprüfung der Reliabilität
des Verfahrens erstellt worden. Sie zeigt Zusammenhangsmuster, die aus der Evaluation
von Assessment Centern bekannt sind. Die Beurteilung der Aufgabenbewältigung zeigt
eine hohe Übereinstimmung innerhalb der einzelnen Aufgaben und eine geringe Übereinstimmung
zwischen Aufgaben, in denen die gleichen Kompetenzen geprüft werden
sollen. Dieses Ergebnis spricht daftir, dass das Verhalten der Teilnehmenden und die
Beurteilung durch die Beobachtenden stark an der Bewältigung der einzelnen Aufgabe
orientiert sind. Da allerdings insgesamt eine hohe Übereinstimmung aller Beurteilungen
zu verzeichnen ist, kann dem EFV Zuverlässigkeit bei der Prüfung übergreifender Leitungskompetenz
bescheinigt werden.
Die Übertragung der Beurteilung aus den einzelnen Aufgaben des EFV in das
administrativ gängige Schema (Beurteilung nicht bestanden, übertrifft die Anforderungen,
übertrifft die Anforderungen in besonderem Maße) erfolgt auf der Grundlage eines
Algorithmus, der praktikabel und sachlich begründet ist. Er bringt allerdings auch kleinere
Fehlenisiken und messtheoretische Probleme mit sich. So wird die recht hoch auflösende
lnfonnation aus der Beurteilung der Kompetenzdimensionen anhand der Einzehtems
nur in Teilen ftir die Gesamtbeurteilung genutzt. Bei der Fortftihrung des EFV
sollte ein Verfahren entwickelt werden, in dem die lnfonnationen aus den Einzehtems
aggregiert und zu einem kriterial bestimmten Grenzwert in Beziehung gesetzt werden,
um die Reliabilität der Niveaustufeneinordnung zu erhöhen.
Insgesamt gewährleistet das Eignungsfeststellungsverfahren eine kompetenzbasierte
Auswahl zukünftiger Schulleiterinnen und Schulleiter. Die gründliche konzeptioneUe
Anlage des EFV sichert die Güte des Verfahrens unter Aspekten der Praktikabilität,
der Kompetenzdiagnostik und der Akzeptanz unter den Teilnehmenden. Der Bericht
weist aber auch auf Entwicklungsbedarf innerhalb des Verfahrens hin. Das EFV ist das
beste derzeit vorliegende Instrument der Eignungsdiagnostik angehender Schul1eiterinnen
und Schulleiter. Es bietet sehr gute Ausgangsbedingungen ftir die Verfolgung der
aufgezeigten Entwicklungsperspektiven.
3

2. Zur Evaluation des Eignungsfeststellungsverfahrens
Das Landeszentrum tur Schulleitungsqualifizierung, SCHULMANAGEMENT
NRW, hat im Auftrag des nordrhein-westfähschen Ministeriums für Schule und Weiterbildung
(MSW NRW) ein Verfahren entwickelt, in dem potenzielle Bewerberinnen und
Bewerber für eine Stelle als Schul1eiterin bzw. Schulleiter die für das Ausüben dieser
Position benötigten Kompetenzen zeigen können. Grundlage der Einführung des Verfahrens
zur Feststellung der Eignung von Kandidatinnen und Kandidaten für die Bewerbung
um ein Amt als Schulleiterin bzw. Schulleiter ist ein Erlass vom 25.11.2008.
Das so genannte Eignungsfeststellungsverfahren (EFV) ist als zweitägiges Assessment
Center-Verfahren (AC-Verfahren) angelegt. AC-Verfahren sind Instrumente der eignungsdiagnostischen
Potenzialanalyse, in denen typische Berufssituationen simuliert
werden. Es wird beobachtet und bem1eilt, wie die am Verfahren Teilnehmenden mit
Aufgaben zurechtkommen, in denen Anforderungen an SchulJeitungen simuhe11 werden.
Ziel solcher Verfahren ist es, Voraussagen über die Eignung für spätere Berufspositionen
zu treffen und ggf Infonnationen zum Fort- und Weiterbildungsbedarf einzuholen
(vgL z.B. OBERMANN 2009).
Nordrhein-Westfalen schlägt mit der Einführung eines ACs zur Schulleiterauswahl
einen Weg ein, der im deutschsprachigen Raum neu ist. In Hessen gibt es zwar
ebenfal1s ein Verfahren zur Potenzialanalyse und auch andere Bundesländer experimentieren
mit Eignungsprüfungen (vgL GIBITZ/ROEDlNGER 2005; KLEIN 2008). Anders
als in NRW werden diese jedoch auf freiwilliger Basis oder im Rahmen von Se]f­
Assessments angeboten. Für zukünftige Schulleiter/-innen in NRW ist das Bestehen des
EFV s seit August 2009 hingegen unumgänglich. Um die Qualität des innovativen Verfahrens
und den Grad der Zielerreichung wissenschaftlich abzusichem, sieht der entsprechende
Erlass eine exteme Evaluation vor. Der Evaluationsauftrag wurde Anfang
2009 nach Ausschreibung an den Arbeitsbereich Weiterbildung und Bildungsmanagement
der Freien Universität Berhn unter Projektleitung von Prof Dr. Hann Kuper und
unter Mitarbeit von Dr. Andreas Ortenburger vergeben.
4

2.1 Zielsetzung der Evaluation
Grundlegend für die Aussagefahigkeit eines Assessment Centers ist, inwiefern
die Aufgaben die fraglichen Kompetenzen erfordern und ob Differenzen in der Ausprägung
der Kompetenzen für die Bewältigung der Aufgabe ausschlaggebend sind. Da die
Beurteilung der Kompetenzen anhand des Verhaltens in komplexen Situationen vorgenommen
wird, ist das Eignungsfeststellungsverfahren auf hochauflösende Beobachtungsleistungen
angewiesen. Die Beobachtung des Verhaltens der Teilnehmerinnen und
Teilnehmer muss auf einzelne Kompetenzdimensionen fokussiert sein und Kriterien für
die Beurteilung ihrer Ausprägung enthalten, um eine differenzielle Beurteilung von
Kompetenzprofilen zu ennöglichen. Durch eine Operationalisierung einzelner Kompetenzdimensionen
in mehreren Aufgaben und durch den Einsatz mehrerer Beobachter
lässt sich die Zuverlässigkeit (Reliabilität) der Beurteilung steigern und überprüfen.
Die Validität und Reliabilität des Eignungsfeststellungsverfahrens tragen maßgeblich
zu einer angemessenen Auswahlentscheidung bei der Besetzung von Schulleitungsämtern
bei. Bei einer hohen Qualität der Eignungsfeststellungsverfahren können
ebenfalls Schlussfolgerungen auf den Entwicklungsbedarf von Teilnehmerinnen und
Teilnehmern gezogen werden und es kann von einer Begünstigung der Transparenz und
Akzeptanz der Auswahlentscheidungen ausgegangen werden.
Die exteme Evaluation bezieht sich konzeptionell auf Reliabilitäts- und Validitätsanalysen
des entwickelten Verfahrens. Bei der Durchführung der EFV entstehen
Beurteilungsdaten, die für entsprechende Analysen genutzt werden können. Auf der
Grundlage der vorhandenen Daten lassen sich so genannte Multitrait-Multimethod­
Matrizen (vgl. grundlegend Campbel1/Fiske 1959) erstellen. Dieses gängige Verfahren
wird für die Überprüfung der diskriminanten und der konvergenten Validität eingesetzt.
Die Frage nach der diskriminanten Validität stellt sich im EFV dahingehend, ob
es gelingt, die verschiedenen Merkmalsdimensionen (Kompetenzen) unabhängig voneinander
zu erfassen.
Die Frage nach der konvergenten Validität betrifft die Übereinstimmung der Beurteilung
unterschiedlicher Beurteilerinnen und Beurteiler (Inter-Rater-Reliabilität) so-
5

wie die Zuverlässigkeit in der Beurteilung einzelner Kompetenzdimensionen in unterschiedlichen
Aufgaben.
Für die Qualität des Verfahrens ist weiterhin von entscheidender Bedeutung,
dass das von den Teilnehmenden gezeigte Verhalten zur Bewältigung der überprüften
Anforderungen nicht durch verfahrensexteme Variablen beeinflusst wird. So sollten
beispielsweise Teilnehmerinnen die gleichen Chancen für das Bestehen des Verfahrens
haben wie Teilnehmer. Und gleichennaßen sollten auch die Beurteilungen der Beobachtenden
vor dem Hintergrund möglicher Differenzierungen nicht systematisch variieren.
Dies betrifft demnach Fragen der Objektivität des Verfahrens auf Teilnehmer- und auf
Beobachterseite, die mit Varianzanalysen und mit Verfahren zur Analyse kategorialer
Daten untersucht werden kÖlmen.
2.2 Methodisches Vorgehen und Datenlage
Um ein möglichst umfassendes Bild des Eignungsfeststellungsverfahrens zu erhalten,
wurden qualitative und quantitative Methoden eingesetzt. Neben der Analyse der
zur Verfügung stehenden Dokumente (Runderlasse, Veröffentlichungen des MSW
NRW, Onlineangebote und intemes Zusatzmaterial zum EFV, Gesetzestexte etc.) wurden
Verfahren zu mehreren Terminen einer Metabeobachtung unterzogen. Tabelle 1
zeigt alle Verfahren, die im Rahmen der Evaluation berücksichtigt werden konnten. Im
Untersuchungszeitraum sind insgesamt 26 Verfahren durchgeführt worden, davon 14
unter Federführung der Bezirksregierung Amsberg und zwölf unter Federführung der
Bezirksregierung Köln. Insgesamt konnten die Beurteilungen von 409 Personen in die
Evaluation eingehen. In eÜlem qualitativen Untersuchungsschritt wurden sieben Verfahren
zu sechs Temlinen einer Metabeobachtung unterzogen}. Die Beobachtungen wurden
protokolliert und finden sich im Anhang. Darüber hinaus wurde an einem Beobachterbriefing
teilgenommen. Auch hierzu findet sich ein Protokoll im Anhang.
I Unterstreichungen in Tabelle 1 zeigen an, welche Verfahren metabeobachtet worden sind.
6

Tabelle 1: Übersicht über die evaluierten EignungsfeststeJlungsverfahren
Datum BR Arnsberg TN BR Köln TN Metabeobachtet
15./16.01.2009 Haltern 17 0
30./31.03.2009 Dortmund 18 Hilden 15 2
02./03.07.2009 Dortmund 12 Düsseldorf 14
28./29.09.2009 Dortmund 18 Düsseldorf 17
09./10.11.2009 Düsseldorf 16 0
22./23.10.2009 Bochum 17
24./25.11.2009 Soest 14 Soest 17 0
21./22.12.2009 Soest 16 Soest 18
05./06.01.2010 Soest 18 Soest 18 0
01./02.03.2010 Soest 12 Soest 10
09./10.03.2010 Soes! 11 Soes! 11
25./26.03.2010 Soes! 16
26./27.05.2010 Soes! 17 Soes! 17 0
01.102.06.2010 Soes! 18 Soes! 17 0
16./17.06.2010 Soes! 17 Soes! 18 0
Anzahl: 14 Verfahren 221 TN 12 Verfahren 188 TN 7 Verfahren
Das Hauptaugenmerk der externen Evaluation liegt in der quantitativen Analyse
der Daten, die über die Beurteilungen der Teilnehmenden entstehen. Daneben wurde
eine zusätzliche Befragung der Teilnehmenden und Beobachtenden durchgefuhrt, um
einerseits eine Überprüfung der Objektivität des Verfahrens zu ennöglichen und anderseits
um Aussagen über die Akzeptanz des Verfahrens treffen zu können. Hierzu wurde
ein zweiseitiger standardisierter Erhebungsbogen konstruiert, der während der Verfahren
im März und Juli 2009 im Sinne eines instrumentellen Vortests eingesetzt und anschließend
leicht modifiziert worden ist. Soweit sich die eingesetzten Fragen des Pretestinstruments
als brauchbar erwiesen haben, konnten die damit erhobenen Daten für
die zukünftigen Analysen berücksichtigt werden. Nach der Hälfte der Evaluationszeit ist
das Erhebungsinstrument erneut modifiziert worden. Standen anfangJich sozio- und
berufsbiografische Angaben der Teilnehmer/-innen und Beobachter/-innen im Vordergrund,
wurden in der zweiten Version verstärkt auch Fragen zu den gezeigten bzw. beobachteten
Leistungen, zur Einschätzung der Relevanz der Aufgaben für die Schulleitungskompetenzen,
der Fairness der Testbedingungen und die Akzeptanz des Gesamtverfahrens
eingesetzt. Der Fragebogen wurde nach Abschluss des EFV s von den Beteiligten
ausgefüllt. Die Zusatzbefragung wurde m allen Verfahren seit dem
30./31.03.2009 durchgeführt. Auf Teilnehmerseite betrug der Rücklauf 96,17%, d.h.
7

377 von 392 Personen haben einen Fragebogen ausgefüllt zurückgegeben. Auf Beobachterseite
beteiligten sich 152 von 175 Personen (86,86%).
2.2.1 Erklärende Hinweise zu den verwendeten statistischen
Kennwerten
In den Analysen werden einige Daten und statistische Maßzahlen ausgewiesen,
die hier kurz erläutel1 werden:
"n" = Anzahl der zugrundeliegenden FäHe. Dies können je nach Auswertung die
Anzahl der Befragten auf Teilnehmer- und Beobachterseite oder die Anza111 der
Bem1eilungsfälle sein. Einzelheiten werden jeweils im weiteren Verlauf dieses
Berichts verdeutlicht.
"x" = Mittelwert. Zeigt z.B. das Durchschnittsalter der Befragten an. Innerhalb
der Analyse der Einzelitems lässt sich ablesen, wie gut oder weniger gut die Gesamtheit
der Teilnehmenden das jeweilige Kriterium erfüllen. Je höher der WeJ1
(max. 4), desto mehr Teilnehmende l1aben die Beurteilung "gut erfüllt" erhalten.
"s" = Standardabweichung. Dieser Wert drückt die durchschnittliche Abweichung
aller Werte einer Verteilung zu ihrem Mittelwert aus. Je geringer die Abweichung,
desto besser repräsentiert der Mittelwert die Gesamtheit der Befragten. Für das
Beispiel der Einzelitemanalyse bedeutet dies: Je größer die Abweichung, desto
besser differenziert das jeweilige Kriterium zwischen erfolgreichen und weniger
erfolgreichen Teilnehmenden.
"min" und "max" = Minimum und Maximum: Gibt die jeweils niedrigsten bzw.
höchsten Ausprägungen der erhobenen Variable wieder.
,,1"11" bezeichnet den sogenannten Trennschärfekoeffizienten. Damit wird ausgedrückt,
wie gut das einzelne Kriterium mit der Gesamtskala zusammenhängt. Über
die lJldizierung in den Tabellen wird angegeben, wie viele ltems berücksichtigt
wurden. So bezieht sich "riIS" auf fünf ltems. Je höher der angegebene Koeffizient
ist, desto besser geeignet ist das entsprechende ltem. Das Maximum liegt bei f n =
1; Werte kleiner als 0,3 gelten als nicht mehr akzeptabel.
8

Zur Bestimmung der Konstruktvalidität (siehe Kapitel 3.4) und der Inter-Rater­
Reliablität (siehe Kapitel 3.5) werden Rangkorrelationskoeffizienten nach Spearman
fiir ordinale Daten berechnet (v g1. TIEDE/VOSS 2000). Korrelationskoeffizienten
drücken Zusammenhänge zwischen Variablen aus und können Werte zwischen
-1 und 1 annehmen. Sehr hohe und sehr niedrige Werte weisen auf einen
hohen Zusammenhang hin. Bei mittleren Werten um 0 liegt kein Zusammenhang
vor. In der einschlägigen Statistik1iteratur ist es üblich, diesen Wert ebenfalls mit
"r" zu bezeichnen. Eine weitere Indizierung ist an dieser Stelle allerdings entbehrlich.
Unter einige Tabellen sind statistische Prüfwerte angegeben, die Auskunft über
die Stärke des Zusammenhangs zwischen zwei Variablen geben. In der Analyse
von kategorialen Variablen (Kreuztabellen) werden Chi 2 -Unabhängigkeitstest eingesetzt
und die entsprechenden Kennwerte berichtet. Bei Varianzanalysen werden
F-Werte angegeben. Die dazugehörigen p-Werte geben das Wahrscheinlichkeitsniveau
an, wobei im Folgenden ein einheitliches Signifikanzniveau von 5% vorangenommen
wird. Unterschreitet der p-Wert den Wert p < 0,05, so kann davon
ausgegangen werden, dass der untersuchte Zusammenhang überzufällig auftritt.
Als weitere Infonnation, die auf die Güte der eingesetzten Skalen hinweist, wird
an einigen Stellen der Wert "Cronbach 's 0" als Maßzahl der Internen Konsistenz
angegeben. Hiennit wird zum Ausdruck gebracht, wie stark die einbezogenen
Items zusammenhängen. Ein Wert von 0 = I bringt absolute Übereinstimmung aller
Items innerhalb der gebildeten Skala zum Ausdruck, ein Wert von 0 = 0 lässt
auf das Fehlen eines inneren Zusammenhangs schließen. Werte unter 0< 0,6 weisen
auf Schwächen der eingesetzten Skalen hin. Werte darüber lassen sich als gut
interpreti eren.
2.3 Übungen und Konlpetenzen ;,n EFV
Für das nordrheinwestfälische Verfahren sind acht Aufgabentypen entwickelt
worden, die übliche Anforderungen an Schulleiter/-innen darstellen. Der entsprechende
Runderlass (v gl. MSW NRW 2008a) benennt die Übungen:
9

Beratungsgespräch
Beurteilungsgespräch
Fa]]studie
Gruppendiskussion
Interview
Konfliktgespräch
Postkorb
Präsentation
Von diesen Übungen werden Gruppendiskussion und Präsentation in jedem EFV
durchgeful1rt sowie eines der drei Gespräche, also entweder ein Beratungsgespräch, ein
Konfliktgespräch oder ein Beurteilungsgespräch. Das Interview schließt sich entweder
an die Postkorb-Übung oder an die Fallstudienbearbeitung an. D.h., Postkorb und Fallstudie
werden als Altemativen verstanden, das Interview wird immer geführt.
Postkorb .. .. Gespräch
Präsentation .,-_._- Gruppendiskussion
A bbildllng ]: Zuordnung von Übung und Kompetenz
Für jede Übung ist festgelegt, welche Kompetenzen damit überprüft werden sollen
(vgl. Abbildung 1). So sollen in der Gruppendiskussionsübung die Kompetenzen
"Kommunikation" und ,,Innovation" beurteilt werden. In der Präsentationsübung stehen
die Kompetenzen "Innovation" und "Management" im Fokus. "Management" wird
10

daneben mit "Rollenklarheit" in der Postkorbübung gepaart und schließlich ist noch die
Kombination "Rollenklarheit" und "Kommunikation" in der Gesprächsübung vorgesehen.
Mit dieser Anordnung wird in jeder Aufgabe eine andere Kombination von Kompetenzen
überprüft
2.4 l1eteili~te
Pro EFV werden bis zu 18 Teilnehmerinnen und Teilnehmer von insgesamt sieben
Personen beobachtet und beurteilt Die sieben "Beobachterinnen und Beobachter
wechseln sich in einem rollierenden System ab" (vgL MSW NRW 2008a), sodass die
Teilnehmenden hinsichtlich der Kompetenzdimensionen immer von unterschiedlichen
Beobachter(innen) beurteilt werden. Jede Teilnehmerinljeder Teilnehmer wird in jeder
Übung immer von zwei Personen beobachtet und beurteilt
Die Teilnehmerinnen und Teilnehmer rekrutieren sich aus allen Schulfonnen,
für die das EFV derzeit erforderlich ist Dies betrifft Haupt-, Real- und Gesamtschulen,
Gymnasien, Berufs- und Weiterbildungskollegs sowie die Förderschulen.
Die Beobachterinnen und Beobachter sind Schulleiter/-innen (SL), Schulaufsichtsbeamte
(SchA) oder Vertreter/-innen der Schulträger (ST). In der Durchführung
des EFV wird darauf geachtet, dass zwischen den Beobachtenden und Teilnehmenden
weder ein direktes dienstliches Vorgesetztenverhältnis besteht, noch eine Verwandtschaftsbeziehung
existiert. Die für die Beobachtung gebildeten Beobachter(innen)paare
setzen sich immer aus zwei der drei Gruppen zusammen, also SL und SchA oder ST
bzw. SchA und ST. Insgesamt gibt es nach Aussage von SCHULMANAGEMENT
NRW einen Pool an Beobachterinnen und Beobachtern, der ca. 80 Personen umfasst.
Alle Beobachterinnen und Beobachter haben im Vorfeld an einer Schulung teilgenommen.
Ungefähr eine Woche vor einem EFV ist zudem die Teilnahme an einem Briefing
vorgesehen, in dem die konkreten Aufgaben diskutiert und Fragen zu Organisation und
Ablauf geklärt werden. Schulung und Briefing dienen vor allem aber auch dazu, auf die
komplexe Aufgabe der Verhaltensbeobachtung vorzubereiten und ein Bewusstsein für
mögliche Fehler in Urteilsprozessen zu schaffen, um diese zu vermeiden.
11

Die Gesprächsübungen werden mit Hilfe von geschulten Rollenspieler/-innen
durchgeführt. Pro EFV gibt es drei RollenspielerIinnen und zusätzlich eine/-n ErsatzroJlenspieJer/-in,
die/der in jedem Gesprächsdurchlauf eine/-n Rollenspieler/-in beobachtet
und Feedback gibt. Bei den eingesetzten Rollenspielerl-innen handelt es sich um mit
Schulleitung vertraute Personen, "vor allem ehemalige und aktive Schu1leiterinnen und
Schulleiter sowie Moderatorinnen und Moderatoren" (EBERHARDT/SCHMIDT 2008:
S.596).
Nach Erlasslage werden die Verfahren unter Federführung einer Bezirksregierung
ausgerichtet. Die Durchführung vor Ort übernehmen die Mitarbeiterinnen und
Mitarbeiter von SCHULMANAGEMENT NRW. Folgende Aufgaben haben Organisatorinnen/Organisatoren
während der EFV -Durchführung:
Ansprechpartner ftir Fragen seitens der Teilnehmer/-innen und I3eobachter/­
mnen
Ausgabe der Materialen und Kontrolle der Einhaltung der Zeiten
Briefing der Teilnehmer/-innen bei Materialausgabe
Entgegennahme der Materialien und der Beurteilungsbögen im Anschluss an
die Übungen
Kurz-Briefing der Beobachterlinnen vor Beurteilung der Postkörbe und vor
der Ergebnisrückmeldung
Kontrolle der Beurteilungsbögen und Datenerfassung für die zeitnahe Ergebnisruckmeldung
Weitere Beteiligte an den Verfahren sind verschiedene Metabeobachterinnen
und -beobachter. GleichstelIungsbeauftragte, Schwerbehinderten- und Personalvertretung
sowie Mitarbeiter aus Ku]tuspolitik und Verwaltung sind berechtigt und eingeladen,
an den Verfahren teilzunehmen. Daneben wurden einige Verfahren im Rahmen der
externen Evaluation einer Metabeobachtung unterzogen. Alle Metabeobachter sind angehalten,
sich im Verfahren weitgehend neutral zu verhalten und insbesondere in der
Bewertungsphase keinen Einfluss auf die Beobachter zu nehmen.
12

3. Analyse der evaluierten Verfahren
3.1 Ergebnisse des Eignungsfeststellungsverfahrens
Das Verhalten der Teilnehmenden wird in jeder Aufgabe mithilfe von fünf bis
zehn Verhaltensankem (Kriterien bzw. Items) beurteilt. Auf jedem Verhaltensanker
kann eine von vier Beurteilungsstufen erreicht werden:
1. Beurteilungsstufe 2. Beurteilungsstufe 3. Beurteilungsstufe 4. Beurteilungsstufe
gut erfüllt erfüll! zum Teil erfüllt nlchl erfüllt
Abbildung 2: BeurteiJungsstufen
Am Ende jeder Kriterienliste wird ausgezählt, welche Beurteilungsstufe wie oft
erzielt worden ist. Aus der Verteilung ergibt sich, wie viele Punkte rur die entsprechende
Aufgabe vergeben werden. Das Beurtei]ungsschema wird wie folgt eingesetzt:
Wurden mehr als die Hälfte der Kriterien mit "gut erfullt" bewertet, erhält der
Teilnehmer/die Teilnehmerin vier Punkte.
Wurden mehr als die Hälfte der Kriterien mindestens mit "erfüllt" bewertet, erhält
der Teilnehmer/die Teilnehmerin drei Punkte.
Wurden die Hälfte oder mehr der Kriterien schlechter als "erfü1lt" bewertet, erhält
der Teilnehmer/die Teilnehmerin zwei Punkte.
Wurden mehr als die Hälfte der Kriterien mit "nicht erfullt" bewertet, erhält der
Teilnehmer/die Teilnehmerin einen Punkt.
Das eingesetzte Beurteilungsschema trägt dazu bei, dass die unterschiedliche
Anzahl der zur Beurteilung eingesetzten Items relativiert wird und alle Aufgaben und
Kompetenzdimensionen mit gleichem Gewicht in die Gesamtbewertung eingehen. Da
pro Aufgabe immer die Beurteilungen von zwei Beobachtenden herangezogen werden,
kann einle Teilnehmende/r in jeder Aufgabe zwischen zwei und acht Punkten erzielen.
Bei vier Aufgaben ergeben sich in einem EVF summarisch maximal 64 und minimal] 6
Punkte. Das EFV gilt als bestanden, wenn mindestens 44 Punkte erreicht wurden. Die in
Tabelle 2 dargeste1lte Beurteilungseinstufung folgt den im entsprechenden Runderlass
13

formulierten Vorgaben (vgl. MSW NRW 2008a). Zu beachten ist, dass den Teilnehmenden
nicht die erzielte Punktzahl, sondern nur das Gesamturteil mitgeteilt wird.
Tabelle 2: Beurteilungs- und Punkteve~_b_e_ra_s_t_e_r ____________________
Pro Beurteilungsbogen = 1 bis 4 Punkte
Pro KompetenzJAufgabe = 2 Beurteilende = 2 Beurteilungsbögen = 2 bis 8 Punkte
In Jeder Aufgabe = 2 Kompetenzen von je 2 Beurteilenden = 4 Beurteilungsbögen = 4 bis 16 Punkte
Jedelr Teilnehmer/in = 2 x 4 Kompetenzen In insg. 4 Aufgaben = min. 16 bis max. 64 Punkte
16 - 43 Punkte = nicht bestanden
44 - 51 Punkte = "Die Leistungen übertreffen die Anforderungen."
52 - 64 Punkte = "Die Leistungen übertreffen die Anforderungen in besonderem Maße."
Von den 409 Teilnehmenden der im Untersuchungszeitraum berücksichtigten 26
Verfahren haben insgesamt 330 Personen (80,7%) bestanden und 49 Personen (19,3%)
die erforderliche PunktzabJ von mindestens 44 Punkten verfeblt (vgl. Abbildung 3). Als
erstes zentrales Ergebnis kann man an dieser Stelle festbalten, dass es mit dem Eignungsfeststellungsverfahren
gelingt. die Teilnehmenden nach ihnen zugeschriebenen
Kompetenzniveaus zu differenzieren.
Gesamturteile in den EFV (n=409)
50,0% l
45,0%
40,0%
35,0%
30,0%
25,0% ---------------1
19,3%
20,0% 1---'=====,---
15,0% -1-~-
10,0% I
5,0% -
0,0% +--~~-L.._~ _ __'_~_
Nicht bestanden
Die Leistungen übertreffen die
Anforderungen.
Die Leistungen übertreffen die
Anforderungen in besonderem
Maße.
Abbildung 3: Bisherige Endergebnisse
14

Im Folgenden soll überprüft werden, ob das Bestehen resp. Nicht-Bestehen im EFV mit
anderen Merkmalen der teilnehmenden und beurteilenden Personen in Zusammenhang
steht. Hierzu werden vorbereitend zunächst einige relevante Ergebnisse aus den Zusatzbefragungen
berichtet.
3.2 Befragung der Teilnehmerinnen und Teilnehlner
Im Evaluationszeitraum konnten 392 Teilnehmerinnen und Teilnehmer um die
Beantwortung der Zusatzbefragung gebeten werden. Der zweiseitige Fragebogen wurde
von 377 Teilnehmenden ausgefullt, was einem Rücklauf von 96,2% entspricht. Davon
waren 2]] männlich und ] 65 weiblich, somit liegt der Anteil an männlichen Teilnehmenden
mit 56,1 % leicht höher als der der weiblichen Teilnehmenden (43,9%). Im
Durchschnitt sind die Befragten zum Zeitpunkt der EFV -Teilnahme 48,8 Jahre alt und
blicken auf 19,7 Dienstjahre zurück. Einen Unterschied nach Geschlecht gibt es im Bezug
auf Alter und Dienstzeit nicht.
Abbildung 4 zeigt, wie sich die Teilnehmerinnen und Teilnehmer auf die unterschiedlichen
Schulfonnen verteilen. Gymnasiallehrkräfte bilden mit 23,4% die größte
Gruppe (85 Personen), von Weiterbildungskollegs kommen lediglich 6 Personen
(1,6%). Insgesamt entspricht dies in etwa der Verteilung hauptamtlicher bzw. hauptberuflicher
Lehrkräfte an den entsprechenden Schulfonnen in NRW 2 .
2 vgl. https:/iv" .. vw.landesdatenbank.nrw.de (25.11.2010)
15

"An welcher Schulform unterrichten Sie?" (Anteil)
Gymnasien; 23,4%
Berufskollegs; 17,0%
Gesamtschulen;
13,7%
Weiterbildungskollegs
; 1,6%
Realschulen; 17,3%
Hauptschulen; 11,3%
Abbildung 4: Schulform, an der die Teilnehmer/-innen unterrichten (n== 364)
i
--~--_~ ____ I
Um die Größe der Schulen zu erfassen, wurde nach der Größe des Lehrerkollegiums
und nach der Anzahl der Schülerinnen und Schüler gefragt. Vordem Hintergrund
der unterschiedlichen Schulfonnen schwanken die Angaben fur das Lehrerkollegium
zwischen 9 und 200 Personen, fur die Schülerzahl zwischen 70 und 4700. Tabelle 3 und
Tabelle 4 schlüsseln die unterschiedlichen Angaben getrennt nach Schulfomlen aue.
Tabelle 3: Größe des Lehrerkollegiums nach Schulform
n X 5 min max
Hauptschule 41 26,6 7,0 12 45
Realschule 63 35,1 9,8 19 66
Gesamtschule 50 94,0 25,3 50 200
Gymnasium 84 68,8 17,3 38 120
Berufskolleg 62 102,2 32,7 30 180
Weiterbildungskolleg 6 31,8 11,0 16 50
Förderschule 56 28,5 15,4 9 80
3 In den Tabellen bezeichnet "n" die Anzahl der Personen, die die jeweilige Frage beantwortet haben~ Mit
x wird das arithmetische Mittel als Durchschl1lttswe11 angegeben. Die Standardabweichung "s.. drückt
die durchschnittliche Abweichung der Angaben vom Mittelwert aus; sie ist ein Indikator für die Homogenität
resp. Heterogenität in einer Verteilung. Daneben smd die jeweils niedrigsten (,.min") und höchsten
C,max") Werte angegeben (vgL Kapitel 2.2.1).
16

Tabelle 4: Anzahl der Schüler/-innen nach Schulform
n X s min max
Hauptschule 41 309,8 89,2 170 540
Realschule 63 602,2 232,7 320 1960
Gesamtschule 50 1175,5 230,8 640 1750
Gymnasium 83 963,9 235,2 110 1600
Berufskolleg 60 2408,2 775,1 400 4700
Weiterbildungskolleg 6 447,7 56,7 360 500
Förderschule 57 163,9 51,1 70 280
In der nach dem Pretest modifizierten Version des Zusatzfragebogens sind lnfonnationen
über die bisherige Einbindung der Teilnehmenden in die Schulleitung erhoben
worden. 193 von 308 Befragten gaben an, dass sie bereits in der Position einer
stellvertretenden Schulleiterin bzw. eines stellvertretenden Schulleiters sind, dies sind
62,7%. 115 Personen machten keine entsprechende Angabe, wobei davon auszugehen
ist, dass sie auch keiner stellvertretenden Schulleitungstätigkeit nachgehen. Für die übrigen
Personen liegt keine lnfonnation vor, weil die entsprechende Frage zum damaligen
Zeitpunkt noch nicht eingesetzt oder aber nicht beantwortet worden ist. Die Zahlen
verdeutlichen dennoch, dass eine nicht unerhebliche Zahl an Teilnehmerinnen und Teilnehmern
bereits erste Erfahrungen im Schulleitungsumfeld gesammelt hat.
Die gewonnenen lnfonnationen sind nutzbar, um Hinweise zur Objektivität des
Eignungsfeststel1ungsverfahrens zu erhalten. Die im EFV fokussierten Kompetenzen
werden für die Ausübung einer Schulleitungstätigkeit als bedeutsam angesehen. Die
Bewältigung der verschiedenen Übungen so11 ausschließlich von der Kompetenz der
Personen abhängen. Das Verfahren ist objektiv, wenn andere Variablen keinen Einfluss
auf die Bewä1tigung der Anforderungen haben. Das wird für folgende Variablen untersucht:
Geschlecht
(Dienst-)Alter
Schulfonn
Schulgröße
Schulumfeld
l7

Darüber hinaus werden zwei Variablen einbezogen, die sehr wohl mit der Bewältigung
der Anforderungen in Zusammenhang stehen könnten. Es handelt sich hierbei um:
Vorerfahrungen in der Schulleitung
vorausgehende Qualifizierung, insb. Teilnahme an der Schulleiterqualifizierung
(SLQ)
3.2.1 Differenzierung nach Geschlecht
Tabelle 5 zeigt, wie sich das Gesamturteil nach Geschlecht vel1eile Von 211
männlichen Befragten haben 45 nicht bestanden (21,3%). Bei den weiblichen Befragten
sind es 17,6% bzw. 29 von 165 Personen. Eine Bestbewe11ung erzielten 65 Männer
(30,8%) und 62 Frauen (37,6%). Diese auf den ersten Blick leicht höhere Bestehensquote
bei den Teilnehmerinnen ist statistisch allerdings nicht signifikant, d.h. der Unterschied
zwischen Männern und Frauen kann nicht systematisch als geschlechtsspezifisch
interpretiert werden. ]n Bezug auf das Gesamturteil besteht kein Zusammenhang zwischen
der Bewältigung der Anforderungen und dem Geschlecht der Teilnehmenden.
Ta belle 5: EFV -Gesamturteil !lach Geschlech1
Männlich Weiblich Gesamt
Nicht bestanden 21,3% 17,6% 19,7
Die Leistungen übertreffen die Anforderungen. 47,9% 44,8% 46,5
Die Leistungen übertreffen die Anforderungen in be- 30,8% 37,6% 33,8
sonderem Maße.
n (100%) 211 165 376
Chi 2 =2,1; p=0,350 (nicht signifikant)
3.2.2 Differenzierung nach Alter und Dienstzeit
Die Teilnehmenden sind zum Zeitpunkt der EFV-Teilnahme zwischen 33 und 62 Jahre
alt (v gl. Tabelle 6). In der Gruppe der Personen, die nicht bestanden haben, liegt das
Durchschnittsalter bei 51 Jahren. Damit sind diese Personen im
Durchschnitt etwas
älter, als diejenigen, die die Anforderungen übelireffen (48,7 Jahre) bzw. in besonderem
Maße übertreffen (47,6 Jabre).
18

Tabelle 6: EFV-GesamturteiJ nach Alter
n X s min max
Nicht bestanden 74 51,0 5,43 35 62
Die Leistungen übertreffen die Anforderungen. 174 48,7 6,22 33 61
Die Leistungen übertreffen die Anforderungen in besonderem
Maße. 127 47,6 6,07 35 59
Gesamt 375 48,8 6,13 33 62
F=7,583; p=O,OO1
In der varianzanalytischen Prüfung wird der Altersunterschied der Personen in den drei
Gruppen statistisch signifikant. Jüngere Kolleginnen und Kollegen haben demnach bessere
Chancen, das EFV erfolgreich zu durchlaufen. Möglicherweise liegt hier ein Generationeneffekt
vor, der jüngere Kolleginnen und Kollegen im Umgang mit neueren Managementtechniken
begünstigt.
Obwohl die Dienstzeit mit dem Lebensalter konfundiert ist, gibt es keine statistisch signifikante
Differenz des Dienstalters zwischen den drei Gruppen. Die angegebene
Dienstzeit liegt zwischen 6 und 38 Jahren mit einem Durchschnitt von] 9,7 Jahren. Die
Durchschnittsdienstzeit der Personen, die nicht bestanden haben ist mit 20,9 Jahren
knapp zwei Jahre höher als das der Personen mit Best-Ergebnis (vgl. Tabelle 7). Diese
leichte Differenz muss aber als zufa))ig betrachtet werden.
Tabelle 7: EFV-GesamturteiJ nach Dienstzeit
n X s min max
Nicht bestanden 73 20,9 8,43 6 38
Die Leistungen übertreffen die Anforderungen. 175 19,6 7,26 7 37
Die Leistungen übertreffen die Anforderungen in be-
sonde rem Maße.
126 19,0 7,37 7 35
Gesamt 374 19,7 7,55 6 38
F=1,478; p=O,229
3.2.3 Differenzierung nach Schu1form
Das EFV richtet sich derzeit an Lehrerinnen und Lehrer a]]er Schulfonnen mit Ausnahme
der Grundschulen. Da Weiterbildungskollegs nur einen geringen Anteil in der
Schullandschaft ausmachen, sind auch unter den Befragten erwartungsgemäß nur wenige
Personen von dieser Schulfonn. Die Fa]]zahl ist so gering, dass diese Schulfonn von
19

der folgenden Analyse ausgeschlossen werden muss. Tabelle 8 zeigt die Verteilung für
die verbleibenden Schulfonnen.
Tabelle 8: EFV-Gesamturteil nach Schulform
Nicht be- Die Leistungen übertref- ... übertreffen die Anforde- n
standen fen die Anforderungen. rungen in besonderem Maße.
(100%)
Hauptschule 51,2% 24,4% 24,4% 41
Realschule 19,0% 55,6% 25,4% 63
Gesamtschule 14,0% 46,0% 40,0% 50
Gymnasium 17,6% 49,4% 32,9% 85
Berufskolleg 12,9% 48,4% 38,7% 62
Färderschule 14,0% 40,4% 45,6% 57
Gesamt 19,8% 45,5% 34,6% 358
Chi'=35,622: p=O,ooo lohne Hauptschule: Chi'=6,556; p=O,573
Mit Ausnahme der Teilnehmerinnen und Teilnehmer von Hauptschulen entsprechen die
Anteile erfolgreicher und nicht erfolgreicher Personen ungefähr der Verteilung über alle
Befragten. Während 51,2% der Hauptschullehrenden das Gesamturteil "Nicht bestanden"
erzielen, sind es bei den anderen Schulfonnen nur zwischen 12,9% und 19,0%.
Dies bedeutet, dass Lehrerinnen und Lehrer, die angegeben haben, derzeit in Hauptschulen
zu unterrichten, statistisch signifikant häufiger nicht bestehen.
3.2.4 Differenzierung nach Merkmalen der Schule
Zur Differenzierung der verschiedenen Schulen, an denen die Teilnehmerinnen
und Teilnehmer als Lehrkräfte tätig sind, werden an dieser Stelle Info1111ationen zur
Schulgröße und zum Schulumfeld herangezogen. Die Angaben basieren wiederum auf
Selbstauskünften und Einschätzungen der Teilnehmenden.
Die Größe des Lehrerkollegiums und die Anzahl der Schülelinnen und Schüler
an einer Schule sind zwei miteinander verbundene Indikatoren, mit der man die Größe
von Schulen beschreiben kann. Differenziert man die entsprechenden Angaben nach
dem Gesamturteil im EFV, so zeigt sich beispielsweise, dass die durchschnittliche Größe
des Lehrerkol1egiums von Personen, die nicht bestanden haben, bei 48,0 liegt (vgl.
Tabelle 9). An den betreffenden Schulen sind daneben durchschnittlich 700,6 Schülerimlen
und Schüler. Im Vergleich mit den beiden anderen Gruppen, also denjenigen, die
die Anforderungen erfüllen bzw. in besonderem Maße erfüllen, zeigt sich somit, dass
20

Nicht-Besteher an kleineren Schulen beschäftigt sind. Die Unterschiede sind statistisch
bedeutsam. Zu beachten ist allerdings, dass auch Teilnehmende aus kleinen Schulen das
EFV durchaus erfolgreich abschließen können und umgekehrt, Teilnehmende aus großen
Schulen nicht zwangsläufig im EFV bestehen. Dies zeigt sich daran, dass sich auch
unter denjenigen, die das EFV bestanden haben, Personen aus sehr kleinen Kollegien
befinden (siehe Minimalwerte); ebenso gibt es unter denjenigen, die das EFV nicht bestehen,
Kandidaten, die in sehr großen Kollegien arbeiten (siehe Maximalwert).
Tabelle 9: EFV-Gesamturteil nach Größe des Kollegiums
n x s min max
Nicht bestanden 72 48,0 28,21 13 140
Die Leistungen übertreffen die Anforderungen. 171 62,2 35,04 11 180
Die Leistungen übertreffen die Anforderungen in
besonderem Maße.
124 65,5 39,09 9 200
Gesamt 367 60,5 35,76 9 200
F=5.990; p=O,OO3
Tabelle ]0: EFV-Gesamturteil nach Anzahl der Schüler/-innen
n X s min max
Nicht bestanden 73 700,6 594,28 95 3200
Die Leistungen übertreffen die Anforderungen. 170 998,7 766,05 80 3800
Die Leistungen übertreffen die Anforderungen in 122 1066,7 951,75 70 4700
besonderem Maße.
Gesamt 365 961,8 813,28 70 4700
F=5,063; p=O.OO7
Ein weiterer Indikator, der zur Differenzierung herangezogen werden kann, liegt in den
Antworten zur Frage nach dem Schulumfeld vor. Die Teilnehmenden wurden gebeten,
das Umfeld der Schule in den Kategorien "großstädtisch", "kleinstädtisch" und "ländlich"
zu charakterisieren. Dieser Indikator fängt die 54 Kreise und kreisfreien Städte
Nordrhein-Westfalens zwar nur sehr grob ein, lässt sich dafür aber einfach und ohne
Datenschutz-Bedenken erheben. Einen Einfluss auf das Bestehen des Verfahrens sollte
an dieser Stelle im Übrigen nicht festgestellt werden können. Tabelle 11 zeigt die entsprechende
Verteilung. Die Anteilswerte schwanken leicht, spiegeln aber insgesamt die
21

Verteilung über alle Befragten wider, sodass das Bestehen erwartungsgemäß unabhängig
vom selbsteingeschätzten Schulumfeld ist.
Tabelle 11: EFV-Gesamturteil nach Schulumfeld
Nicht be- Die Leistungen übertref- ... übertreffen die Anforde- n
standen fen die Anforderungen. rungen in besonderem Maße.
(100%)
großstädtisch 23,1% 44,1% 32,9% 143
kleinstädtisch 17,2% 51,0% 31,7% 145
ländlich 18,9% 40,5% 40,5% 74
Gesamt 19,9% 46,1% 34,0% 362
Chi 2 =3,874; p=O,423
3.2.5 Vorerfahrungen und Qualifizierung
Einen möglichen Einfluss auf das Bestehen des Eignungsfeststellungsverfahrens könnte
man für vorhandene Erfahrungen aus dem Schulleitungsumfeld vennuten. Personen, die
bereits in der stel1vertretenden Schulleitung tätig sind, sind mit den Anforderungen an
Schulleiter/-innen womöglich vertrauter. Aus Tabelle 12 geht hervor, dass 198 von 308
Personen angegeben haben, bereits stellvertretende Schulleiter/-innen zu sein. Von diesen
198 Personen haben 22,2% das Verfahren nicht bestanden. Für Personen, die keine
entsprechende Angabe zu einer SchuHeiterstel1vertretung gemacht haben, ist der Anteil
allerdings nicht größer, sondern beträgt nur 12,7%. Dies könnte den Eindruck entstehen
lassen, dass bereits vorhandene Erfahrungen aus dem Schulleitungsumfeld sich negativen
auf die Bewältigung des EFVs auswirken. Statistisch ist der Zusammenhang jedoch
nicht bedeutsam. Für das Bestehen des EFVs haben Vorerfahrungen demnach keine
nachweisliche Bedeutung, Personen ohne entsprechende Vorerfahrungen werden somit
auch nicht systematisch benachteiligt.
Tabelle 12: Erfahrungen in der stellvertretenden Schulleitung
ja
neinl nicht
angegeben
Gesamt
Nicht bestanden
Die Leistungen übertreffen die Anforderungen.
Die Leistungen übertreffen die Anforderungen in besonderem
Maße.
n (100%)
Chi 2 =4,204; p=O.122
22,2%
45,5%
32,3%
198
12.7% 18,8%
50,0% 47,1%
37,3% 34,1%
110 308
22

Von weiterem Einfluss auf das Gesamturteil im Verfahren könnte die Teilnahme
an vorbereitenden bzw. qualifizierenden Maßnahmen sein. Die Teilnehmerinnen und
Teilnehmer des EFVs wurden in diesem Zusammenhang gefragt, ob sie in der Vergangenheit
mit AC-Verfahren in Berührung gekommen sind bzw. welche Qualifikationserweiterungen
sie absolviert haben. Zu beachten ist, dass AC und AC-Training hier
nicht als gezielte Vorbereitung auf das EFV anzusehen sind, sondem vielmehr unabhängig
und teilweise viele Jahre vor der Einführung des EFVs stattfanden. Wie nachfolgende
Tabelle zeigt, hat nur eine Minderheit der Befragten im Vorfeld mit Assessment
Centem bzw. einem entsprechenden Trainingsprogramm Erfahrungen gesammelt.
Tabelle 13: AC-Erfahrung
Maßnahme
Teilnahme an einem Assessment Center
Assessment Center-Training
AC und AC-Training
Keine AC-Erfahrung
Anzahl
19
31
4
316
Anteil der Befragten
5,1%
8,4%
1,1%
85,4
Die Differenzierung von AC-erfahrenen und AC-unerfahrenen Personen nach EFV­
Gesamturteil ist in Tabelle 14 vorgenommen worden. Als AC-erfahrene Personen gelten
dabei alle Personen, die angegeben haben, an Assessment Centem und/oder AC­
Trainings teilgenommen zu haben. Anders als zur Frage nach der Stellvertretenden
Schulleitung (s.o.) schneiden AC-Erfahrene augenscheinlich etwas besser ab, als AC­
Unerfahrene. Die identifizierbaren Differenzen sind jedoch gleichennaßen nicht signifikant,
d.h. ein Vorteil für das Bestehen des EFV s besteht statistisch gesehen nicht, wenn
man in der Vergangenheit mit AC-Verfahren zu tun hatte.
Tabelle ]4: EFV-Gesamturteil nach AC-Erfahrung
ja
nein! nicht
angegeben
Gesamt
Nicht bestanden
Die Leistungen übertreffen die Anforderungen.
Die Leistungen übertreffen die Anforderungen in besonderem
Maße.
n (100%)
Chi 2 =1,952; p=O.377
13,0%
48,1%
38,9%
54
20,9% 19,7%
45,9% 46,2%
33,2% 34,1%
316 370
23

Doch wie sieht es im Zusammenhang mit qualifikationserweitemden Maßnahmen aus,
die unmittelbar auf den Erwerb von Schulleiterqualifikationen abzielen? In Tabelle 15
sind die entsprechenden Häufigkeiten und Anteilswerte ausgewiesen. Mehrfachnennungen
waren möglich, allerdings machten nur 22 von 370 Befragten mehr als eine Angabe.
Insgesamt gaben 324 Personen an, an mindestens einer Qualifizierungsmaßnahme
teilgenommen zu haben, 14 Befragten haben nach eigenen Angaben sowohl an einer
"staatlichen Fortbildung für stellvertretende Schulleiter/-innen im Amt" als auch an der
"Qualifikationserweiterung für Lehrkräfte, die ein Amt als Schulleiter/-in anstreben
(SLQ)" teilgenommen.
Tabelle 15: Q.ualifizierende Maßnahmen
Maßnahme
Anzahl
Anteil der
Befragten
davon ha-
ben nicht
bestanden:
Staatliche Fortbildung für stellvertretende Schulleiter/-innen
im Amt
Mind. zweisemestriges Zusatzstudium "Führung/Management"
an einer Hochschule
Oualifikationserweiterung für Lehrkräfte, die ein
Amt als Schulleiter/-in anstreben (SLO)
Eine vom Ministerium anerkannte Weiterbildung
(mind. 104 Std.) bei einer privaten Einrichtung
Nichts davon
177
26
166
7
24
47,8% 22,6%
7,0% 23,1%
44,9% 18,7%
1,9% 28,6%
6,5% 16,7%
Überprüft werden soll im Folgenden, ob das EFV -Gesamturteil mit der Teilnahme
an einer Fort-/Weiterbildung in einem Zusammenhang steht. Dabei kann insbesondere
zwischen Teilnehmenden an einer "staatlichen Fortbildung für stellvertretende
Schulleiter/-innen im Amt" und SLQ-Teilnehmenden differenziert werden. Die übrigen
Personen, also diejenigen, die eine andere oder keine Maßnahme angegeben haben,
werden zur Erhöhung der Fallzahl für die Analyse zu einer Gruppe zusammengefasst,
um eine ausreichende Gruppengröße zu erhalten. Personen, die mehr als eine Fort­
/Weiterbildung besucht haben, werden ausgeschlossen, da sie nicht eindeutig zugeordnet
werden können und es zu wenige Fälle sind, um sie als eigenständige Gruppe zu
beliicksichtigen.
24

Tabelle 16: EFV -Gesamturteil nach QuaJifizierungsmaßnahme
Stellvertr.
SL
SLQ
anderel
keine
Gesamt
Nicht bestanden 21,4% 16,4% 17,1% 18,8%
Die Leistungen übertreffen die Anforderungen. 47,8% 47,3% 51,2% 48,0%
Die Leistungen übertreffen die Anforderungen
in besonderem Maße.
30,8% 36,3% 31,7% 33,2%
n (100%) 159 146 41 346
Chi'=1,891; p=O.756/ ohne "andere/keine": Chi'=1,668; p=O,434
Betrachtet man die Verteilung in Tabelle 16, sieht man, dass die Anteilswerte im
Bezug auf das EFV -Gesamturteil in allen drei Gruppen nur leicht variieren. Ein Chi 2 -
Unabhängigkeitstest zeigt mit p=0,756 auch keine signifikanten Zusammenhänge. Der
Wert liegt deutlich über dem Signifikanzniveau von p=0,05 4 . Auch wenn man lediglich
Unterschiede der 146 Personen der SLQ-Gruppe und der 159 F ortbildungsteilnehmenden
(Stellvertr. SL) gegenüberstellt, zeigt sich kein signifikanter Zusammenhang. Zwar
erfüllen SLQ-Teilnehmer/-innen die EFV -Anforderungen häufiger in besonderem Maße
(36,3%) und bestehen seltener nicht (16,4%) als die Fortbildungsteilnehmenden (30,8%
bzw. 21,4%), dieser Unterschied ist aber ebenfalls nicht signifikant.
3.2.6 Zufriedenheit und Akzeptanz aus Teilnehmersicht
In der modifizierten Version der Zusatzbefragung wurden die Teilnehmenden
gebeten, ihre persönliche Meinung über das gesamte EFV zu äußern. Es ging dabei im
Fragen zum Ablauf, zur Transparenz und zur Akzeptanz des Verfahrens sowie um eine
Selbsteinschätzung der eigenen Vorbereitung und die Vertrautheit mit den gestellten
Schulleiteranforderungen. Die Befragung wurde nach Abschluss des Verfahrens, aber
vor der Ergebnisbekanntgabe durchgeführt. Die Einschätzungen wurden auf einer vierstufigen
Skala von "stimme nicht zu (--)" bis "stimme zu (++)" erhoben (vgl. Tabelle
17). Die große Mehrheit der Teilnehmenden ist mit dem Ablauf des Verfahrens zufrieden:
38,5% stimmen der entsprechenden Aussage zu und weitere 49,3% stimmen eher
zu. Etwas mehr als drei Viertel der Befragten halten das Verfahren für transparent
(75,3%) und insgesamt für eine gute Sache (77,7%). Kritisch äußert sich gut jeder Fünfte:
22,0% der Befragten stehen dem Verfahren (sehr) kritisch gegenüber.
4 vgl. Kapitel 2.2.1
25

Tabelle] 7: Einschätzung des EFVs
+ ++ n (100%)
Mit dem Ablauf des Verfahrens bin ich insgesamt zufrieden.
1,4% 10,8% 49,3% 38,5% 148
Ich halte das Verfahren für transparent. 4,2% 20,4% 38,0% 37,3% 142
Ich halte das Verfahren insgesamt für eine gute Sache. 6,8% 15,5% 50,0% 27,7% 148
Ich stehe dem Verfahren insgesamt sehr kritisch gegenüber.
37,3% 40,7% 15,3% 6,7% 150
Ich fühlte mich im Großen und Ganzen gut vorbereitet. 4,7% 24,3% 45,9% 25,0% 148
Dass sich Schulleiter/innen mit solchen Aufgaben beschäftigen,
hat mich überrascht.
79,3% 18,7% 2,0% 0,0% 150
Ein Viertel der Befragten (25%) fühlt sich im Großen und Ganzen gut vorbereitet,
weitere 45,9% stimmen zumindest eher zu. 1m Hinblick auf die Einschätzung der im
EFV gestellten Anforderungen äußern sich 98% dahingehend (eher) positiv, als dass sie
nicht oder eher nicht übelTaseht sind, dass sich Schulleitern/-innen mit solchen Aufgaben
beschäftigen.
Ein Einfluss des abschließenden Ergebnisses im EFV auf die Beurteilung des
EFV durch die Kandidatinnen und Kandidaten kann nicht vorliegen, da die Beurteilungen
vor Bekanntgabe des Ergebnisses abgegeben wurden. Allenfalls könnte die Bemiei-
1ung von dem subjektiv vennuteten EFV -Resultates abhängen. Da ein Zusammenhang
zwischen der Selbsteinschätzungen des Erfolgs im EFV und dem tatsächlichen Resultat
angenommen werden kann, wurden Unterschiede in der Beurteilung des EFV zwischen
Kandidaten mit günstigem und ungünstigem Resultat ennittelt. Tatsächlich kann - mit
einer Ausnahme - kein statistisch tragfähiger Zusammenhang zwischen EFV -Resultat
und den erhobenen Einschätzungen festgestellt werden. Unabhängig vom Bestehen
bzw. Nicht-Bestehen variieren die Einschätzungen des Verfahrens, d.h. jemand, der
(gut) bestanden hat, gibt durchschnittlich keine anderen Einschätzungen ab, als jemand
der nicht bestanden hat. Die Ausnahme betrifft die Selbsteinschätzung zur eigenen V 01'­
berejtung. Diejenigen, die nicht bestanden haben, geben eine plausible bzw. realistische
Einschätzung ab und bewelien ihre Vorbereitung durchschnittlich schlechter als die
anderen Gruppen. Das Ergebnis zeigt einen deutlichen Zusammenhang zwischen den
subjektiven Einschätzungen der Kandidatinnen und Kandidaten bezüglich ihrer Kompetenz
und dem Ergebnis des EFV. Insgesamt scheint das EFV demnach auf überwiegen-
26

de Zustimmung zu stoßen. Die Anforderungen im EFV werden akzeptiert und mit den
späteren Anforderungen an Schulleiter/-innen in Verbindung gebracht.
Tabelle 18: Beurteilung des EFVs nach EFV-Gesamtergebnis
Mit dem Ablauf des Verfahrens bin ich insgesamt zufrieden.
F=O,627; p=0,536
n X s
nicht bestanden 32 3,16 ,574
Die Leistungen übertreffen die Anforderungen. 59 3,32 ,681
Die Leistungen übertreffen die Anforderungen In besonderem Maße. 57 3,23 ,780
Gesamt 148 3,25 ,699
Ich halte das Verfahren für transparent.
F=0,593; p=0,554
n X s
nicht bestanden 31 3.03 ,875
Die Leistungen übertreffen die Anforderungen. 54 3,19 ,754
Die Leistungen übertreffen die Anforderungen In besonderem Maße. 57 3,02 ,954
Gesamt 142 3,08 ,863
Ich halte das Verfahren insgesamt für eine gute Sache.
F=0,541; p=O,583
n X s
nicht bestanden 31 3,03 ,836
Die Leistungen übertreffen die Anforderungen. 58 3,05 ,759
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 2,90 ,923
Gesamt 148 2,99 ,841
Ich stehe dem Verfahren insgesamt sehr kritisch gegenüber.
F=1,131; p=0.326
n X s
nicht bestanden 32 2,03 ,897
Die Leistungen übertreffen die Anforderungen. 59 1,78 ,789
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 1,98 ,974
Gesamt 150 1,91 ,889
Ich fühlte mich im Großen und Ganzen gut vorbereitet.
F=3,27; p=0,041
n X s
nicht bestanden 31 2,58 ,886
Die Leistungen übertreffen die Anforderungen. 59 3,00 ,743
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3.00 ,838
Gesamt 148 2,91 ,824
Dass sich Schulleiterlinnen mit solchen Aufgaben beschäftigen, hat mich über-
rascht. F=0,752; p=0,473
n X s
nicht bestanden 32 1,25 ,568
Die Leistungen übertreffen die Anforderungen. 59 1,27 ,485
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 1,17 ,378
Gesamt 150 1,23 ,466
1 = stimme nicht zu - 4 = stimme zu
27

3.2.7 Einschätzungen der Übungen aus TeiJnehmersicht
Auch die einzelnen Übungen wurden ähnlich wie das Gesamtverfahren überprüft
und diesbezüghche Selbsteinschätzungen der Teilnehmenden eingeholt. Folgenden
Aussagen wurden auf einer vier-stufigen Skala von ,,1 = stimme nicht zu" bis ,,4 =
stimme zu" zur Beurteilung gegeben:
Die Vorbereitungszeit war ausreichend
Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit gebraucht
Die Aufgabenstel1ung war verständlich
leh glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin
Ich glaube, dass ich die entsprechende Kompetenz in der jeweiligen Aufgabe
gut zeigen konnte.
Hiennit lassen sich Eindrücke zum wahrgenommenen Zeitbudget, zur Verständlichkeit
und zur Bewältigungsselbsteinschätzung sowie zu den gezeigten Kompetenzen
gewinnen, wie im Folgenden dargestellt wird. Die berücksichtigen Aspekte Jassen sich
wiederum als Einschätzungen zur Akzeptanz des Verfahrens interpretieren.
Zeitbudget in den Übungen
Charakteristisch rur professionelles Handeln ist unter anderem, dass Entscheidungen
oftmals unter Zeitdruck getroffen werden müssen. Im Rahmen von Assessment
Center-Verfahren, und somit auch im Eignungsfeststellungsverfahren, wird dieses Charakteristikum
schon allein aus pragmatischen Gründen über eine Begrenzung der Bearbeitungs-
bzw. Vorbereitungszeit realisiert. Zur Erfüllung der Anforderungen ist es gleichennaßen
von Bedeutung, dass dennoch ein Mindestmaß an Zeit zur Verfügung steht.
1m EFV schwankt das Zeitbudget je nach Übung zwischen 15 und 90 Minuten: Zur
Vorbereitung der Gruppendiskussion haben die Teilnehmer/-innen 20 Minuten Zeit, für
die Gesprächsübung 15 Minuten und für die Präsentation 90 Minuten. Für die Postkorbübung
stehen 75 Minuten Bearbeitungszeit zur Verfügung.
Aus Sicht der überwiegenden Mehrheit der Befragten reicht die Zeit zur Vorbereitung
der Gruppendiskussion, der Gesprächsübung und der Präsentation (eher) aus.
28

Die Bearbeitung des Postkorbs hingegen geschieht offenbar unter größerem Zeitdruck.
Nur 19,6 % der Befragten geben an, dass die Zeit (eher) ausgereicht hat, 80,4 % können
der entsprechenden Aussage (eher) nicht zustimmen (vgl. Abbildung 5). Entsprechend
verhält es sich umgekehrt mit den Einschätzungen, ob zur Bearbeitung der Aufgaben
mehr Zeit benötigt worden wäre. Nur in der Postkorbübung stimmt die Mehrheit der
Befragten (81 %) der Aussage (eher) zu, dass sie "zur Bearbeitung der Aufgabe wesentlich
mehr Zeit gebraucht" hätte (v gl. Abbildung 6).
Die Vorbereitungszeit war ausreichend.
Postkorb (n=148)
Gesprächsübung
(n=149)
Präsentation (n=150)
Gruppendiskussion
(n=150)
0%
20% 40% 60% 80%
100%
lOstimme nicht zu lil stimme eher nicht zu 0 stimme eher zu 0 stimme zu I
Abbildung 5: Die Vorbereitungszeit war ausreichend.
29

Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit
gebraucht.
48,3
32,7
Gesprächsübung
(n=150)
'51,3
Präsentation (n=148) 38,5
24,3
Gruppendiskussion f-----.,..---------
(n=150) 56,7
0% 20% 40%
60% 80%
100%
Abbildung 6: Zur Bearbeitung der Aufgabe häue ich wesenliich mehr Zeit gebraucht.
Verständlichkeit und BewäJtigungsseJbsteinschätzung
Die im vorangegangenen Kapitel 3.2.6 dargestellten, insgesamt positiven Gesamteinschätzungen
spiegeln sich auch in den Beurteilungen der einzelnen Übungen
wider. Zur Qualität und Akzeptanz des Eignungsfeststellungsverfahrens trägt u.a. bei,
dass die gestellten Anforderungen für die Teilnehmerinnen und Teilnehmer verständlich
sind. Die Bewältigung der verschiedenen Aufgaben gelingt umso besser, desto klarer
die entsprechenden AufgabensteIlungen fonnuliert sind. Umgekehrt dürfte es schwer
fallen, die gestellten Anforderungen zu erfullen, wenn die Aufgabenstellung nicht verstanden
worden ist. Wie Abbildung 7 zeigt, werden die AufgabensteIlungen überwiegend
als verständlich wahrgenommen. In Gruppendiskussion und Präsentation befinden
mehr als vier Fünftel der Befragten die AufgabensteIlung als verständlich. Etwas Verhaltener
sind die Einschätzungen hingegen insbesondere in der Postkorbübung, gleichwohl
zustimmende Antw0l1en auch hier überwiegen. Et\vas mehr als die Hälfte
(56,7 %) gibt eine vorbehaltlos positive Einschätzung ab, ein weiteres Drittel (34.7 %)
stimmt zumindest eher zu.
30

Die AufgabensteIlung war verständlich.
Postkorb (n=150)
34,7 56,7
Gesprächsübung
(n=150)
71,3
Präsentation (n= 150)
80,7
Gruppendiskussion
(n=149)
17,4 82,6
0%
20% 40% 60% 80%
100%
[Ostimme nicht zu Ii!IIstimme eher nicht zu Ostimme eher zu Ostimme -zu I
Abbildung 7: Die AufgabensteIlung war verständlich.
Die Teilnehmer/-innen wurden daneben gefragt, ob sie glauben, mit den Aufgaben
gut zurechtgekommen zu sein. Über alle Aufgaben hinweg werden diesbezüglich
überwiegend zustimmende Beurteilungen abgegeben (vgl. Abbildung 8). Dies gilt sogar
für die Postkorbübung, die im Zusammenhang mit dem zur Verfügung stehenden Zeitbudget
eher kritisch beurteilt worden ist. Lediglich ein gutes Viertel (28,2 %) gibt an,
mit dieser Übung (eher) nicht gut zurechtgekommen zu sein.
31

Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin.
Postkorb (n=149)
52,3 19,5
Gesprächsübung
(n=147)
49,0 26,5
Präsentation (n= 148)
51,4
35,8
Gruppendiskussion
(n=149)
58,4
36,2
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
[Ifsti_rl1!'le nicht~ Il'!l stimme eher nicht zu 0 stimme eher zu 0 stimme zu I
Abbildung 8: Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin.
Kompetenz-Selbsteinschätzungen
Nach KLEINMANN (1991) trägt es zur Qualität und Akzeptanz von AC­
Verfahren bei, wenn die Teilnehmer/-innen wissen, welche Kompetenzdimensionen
überprüft werden. Im Eignungsfeststellungsverfahren wird diese lnfonnation mehrfach
transparent gemacht. Die Kompetenzdimensionen sind im entsprechenden Runderlass
benannt und lassen sicb zusätzlich auf den lntemetseiten des MSW NRW in Erfahrung
bringen. W äbrend der EFV -Durchführung werden die fokussierten Kompetenzen
schließlich auf den ausgegebenen Übungsmaterialen benannt. Die Teilnehmerinnen und
Teilnehmer wissen also spätestens zu Beginn einer Übung, welche Schulleiterkompetenzen
im Mittelpunkt steben. Vordem Hintergrund dieser lnfonnationslage konnte in
der Zusatzbefragung eine Selbsteinschätzung der je eigenen Kompetenzwahrnehmung
erhoben werden. Für jede Übung wurde gefragt, inwieweit die Teilnehmenden glauben,
die entsprecbenden Kompetenzen gezeigt zu haben. Die in Abbildung 9 dargestellten
Verteilungen sind nach Grad der Zustimmung sortiert. Die höchste Zustimmung erfähJ1
demnach die in der Gruppendiskussion fokussierte Kommunikationskompetenz. Fast
90 % stimmen der Aussage (eher) zu, dass sie diese Kompetenz in dieser Übung gut
32

zeigen konnten. Die vergleichsweise geringste Zustimmung erfährt Management in der
Postkorbübung, wobei immer noch drei Viertel der Befragten (75,5 %) eine zustimmende
Selbsteinschätzung abgegeben haben.
'---I-eh glaube, dass ich meine ... kompetenz in dieser Aufgabe gut zeigen
I
konnte.
KO (GO), n=144 55,6 33,3
MN (PR), n=145 60,7 26,9
IN (PR). n= 145 49,7 33,1
RK (GS). n=145 40,7 40,7
IN (GO). n=143 55,2 25,9
RK (PK), n=143 43.4 35,0
KO (GS), n=145 44,8 32,4
MN (PK), n=143 50,3 25,2
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Ostimme nicht zu l!.iIstimme eher nicht zu Ostimme eher zu Ostimme zu
Abbildung 9: Selbsteinschätzung der Kompetenzen S
5 Die Abkürzungen in der Abbildung bedeuten: KO=Kommunikation; RK=Rollenklarheit;
IN=Innovation; MN=Management; PK=Postkorb; GS=Gesprächsübung; GD=Gruppendiskussion;
PR=Präsentation
33

Einschätzung der Übungen nach EFV-GesamturteH
Ähnlich wie bei der Gesamteinschätzung des EFVs (vgl. Kapitel 3.2.6) sollte
auch bei den Beurteilungen der einzelnen Übungen kontrolliert werden, ob das Abschneiden
im Gesamtverfahren einen Einfluss auf die Einschätzungen hat. Der Vergleich
der durchschnittlichen Einschätzungen der Personen, die nicht bestanden haben
und derjenigen, die die Anforderungen übertreffen bzw. in hohem Maße übertreffen,
zeigt allerdings in keinem Fall signifikante Unterschiede. Die Einschätzungen zum
Zeitbudget, zur Verständlichkeit und zur wahrgenommenen Bewältigung sowie die
KompetenzseJbsteinschätzungen werden unabhängig vom erreichten EFV -Gesamturteil
abgegeben. Da die entsprechenden Tabellen viel Raum einnehmen, wird auf eine Darstellung
an dieser Stelle verzichtet. Sie befinden sich im Anhang (s. S. 77ff.).
3.2.8 Zusammenfassung
Die bislang referierten Ergebnisse belegen, dass grundlegende Voraussetzungen
der Objektivität und Validität des Eignungsfeststellungsverfahrens erfüllt werden.
Das Verfahren leistet eine Differenzierung der Kandidatinnen und Kandidaten
anband der ihnen zugeschriebenen Kompetenzen in die Kategorien nicht bestanden,
Leistungen übertreffen die Anforderungen und Leistungen übertreffen die Anforderungen
in besonderem Maße. Diese Differenzierung ist für Entscheidungen über die Besetzung
von Schulleitungsämtem im Rahmen geltender administrativer Bestimmungen
funktional und erweist sich somit für die operativen Zwecke des EFV als valide. Die
Verteilung der Kandidaten auf die drei Gruppen ist bei einem knappen Fünftel von Fällen
des Nicht-Bestehens erwartbar und plausibel. Ein relativ geringer Anteil von Personen,
die das EFV nicht bestehen ist zu erwaJien, weil der EntscllJuss, sich an einem
EFV zu beteiligen bereits zu einer positiven Selbstselektion in der gesamten Gruppe der
Kandidatinnen und Kandidaten führen dürfte und weil davon ausgegangen werden
kann, dass die Kandidatinnen und Kandidaten sich - sei es über Qualifizierungsmaßnahmen
oder infoD11ell - auf die Beteiligung vorbereitet haben. Günstig zu werten ist
die Unterteilung delJenigen, die das EFV bestanden haben, in zwei vom Kompetenzniveau
unterscheidbare Gruppen, die mit 35% bzw. 45% der Gesamtgruppe recht umfang-
34

eich sind. Sie spricht für die Differenzierungsfahigkeit des EFV auch innerhalb der
Gruppe von Personen, die bestanden haben. Die Validität des Verfahrens wird auch
durch den Zusammenhang zwischen der abschließenden Beurteilung und der subjektiv
von den KandidatiImen und Kandidaten empfundenen Güte ihrer eigenen Vorbereitung
auf das EFV gestützt. Dieses Ergebnis ist auch mit Blick auf die Akzeptanz der aus den
Ergebnissen resultierenden Entscheidungen von großer Bedeutung.
Für die Objektivität des Verfahrens spricht, dass Faktoren, von denen kein Einfluss
auf die Beurteilung im EFV erwartet kann (Geschlecht; Schulmerkmale; Einstellungen
gegenüber dem EFV) nicht im Zusammenhang mit den Beurteilungen stehen.
Das trifft weitgehend auch für die Zugehörigkeit der Kandidatinnen und Kandidaten zu
Schulen einer bestimmten Form zu; eine Ausnahme bildet jedoch die Hauptschule. Personen,
die hier tätig sind, haben statistisch eine geringere Chance, das EFV zu bestehen,
als die Kol1eginnen und Kollegen von anderen Schulfonnen. Eine nähere Erklärung für
diesen Zusammenhang ergibt sich aus den vorliegenden Daten nicht; denkbar ist, dass
hinter dem Einfluss der Zugehörigkeit zum Kollegium einer Hauptschule ein Einfluss
der Schul größe steht, da Hauptschulen oftmals relativ klein sind. Tatsächlich steht die
Größe der Schule - gemessen an der Größe des Kollegiums - in einem Zusammenhang
mit dem Abschneiden im EFV. Es kann vennutet werden, dass die Arbeit in großen
Lehrerkollegien mehr Gelegenheiten bietet, die im EFV geprüften Kompetenzen praktisch
bereits erprobt zu haben. Ein Zusammenhang zwischen dem Lebensalter der Kandidatinnen
und Kandidaten und dem Ergebnis der EFV ist möglicherweise auf generationenspezifische
Einstellungen gegenüber Assessment Center und/oder neueren Verfahren
des Managements zurückzuführen.
35

3.3 Befragung der Beobachterinnen und Beobachter
Wie in Kapitel 2.4 beschrieben, nehmen an jedem EFV sieben Personen als Beobachtende
teil. Da ein und dieselbe Person in unterschiedlichen Verfahren als Beobachter/-in
eingesetzt werden kann, beziehen sich nachfolgende Auswertungen auf die
Beobachtenden pro EFV - wir nennen sie Beobachterfälle. Die Angaben einzelner Personen
gingen, sofem sie mehrfach als Beobachterfall auftraten, auch mehrfach in die
Befragung ein. Leichte Verzenllngen durch Mehrfachzählungen sind dadurch nicht auszuschließen,
müssen aus datenschutzrechtlichen und organisatorischen Gründen jedoch
in Kauf genommen werden.
Die sieben Beobachtenden setzen sich zusammen aus drei Vertreterinnen/Vertretem
der Schulaufsicht (SchA), zwei erfahrenen SchuBeiterinnen bzw. Schulleitem
(SL) sowie zwei Vertreterinnen/Vertretem der Kommunen bzw. Schulträger
(ST). Bei 26 Verfahren ergibt sich daraus planerisch die Beteiligung von 78 Schulaufsichtsbeamtinnen/-beamte
sowie jeweils 52 Personen der beiden anderen Statusgruppen
als BeobachterfaJlen; diese We11e können durch Ausfälle und Ve11retungen allerdings in
unerheblichem Umfang schwanken. Von diesen insgesamt 182 Beobachterfällen sind
175 im Rahmen der Zusatzbefragung um die Beantwortung eines Fragebogens gebeten
worden. Es konnte ein Rücklauf von 86,9% erreicht werden, d. h. es liegen Angaben
von 152 6 Beobachterfällen vor. Ziel der Zusatzbefragung war, einige sozio- und berufsbiographische
Angaben zu erhalten, um damit Fragen der Objektivität zu klären. So
sonten die Beurteilungen der Teilnehmenden nicht systematisch nach Merkmalen der
Beobachtenden variieren. Wie schon in der Teilnehmendenbefragung ist auch der Fragebogen
für die Beobac11tenden nac11 der Hälfte der Projektzeit modifiziert worden. Dabei
wurden insbesondere einige Fragen zur Einsc11ätzung der vier Übungen aufgenommen.
Tabelle 19 zeigt die Anzahl der Beobac11terfälle nac11 Statusgruppe und Gescblecht.
Während das Geschlechterverhältnis bei Beobachtenden aus der Schulaufsicht
nahezu ausgeglichen ist, haben von bei den anderen Gruppen tendenziell mehr Beobach-
6 Sollten im Folgenden Fallzahlen berichtet werden, die kleiner als J 52 sind, so ist das aufunvollständige
Angaben der Befragten zurückzuführen.
36

ter als Beobachterinnen teilgenommen. Der Unterschied wird allerdings gegenüber dem
Erwartungswert einer Geschlechterparität nicht signifikant.
Tabelle 19: Beobachtende nach Profession und Geschlecht
männlich weiblich n (100%)
SchA 52,3% 47,7% 65
SL 63,0% 37,0% 46
ST 68,3% 31,7% 41
Gesamt 59,9% 40,1% 152
Chi 2 =2,951; p=0,229
Die Verteilung der Beobachtenden auf die fünf Regierungsbezirke schwankt
ebenfalls. Schulaufsichtsbeamte verteilen sich in etwa gleichmäßig auf vier der fünf
Bezirke. VeJ1reter der Schulträger stammen eher aus den Regierungsbezirken Amsberg,
Detmold. Schulleiter sind eher nicht aus dem Regierungsbezirk Detmold (v gl. Tabel1e
20)7.
Tabelle 20: Beobachtende nach Profession und Regierungsbezirk
SchA Sl ST Gesamt
Arnsberg 21,5% 37,8% 31,7% 29,1%
Oetmald 20.0% 2,2% 34,1% 18,5%
Oüsseldarl 21,5% 20,0% 22,0% 21,2%
Köln 27.7% 26,7% 7,3% 21,9%
Münster 9,2% 13,3% 4,9% 9,3%
n (100%) 65 45 41 151
Das Durchschnittsalter der Beobachterinnen und Beobachter liegt bei 55,5 Jahren
(v gl. Tabelle 21), wobei die Vertreter/-innen der Schulträger bzw. Kommunen
durchschnittlich jünger sind als die anderen Beobachtergruppen. Der Unterschied ist
signifikant. Die durchschnittliche Dienstzeit der Befragten beträgt 30,3 Jahre, wobei es
keine statistisch bedeutsamen Unterschiede zwischen den drei Beobachtergruppen gibt
(vg1. Tabelle 22). Statistisch hochsignifikante Unterschiede gibt es al1erdings in Bezug
auf die "Funktionserfahrung", d. h. auf die Dauer der Ausübung einer Funktion als
Schulleiter/-in, Schulaufsichtsbeamter/-beamtin bzw. im Schulamt. Die berufliche Position,
in der die Beobachtenden am EFV teilnehmen, bekleiden sie im Durchschnitt seit
7 Ein Chi 2 -Unabhängigkeitstest wird zwar signifikant, ist aufgrund der teilweise zu kleinen Gruppen allerdings
nur bedingt aussagekräftig.
37

10,1 Jahren. Die höchste "Funktionserfahrung" haben die Vertreter/-innen der Schulträger
mit 13,6 Jahren, Schulaufsichtsbeamte mit durchschnittlich 7,2 Jahren die niedrigste
(vgl. Tabelle 23). Diese Differenzen sind angesichts der altersabhängigen Karrierewege
erwartbar.
Tabelle 21: Durchschnittsalter der Beobachtenden
n x S min max
SchA
SL
ST
65 56,8 4,99 41 64
46 55,3 5,35 40 64
41 53,7 7,11 38 65
Gesamt 152 55,5 5,84 38 65
F=3,779; p=O,025
Tabelle 22: Durchschnittliche Dienstzeit der Beobachtenden
SchA
SL
ST
n X S min max
64 30,5 6,79 14 43
45 28,7 7,53 13 40
39 31,7 8,97 13 44
Gesamt 148 30,3 7,67 13 44
F-1,636; p-O,198
Tabelle 23: Bisherige "Funktionserfahnmg"
SchA
n x S min max
65 7,2 3,20 0 15
SL 46 11,4 4,80 2 23
ST
40 13,6 12,56 0 42
Gesamt 151 10,1 7,74 0 42
F=10,636; p=O,OOO
Aus Tabelle 24 geht hervor, welche qualifizierenden Maßnahmen die Befragten
In der Vergangenheit besucht oder absolviert haben. 29 von 147 Beobachtenden
(19,7%) nahmen selbst schon einmal an einem Assessment Center teil. Dass 74 der Beobachterfcille
(50,3%) angeben, eine Schulleitungsqualifizierung absolviert zu haben,
lässt vennuten, dass hierunter auch andere als die im Runderlass vom 25.11.2008 beschriebene
SLQ (vgl. MSW NRW 2008b) fallen. Die Tabelle verdeutlicht, dass die Beurteilenden
selbst mit der Al1 des Verfahrens, in dem sie als BeU11eilende tätig sind,
mehrheitlich keine Erfahrungen gemacht haben.
38

Tabelle 24: Qualifizierungen (n=147)
Teilnahme an AC
Teilnahme an AC-Training
Schulleitungsqualifizierung
Staatliche Fortbildung .Stellvertretende Schulleitung"
Zusatzstudium "Führung/Management"
Strukturierte Interviews
ja nein keine Angabe
19,7% 65,3% 15,0%
15,0% 68,0% 17,0%
50,3% 40,1% 9,5%
8,8% 68,7% 22,4%
4,1% 73,5% 22,4%
20,4% 57,1% 22,4%
Mithilfe der untersuchten Variablen lassen sich unterschiedliche Gruppendifferenzierungen
auf Beobachterseite vornehmen, um Rückschlüsse auf die Objektivität der
Beobachterleistung und somit die Objektivität des Gesamtverfahrens zu ennöglichen.
Zur Differenzierung eignen sich die Variablen Geschlecht, Profession und Regierungsbezirk
sowie ggf. Alter bzw. Dienstzeit und "Funkt i onserfahrun g". Für ein möglichst
objektives Verfahren sollten bestimmte Merkmalsausprägungen nicht mit bestimmten
Urteilstendenzen einhergehen. Da sich das Gesamtergebnis aus einer Vielzahl von Einzelbeurteilungen
zusammensetzt und letzt1ich a]]e Beobachtenden pro EFV zu dieser
Gesamtbeurteilung beitragen, kann für die Analysen nicht auf das Gesamturteil zurückgegriffen
werden. Vielmehr müssen sie auf Ebene der Übungen und Kompetenzen
durchgeführt werden. Tabelle 25 gibt zunächst einen Überblick über die Gesamtverteilung
der in den Übungen erzielten Punkte für die Gesamtheit der Beurteilungen 8 . Nur in
wenigen Fäl1en wurden die geforderten Verhaltensweisen überwiegend nicht beobachtet,
die Anteilswerte schwanken je Übung und Kompetenz zwischen 0,9% und 2)%.
Für die Mehrheit der Beurteilungen (zwischen 41,8% und 57,2%) wurde das Ergebnis
"überwiegende Zahl mindestens erfül1t" vergeben, was für die entsprechenden Teilnehmenden
jeweils drei erzielte Punkte pro Beurteilung bedeutet.
8 Als Beurteilungen werden hier die von je zwei Beobachtern in jeder Kompetenz und Aufgabe vorgenommenen
Beurteilungen der insgesamt 409 Kandidaten (409 x 2 = 818) gezählt. Sollten im Folgenden
geringere FaJlzahlen berichtet werden, so ist das auf fehlende Angaben der Befragten im Rahmen der
Zusatzbefragung zurückzuführen.
39

Tabelle 25: Beurteilungen nach Übung und KomEetenz (n=818 Beurteilungen)
überwiegende
Übung Kompetenz 9 Zahl wurde
"nicht erfüllt"
mindestens
die Hälfte
schlechter als
" erfüllt"
überwiegende
Zahl mindesjens
"erfüllt"
überwiegende
Zahl wurde
"gut erfüllt"
Post- RK 1,6% 26,0% 44,3% 28,1%
korb/F allstudie MN 2,1% 26,0% 50,0% 21,9%
Gesprächsübung
Präsentation
RK 1,3% 18,8% 44,0% 35,8%
KO 1,5% 20,9% 50,1% 27,5%
IN 2,3% 17,1% 41,8% 38,8%
MN 2,7% 27,3% 42,7% 27,4%
Gruppendiskus- IN 2,7% 16,4% 57,2% 23,7%
sion KO 0,9% 13,2% 55,4% 30,6%
EFV Gesamt 1,9% 20,7% 48,2% 29,2%
Insgesamt erscheint es in den verschiedenen Übungen unterschiedlich schwierig
zu sein, die entsprechenden Kompetenzen zu beobachten. Addiert man die Anteilswerte
für "überwiegende Zahl mindestens erfLillt" und "überwiegende Zahl w-llrde gut erft.illt",
lässt sich sagen, dass in 86,0% der Beurteilungen für Kommunikation in der Gruppendiskussion
ein Punktwel1 von drei oder vier vergeben worden ist, aber nur in 70,1% der
BeobachtungsfalJe für Management in der Präsentationsübung.
Um für die nachfolgenden Analysen ausreichende Gruppengrößen zu erhalten,
werden die Kategorien "überwiegende Zahl wurde nicht erfüllt" (1 Punkt) und "mindestens
die Hälfte schlechter als erfüllt" (2 Punkte) zu einer Kategorie zusammengefasst.
Die anderen beiden Kategorien bleiben bestehen.
Ta belle 26: Übersicht" Analysegruppen "
Kategorienname
1 und 2 Punkte
3 Punkte
Bedeutung
"überwiegende Zahl wurde nicht erfüllt" und "mindestens die Hälfte besser als
zum Teil erfüllt"
überwiegende Zahl mindestens "erfüllt"
4 Punkte
überwiegende Zahl wurde "gut erfüllt"
9 RK=Rollenklarheit; MN=Management; KO=KoJ11J11unikation: lN=lnnovation
40

3.3.1 Differenzierung nach Geschlecht
Nachfolgende Tabellen zeigen die Ergebnisse für die acht Kombinationen von
Übungen und Kompetenzen nach Geschlecht. Mit Ausnahme der Präsentationsübung
zeigen sich keine signifikanten Unterschiede, d.h. Männer und Frauen beurteilen das
beobachtete Verhalten überwiegend ähnlich. Insbesondere die Innovationskompetenz
bewerten Beobachterinnen in den Präsentationen allerdings deutlich kritischer als Beobachter,
d.h. Frauen vergeben durchschnittlich weniger Punkte als Männer, sie sehen das
geforderte Verhalten seltener als (gut) erfüllt an.
Tabelle 27: Postkorb/FalJstudie - Ergebnisse nach Geschlecht der Beobachter
Rollenklarheit m w Gesamt Management m w Gesamt
1 + 2 Punkte 28,6% 26,8% 27,9% 1 + 2 Punkte 26,2% 29,2% 27,4%
3 Punkte 44,2% 45,3% 44.7% 3 Punkte 52,1% 49,1% 50,9%
4 Punkte 27,1% 27,9% 27.4% 4 Punkte 21,7% 21,7% 21,7%
n (100%) 398 276 674 n (100%) 397 277 674
Chi'=0,272; p=0,873
Chi 2 =0,848; p=0.654
Tabelle 28: Gesprächsübung - Ergebnisse nach Geschlecht der Beobachter
Rollenklarheit m w Gesamt Kommunikation m w Gesamt
1 + 2 Punkte 19,5% 21,1% 20,1% 1 + 2 Punkte 21,1% 23,6% 22,1%
3 Punkte 45,5% 42,6% 44,3% 3 Punkte 52.9% 48,0% 50,9%
4 Punkte 35,0% 36,3% 35,5% 4 Punkte 26.1% 28,4% 27,0%
n (100%) 400 270 670 n (100%) 399 271 670
ChF=0,591; p=0.744
Chi 2 =1,575; p=0.455
Tabelle 29: Präsentation - Ergebnisse nach Geschlecht der Beobachter
Innovation m w Gesamt Management m w Gesamt
1 + 2 Punkte 15,4% 23,7% 18,9% 1 + 2 Punkte 28,2% 34,6% 30,9%
3 Punkte 47.3% 38,7% 43.6% 3 Punkte 46,3% 37,0% 42,3%
4 Punkte 37,3% 37,6% 37,4% 4 Punkte 25,6% 28,4% 26,8%
n (100%) 389 287 676 n(100%) 387 289 676
Chi 2 =8,785; p=0,012
Chi 2 =6,030; p=0,049
41

Tabelle 30: Gruppendiskussion - Ergebnisse nach Geschlecht der Beobachter
Innovation m w Gesamt Kommunikation m w Gesamt
1 + 2 Punkte 17,7% 20,7% 18,9% 1 + 2 Punkte 12,3% 14,8% 13,3%
3 Punkte 58,4% 56,5% 57,6% 3 Punkte 58.5% 54,4% 56,9%
4 Punkte 23,9% 22,9% 23,5% 4 Punkte 29,2% 30,7% 29,8%
n (100%) 406 271 677 n (100%) 407 270 677
Chi'=0,913; p=0,634
Chi'=1,368; p=0,505
3.3.2 Differenzierung nach Profession
An der Beurteilung der verschiedenen Teilnehmerinnen und Teilnehmer sind
drei verschiedene Beobachtergruppen beteiligt. Es wäre prinzipiell vorstellbar, dass jede
Gruppe mit ihren je eigenen Professionserfahrungen zu unterschiedlichen Einschätzungen
des beobachteten Verhaltens kommt. Auf der anderen Seite soHen sich die Beobachtenden,
die durch Schulungen und Briefings auf die komplexe Beobachtungsaufgabe
vorbereitet werden, ein möglichst objektives Bild machen und keinen professionsspezifischen
Blickwinkel einnehmen. Für die Objektivität des Verfahrens und die primäre
Fokussierung von Kompetenzen sollten sich keine oder nur geringfügige BeUl1eilungsunterschiede
feststellen lassen. Greift man beispielhaft die im EFV überprüfte Managementkompetenz
(MN) heraus, so kann man leichte Unterschiede in den Beurteilungen
feststellen: Vertreter der Schulträger urteilen scheinbar kritischer und beobachten
das geforderte Verhalten seltener als die beiden anderen Gruppen (vgl. Tabelle 31 und
Tabelle 33). Die Unterschiede in den Bem1eilungen sind allerdings in keiner der Übungen
und für keine der Kompetenzen statistisch bedeutsam, d.h. keine der Gruppen bewertet
die Verhaltensweisen in einer zufallskritisch abzusichernden Ausprägung anders.
Damit erfüllt das Verfahren für dieses Unterscheidungsmerkmal die gestellte Objektivitätsanforderung,
obgleich es eine leichte Tendenz zu unterschiedlichen Beurteilungen
gibt.
42

Tabelle 3]: Pos1korb/Fallstudie - Ergebnisse nach Beobachterprofession JO
RK SehA SL ST ge5 . MN SehA SL ST ge5.
1 + 2 Pkt. 28,4% 23,4% 30,2% 27,6% 1 + 2 Pkt. 29,2% 22,5% 31,6% 28.1%
3 Punkte 44,8% 45,0% 42,7% 44,3% 3 Punkte 49,2% 51,7% 49,8% 50,0%
4 Punkte 26,8% 31,6% 27,1% 28,1% 4 Punkte 21,6% 25,8% 18,7% 21,9%
n (100%) 384 209 225 818 n (100%) 384 209 225 818
Chi'=3,330; p=0,504
Chi'=6, 188; p=0,186
Tabelle 32: Gesprächsübung - Ergebnisse nach Beobachterprofession
RK SehA SL ST ge5 . KO SehA SL ST ge5.
1 + 2 Pkt. 20.7% 19,9% 19,7% 20,2% 1 + 2 Pkt. 24,1% 22.9% 19,2% 22,4%
3 Punkte 42,2% 44,9% 45.9% 44,0% 3 Punkte 48,7% 50.4% 52,0% 50,1%
4 Punkte 37.1% 35,2% 34,5% 35,8% 4 Punkte 27,2% 26,7% 28,8% 27,5%
n (100%) 353 236 229 818 n ~100%) 353 236 229 818
Chi'=0,868; p=0,929
Chi'=2 .018; p=0,732
Tabelle 33: Präsentalion - Ergebnisse nach Beobachterprofession
IN SehA SL ST ge5 . MN SehA SL ST ge5.
1 + 2 Pkt. 21.2% 18.8% 17,3% 19,4% 1 + 2 Pkt. 28,9% 27,7% 34,1% 30,0%
3 Punkte 37.3% 44,8% 45,9% 41,8% 3 Punkte 41,9% 44,5% 41,8% 42,7%
4 Punkte 41,5% 36.4% 36.8% 38,8% 4 Punkte 29,2% 27,7% 24,1% 27,4%
n (100%) 359 239 220 818 n (100%) 360 238 220 818
Chi'=5,496, p=0,240
Chi'=3,362; p=0,499
Tabelle 34: Grueeendiskussion - Ergebnisse nach Beobachtererofession
IN SehA SL ST ge5. KO SehA SL ST ge5.
1 + 2 Pkt. 19,2% 19,1% 18,9% 19,1% 1 + 2 Pkt. 15,2% 12,8% 14,2% 14,1%
3 Punkte 56.5% 55,9% 59,3% 57,2% 3 Punkte 51,1% 57,5% 57,5% 55,4%
4 Punkte 24.4% 25,0% 21,8% 23,7% 4 Punkte 33,7% 29,7% 28,4% 30,6%
n (100%) 271 272 275 818 N (100%) 270 273 275 818
Chi'=0,974; p=0,914
Chi'-3,248; p-0.517
Zu Beginn des Kapitels wurde festgestellt, dass sich die drei Beobachtergruppen
nach Alter und nach der Anzahl der Jahre, die sie ihre gegenwärtige berufliche Funktion
bereits ausüben ("Funktionserfahrung"), im Durchschnitt etwas unterscheiden. Da die
Professionszugehörigkeit keinen statistisch bedeutsamen Einfluss auf die Beurteilungen
JO RK = RolJenklarkeit; MN = Management; lN = lnnovation; KO = Kommunikation
SchA = Schulaufsicht; SL = SchulJeitung; ST = Schulträger
43

der Kompetenzen in den verschiedenen Übungen hat, wird eine weitere Differenzierung
der Beobachtungsergebnisse nach zeitlichen Aspekten im Grunde bedeutungslos. Die
dennoch vorgenommene Überprüfung zeigt auch weitgehend keinen Einfluss dieser
zeitlichen Aspekte auf die Beurteilung des wahrgenommenen Verhaltens der Teilnehmerinnen
und Teilnehmer. Dies legt weitergehend nahe, dass das Beurteilungsverhalten
kaum durch exteme Variablen beeinflusst wird und das Verfahren somit als objektiv
betrachtet werden kann. Lediglich bei der Differenzierung nach "Funktionserfahrung",
gibt es im Hinblick auf die Beurteilung der Rollenklarheit in der Postkorb-Übung einen
statistisch bedeutsamen Effekt. Beobachtende, die die überwiegende Zahl der Verhaltensindikatoren
mit "gut erfüllt" bewerten, sind seit durchschnittlich 8,9 lahren in der
jeweiligen Funktion tätig (vgl. Tabelle 35; alle anderen Tabellen zu diesem Sachverhalt
befinden sich im Anhang ab S. 82). Bei Personen, die nur wenige oder keine der Verhaltensanforderungen
als erfüllt ansehen, sind es bingegen durchschnitthch 11,1 Jahre.
le mehr "Funktionserfahrung" die Beobachtenden haben, desto kritisc]ler feHlt demnacb
die Bewertung von Rollenklarheit in der Postkorbübung aus. Da dieser Zusammenhang
aber der Einzige unter vielen ist, der als statistisch bedeutsam identifizieli werden konnte,
und keinem erkennbaren Muster folgt, ist seine praktische Bedeutung als gering einzustufen.
Tabelle 35: Postkorb/Fallstudie - Ergebnis nach "FlInktionserfahrung"lI
-
RK n X 5 min max MN n X 5 min max
~~~--------------~~"--------'-'-----
1 + 2 Pkt. 188 11,1 8,6 0 42 1 + 2 Pkt. 185 10,5 8.8 0 42
3 Pkt. 296 9,6 7,5 0 42 3 Pkt. 337 9.8 7.6 0 42
4 Pkt. 184 8,9 6,3 0 42 4 Pkt. 146 9,1 5,9 0 37
ges. 668 9,9 7,6 0 42 ges. 668 9.8 7,6 0 42
F-4,255; p=O,015;
F=1,457: p=O.234
J J RK = Rollenklarkeit: MN = Management; lN = InnovallOn: KO = Kommunikation
44

3.3.3 Einschätzungen der Übungen aus Beobachtersicht
Die in Assessment Center-Verfahren zu bewältigenden Aufgaben sollen die Anforderungen
der späteren beruflichen Tätigkeit repräsentieren. Für das Eignungsfeststellungsverfahren
gilt es entsprechend, typische Anforderungen an Schulleiterinnen und
Schulleiter zu simulieren. Um Hinweise zur Angemessenheit der Übungen zu erhalten,
wurden die Beobachterinnen und Beobachter in der Zusatzbefragung um diesbezügliche
Einschätzungen gebeten. Folgende Aussagen sind in diesem Zusammenhang in die Befragung
eingegangen:
Die Aufgabe spiegelt die Anforderungen an SchulleiterInnen wider.
Ich glaube, dass die zu bearbeitende Aufgabe realistisch war.
Vergleichbare Situationen habe ich selbst schon bewältigen müssen.
Daneben wurden die Beobachtenden mit diesen Aussagen um Einschätzungen
zur Beobachtbarkeit der Kompetenzen gebeten:
Die bei den Kompetenzen waren in der Übung gut auseinanderzuhalten.
In dieser Übung war es einfach, die entsprechenden Kompetenzen zu beobachten.
Angemessenheit der Übungen
Die Aussagen zur Angemessenheit der Übungen als beispielhafte Anforderungen
an Schulleiterinnen und Schulleitern werden von den Befragten J2 überwiegend zustimmend
eingeschätzt. Am deutlichsten spiegelt nach Ansicht der Befragten die Gesprächsübung
Anforderungen Schulleiter/-innen wider. 89,8 % stimmen dieser Aussage
für diese Übung zu, die restlichen 10,2 % stimmen eher zu. Aber auch für die anderen
Übungen zeigt sich ein positives Bild. Nur ein geringer Teil der Befragten kann eher
nicht zustimmen: 8,6 % fur die Präsentation bzw. 5,1 % für die Gruppendiskussion (v gl.
Abbildung 10).
12 Auch hier gilt zu beachten, dass es sich bei den Einschätzungen um Beobachterfälle handelt und einzelne
Beobachter/-innen mehrfach befragt worden sind.
45

Die Aufgabe spiegelt Anforderungen an Schulleiterinnen und
Schulleiter wider. (n=59)
Gesprächsübung 10,2 89,8
Fbstkorb 25,4 74,6
Präsentation 27,1 67,8
GruppendiskussIon 29,3 62,1
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
o stimne nicht zu 13 stimme eher nicht zu 0 stimne eher zu 0 stimme zu I
-----.----~==========================~~
Abbildung 10: Die Aufgabe spiegelt Anforderungen an Schulleiter/-innen wideL J3
Auch die Frage, ob die zu behandelnde Aufgabe realistisch war, wird vorwiegend
zustimmend beurteilt. Auch hier erfährt die Gesprächsübung die deutlichste Zustimmung.
Für die Gruppendiskussion sind es mit 8,5% wiederum ähnlich viele Befragte,
die eher nicht zustimmen (vgl. Abbildung 11). Interessant ist, dass die Postkorbübung
nach Einschätzung der Befragten zwar deutlich die Anforderungen an Schulleiter/-innen
erfüllt, aber dennoch als weniger realistisch beurteilt wird. Hierzu eine generelle
Überlegung: Beachtet werden muss, dass möglicherweise nicht nur die eigentliche
Aufgabe bzw. das Thema beurteilt wird, sondern eventuell auch das komplette Szenario
bzw. Setting. So sieht beispielsweise die Präsentationsaufgabe vor, dass die Teilnehmer/-innen
in die Rolle einer Schulleiterinleines Schulleiters schlüpfen und ihren Vortrag
z.B. vor der Steuergruppe der Schule halten. Die Beobachtenden simulieren diese
Steuergruppe. die somit teilweise aus nur zwei Personen besteht. Dass zwischen "Schulleiter"
und "Steuergruppe" zudem keinerlei Kommunikation bzw. Interaktion stattfindet,
dürfte nicht unbedingt vollständig realitätsnah sein. Eine vollständige Abbildung
der Realität wird allerdings im Rahmen von Assessment Centern kaum zu bewerkstelligen
sein. Da der Ablauf für alle Teilnehmenden gleich bleibt, entsteht dadurch prinzi-
)3 Die vergleichsweise geringe Fallzahl von n = 59 in dieser und den folgenden Analysen geht auf die
Verändenmg des Befragungsfonnats in der Evaluation zurück.
46

piell kein Nachteil. Auch kann daraus keine negative Bewertung des EFVs abgeleitet
werden.
Ich 9 I. u be. da 55 die zu be .. be Ite nde Aufga be re a listloch w ... (no 59) ... ' ....•
Gesprächsübung 11,9 88,1 l
I
!
Präs entation 20,3 74,6
Gruppendis kuss Ion 28,8 62,7
A:lstkorb 40,7 52,5
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
o stirrrne nicht zu III stimne eher nicht zu 0 stimne eher zu 0 stimne zu
Abbildung]]: Ich glaube, dass die zu bearbeitende Aufgabe realistisch war.
Vergleichbare Situationen habe ich selbst schon bewältigen müssen.
(n=59)
Gesprächsübung 89,8
A:lstkorb 11,9 88,1
Pr äs entation 69,S
GruppendiskussIon 24,1 51,7
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
o stirrrne nicht zu I!!I stimne eher nicht zu 0 stimne eher zu 0 stimne zu
Abbildung 12: Vergleichbare Situationen habe ich selbst schon bewältigen müssen.
47

Inwieweit die Beobachterinnen und Beobachter mit den eingesetzten Übungen
selbst vertraut sind, lässt sich Abbildung 12 entnehmen. hl1app neun von zehn Befragten
geben an, Situationen wie die Gesprächs- und die Postkorbübung selbst schon bewältigt
zu haben. Lediglich für die Gruppendiskussion sehen die Einschätzungen etwas
anders aus. Hier ist es immerhin knapp ein Viertel, das der entsprechenden Aussage
(eher) nicht zustimmt.
Beobachtbarkeit der Kompetenzen
Eine ältere Studie von GAUGLERJTHORNTON (1989) kommt zu dem Schluss,
dass die Güte von Assessment Center-Verfahren steigt, wenn die Zahl der zu beobachtenden
Dimensionen nicht zu groß wird. Die Beobachtungsleisrung bleibt eine hochkomplexe
Aufgabe, wird durch eine Reduktion der zu beobachtenden Kompetenzen
jedoch vereinfacht. Im EFV Wlrd diesem Forschungsbefund insofern Rechnung getragen,
als dass in jeder Übung nur zwei Kompetenzdimensionen zu beobachten und zu
bewerten sind. Die Beobachtenden müssen sich damit auf nur wenige Verhaltensweisen
konzentrieren und in dem von den Teilnehmenden gezeigten Verhalten identifizieren.
Es spricht insgesamt für das Verfahren, wenn die Beobachtenden in der Lage sind, die
in den Übungen fokussierten Kompetenzen differenziert wahrzunehmen.
Auf die Frage, ob die beiden Kompetenzen in den Übungen gut auseinanderzuhalten
waren, äußern sich die Befragten je nach Übung unterschiedlich, aber in der Gesamtheit
deutlich zustimmend (vgl. Abbildung 13). Am einfachsten scheint es in der
Gesprächsübung zu sein: Nach Ansicht der befragten Beobachterinnen und Beobachter
fühlen sich 86,2 % in der Lage, die Kompetenzen Rollenklarheit und Kommunikation
auseinanderzuhalten. Die restlichen 13,8 % fühlen sich dazu zumindest eher in der Lage.
In der Gruppendiskussion gibt es hingegen immerhin zwei Beobachterfcille (3,4 %),
die die dOJ1 fokussierten Kompetenzen (Kommunikation und Innovation) nicht gut auseinanderhalten
konnten. Und auch wenn die (eher) zustimmenden Personen in der Postkorbübung
die überwiegende Mehrheit darstellen, so stimmen d0l1 mit 42,4 % deutlich
weniger vollständig zu, als in den anderen Übungen.
48

Die beiden Kompetenzen waren in der Übung gut
auseinanderzuhalten. (n=59)
Gesprächsübung
13,8 86,2
Gruppendiskussion
32,2 62,7
Präsentation
37,9 58,6
~10=~=O===2=OO=~===3=:=:=,8==4=O=%===5=O=%====60=~=O===70=~=o==4=:=:=~===9=O=%=-_1_00_~_O~
[ I ______ P_os_tk_o_rb_o_% __
_
Ostimme nicht zu IiiiIstimme eher nicht zu Ostimme eher zu Ostimme zu
Abbildung 13: Die beiden Kompetenzen waren in der Übung gut auseinanderzuhalten.
Schaut man sich an, inwieweit die Kompetenzen nach Einschätzung der Befragten
innerhalb der Übungen beobachtet werden können, so zeigt sich erneut, dass die
Beobachteraufgabe in der Gesprächsübung am Besten bewerkstelligt zu werden scheint
(vgl. Abbildung 14). Als relativ ungünstig, wird die Beobachtbarkeit der Innovationskompetenz
in der Gruppendiskussion gewertet - 15,3 % der Beobachterfälle lehnen eher
ab oder lehnen ab, dass die Innovationskompetenz in der Gruppendiskussion leicht beobachtbar
sei. Darüber hinaus scheint es ebenfalls relativ schwierig zu sein, Managementkompetenz
in der Präsentationsübung zu beobachten - hier beträgt die Quote der
Beobachterfälle, die eine leichte Beobachtbarkeit eher ablehnen, ebenfalls 15,3 %. Insgesamt
wurden die Kompetenzen im EFV mit sehr deutlicher Mehrheit als leicht beobachtbar
bezeichnet.
49

In dieser Übung war es einfach, ... kompetenz zu beobachten. (n=59)
RK (GS)
KO(GS)
r-----~------------------------------------------------~
KO(GD) ~L-______________ ~ ____________________________________ ~
IN (PR)
RK (PK)
MN (PR)
MN (PK) ~L-____________________________ L-______________________ ~
IN (GD)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Ostimme nicht zu Eil stimme eher nicht zu Ostimme eher zu Dstimm; ~~
Abbildung 14: ]n dieser Übung war es einfach, ... kompetenz zu beobachten.
3.3.4 Zusammenfassung
Die Ergebnisse aus der Befragung der Beobachterinnen und Beobachter können
als ein unabhängiges und gut inforn1iertes ExpertenUl1eij über die Qualität des EFV gewe11et
werden. Eindrucksvoll ist dabei insbesondere die von den Beobachterinnen und
Beobachtern gegebene Zustimmung zur Relevanz der im EFV gestellten Aufgaben und
zur Beobachtbarkeit der Kompetenzen. Beides sind wertvolle Hinweise auf die Validität
des Verfahrens.
Auch aus der Perspektive der Beobachterinnen und Beobachter kann die Objektivität
der Beurteilungen weitgehend bestätigt werden. Zufallskritisch abzusichemde
Differenzen in den Beurteilungen nach der Herkunft, dem Geschlecht oder der Berufserfahrung
sind - mit geringfügigen Ausnahmen - nicht belegbar.
50

3.4 Die Multitrait-111ultilllethod-Matrix
Um auf situationsübergreifend bedeutsame Kompetenzen schließen zu können,
sollte eine Kompetenz in unterschied1ichen Aufgaben, für deren Bewältigung sie relevant
ist, beobachtbar sein. Ein Verfahren zur Überprüfung von Kompetenzen zeichnet
sich durch ein hohes Maß an konvergenter Va1idität aus, wenn es gelingt, gleiche Kompetenzen
in unterschiedlichen Übungen zu identifizieren. Daneben gilt es im EFV, auch
innerhalb der gleichen Aufgaben zwischen zwei unterschiedlichen Kompetenzen differenzieren
zu können. Gelingt es, mehrere Kompetenzen innerhalb derselben Übung
trennscharf auseinanderzuhalten, spricht man von diskriminanter Validität. Mithilfe der
Multitrait-Multimethod-Matrix (vgl. CAMPBELLIFISKE ] 959) Jassen sich Rückschlüsse
auf die konvergente und diskriminante Va1idität sowie die Reliabilität des Beurteilungsverfahrens
ziehen.
Im Laufe der Evaluation des Eignungsfeststel1ungsverfahrens wurden zu verschiedenen
Zeitpunkten unter Einbeziehung der dann jeweils vorhandenen Daten Multitrait-Multimethod-Matrizen
ersteHt und an das MSW NRW bzw. Schulmanagement
NRW zurückgemeldet. Nachfolgende Tabelle berücksichtigt aHe Daten, die in die Evaluation
einfließen konnten. Unter Verwendung der 818 Beurteilungen - die 409 Teilnehmenden
wurden bezüglich jeder Kompetenz in jeder Übung von zwei Beobachtenden
beurteilt - wurde nachfolgende Multitrait-Multimethod-Matrix ersteHt.
Die im vorangegangen Abschnitt bereits berichteten Maßzahlen zur internen
Konsistenz (ReliabiJitätsmaß Cronbach's a) finden sich in der türkis markierten Hauptdiagonalen
wieder. Dabei ist auch jeweils die Information angegeben, wie viele Kriterien
(ltems) zur Berechnung einbezogen worden sind. Hohe ReliabiIitätswerte sind als
günstig zu beurteilen. Die anderen Werte sind Korrelationskoeffizienten 14 auf Grundlage
der in den Übungen erzielten Bewertungen, die entsprechend des Schemas zur EFV­
Beurteilung (vgl. MSW NRW 2008a) ennittelt wurden.
14 Berechnet wurde Speannans Rangkorrelation für ordinale Daten.
51

T a b e 11 e 36 : EFV -MTMM-M atnx . ( n= 818B eur t'l et ungen )
rk 1 rk 2 mn 1
(Postkorb) (Gespräch) (Postkorb)
mn - 2 ko - 1 1n_2
kO_2
(Präsentati- (Gruppen- (Gruppen- (Präsentati-
(Gespräch)
on)
disk.)
disk.) on)
In 1
rk_1 (Postkorb) a" ,924
(6Items)
rk_2 (Gespräch) a" ,917
,080
(9Items)
mn_1 (Postkorb) .. .. a = ,913
,788 ,096
(8 Jlems)
mn_2 (Präsentati- .. .. a = ,880
on) ,150 ,060 ,179
(8Items)
kO_1 (Gruppen- .. a = ,874
disk.) .074 ,118 ,040 ,088
(8Items)
ko_2 (Gespräch) .. .. .. a = ,908
.089 ,698 ,097 ,067 II-Jv
'"''
(10 Items)
1n_1 (Gruppen- .. .. .. .. a = ,837
disk.) ,126 ,092 .073 ,114 ,587 ,083
(5Items)
in_2 (Präsentation) .. .. .. .. ,107 .. a" ,858
,170 ,089 ,207 ,704 , 101 ,071
(5Items)
• Die Korrelation Ist auf dem Niveau von 0,05 (2-seitig) signifikant.
•• Die Korrelation ist auf dem Niveau von 0.01 (2-seitig) signifikant.
alle Werte" Korrelationskoeffizient "r" nach Spearman; außer "a" = Cronbach's alpha
rk = Rollenklarheit; mn = Management; ko = Kommunikation; in = Innovation
Grün hinterlegt sind die konvergenten Vahditäten. Die Werte soHten hoch sem,
wenn es gelingt, die gleiche Kompetenz in unterschiedlichen Aufgaben zu erfassen.
Rosa hinterlegt sind die diskriminanten Validitäten. Die Werte sollten niedrig
sein, wenn es gelingt, unterschiedliche Kompetenzen innerhalb der gleichen Aufgabe zu
differenzieren.
Die übrigen Werte sollten am niedrigsten sein, da hier die Beobachtungen unterschiedlicher
Kompetenzen aus unterschiedlichen Aufgaben miteinander in Beziehung
gesetzt werden.
Die Reliabilitäten sind für alle Kompetenzdimensionen günstig und liegen zwischen
a = 0,924 für die Kompetenz Rollenklarheit (Postkorbübung) und a = 0,837 für
52

Innovation in der Aufgabe "Gruppendiskussion". Die eingesetzten Kompetenzkonstrukte
stel1en sich übungsbezogen als zuverlässig heraus. Hohe Werte der Reliabilitätskoeffizienten
in der Hauptdiagonale deuten auf eine hohe interne Konsistenz der verwendeten
Beurteilungskriterien hin. Innerhalb der verschiedenen Übungen beziehen sich die
eingesetzten Kriterien jeweils auf die gleichen Aspekte, d.h. es gelingt mit den Beurteilungsvorgaben,
unterschiedliche Facetten der jeweils gleichen Kompetenz zu erfassen.
Konvergente Validität: Die Beurteilungen gleicher Kompetenzen in verschiedenen
Aufgaben sol1ten hoch korrelieren. Aus den vorhandenen Daten lassen sich jedoch lediglich
Korrelationskoeffizienten zwischen r = 0,179 für die Kompetenzdimension Management
und r = 0,080 (für Rol1enklarheit) ermitteln. Es gelingt nicht, die Kompetenzkonstrukte
situationsunabhängig zu beurteilen. Die entsprechenden Koeffizienten sind
sogar niedriger als die höchste Korrelation unterschiedlicher Kompetenzen in unterschiedlichen
Übungen (vg1. Management im Postkorb und Innovation in der Präsentation)
Dies lässt folgende Interpretation zu: Ein Teilnehmer, der in einer Aufgabe im
Bezug auf eine Kompetenz gut beurteilt wird, muss nicht zwangsläufig auch in der anderen
Aufgabe zur gleichen Kompetenz eine entsprechende Beurteilung erfahren. Dies
kann bedeuten, dass sich mit dem eingesetzten Konstrukt die zu beobachtenden Kompetenzen
nicht klar über verschiedene Aufgaben hinweg erfassen lassen. Es kann auch
bedeuten, dass die Teilnehmenden situationsspezifisches Verhalten zeigen und in unterschiedlichen
Situationen jeweils anders agieren. Es ist ferner möglich, dass in den verschiedenen
Aufgaben auch je unterschiedliche Facetten der jeweiligen Kompetenz im
Mittelpunkt stehen. Am Beispiel "Kommunikation" ist es leicht nachzuvollziehen: In
einer Gruppendiskussion mit gleichberechtigten Akteuren ist Kommunikationskompetenz
etwas anderes als in einer Gesprächssituation mit einer deutlich hierarchischen Abstufung
der Beteiligten.
Diskriminante Validität: Die Beurteilungen unterschiedlicher Kompetenzdimensionen
innerhalb derselben Aufgabe sollten nicht oder nur gering korrelieren, zumindest sollten
die entsprechenden Koeffizienten geringer als die der konvergenten Validität sein. Aus
der MTMM-Matrix kann dieser Befund nicht abgelesen werden. Es gelingt kaum, zwischen
den verschiedenen Kompetenzen innerhalb der gleichen Übung zu differenzieren.
53

Tendenziell wird der Gesamteindruck, d.h. die Perfonnanz innerhalb der Übung beurteilt.
Die entsprechenden Konelationskoeffizienten sind hoch. Am deutlichsten gelingt
die Trennung vielleicht noch in der Gruppendiskussionsübung: Zwischen Innovation
und Kommunikation wird der im Vergleich geringste Zusammenhang festgestellt (r =
0,587).
Auf der Datenbasis von 409 Teilnehmenden bzw. 818 Beurteilungen lässt sich
die Tendenz ablesen, dass es kaum gelingt, zwischen verschiedenen Kompetenzdimensionen
innerhalb der gleichen Aufgabe zu differenzieren (geringe diskriminante Validität)
und die gleichen Kompetenzdimension nicht über verschiedene Aufgaben hinweg
konsistent erfasst werden (geringe konvergente Validität). Somit lässt sich keine Konstruktvahdität
für das vorliegende Kompetenzschema nachweisen. Dieses Ergebnis
spiegelt zwar einen wohl bekannten Befund aus der Assessment Center-Forschung wider:
Bislang konnte kein Verfahren identifiziert werden, in dem sich der Befund geringer
oder gar fehlender Konstruktvahdität nicht ergeben hätte. Davon wird allerdings die
hohe Vorhersagegenauigkeit von Assessment Center-Verfahren kaum beeinträchtigt. So
berichten z.B: KLEINMANN (1997), SCHULERIHÖFT (2007) und OBERMANN
(2009), dass Assessment Centern bislang zwar keine Konstruktvalidität nachgewiesen
werden konnte, sie im Vergleich zu anderen eignungsdiagnostischen Verfahren aber die
höchste prädiktive Validität aufweisen. Dies bedeutet, dass Personen, die im AC em
gutes Ergebnis erzielen, tendenziell auch spätere Anforderungen gut bewältigen.
54

3.5 Zur Inter-Rater-Reliabilität
Mit der Einführung des Eignungsfeststellungsverfahrens ist das Ziel verbunden,
einige für die Ausübung einer Schulleitertätigkeit benötigten Kompetenzen nachzuweisen.
Die Beobachtung und Beurteilung entsprechenden Verhaltens erfolgt in verschiedenen
Übungen durch jeweils zwei Beobachtende. Dabei so]]ten die Beobachtenden für
jede Kompetenz innerhalb einer Übung zu ähnlichen, d.h. weitgehend übereinstimmenden
Beurteilungen kommen. Gelingt es trotz Schulung der Beobachtenden nicht, zu
übereinstimmenden Beurteilungen zu gelangen, wäre dies ein Indiz für die mangelnde
Eignung des eingesetzten Beurteilungsrasters und ggf. der entwickelten Übungen. Letztlich
stünde dann auch das gesamte EFV in der Gefahr, als ungeeignet eingestuft zu werden.
Hohe Übereinstimmung der Beurteilungen deutet hingegen auf die Zuverlässigkeit
der Kompetenzmessung hin und ste]]t damit ein Qualitätskriterium für das EFV dar.
Man spricht in diesem Zusammenhang von hoher Inter-Rater-Reliabilität.
Die lnter-Rater-Reliabihtät lässt sich über die Berechnung von Korrelationskoeffizienten
überprüfen. Grundlage sind die entsprechend des Bewertungsschemas vergebenen
Punkte pro Kompetenz und Übung für die einzelnen Teilnehmenden. Berücksichtig
wird ferner, dass die Beobachtenden nach Abschluss jeder Übung zunächst eine Einzelbewertung
der jeweiligen TeilnehmerinJdes jeweiligen Teilnehmers vornehmen. Anschließend
vergleichen die Beobachtenden ihre Einschätzungen. EventueJle Unterschiede
werden diskutiert und ggf. korrigiert. In Tabelle 37 sind deshalb die Korrelationskoeffizienten
vor und nach dieser Beobachterdiskussion eingetragen. Wie zu erkennen ist,
sind sämtliche Koeffizienten nach der Beobachterdiskussion höher, die Übereinstimmung
der Beurteilungen erhöht sich. Dieser naheliegende Befund verdeutlicht, dass das
im EFV praktizierte Mehr-Augen-Prinzip zu einer insgesamt höheren Übereinstimmung
der Beurteilungen führt.
Daneben wird allerdings auch deutlich, dass es in den verschiedenen Übungen
unterschiedlich gut gelingt, die jeweiligen Kompetenzen zu beobachten und zu bewerten.
Die höchste Übereinstimmung zwischen den Beurteilungen liegt in der Postkorbübung
vor. Hier geben die Beobachtenden auch vor der Diskussion bereits weitgehend
übereinstimmende Einschätzungen der Teilnehmerleistung ab. Am schwierigsten
55

scheint es hingegen in der Gmppendiskussion zu sein, das Verhalten der Teilnehmer zu
beweJ1en. Vor der Diskussion zeigt sich ein Zusammenhang von r=0,443 für die Innovationskompetenz
und ]=0,418 für die Kommunikationskompetenz. Nach der Diskussion
erhöhen sich die entsprechenden Koeffizienten deutlich. In der Gmppendiskussion
könnte zum Tragen kommen, dass jeweils zwei Teilnehmende gleichzeitig zu beobachten
sind.
Auch wenn einige Werte vergleichsweise niedrig erscheinen, lässt sich insgesamt
betrachtet dennoch von einer hohen Übereinstimmung der Beobachterurteile, und
somit von einer hohen lnter-Rater-Reliabilität sprechen.
Tabelle 37: Konelat1

3.6 Analyse der Einzelitems
Die nachfolgenden Analysen der eingesetzten Items und Skalen, differenziert
nach Kompetenz und Aufgabe, sind auf Beurteilungsebene durchgeruhrt worden (n =
Anzahl der abgegebenen Beurteilungen bzw. Beobachtungsereignisse). Die Anzahl der
Personen, die am EFV teilgenommen haben, entspricht der Hälfte dieser Beobachtungen.
Bei 409 Teilnehmenden, die von je zwei Beobachtenden beurteilt wurden, gibt es
für die !tems, die in allen Verfahren eingesetzt worden sind, demnach insgesamt 818
Beobachtungsereignisse. Die Beurteilungen wurden auf der oben erläuterten vierstufigen
Skala abgegeben (v gl. Kapitel 3.1) und rur die Auswertungen von ,,1 = nicht erfüllt"
bis ,,4 = gut errullt" kodiert.
3.6.1 Kompetenzdimension "RollenkJarheit"
Die Kompetenzdimension "Rollenklarheit" wird in den Aufgaben "Postkorb"
bzw. "Fallstudie" und "Beratungs-, Beurteilungs- oder Konfliktgespräch" überprüft.
3.6.1.1 Aufgabe 1 "Postkorb/FaJlstudie"
Fünf von sechs !tems zur Einschätzung der Dimension "Rollenklarheit" sind in
allen EFV zur Beurteilung herangezogen worden. Das Hem "rk4_ J grenzt sich gegenüber
den Rollen von Arbeitspartnerl-innen ab" wurde in einem Verfahren nicht eingesetzt.
Der Wert Cronbach's a 16 mit a = 0,924 rur alle sechs Hems (n = 766), zeigt, dass
die Skala als intern konsistent bezeichnet werden kann. Die Trennschärfekoeffizienten
rlt erreichen ebenfalls gute Werte und liegen jeweils über 0,7 (vgl. Tabel1e 38).
Das bereits erwähnte Hem "rk4_J grenzt sich gegenüber den Rollen von Arbeitspartner/innen
ab" wird überdurchschnitt1ich positiv beurteilt, d.h. die Urteile "erfüllt"
und "gut errullt" werden von einem Großteil der Teilnehmenden erreicht. Es scheint
somit weniger geeignet, um unterschied1iche Ausprägungen der Qualifikation "Rollenklarheit"
zu identifizieren. Eine vergleichbare, aber weniger deutliche Einschätzung
16 Eine Erläuterung zu Cronbach's a als Maßzahl der Internen Konsistenz findet sich in Kapitel 2.2.1.
57

könnte für ltem "rkJ _J zeigt Verannvortung als Schulleiter/-in für die Schule" fonnuliert
werden. Wie Abbildung J 5 zeigt, liegen mehr als 80% der BeweJ1ungen auf den
UI1eilen "erfüllt" bzw. "gut erfüllt".
Tabelle 38: RollenkJarheit (Postkorb/Fallstudie)
x
s
ru
rk1_1 zeigt Verantwortung als Schulleiter/in für die Schule
rk2_1 nimmt ihre/seine Führung wahr
rk3_1 benennt Problemsituationen
3,16
3,08
2,84
,747
,789
,764
,802
,826
,738
rk4_1 grenzt sich gegenüber den Rollen von Arbeitspartner/innen ab
rk5_ 1 schafft Verbindlichkeit
rk6_1 handelt zielorientiert
3,22
2,90
3,06
,702
,837
,795
,758
,752
,820
[6 Items (n=766): 0 = 0,9241'7
Rollenklarheit (postkorb/Falistudie)
20% 40% 60%
80%
100%
@. nicht erfü~ !9 zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
Abbildung] 5: RollenkJarheit in Aufgabe]
3.6.1.2 Aufgabe 2 "BeurteiJungs-, Beratungs- oder Konfliktgespräch"
In dieser Aufgabe standen den BeUJ1eilenden insgesamt neun Kriterien zur
Kompetenzbeurteilung zur Verfügung. Die !tems sind in allen bisherigen Verfahren
verwendet worden. Die Trennschärfekoeffizienten rit eneichen gute bis ausgezeichnete
17 In die Reliabilitätsanalyse gehen nur 766 Fälle ein, weil aufgrund einer Änderung des BeUl1eilungsschemas
nur für 766 Fälle komplette Daten über alle 6 ltems vorliegen. Entsprechend auch in den Tabellen
40 und 41.
58

Werte. Die Skala kann als intern konsistent gelten (Cronbach's a = 0,917). Auch in dieser
Skala wird das Item "rk4_2 grenzt sich gegenüber den Rollen von Arbeitspartner/innen
ab" am positivsten beurteilt. Betrachtet man die in Abbildung 16 dargestellte
Verteilung der Beurteilungen ist auffällig, dass Hem "rk9_2 spricht Handlungsoptionen
an" deutlich seltener beobachtet zu werden scheint, als die anderen Verhaltensmerkmale.
Dieses Hem weist auch den im Vergleich niedrigsten Trennschärfekoeffizienten auf.
Tabelle 39: Rollenklarheit (Beratungs-, Beurteilungs- oder Konfliktgespr.)
x S fit
rk 1_2 zeigt Verantwortung als Schulleiter/in tür die Schule 3,15 ,782 .760
rk2_2 nimmt ihre/seine Führung wahr 3,15 ,808 ,782
rk3_2 benennt Problemsituationen 3.10 ,823 ,617
rk4_2 grenzt sich gegenüber den Rollen von Arbeitspartner/innen ab 3.27 ,771 ,692
rk5_2 schafft Verbindlichkeit 3,01 ,872 .716
rk6_2 handelt zielorientiert 3.06 ,812 .770
rk7 _2 leitet das Gespräch zielorientiert 3,08 ,819 ,766
rk8_2 zeigt Sicherheit 3.13 ,810 ,698
rk9 2 spricht Handlungsoptionen an 2,78 ,898 .589
[9 Items (n = 818): a = 0,917]
Rollenklarheit (Gespräch)
rk1_2
rk2_2
rk3_2
rk4 2
rk5_2
rk6_2
rk7 _2
rk8_2
rk9_2
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Abbildung 16: Rollenklarheit in Aufgabe 2
10 nicht erfüllt li!I zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
59

3.6.2 Kompetenzdimension "Management"
Die Kompetenzdimension "Management" wird in der Aufgabe "Postkorb bzw.
Fallstudie" und in der Präsentationsaufgabe mit jeweils acht Items überprüft. Nicht alle
Verhaltensanker wurden in bei den Übungen eingesetzt, die lndizienmg der Items wird
im Folgenden aber für beide Aufgaben einheitlich verwendet. So ist beispielsweise das
Item "mn1_1" aus der Postkorbübung inhaltlich gleich mit dem Item ,,111111_2" aus der
Präsentationsübung Ueweils: "definiert Ziele "). Die hintere Ziffer steht für die Übung,
die vordere Ziffer nummeriert die Items. Ausgelassene Nummerierungen bedeuten, dass
ein ltem in einer Übung nicht verwendet wurde. Zwischen "mn 1_1" und "m113_ 1" gibt
es kein Hem, wohl aber zwischen ,,111111_2" und ,,111113_2". Das ltem ,,111112_2 benennt
Eljolgskriterien" wurde nur in der Präsentationsaufgabe eingesetzt.
3.6.2.1 Aufgabe 1 "Postkorb/FaHstudie"
In dieser Aufgabe sind insgesamt acht ltems eingesetzt worden. Bei hoher interner
Konsistenz (Cronbach's a = 0,913) und guten Trennschärfekoeffizienten r 1l kann die
Skala als geeignet bezeichnet werden. Zwei der eingesetzten ltems wurden nicht in jedem
EFV eingesetzt. Die beiden nur teilweise eingesetzten ltems "mn5_1 delegiert" und
"mn10_1 bewältig die Übung im vorgegebenen Zeitrahl11en" werden über die durchschnittliche
Gesamtheit der Beurteilungen jeweils deutlich positiver beurteilt als die
anderen Items. Wie Abbildung 17 zeigt, \vurde die Bewertung "gut erfüllt" für das ltem
"mn 10_ 1" in fast 50% der Beurteilungsfälle vergeben.
Tabelle 40: Management (Postkorb/Fallstudie)
-
x S fit
mn1
- 1 definiert Ziele
2,97 ,708 ,731
mn3_ 1 setzt Prioritäten smnvoll 2.90 ,821 ,770
mn4 - 1 entscheidet
3.01 ,772 ,762
mn5_1 delegiert 3.20 ,706 ,657
mn6_1 berücksichtigt Ressourcen 2,95 ,710 ,674
mn7 _1 trifft Vorkehrungen für einen reibungslosen Ablauf 2,81 ,846 ,778
mn8_1 extrahiert relevante Informationen 2.78 ,835 ,778
mn10_1 bewältigt die Übung Im vorgegebenen Zeitrahmen 3.12 1,004 ,633
[8 Items (n = 699): 0 = 0,913]
60

1-
Management (Postkorb/Fallstudie)
I
mn1 1
mn3 1
~==I
mn4 1
mn6 1
mn7 1
mn8_1
mn10 1
0% 20% 40% 60% 80% 100%
Abbildung 17: Management in der Postkorb-Übung
10 nicht erfüllt I!\I zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
3.6.2.2 Aufgabe 2 "Präsentation"
Auch in dieser Übung werden acht Verha1tensanker zur Beurteilung der Managementkompetenz
eingesetzt. Dabei wird das Hem "mn 9 _ 2" erst seit März 2009 verwendet
und die Items "mn 7_2" und "mn8_ 2" sind nur im Januar in Haltern eingesetzt
worden.
Bei insgesamt gutem Reliabilitätswert von a = 0,880 weist das Hem "mnlO_2
bewältigt die Übung im vorgegebenen Zeitrahmen" vergleichsweise ungünstige Trennschärfewerte
auf. Hierin spiegelt sich auch das wiederum tendenziell eher positive Beurteilungsverhalten
wider: Haben die Teilnehmenden die Übung in der vorgegebenen Zeit
von 15 Minuten abgeschlossen, erhalten sie für das entsprechende Hem "mn 10_2" tendenziell
eine positive Bewertung, und zwar unabhängig davon, ob die Aufgabe auch im
Sinne der anderen Kriterien gut erfüllt worden ist. Der Unterschied in der Bewertung
dieses ltems wird auch in Abbildung 18 erkennbar. Die Ausprägung "gut erfüllt" ist in
482 von 818 Beurteilungen vergeben worden. Dies ist auffällig mehr als bei den anderen
Verha1tensbeobachtungen.
61

--_.
A~~
,.
Abweichend von den sonstigen Beurteilungen scheint das in ltem "mn2_ 2" angesprochene
Verhalten "benennt Eljolgsla-iterien" in dieser Aufgabe nur in wenigen
Fällen beobachtet zu werden. In 159 Fällen 'wurde das Verhalten gar nicht oder nur in
unzureichender Fonn beobachtet, in weiteren 350 Fällen nur "zum Teil". Dies könnte an
der mangelnden Fähigkeit der Teilnehmenden liegen, dieses Verhalten zu zeigen (TeiJnehmereffekt)
oder an der mangelnden Fähigkeit der Beobachtenden, dieses Verhalten
zu identifizieren (Beobachtereffekt). Schließlich besteht die Möglichkeit, dass das Verhalten
nur unzureichend mit dieser Aufgabe in Zusammenhang steht (Methodeneffekt).
Tabelle 41: Management (Präsentation)
-
x 5 fi'
mn1_2 definiert Ziele 3,33 ,716 ,570
mn2_2 benennt Erfolgskriterien 2,30 ,896 ,662
mn3_2 setzt Prioritäten sinnvoll 2,68 ,879 ,720
mn4_2 entscheidet 3,01 ,861 ,770
mn5_2 delegiert 3,10 ,875 ,614
mn6_2 berücksichtigt Ressourcen 3.03 ,849 ,628
mn9_2 stellt Umsetzungsmöglichkeiten plausibel dar 3.02 ,895 ,741
mn10_2 bewältigt die Übung im vorgegebenen Zeitrahmen 3,41 ,832 ,456
[8 Items (n- 784): 0 = 0,880]
mn3 2
-- ~_.
U"WoI
-
Management (Präsentation)
-_. - ···1· ............·· I-- _.. -'I'.. ·
I r I
.... '-1'"
I t
327 I 378 I
1
I j I
i
.
159 ... Bl,,~~""':~ '~.., -
. 223 86 I
86
...-_. . -- -"" """-, ..
-
I 1 I I
348 I 142 I
I I I 1
mn4 2 50 ..' 355 1 255 I
I I I J I
mn5 2 42
.
,"-, 316 I 308 J
mn6 2
31
..
A"'Z,,~
.. ,'-","",
= -
I I I 1
310 I 275 I
I .l I I
!
mn9 2 36 'r- . .. 265 I 285 J
j I I I
mn10 2 38 227
'" I 482 I
I
I
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
10 nicht erfüllt 81 zum Teil erfüllt 0 erfüllt 0 gut erfülltl
-- ==-=.=======---------_'
Abbildung 18: Management in der Präsentation
62

3.6.3 Kompetenzdimension "Kommunikation"
In einer Gruppendiskussion und einem der drei Gesprächssituationen (Beratungs-,
Beurteilungs- oder Konfliktgespräch) soll die Kommunikationskompetenz der
Teilnehmenden beobachtet werden.
3.6.3.1 Aufgabe 1 "Gruppendiskussion"
In der Gruppendiskussion werden acht Verhaltensanker herangezogen. Dabei
fügen sich die drei Items "ko2_l" bis "ko4_l" tendenziell schlechter in die Gesamtskala
ein. Die entsprechenden Trennschärfekoeffizienten rit sind für diese ]tems kleiner als 0,5
und damit im Vergleich zu den anderen Items deutlich schlechter. Für die Gesamtskala
können hier insgesamt dennoch gute Reliabilitätswerte berichtet werden.
Besonders auffällig ist in dieser Aufgabe, dass die Beurteilung "nicht erfüllt" nur
in Ausnahmefällen vergeben worden ist. Das in "ko2_ l" formulierte Verhalten "kommuniziert
auf Inhaltsebene" wird in deutlich mehr als 90 % der Fälle mindestens mit
"erfüllt" bewertet (vgl. Abbildung 19). Damit scheint es kaum geeignet, um Kompetenzunterschiede
bei den Teilnehmenden zu identifizieren.
Tabelle 42: Kommunikation (Gruppendiskussion)
X s Ti'
ko1_1 agiert auf Beziehungsebene angemessen 3,32 ,663 ,632
ko2_1 kommuniziert auf Inhaltsebene 3,53 ,575 ,570
ko3_1 ist in Aussagen inhaltlich klar 3,27 ,713 ,543
ko4_1 agiert stimmig auf nonverbaler Ebene 3,25 ,721 ,537
ko5 _ 1 strebt aktiv Austausch an 3,15 ,803 ,723
ko6_1 strebt Absprachen an 3,21 ,773 ,674
ko7 _1 stellt wechselseitiges Verstehen sicher 2.94 ,797 ,694
ko9 1 suchl nach Ausgleich und Kompromissen 3,02 ,738 ,685
[8 Items (n = 818): Q = 0,874]
63

Kommunikation (Gruppendiskussion)
- -
r" T ! I I
.- .. -r--
I I I
koi 1 ,.:."!' ~ 403 I 342 I
I I I I I I
I I I I I
j
I
ko2 1 ~ 326 I 463
ko3 1 ~~ 359 I 342 I
ko4 1
ko5_1
-
,,- ~ ~
I I I I I I
~~ 368 I 333 I
I J J I I I
'4tlF.·. -
~-.,*,- , -"'-
344 I 311 I
I I I I I I I
ko6 1
~ _."" 347 I 331 I
j I I l J
j
I
ko7 1
k .: ••• F .-*",2ll;.!1i -
" ~ 368 I 212
~"',
I
I
I
I I I I i I
ko9 1 g1 436 I 209 I
I I 1 I I I I
,
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
10 nicht erfüllt [)zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
Abbildung] 9: Kommunikation in der Gruppendiskussion
I
!
3.6.3.2 Aufgabe 2 "Beratungs-, BeurteHungs- oder Konfliktgespräch"
Zur Beurteilung von Kommunikationskompetenz werden in dieser Übung zehn
Kriterien eingesetzt. Die Skala kann als intern konsistent bezeichnet werden (Cronbach's
a = 0,908). Die Trennschärfekoeffizienten liegen teilweise leicht unter rit > 0,6,
sind aber noch akzeptabel.
Ähnlich wie im vorangegangenen Abschnitt gibt es auch hier wieder tendenziell
positive Beurteilungen. Das Kriterium "ko2 _ 2 kommuniziert auf Jnhaltsebene" wird in
7 61 von 818 Fällen mindestens mit "erfüllt" bewe11et.
64

Tabelle 43: Kommunikation (Beratungs-, Beurteilungs- oder Konfliktgespr.)
x s rjt
k01_2 agiert auf Beziehungsebene angemessen 3,21 ,809 .676
ko2_2 kommuniziert auf Inhaltsebene 3,42 ,642 ,641
ko3_2 Ist in Aussagen Inhaltlich klar 3,13 ,792 .562
k04_2 agiert stimmig auf nonverbaler Ebene 3,28 ,733 .591
ko5 2 strebt aktiv Austausch an 3,01 ,868 ,746
ko6_2 strebt Absprachen an 3,01 ,862 ,745
ko7 _2 stellt wechselseitiges Verstehen sicher 2,89 ,805 ,710
ko8_2 ergründet Problemsituation gemeinsam mit Beteiligten 2,78 ,878 ,677
ko9_2 sucht nach Ausgleich und Kompromissen 2,93 ,860 ,762
ko10 2 vereinbart weitere Vorgehensweise 2,99 ,879 ,596
[10 Items (n=818): a = 0,908]
Kommunikation (Gesprächsübung)
.. ····"1·· .. " "1 'r-
,. -T-'" •.. ····T ._ ... , ..
ko1 2 ~ ( ,U I 34ö
I I i
ko2 2 l8:i1mfl ,j ~ 4li,J
I I I !
3:;l1 1 1UJ. I
1 I I :
::141 ::I!:)b
L I I !
ko7 _2
ko8_2
41 ::144 Lbb
I
1
I I I
I
4' ,j,j4 Ltl::
I I ! ,
1,j4 ,Jöl. Hl!
I I I I I
!JY ::ILb 1111
J I I ,
ko9_2 4f !:)L LLI
....
I I I I
ko10 2 4H ::J::J4 Ltl::J
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
10 nicht erfüllt Ii!il zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
Abbildung 20: Kommunikation in der Gesprächsübung
3.6.4 Kompetenzdimension "Innovation"
Zur Beurteilung der Kompetenzdimension "Innovation" werden die Aufgaben
"Gruppendiskussion" und "Präsentation" herangezogen.
3.6.4.1 Aufgabe 1 "Gruppendiskussion"
Fünf ltems werden für diese Skala verwendet. Auch wenn hier der bislang niedrigste
Reliabitlitätswert realisiert wird, ist Cronbach' s a mit a = 0,837 immer noch ein
65

Ausdruck hoher interner Konsistenz. Die Trennschärfekoeffizienten sind akzeptabel, sie
liegen zwischen rn > 0,591 und rlt < 0,693.
Wie schon bezüglich der anderen Kompetenz in dieser Aufgabe (Kommunikation,
vgl. Abschnitt 3.6.3.1), wird auch hier das Urteil "nicht erfullt" eher selten vergeben.
Bezüglich des ltems "in]_1 setzt sich mit Bestehendem auseinander" wird in 7] 7
von 818 Beurteilungen mindestens der Wert "erfullt" vergeben.
Tabelle 44: Innovation (Gruppendiskussion)
x
S
fit
In1_1 setzt sich mit Bestehendem auseinander
In2_ 1 benennt Potenziale für Neuerungen
In3_1 entfaltet eigene Ideen
in4_1 wägt Chancen und Risiken ab
1n5_ 1 beachtet Beziehung zWischen Innovation und Management
[5 Items (n=818): a = 0,837]
3.25
3.06
2.96
2.79
3,00
,686
,743
,817
,786
,778
,591
,693
.616
.610
,692
Innovation (Gruppendiskussion)
in1 1
in2 1
In3 1
in4 1
in5 1
0% 10% 20% 30% 40% 50% 60% 70%
80%
90% 100%
10 nicht erfüllt liiJ zum Teil erfüllt 0 erfüllt 0 gut ertülltJ
Abbildung 2]: lnnovation in der Gruppendiskussion
3.6.4.2 Aufgabe 2 "Präsentation"
In dieser Aufgabe werden die gleichen Verhaltensanker verwendet, d.h. es gibt
1m Vergleich zur anderen "Innovations-Aufgabe" keinen Unterschied bezüglich der
eingesetzten Items. Sowohl Reliabilität (Cronbach's a = 0.858) als auch Trennschärfe-
66

werte r It sind für die Items überwiegend günstig. Augenscheinlich sehen die Beobachtenden
tendenziell seltener, dass die Teilnehmenden "Chancen und Risiken abwägen"
(vgl. !tem "in4_2"). Erneut werden für die Items "in1_2" und "in2_2" tendenziell etwas
positivere Urteile abgegeben. Im Falle von "in1_2 setzt sich mit Bestehendem auseinander",
dass in 444 Fällen mit "gut erfüllt" beurteilt worden ist, lässt sich ein Zusammenhang
mit der Aufgabenstellung herstellen. In einigen EFV wurden die Teilnehmenden
in der Präsentationsaufgabe darauf hingewiesen, dass sie "wesentliche Merkmale ihrer
Schule" vorstellen sollen. Wenn die Teilnehmenden schon allein die Aufgabenstellung
beachten, so setzen sie sich bereits mit Bestehendem auseinander und zeigen somit bereits
das gewünschte Verhalten. Dies erklärt möglicherweise auch die etwas niedrigere
Trennschärfe.
Tabelle 45: Innovation (Präsentation)
in1_2 setzt sich mit Bestehendem auseinander
in2_2 benennt Potenziale für Neuerungen
in3_2 entfaltet eigene Ideen
1n4_2 wägt Chancen und Risiken ab
1n5_2 beachtet Beziehung zwischen Innovation und Management
[5 Items (n-818): a - 0,858]
-
X
S
3,37 ,786
3,29 ,751
3,13 ,849
2,63 ,886
2,96 ,840
Tit5
,570
,732
,723
.641
,714
Innovation (präsentation)
0% 10% 20% 30% 40% 50% 60%
70% 80%
90% 100%
Abbildung 22: Innovation in der Präsentation
10 nicht erfüllt liD zum Teil erfüllt 0 erfüllt 0 gut erfüllt I
67

3.6.5 Zusammenfassung
Die Reliabilität eines Erhebungsverfahrens ist eine notwendige Voraussetzung
für seine Validität Die hier dokumentierten Ergebnisse der Reliabihtätsprüfung des
EFV zeigen ein gemischtes, aber erwartbares und letztlich positiv zu beurteilendes Bild.
Zunächst ist die hohe Übereinstimmung der Beurteilungen im Rahmen des "Vier­
Augen-Prinzips" hervorzuheben. Auch ohne eine vorherige Abstimmung kommen die
jeweils pro KandidatinJKandidat und Aufgabe eingesetzten zwei Beobachter zu stark
übereinstimmenden Beurteilungen. Die größten Abweichungen sind in den Aufgaben
Gruppendiskussion und Gesprächssituation festzustellen. 1m Vergleich zu den bei den
anderen Aufgaben enthalten diese einen geringeren Anteil an teilstandardisierbaren
Elementen; sie sind aufgrund des hohen Interaktionsanteils situationsabhängiger und
dürften in den Verlaufsmustem der Aufgabenbewältigung stärker variieren als die Aufgaben
Präsentation und Postkorb. Sowohl für die Teilnehmenden als auch für die Prüfenden
sind die Komplexität und damit das Risiko abweichender Beurteilungen in der
Gesprächsübung und der Gruppendiskussion höher. Diese Interpretation wird durch die
Einschätzungen der Beobachterinnen und Beobachter über die Sicherheit der Bem1eilungen
in den einzelnen Aufgaben unterstützt. Die Erhöhung der Beurteilerübereinstimmung
nach der Abstimmung individueller Beurteilungen weist auf die Konsensbereitschaft
und -fähigkeit der Beobachtenden hinsichtlich der Urteilskriterien hin. Es ist
davon auszugehen, dass der in das Verfahren eingebaute Schritt der kommunikativen
Abstimmung der Beurteilungen zur Validierung beiträgt.
Die Einzehtemanalyse zeigt keine ltems, die der generellen Tendenz der Beurteilung
entgegenlaufen; alle einzelnen ltems tragen systematisch zur Generierung des Gesamturteils
bei. Sehr wohl lassen sich aber anhand der Verteilung von positiver und negativer
Bem1eilung in den Einzelitems und anhand der Unterschiede zwischen den Trennschärfekoeffizienten
ltems identifizieren, die diskussionswürdig sind, da sie nur wenig
zur Differenzierung beitragen und da die mit ihnen vorgenommenen BeUl1eilungen im
Vergleich zu anderen Items stärker abweichen.
68

Die Multitrait-Multimethod-Matrix des EFV zeigt Zusammenhangsmuster, die aus der
Evaluation von Assessment Centern bekannt sind. Die Beurteilung der Aufgabenbewältigung
zeigt eine hohe Übereinstimmung innerhalb der einzelnen Aufgaben und eine
geringe Übereinstimmung zwischen Aufgaben, in denen die gleichen Kompetenzen
geprüft werden sollen. Dieses Ergebnis spricht dafür, dass das Verhalten der Teilnehmenden
und die Beurteilung durch die Beobachtenden stark an der Bewältigung der
einzelnen Aufgabe orientiert sind und nur in geringem Maß an einer abstrakten Vorstellung
einzelner Kompetenzdimensionen, die in unterschiedlichen Situationen ursächlichlieh
für erfolgreiches Handeln sind. Da allerdings der Gesamtzusammenhang a]]er Beurteilungen
hoch ist, kann dem EFV Zuverlässigkeit bei der Prüfung übergreifender Leitungskompetenz
bescheinigt werden.
69

3.7 Anlnerkungen ZUlU Beurteilungssysten1
In Kapitel 3.1 wurde bereits das für das EFV entwickelte BeurteiJungssystem
beschrieben. Es werden Punkte pro Kompetenz und Übung auf Grundlage der Mehrheitsverhältnisse
der erzielten Beurteilungen einzelner Verhaltensweisen vergeben. Dieses
Vorgehen stellt sicher, dass jede Kompetenz und Übung unabhängig von der Anzahl
der eingesetzten Items mit gleichem Gewicht in das Gesamturteil eingehen. Auch wenn
dies als Vorteil angesehen werden kann, so entstehen aus diesem Verfahren auch einige
Probleme, die in diesem Kapitel kurz diskutiert werden sollen.
1. Auch wenn das Beurteilungssystem die Anzahl der eingesetzten Items relativiert,
so bleibt die Möglichkeit bestehen, dass das Eneichen einer bestimmten Gesamtpunktzahl
je nach ltemanzahl unterschiedlich wahrscheinlich ist. Um beispielsweise die
volle Punktzahl für Rollenklarheit in der Gesprächsübung zu erhalten, müssen fünf von
neun Verhaltensweisen "gut erfül1t" werden. Dies entsplicht 55,6% der eingesetzten
ltems. In der Postkorbübung müssen für die gleiche Kompetenz dagegen vier von sechs
Verhaltensweisen "gut erfüllt" werden, was 66,7% der eingesetzten Items entspricht. Ob
sich dies in relevantem Maße auf das Gesamturteil auswirkt, lässt sich vor dem Hinterg1lJnd
einer Vielzahl nicht kontrollierbarer Variablen (z.B. die Unterschiedlichkeit der
Übungen) allerdings empirisch nicht nachweisen, sondern kann hier nur grundsätzlich
zur Diskussion gestellt werden.
2. Das Auszählen der Häufigkeiten und die Übertragung der Mehrheitsverhältnisse
in das entwickelte Punkteschema ist eine anspruchsvolle Aufgabe, die nach jedem
Übungsdurchlauf während des zweitägigen Verfahrens unter hohem Zeitdruck und hoher
Konzentration erfolgen muss. Auch wenn die Auszählung und Punktevergabe mehrfach
kontrolliert wird, birgt das System Fehlerrisiken. Tatsächlich konnten im Datenabgleich
zwischen der im EFV durchgeführten Auszählung und Punktevergabe und der im
Rahmen der externen Evaluation erfolgten, computerunterstützten Auszählung und
Punktevergabe einzelne Abweichungen festgestellt werden, die allerdings keine negativen
Folgen in Bezug auf die GesamtbeUI1eiJungen hatten. Die Abweichungen resultieren
aus Auszählungsfehlern in vier Fällen, aus dem Ve11auschen von Beurteilungsbögen
in einem Fall und aus der fehlenden Bewertung eines Einzelitems in einem Fall.
70

3. Aus den Verhaltensbeurteilungen und den daraus ermittelten Punktwerten sollen
sich eindeutige Niveauunterschiede im Hinblick auf die fokussie11en Schulleiterkompetenzen
ergeben. Für die Gesamtpunktzahl und das Gesamturteil werden allerdings
nur die Mehrheitsverhältnisse der Beurteilungen der verschiedenen Verhaltensweisen
berücksichtigt. Ein Beispiel soll das Problem, das die Trennschärfe der Kompetenzniveauunterscheidungen
betrifft, verdeutlichen: Ein Teilnehmer, der sechs von zehn
Verhaltensweisen "gut erfüllt" und die übrigen Verhaltensweisen "nicht erfüllt", erhält
für die entsprechende Kompetenz die gleiche Punktzahl, wie ein Teilnehmer, der sechs
Verhaltensweisen "gut erfüllt" und die anderen vier "erfüllt". Die jeweils gezeigte Leistung
der beiden Teilnehmer unterscheidet sich somit, ohne dass sich dies in der Teilbeurteilung,
die in die Gesamtbeurteilung einfließt, widerspiegelt. In der Konsequenz bedeutet
dies, dass Teilnehmer, die "nicht bestanden" haben, nicht zwangsläufig ein über
alle Verhaltensindikatoren gemessenes, schlechteres Kompetenzniveau gezeigt haben,
als diejenigen, die die Anforderungen erfüllen. Umgekehrt müssen Teilnehmer, die die
Anforderungen erfüllen, nicht automatisch eine bessere Bewältigung der Übungen gezeigt
haben, als diejenigen, die nicht bestanden haben. Gleiches gilt im Verhältnis von
Personen, die die Anforderungen übertreffen und denjenigen, die die Anforderungen in
besonderem Maße übertreffen. Die Ausmaße des Problems lassen sich durch eine aIternative
Bewertungssystematik veranschaulichen.
Eine Variante wäre, aus den gezeigten Verhaltensweisen, die in den Übungen
über die jeweiligen ltems gemessen werden, einen additiven Index zu bilden. D.h. jeder
Teilnehmer erhält für jede Verhaltensweise zwischen einem Punkt und vier Punkten und
am Ende werden die erzielten Punkte über aUe Items aufsummiert. Mit dieser Variante
"additiver Index" wird im Folgenden verfahren, wobei zur Erstellung der entsprechenden
Indizes auf insgesamt 59 ltems zurückgegriffen wird, die in der Mehrheit der evaluierten
Verfahren verwendet wurden J8 .
Für die Variante "additiver Index" reicht die Spannweite der minimal bzw. maximal
erreichbaren Gesamtpunktzahl von 118 bis 472 Punkte. Tatsächlich erzielt wur-
18 In einigen EFV wurden einzelne Hems übungsbezogen nicht verwendet oder nach Erprobung durch
andere ltems ersetzt. Die Daten aus diesen Verfahren werden zur Gewährleistung einer besseren Vergleichbarkeit
nicht in die hier dargestellte Analyse einbezogen. Die Fallzahl reduziert sich dadurch von
409 auf 332, was aber immer noch eine hinreichende Größe darstellt.
71

den mindestens 229 Punkte und höchstens 462 Punkte (v gl. Tabelle 46). Die 63 Teilnehmenden,
die "nicht bestanden" haben, erreichen durchschnittlich 304,6 Punkte, die
anderen beiden Gruppen im Durchschnitt 354,1 bzw. 40],1 Punkte.
Für die Teilnehmenden, die nicht bestanden haben, reicht die Spannweite der erzielten
Punkte von 229 bis 347. Für die Gruppe der Personen, die die Anforderungen
übertreffen, reicht die Spannweite von 309 bis 396. Man sieht hier bereits, dass sich die
innerhalb der Gruppen erzielten Punktebereiche deutlich überlappen.
Tabelle 46: Trennschärfeeroblematik (additiver Index)
Nicht be·
standen
Die Leistungen ... übertreffen die
übertreffen die Anforderungen in Gesamt
Anforderungen. besonderem Maße.
n 63 155 114 332
Mittelwert 304,6 354,1 401,1 360,8
s 26,27 17,97 20,08 39,98
Standardfehler 3,31 1,44 1,88 2,19
Vertrauens be- Untergrenze 297,95 351,21 397,34 356,49
reich (95%) Obergrenze 311,19 356,92 404,79 365,13
min 229 309 360 229
max 347 396 462 462
F=465,777; p=o,ooo
Eine Auszählung der Personen, die innerhalb der verschiedenen Wertebereiche
bestanden und nicht bestanden haben (vgl. Tabelle 47), zeigt, dass 90 Teilnehmer zwischen
309 und 347 Punkte erzielt haben. 33 davon haben nicht bestanden, die anderen
57 haben bestanden. Eine vergleichbare Überlappung der Wertebereiche findet sich
auch für die Teilnehmenden, die auf unterschiedlichen Niveaustufen bestanden haben.
Von den 112 Personen mit Punkten im Wertebereich 360 bis 396 übertreffen 63 die
Anforderungen und 49 sogar in besonderem Maße.
72

Tabelle 47: Gesamturteil nach Wertebereichen
Wertebereich Ergebnis N %
weniger als 309 Punkte nicht bestanden 30 9,0%
zwischen 309 und 347 Punkten nicht bestanden 33 9,9%
zwischen 309 und 347 Punkten bestanden 57 17,2%
zwischen 348 und 359 Punkten bestanden 35 10,5%
zwischen 360 und 396 Punkten bestanden 63 19,0%
zwischen 360 und 396 Punkten gut bestanden 49 14,8%
mehr als 396 Punkte gut bestanden 65 19,6%
Summe 332 100%
Die Variante "additiver Index" ist mit dem Nachteil behaftet, dass Kompetenzen,
in denen mehr ltems eingesetzt werden, mit einem stärkeren Gewicht in die Gesamtsumme
eingehen. So sind für Innovation nur je fünf Verhaltensweisen zu zeigen,
wodurch bis zu 20 Punkte pro Beobachter und Übung erzielt werden können. Mit hoher
Kommunikationskompetenz lassen sich in der Gesprächsübung hingegen bis zu 40
Punkte pro Beobachter erzielen, da hier zehn Items eingesetzt werden. Dieser Nachteil
einer ungleichen Gewichtung der verschiedenen Kompetenzen für das Gesamturteil
lässt sich beheben, indem aus den Bewertungen der einzelnen Items für jede Kompetenz
Mittelwerte errechnet werden, die dann in eine Gesamtbewertung eingehen. Pro Übung,
Kompetenz und Beobachter erhält ein Teilnehmer dann maximal vier Punkte und zwar
unabhängig davon, wie viele ltems eingesetzt worden sind.
Auch für die Variante "Mittelwert-Index" ergibt sich gleichwohl ein ähnliches
Bild. Wie Tabelle 48 zeigt, liegt die Spannweite der durchschnittlich erreichten Punktzahl
bei Personen, die nicht bestanden haben, zwischen 32,05 und 46,63 Punkten. Personen,
die die Anforderungen übertreffen, haben mindestens 42,88 Punkte und höchsten
52,70 Punkte erzielen können. Auch in dieser Variante wird somit deutlich, dass sich
die Wertebereiche überschneiden. Aus den im Durchschnitt erzielten Punkten lässt sich
nicht durchgehend ablesen, ob eine Person die Anforderungen insgesamt erfüllt oder
nicht.
73

Tabelle 48: Trennschärfe-Problematik (Mittelwert-Index)
Nicht
bestanden
Die leistungen ... übertreffen die
übertreffen die Anforderungen in Gesamt
Anforderungen. besonderem Marse.
n 63 155 114 332
Mittelwert 41,23 47,96 54,42 48,90
s 3,43 2,29 2,65 5,40
Standardfehler 0,43 0,18 0,25 0,30
Vertrauensbe- Untergrenze 40,37 47,60 53,92 48,32
reich (95%) Obergrenze 42,10 48,33 54,91 49,48
min 32,05 42,88 49,11 32,05
max 46,63 52,70 62,96 62,96
F=515,236; p=O,OOO
74

4. Empfehlungen
Im Gesamtergebnis belegt die Evaluation des EFV die Zuverlässigkeit, Differenzierungsfahigkeit
und organisatorische Handhabbarkeit des Verfahrens. Es findet
aufgrund der Einschätzungen der beteiligten Expertinnen und Experten zur Angemessenheit
der Aufgaben fur die Überprufung von Schulleitungskompetenzen, aufgrund der
Transparenz des Verfahrens und seiner Passung in den administrativen Kontext der
Auswahlentscheidungen sowie aufgrund seiner Objektivität sowohl bei den Kandidatinnen
und Kandidaten als auch bei den Beobachterinnen und Beobachtern eine hohe Akzeptanz.
Auch die unabhängig von Einschätzungen der Beteiligten erhobenen Kennwerte
zeigen die Qualität des Verfahrens an. Mit dem Verfahren können sachlich nachvoJJziehbar
Beurteilungen auf einem dreistufigen Beurteilungsschema vorgenommen werden
und die Beurteilerübereinstimmung ist hoch.
Der Bericht zeigt allerdings auch Entwicklungsbedarf. Am deutlichsten tritt er
bei der systematischen Bestimmung (resp. Abgrenzung) der fraglichen Kompetenzdimensionen
hervor. Aufgrund der Zusammenhangsmuster in der Multitrait-Multimethod­
Matrix ist nicht davon auszugehen, dass fur die Beurteilungen des Verhaltens über die
unterschiedlichen Aufgaben hinweg die gleichen abstrakten Kompetenzdimensionen
zugrunde liegen. Vielmehr zeigt sich - wie in den komplexen und ergebnisoffenen Aufgaben
von Assessment Center üblich - eine hohe Übereinstimmung des Beurtei]ungsverhaltens
innerhalb der einzelnen Aufgaben. Sie dominiert über die Differenzierung
einzelner Kompetenzdimensionen. Dieses Ergebnis gibt Anlass, die angenommene Dimensionienmg
der relevanten Kompetenzen zu überprüfen und ihr Verhältnis zu den
einzelnen Aufgaben genauer zu bestimmen. Sinnvol1 erscheint dabei aufgrund der hohen
Komplexität und Unterschiedlichkeit der Anforderungen in den einzelnen Aufgaben
zu einer feiner aufgelösten Bestimmung einzelner Kompetenzdimensionen zu gelangen.
Die Einschätzungen der Beteiligten zur Qualität der einzelnen Aufgaben und die
Einzelitemanalyse geben Hinweise auf Verhaltens- und Beurteilungsschwierigkeiten,
die in den einzelnen Aufgaben auftreten. Im Zuge einer Neuabstimmung der Kompetenzdimensionen
können diese Informationen für Detailanalysen genutzt werden. Sie
75

ieten eine Grundlage, um die am EFV Beteiligten gezielt auf ihre Aufgabendeutungen
und Verhaltensbeurteilungen hin zu befragen; dabei können wertvolle lnfonnationen
über handlungsJeitende Orientierungen und U11eilskriterien gewonnen werden, die einer
operativ anwendbaren Bestimmung der Kompetenzdimensionen und der mit ihnen verbundenen
Verhaltensanker zuträglich ist.
Die Übertragung der Beurteilung aus den einzelnen Aufgaben des EFV in das
administrativ gängige Schema (Beurteilung nicht bestanden, übertrifft die Anforderungen,
übertrifft die Anforderungen in besonderem Maße) erfolgt auf der Grundlage eines
Algorithmus, der praktikabel und sachlich begründet ist. Er bringt allerdings auch kleinere
FehlelTisiken und messtheoretische Probleme mit sich. So wird die recht hoch auflösende
Infomlation aus der Beurteilung der Kompetenzdimensionen anhand der Einzelitems
nur in Teilen fur die Gesamtbeurteilung genutzt. Auch kommt es zu FäHen, in
denen Personen mit einer höheren Niveaueinstufung niedrigere "Rohwel1e" in der Beurteilung
der Einzelitems aufweisen, als Personen mit niedrigeren Niveaueinstufungen.
Bei der fortführung des EFV sollte ein Verfahren entwickelt werden, in dem die Informationen
aus den Einzelitems aggregiert und zu einem kriterial bestimmten Grenzwel1
in Beziehung gesetzt werden, um die Reliabilität der Niveaustufeneinordnung zu erhöhen.
76

Anhang
5. Zusätzliche Tabellen
77

5.1 Teilnelllnerbeurteilungen der Übungen nach EFV­
Gesa111turteil
Tabelle 49: Teilnehmerbeurteilung der Gru~Eendiskussjon nach EFV-Gesamturteil
Die Vorbereitungszeit war ausreichend. (F=2,336; p=0,100) n X
Nicht bestanden 32 3,78
Die Leistungen übertreffen die Anforderungen. 59 3,54
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,75
Gesamt 150 3,67
s
,491
,703
,544
,608
Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit gebraucht. n X
(F=.317; p=.729}
nicht bestanden 32 1,53
Die Leistungen übertreffen die Anforderungen. 59 1,63
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 1,53
Gesamt 150 1,57
s
,718
,786
,728
,746
Die AufgabensteIlung war verständlich. (F=O, 121; p=O,886) n X
nicht bestanden 32 3,81
Die Leistungen übertreffen die Anforderungen. 58 3,84
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,81
Gesamt 149 3,83
s
.397
,365
,393
,381
Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin. n X
{F=0,969; p=0,382}
nicht bestanden 32 3,41
Die Leistungen übertreffen die Anforderungen. 59 3,24
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,33
Gesamt 149 3,31
s
,615
,536
,574
,568
Ich glaube, dass ich meine Kommunikationskompetenz in dieser Aufgabe n X
~ut zeigen konnte. (F=0,040; ~=0,960}
nicht bestanden 32 3,19
Die Leistungen übertreffen die Anforderungen. 55 3,22
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 57 3,23
Gesamt 144 3,22
s
,693
,599
,682
,650
Ich glaube, dass ich meine Innovationskompetenz in dieser Aufgabe gut n X
zeigen konnte. (F=0,423; p=O,656)
nicht bestanden 32 3,16
Die Leistungen übertreffen die Anforderungen. 54 3,06
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 57 3,02
Gesamt 143 3,06
s
,767
,627
,694
,684
78

Tabelle 50: Teilnehmerbeurteilung der Präsentation nach EFV-Gesamturteil
Die Vorbereitungszeit war ausreichend. {F=O,010; ~=O,9901 n x s
nicht bestanden 32 3,28 ,813
Die Leistungen übertreffen die Anforderungen. 59 3,31 ,793
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,31 ,933
Gesamt 150 3,30 ,849
Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit gebraucht.
n x s
(F=O,118; p=O,889)
nicht bestanden 31 2,10 1,012
Die Leistungen übertreffen die Anforderungen. 58 2,00 ,879
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 2,00 1,067
Gesamt 148 2,02 ,979
Die AufgabensteIlung war verständlich. (F=2,407; ~=O,O94) n x s
nicht bestanden 32 3,63 ,609
Die Leistungen übertreffen die Anforderungen. 59 3,86 ,345
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,75 ,575
Gesamt 150 3,77 ,511
Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin.
n x s
(F=O,162; ~=O,8511
nicht bestanden 31 3,13 ,846
Die Leistungen übertreffen die Anforderungen. 58 3,21 ,744
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,22 ,696
Gesamt 148 3,20 ,744
Ich glaube, dass ich meine Managementkompetenz in dieser Aufgabe
n x s
9ut zeigen konnte. !F=O,773; e=O,4631
nicht bestanden 32 3,00 ,803
Die Leistungen übertreffen die Anforderungen. 55 3,18 ,547
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,14 ,687
Gesamt
145 3,12 ,665
Ich glaube, dass ich meine Innovations kompetenz in dieser Aufgabe gut
n x s
zeigen konnte.jF=O,671; e=O,513)
nicht bestanden 32 3,03 ,782
Die Leistungen übertreffen die Anforderungen. 55 3,22 ,762
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,14 ,661
Gesamt 145 3,14 ,726
79

Tabelle 5]: Teilnehmerbeurteilung der Geserächsübung nach EFV-Gesamturteil
Die Vorbereitungszeit war ausreichend. iF=O,186; ~=O,831} n X s
nicht bestanden 32 3,53 ,803
Die Leistungen übertreffen die Anforderungen. 59 3,53 ,751
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,60 ,699
Gesamt 149 3,56 ,739
Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit gebraucht.
n X s
!F=O,036; p=0,965}
1,00
nicht bestanden 32 1,78
8
Die Leistungen übertreffen die Anforderungen. 59 1,76 ,953
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 1,73 ,925
Gesamt 150 1,75 ,948
Die Auf9abenstelluns war verständlich. {F=i ,464; p=O,235} n X s
nicht bestanden 32 3,78 ,491
Die Leistungen übertreffen die Anforderungen. 59 3,61 ,670
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,53 ,774
Gesamt 150 3,61 ,683
Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin.
n X s
(F=1 ,071; p=O,346)
nicht bestanden 30 3,17 ,747
Die Leistungen übertreffen die Anforderungen. 58 2,91 ,732
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 2,98 ,820
Gesamt 147 2,99 ,772
Ich glaube, dass ich meine Kommunikationskompetenz in dieser Aufgabe
n
-
X s
!:lut zei!:len konnte. !F=O,364; e=O,696)
nicht bestanden 32 2,97 ,782
Die Leistungen übertreffen die Anforderungen. 55 3,05 ,803
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,12 ,839
Gesamt 145 3,06 ,810
Ich glaube, dass ich meine Kompetenz zur Rollenklarheit in dieser Aufn
X s
_gabe gut zei~en konnte. (F=1,067; p=O,347)
nicht bestanden 32 3,38 ,751
Die Leistungen übertreffen die Anforderungen. 55 3,13 ,795
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,19 ,760
Gesamt 145 3,21 ,772
80

TabelJe 52: Teilnehmerbeurteilung des Post korbs nach EFV-Gesamturteil
Die Vorbereitungszeit war ausreichend. (F;:::O,024; p;:::O,976) n X s
nicht bestanden 32 1,91 ,893
Die Leistungen übertreffen die Anforderungen. 58 1,88 ,880
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 1,91 ,864
Gesamt 148 1,90 ,871
Zur Bearbeitung der Aufgabe hätte ich wesentlich mehr Zeit gebraucht.
!F;:::O,538; p;:::O,585}
n X s
nicht bestanden 30 3,17 ,791
Die Leistungen übertreffen die Anforderungen. 59 3,10 ,885
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 2,98 ,848
Gesamt 147 3,07 ,849
Die AufgabensteIlung war verständlich. (F;:::O,162; p=O,851} n X s
nicht bestanden 32 3,41 ,756
Die Leistungen übertreffen die Anforderungen. 59 3,49 ,679
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 3,47 ,679
Gesamt 150 3,47 ,692
Ich glaube, dass ich mit dieser Aufgabe gut zurechtgekommen bin.
(F=O,156; p=O,856}
n X s
nicht bestanden 31 2,94 ,854
Die Leistungen übertreffen die Anforderungen. 59 2,85 ,690
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 59 2,85 ,827
Gesamt 149 2,87 ,777
Ich glaube, dass ich meine Managementkompetenz in dieser Aufgabe gut
zeigen konnte. !F=O,471; p=O,626i
n X s
nicht bestanden 31 2,94 ,727
Die Leistungen übertreffen die Anforderungen. 54 3,07 ,669
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 2,97 ,772
Gesamt 143 3,00 ,722
Ich glaube, dass ich meine Kompetenz zur Rollenklarheit in dieser Aufn
!labe gut zeigen konnte. (F=O,418; p=O,659}
X s
nicht bestanden 31 3,06 ,772
Die Leistungen übertreffen die Anforderungen. 54 3,20 ,711
Die Leistungen übertreffen die Anforderungen in besonderem Maße. 58 3,10 ,765
Gesamt 143 3,13 ,743
81

5.2 Differenzierung der Beobachtungsergebnisse nach Alter,
Dienstzeit und "Funktionserfahrung"
Tabelle 53: Postkorb/FalJstudie - Ergebnis nach Alter l9
RK n X 5 min max MN n X 5 min max
1 + 2 Pkt.
188 56,1 5.9 38 65
1 + 2 Pkt.
185 55,7 6,2 38 65
3 Pkt.
301 55,6 5,4 39 65
3 Pkt.
343 55,7 5,4 39 65
4 Pkt.
185 55,2 5,9 38 65
4 Pkt.
146 55,4 5,8 38 65
ge5.
674 55,6 5.7 38 65
ge5 .
674 55,6 5,7 38 65
F= 1,094; p=O,335 F=0,153: p=0,858
TabeJle 54: GesI!rächsübung - Ergebnis nach Alter
RK n X 5 min max KO n X 5 min max
1 + 2 Pkt.
135 55,6 6.0 38 65
3 Pkt.
297 55,1 5.9 39 65
4 Pkt.
238 55,7 5,4 38 65
ge5 .
670 55,4 5.8 38 65
F-O,592; p-O,554
1 + 2 Pkt.
148 55,8 6,0 38 65
3 Pkt.
341 55,2 5.9 38 65
4 Pkt.
181 55,5 5,4 38 64
ges.
670 55,4 5,8 38 65
F=0,424; p=0.655
Tabelle 55: Präsentation - Ergebnis nach Alter
IN n X 5 min max MN n X 5 min max
1 + 2 Pkt.
128 54,7 5,7 38 65
1 + 2 Pkt.
209 54,9 6.1 38 65
3 Pkt.
295 55,4 6,0 38 65
3 Pkt.
286 55,4 5,9 38 65
4 Pkt.
253 55,7 5,5 40 65
4 Pkt.
181 55,9 5,2 41 65
~e5.
676 55,4 5.8 38 65
lile5 .
F=1 ,310; p=0,271 F=1,524; p=0,218
676 55,4 5,8 38 65
Tabelle 56: GruI!2endiskussion - Ergebnis nach Alter
IN n X 5 min max KO n
1 + 2 Pkt.
3 Pkt.
4 Pkt.
128 54,4 5,8 38 65
390 55,1 6.0 38 65
159 55,8 5,7 38 65
ge5.
677 55,1 5.9 38 65
F-1,875; p-O,154
1 + 2 Pkt.
3 Pkt.
4 Pkt.
ges.
F=1,695; p=0,184
X 5 min max
90 55,4 5,7 40 65
385 54,8 6,1 38 65
202 55,7 5,6 38 65
677 55,1 5,9 38 65
19 RK = Rollenklarkeit: MN = Management: IN = Innovation: KO = Kommunikation
82

Tabelle 57: Postkorb/Fallstudie - Ergebnis nach Dienstzeieo
RK n X s min max MN n X s min max
1 + 2 Pkt. 182 30,5 7,8 13 43 1 + 2 Pkt. 180 30,1 8,0 13 44
3 Pkt. 290 30,3 7,4 13 44 3 Pkt. 330 30,3 7,4 13 44
4 Pkt. 182 29,9 7,6 13 44 4 Pkt. 144 30,1 7,4 13 43
l;1es. 654 30,2 7,6 13 44 2es. 654 30,2 7,6 13 44
F-O,306; p-O,737
F-O,052; p-O,949
Tabelle 58: GesErächsübung - Ergebnis nach Dienstzeit
RK n X s min max KO n X s min max
1 + 2 Pkt. 133 30,1 7,6 13 43 1 + 2 Pkt. 145 30,2 7,5 13 43
3 Pkt. 287 29.9 7,7 13 44 3 Pkt. 330 30,0 7,5 13 44
4 Pkt. 233 30,3 7,4 13 44 4 Pkt. 178 30,2 7,8 13 44
2es . 653 30,1 7,6 13 44 ~es. 653 30,1 7,6 13 44
F=0,258: p=0,773
F=0,062; p=0,939
Tabelle 59: Präsentation - Ergebnis nach Dienstzeit
IN n X s min max MN n X s min max
1 + 2 Pkt. 126 29,1 7,3 13 41 1 + 2 Pkt. 205 29,2 7,7 13 44
3 Pkt. 286 29,7 8,0 13 44 3 Pkt. 276 29,9 7,6 13 44
4 Pkt. 246 30,8 7,2 13 44 4 Pkt. 177 31,0 7,2 13 44
2es. 658 30,0 7,6 13 44 2es. 658 30,0 7,6 13 44
F=2,467; p=0,086
F=2,744; p=O,065
Tabelle 60: GruEEendiskussion - Ergebnis nach Dienstzeit
IN n X s min max KO n X s min max
1 + 2 Pkt. 125 29,2 7,7 13 43 1 + 2 Pkt. 89 30,5 8,0 13 43
3 Pkt. 379 29,9 8,1 13 44 3 Pkt. 374 29,5 7,9 13 44
4 Pkt. 156 31,1 7,1 13 44 4 Pkt. 197 30,8 7,3 13 44
ges. 660 30,0 7,8 13 44 2es. 660 30,0 7,8 13 44
F=2,347; p=0,096
F=1,850; p=0,158
20 RK = Rollenklarkeit; MN = Management; IN = Innovation; KO = Kommunikation
83

Tabelle 6]: Postkorb/Fallstudie - Ergebnis nach "Funklionserfahrung,,21
RK n X 5 min max MN n X 5 min max
1 + 2 Pkt. 188 11,1 8,6 0 42 1 + 2 Pkt. 185 10,5 8,8 0 42
3 Pkt. 296 9.6 7,5 0 42 3 Pkt. 337 9,8 7.6 0 42
4 Pkt. 184 8,9 6.3 0 42 4 Pkt. 146 9,1 5,9 0 37
ges. 668 9,9 7,6 ,00 42 ges. 668 9,8 7,6 0 42
F=4,255; p=0,015;
F=1,457; p=0,234
Tabelle 62: GesErächsübung - Ergebnis nach "Funktionserfahrung"
RK n X s min max KO n X 5 min max
1 + 2 Pkt. 135 9,6 7,0 42 1 + 2 Pkt. 148 9,9 7,7 42
3 Pkl. 295 10,4 7,9 0 42 3 Pkt. 339 10,2 7,9 42
4 Pkt. 236 9,7 6,9 0 38 4 Pkt. 179 9,7 6,0 42
ges. 666 10,0 7,4
F-0,707; p=0,494:
°
42 ges. 666 10,0 7,4 42
F=0,301; p=0,740
Tabelle 63: Präsen!!ltion ~ebnis nach_""Funktionserfahrung"
-
IN n X s min max MN n X s min max
1 + 2 Pkt. 127 9.6 8,0 42 1 + 2 Pkt. 207 9,7 8.2 42
3 Pkt. 292 10,4 8,4 42 3 Pkt. 283 10,3 8.0 42
4 Pkt. 252 9,4 6,1 38 4 Pkt. 181 9,4 5.7 37
ges. 671 9,9 7,5 42 ges. 671 9,9 7,5 42
F-1,268; p-0,282:
F=0,948: p=O,388
Tabelle 64: Gruppendiskussion - Ergebnis nach "Funktionserfahrung"
IN n X 5 min max KO n X 5 min max
1 + 2 Pkl. 128 10,6 8,4 42 1 + 2 Pkt. 90 11,3 9,2 42
3 Pkt. 387 10,5 8,4 42 3 Pkt. 382 10,5 8,3 42
4 Pkl. 158 10,1 6,4 38 4 Pkt. 201 9,9 6,5 38
ges. 673 10,4 8,0 42 ges. 673 10,4 8,0 42
F-O,212: p=0,809:
F=1,027: p=0.359
:'1 RK = RolJenkJarkeit: MN = Management: lN = lnnovation: KO = Kommunikation
84

6. Ergebnisse der AC-Forschung und ihre Beachtung
im EFV
In der nachfolgenden Tabelle werden bedeutsame Studien der Assessment Center-Forschung
aufgelistet und stichwortartig beschrieben. Daneben wird eine Einschätzung
dahingehend abgegeben, inwiefern die Forschungsbefunde im EFV berücksichtigt
werden. Die Bewertung in der vierten Spalte schließlich bezieht sich auf die Relation
von "Forschungsbefund" und "Anwendung im EFV". Die Bedeutung der Bewertung rur
das Eignungsfeststellungsverfahren muss vor der jeweiligen Zielsetzung diskutiert werden.
Hier verdeutlichen sich beispielweise die verschiedenen Interpretationsmöglichkeiten
der Beobachterrotation (vg1. Kleinmann ]997, Höft 2007, Lammers 1994). Oder
auch die im Lichte des Verfahrens eher als neutral zu bewertenden Erkenntnis, das Teilnehmer/-innen
situationsspezifisch unterschiedliches Verhalten zeigen (vg1. Sacket/Dreher
] 982).
Quelle Forschungsbefund Anwendung im EFV Bewertung
GAUGLERITHORNTON Konvergente Validität Im EFV werden pro Übung nur +
1989 steigt bei Reduzierung der zwei Dimensionen erfasst.
Dimensionen
KLEINMANN 1991 Konvergente Validität Die Kompetenzdimensionen +
steigt, wenn TN die Di- werden vorab bekannt gegemensionen
kennen
ben.
REILL Y et al. 1990 Konvergente Validität Im EFV sind pro Dimension +
steigt bei Einsatz von zwischen 5 und 10 Items zu
"Checklisten"
beurteilen.
WOEHR et al. 2007 Konstrukt-Validität wird Mehrtätige Schulung für EFV- +
über Beobachterschulung Beobachter + Briefing
erhöht
WOEHR et al. 2007 Beruf der Beobachter ~ Im EFV werden Schulleiter, -
diskriminante Validität Schulaufsicht und Schulträger
steigt bei Einsatz von Psy- eingesetzt.
chologen statt Managern
SILVERMAN et al. 1986 Geringere konvergente Beurteilung im direkten An- -
Validität bei Beurteilung schluss
direkt nach der Übung
KLEINMANN 1997 Durch Beobachterrotation Rotation wird gemacht +
Infoflut reduzieren, Halo-
Effekt vermeiden
HÖFT 2007 Nicht die Leistung der Rotation wird gemacht, aber +/-
Teilnehmer, sondern vor teilweise auch gleiche Beoballem
die Einschätzungen achter in verschiedenen
der verschiedenen Beob- Übungen (unsystematisch)
achter variieren
Lammers 1994 (Vor- Konstruktvalidität steigt bei Rotation wird gemacht -
trag) nach KLEIN MANN Verzicht auf Rotation
85

1997
SACKETT!DREHER TN verhalten sich mchl Die im EFV eingesetzten Kon- +/-
1982 konsistent über versch. strukte sind situationsspezi-
Situationen hinweg
fisch
NEUBAUER 1980 Zeitgleiche Messung der Beobachtung "zeitgleich", aber -
Konstrukte -j- keine Unabhängigkeit
zu erwarten
Beurteilung "der Reihe nach" +
SACKETT !DREHER Beobachtbarkeit der 01- Items werden übungsspezi- +/-
1982 mensionen in J\bhängig- fisch teilweise weggelassen
keit zur Übung (nicht im-
Items lassen nicht unbedingt -
mer alles beobachtbar)
eine eindeutige Zuordnung zu
86

7. Beobachtung des EFVs am 30./31.03.2009
7.1 Vorbemerkung
Im Folgenden werden die Beobachtungen des EFV in Dortmund am 30. und 31.
März 2009 dokumentiert. Neben einer übergeordneten Beschreibung von Tagungsort
und Organisation der Veranstaltung folgen übungs- und kompetenzbezogene Darstellungen.
Im EFV am 30./31.03. wurde neben der Gruppendiskussion und der Präsentation
ein Beratungsgespräch und die Postkorbübung durchgeführt. Seitens der FU-Evaluation
wurden in Dortmund beobachtet:
~ am ersten Tag:
2 Gruppendiskussionen (von 3 insgesamt)
2 Präsentationen (von 2 x 3 insgesamt)
3 Beratungsgespräche (von 4 x 3 insgesamt)
die Arbeit des Organisationsbüros
die Bewertung der Postkörbe
~ am zweiten Tag:
5 Postkörbe (von 6 x 3 insgesamt)
2 Präsentationen (von 4 x 3 insgesamt)
2 Beratungsgespräche (von 2 x 3 insgesamt)
die Arbeit des Organisationsbüros
die Zuteilung Beobachtende/Teilnehmende zur Ergebnisbekanntgabe sowie
die daran anschließende Kurzvorbereitung der Beobachter/-innen auf die Ergebnisbekanntgabe
Der vorgesehene Zeitplan wurde im Dortmunder EFV strikt eingehalten, d.h. mit
den Übungen wurde immer pünktlich begonnen. Dies ist insofern bemerkenswert, als
das sich eine Verzögerung in einer Übung auf einen Großteil des restlichen Tagesablaufs
ausgewirkt hätte. Die Einhaltung des Zeitplans stellt insofern eine Gelingenskomponente
des EFVs dar. Die konkrete Ausgestaltung der Übungen im EFV am 30./31.
März sowie einzelne Beobachtungen aus Dortmund werden nachfolgend dargestellt.
7.1.1 Räume und Rahmen
Das EFV wurde in Dortmund in den Räumlichkeiten der Handwerkskammer
Dortmund, Ardeystr. 93-95, durchgeführt. Der Veranstaltungsort ist über das westfalische
Autobahnnetz gut zu erreichen und liegt vom Dortmunder Hauptbahnhof nur einen
87

Haltepunkt der Deutschen Bahn entfemt. Insgesamt standen sieben Räume zur Durchführung
des EFVs zur Verfügung. Der "Zeichensaal" im ersten Stock diente dem Plenum
während des gesamten Verfahrens auch als Aufenthaltsraum. Getränke und Obst
wurden ganztätig bereitgestellt. In der dritten Etage diente ein Raum als Organisationsbüro,
in der vierten Etage waren drei Räume für die Durchführung der Übungen und
zwei Räume zur Vorbereitung der Aufgaben bzw. Durchsicht der Lösungen vorgesehen.
In den Übungsräumen standen neben Stellwänden, Flipcha11-Ständem und jeweils einem
Overhead-Projektor auch eine digitale Tischuhr und etwas zu trinken bereit. Die
Ausstattung des Veranstaltungsortes kann als gut bezeichnet werden.
Das gesamte EFV wurde von drei Mitarbeitem von SCHULMANAGEMENT
NRW durchgeführt. Die Begrüßung der insgesamt 18 Teilnehmerinnen und Teilnehmer
(davon sieben Frauen), acht Beobachterümen und Beobachter (sieben regulär, davon
drei Frauen zzgL ein männlicher Ersatzbeobachter) sowie der zwei Metabeobachter (1 x
Schwerbehindertenvertretung, 1 x FU Berlin) wurde von der Dezementin für Lehrerfortbildung
der Bezirksregierung Amsberg übemommen. Nach kurzer Vorstellungsrunde
wurden alle Anwesenden von den Mitarbeitem von SCHULMANAGEMENT NRW
über den TagesabJauf und die organisatorischen Rahmenbindungen infonniert. Zur
Durchführung des EFV ist ein Farbleitsystem entwickelt worden, mit dessen Hilfe den
Teilnehmenden und Beobachtenden die jeweils zu nutzenden Räume zugewiesen wurde.
Ein Gesamtplan über die Belegung der Räumlichkeiten und entsprechend über die
Vorbereitungs-, Prüfungs- und Pausenzeiten war jeweils im Aufenthaltsraum und im
Organisationsbüro für alle Beteiligten einsehbar.
Die Beteiligten wurden darauf hingewiesen, dass im Sinne vergleichbarer Prüfungsbedingungen
und aus organisatorischen Gründen auf eine strikte Einhaltung der
Bearbeitungszeiten geachtet werden muss. Die zur Vorbereitung der Aufgaben benötigten
Materialien wurden jeweils kurz vor Beginn der Vorbereitungszeit ausgegeben. Die
Teilnehmerinnen und Teilnehmer mussten die Unterlagen im Organisationsbüro persönlich
abholen und zu gegebener Zeit auch dorthin wieder zurück bringen. Die Teilnehmenden
wurden darüber aufgeklärt, dass ein Abbruch des EFV aus gesundheitlichen
Gründen möglich ist, aber über ein ärztliches Attest entschuldigt werden muss, da das
EFV als ansonsten als "nicht bestanden" gewe11et wird. Konsequenz des Nichtbestehens
ist eine einjährige Wartefrist vor erneuter Teilnahmemöglichkeit.
Um innerhalb der Prüfungssituationen eine größtmögliche Neutralität zu wahren,
werden Beobachterl-innen und Teilnehmer/-innen erst kurz vor Ende des EFVs darüber
infonniert, wer wem das individuelle Ergebnis rückmeldet.
7.2 Die Gruppendiskussion
Die einheitlich erste Aufgabe für alle Teilnehmerinnen und Teilnehmer besteht
in einer Gruppendiskussion. Je sechs Teilnehmerinnen und Teilnehmer bilden eine
Gruppe, sodass diese Übung insgesamt drei Mal durchgefuh11 wird. In dieser Übung
muss jede(r) Beobachtende insgesamt zwei Teilnehmende beurteilen, wobei immer zwei
Beobachtende auf die gleichen Teilnehmenden zu achten haben. Sofem der Übung kei-
88

ne Metabeobachter/-innen beiwohnen, sind somit insgesamt zwölf Personen an emer
Übung beteiligt.
Zur Vorbereitung haben die Teilnehmerinnen und Teilnehmer insgesamt 20 Minuten
Zeit. Die Diskussionsrunde dauert maximal 40 Minuten. Für die abschließende
Beurteilungsphase sind 20 Minuten vorgesehen. Zwischen den Durchführungen stehen
fünf Minuten Pause zur Verfügung. Diskussionsleitung und/oder Moderation muss innerhalb
der Gruppe organisiert werden.
Im Falle des EFV am 30./31.03. bestand die Aufgabe in der Simulation einer
Schulleiterkonferenz, in der über den Einsatz einer sozialpädagogischen Fachkraft diskutiert
und entschieden werden musste. Beobachtet werden die Kompetenzen "Kommunikation"
und "Innovation".
In der ersten Gruppendiskussion war ein und derselbe Raum für Vorbereitung
und Durchführung der Übung vorgesehen. In den späteren Übungen waren ein Raum
zur Vorbereitung und ein anderer für die Durchführung der Diskussionsrunde bestimmt.
Während der Vorbereitung füh11 eine Person aus der Reihe der Beobachter/-innen Aufsicht.
Dass der ersten Gruppe nur die Aufgabenstellung und nicht die zugehörigen Materialen
(hier: Auszug aus einem RunderIass) ausgehändigt worden sind, wurde recht
schnell bemerkt und der Aufsicht gemeldet. Diese hat sich umgehend um die Nachlieferung
der Materialien gekümmert. Trotz dieses kleinen Fehlers haben die Teilnehmer/­
innen etwas weniger als die vorgesehene Vorbereitungszeit in Anspruch genommen.
7.2.1 Teilnehmer/-innen-Seite
In den beiden beobachteten Gruppendiskussionen konnten Unterschiede im Verhalten
der Teilnehmerinnen und Teilnehmer festgestellt werden. Die erste Gruppe woJ]­
te mit der Gruppendiskussion beginnen, bevor a11e Beobachterinnen und Beobachter
anwesend waren. Sie sind von den bereits anwesenden Beobachtern zunächst unterbrochen
worden. Nach dem dann von den Beobachtern initiierten Gesprächsbeginn hat ein
Teilnehmender die Rolle des Diskussionsleiters übernommen, die Aufgabenstellung
präsentiert, die Diskussion moderiert, zusammengefasst und Redebeiträge koordiniert.
Andere Teilnehmer/-innen haben sich eher zurückhaltend eingebracht und somit eine
andere Rolle übernommen.
In der zweiten Gruppe ist die Rollenverteilung hingegen eher unbestimmt
geblieben. Keine der Personen hat sich als Moderator/-in verstanden. Der Beginn der
Gruppendiskussion wurde von der Seite der Beobachter/-innen eingeleitet, das Zeitmanagement
wurde dann aber aus der TN-Gruppe heraus beachtet.
Es wurde deutlich, dass die Teilnehmer/-innen bereits unterschiedliche Erfahrungen
im Hinblick auf die Thematik der Aufgabenstellung sammeln konnten. So
scheinen HauptschuI1ehrer/-innen eher mit dem Einsatz von Sozialpädagog(inn)en/­
arbeiter(innen) konfrontiert als deren Ko11eg(inn)en an Gymnasien. Ob daraus folgt,
dass in Abhängigkeit zur Schulfonn systematisch unterschiedliche Bewertungen erzielt
werden, ist anhand der Daten zu überprüfen.
89

7.2.2 Beobachter/-innen-Seite
Die Beobachter/-innen mussten sich zunächst vergewissern, welche beiden TeilnehmerinnenlTeilnehmer
sie zu beobachten hatten. Um diese während der Übung dann
immer im Blick zu haben, wurde ein geeigneter Sitzplatz gewählt. Über die Sitzposition
ist zu erkennen gewesen, welche beiden Beobachter/-innen die selben Teilnehmer/­
innen beobachten.
Die Beobachter/-innen werden von den Teilnehmer/-innen als Teil des Organisationsteams
wahrgenommen. Sie werden dadurch auch zu Ansprechpartner/-innen für
organisatorische Rückfragen.
Die Beobachter/-innen zeigten in der Gruppendiskussion unterschiedliches Verhalten:
Manche verfolgten die gesamte Situation, manche zeigten Beobachtung nur für
die jeweils zu beobachteten Teilnehmer/-innen.
Von Seiten der Beobachter/-innen wurde angemerkt, dass die Beobachtung von
drei Gruppendiskussionen hintereinander "etwas anstrengend" sei.
In der Bemieilungsphase konnte beobachtet werden, dass manche Beobachter/­
innen den Beurteilungsbogen direkt im Dialog ausgefüllt haben und nicht wie vorgegeben
erst als Einzelbeurteilung.
Vereinzelt wurde während der Gruppendiskussion in den BeurteiJungsbögen geblättert.
Es kann nicht ausgeschlossen werden, dass erste Aspekte schon zu diesem
Zeitpunkt bewertet worden sind.
7.2.3 Zum Inhalt
Die thematische Vorgabe ennöglicht den Teilnehmer/-innen, sich vor dem Hintergrund
ihrer eigenen Erfahrungen zu positionieren. In diesem Falle ging es um den
Einsatz einer sozialpädagogischen Fachkraft. Auffällig war, dass Vertreter/-innen von
Hauptschulen deutlich anders in die Diskussion eingegriffen haben, als beispielsweise
Vertreter/-innen von Gymnasien. Für die beobachtete Kompetenz "Kommunikation"
steht die inhaltliche Ausgestaltung der Diskussionsbeiträge zwar nicht im Mittelpunkt
der Beobachtung, ob aber inhaltliche Aspekte aus der Beweliung herausgehalten werden
können, sollte in Abhängigkeit zur Datenlage noch überprüft werden. Zu beachten
ist ferner, dass es sich hier noch um EinzeJbeobachtungen handelt, deren empirische
Signifikanz nicht als gesichert gelten kann.
7.3 Die Präsentation
In der Präsentationsaufgabe stehen die Kompetenzen "Innovation" und "Management"
im Vordergrund. Vortrags- und RJ1etorikfeliigkeiten sollen nicht beurteilt werden.
Die Teilnehmer/-innen und Beobachter/-innen erhalten den Hinweis: ,.Kommunikationskompetenz
wird nicht beweJiet."
90

Als Thema der Aufgabe ist die "Verbesserung der Öffentlichkeitsarbeit" ausgewählt
worden. Die Teilnehmerinnen und Teilnehmer haben 90 Minuten Zeit, um ein
innovatives Konzept zu erarbeiten. Das Szenarium sieht vor, einen 15-minütigen Vortrag
vor der schulischen Steuergruppe zu halten. Die Arbeitsaufgabe fonnuliert konkrete
Anweisungen, nach denen wesentliche Merkmale der Schule ebenso dargestellt werden
wie Ziele und Potentiale der Entwicklung, Umsetzungsmöglichkeiten sowie Chancen
und Risiken der Öffentlichkeitsarbeit. Die Beobachter/-innen übernehmen die Rolle der
Steuergruppe. Beide Seiten sind darüber infonniert, dass die Steuergruppe während des
Vortrags keine Fragen stellen und die Teilnehmerin/der Teilnehmer auch nicht unterbrochen
wird. Nach 15 Minuten wird ein ggf. noch nicht beendeter Vortrag allerdings
von den Beobachterinnen und Beobachtern abgebrochen. Im Zeitfenster von 15 Minuten
sol1te die Aufgabe somit erfüllt worden sein.
Den Teilnehmerinnen und Teilnehmer stehen für die Umsetzung klassische Präsentationsmaterialien
zur Verfügung, dazu zählen Metaplan, Folien/OHP und Flipchart.
Die Übung wurde am ersten Tag zwei Mal durchgeführt, wobei jeweils drei Teilnehmerümen/Teilnehmer
parallel getestet wurden. Am zweiten Tage gab es entsprechend vier
Durchführungen.
7.3.1 Teilnehmer/-innen-Seite
Die Teilnehmerinnen und Teilnehmer der meta-beobachteten Durchführungen
beginnen die Präsentation in unterschiedlicher Intensität, aber dennoch aufgabenkonfonn,
mit der Beschreibung ihrer Schule und einer Stärken-Schwächen-Analyse. Die
daran anschließende Entwicklung eines Konzepts zur Verbesserung der Öffentlichkeitsarbeit
variiert in Umfang und Detaillierung. Insgesamt kommen alle zur Verfügung stehenden
Materialien in der Präsentation zum Einsatz, wobei keine Teilnehmerinlkein
Teilnehmer mehr als zwei unterschiedliche Techniken kombiniert. Das Zeitmanagement
wird jeweils von den Teilnehmenden gesteuert, in keinem Fall wurde ein Abbruch der
Präsentation durch die Beobachter/-innen veranlasst.
Eine teilnehmende Person merkt an, dass die Simulation der Steuergruppe mangels
Rückfragen, Unterbrechungen oder sonstiger Reaktion nicht sonderlich realitätsnah
erscheint.
7.3.2 Beobachter/-innen-Seite
In der Metabeobachtung konnten wiederum unterschiedliche Verhaltensweisen
hinsichtlich der Beurteilung festgestellt werden. Neben vorgabenkonfonner Einzelbeurteilung
und anschließender Debatte über unterschiedliche Auffassungen hinsichtlich
einzelner Itembewertungen, gab es auch Beobachter/-innen, die vor der Beurteilung
zunächst eine Kurzdiskussion über den Gesamteindruck der Aufgabenbewältigung geführt
haben. Anschließend wurde entweder eine Einzelbeurteilung vorgenommen und
dann diskutiert oder aber der Beurteilungsbogen von oben nach unten gemeinsam ausgefüllt.
Die jeweiligen Diskussionen wurden teilweise recht kontrovers geführt. Manche
Beobachter/-innen lassen erkennen, dass Vergleiche mit anderen Aufgaben und/oder
anderen Teilnehmerinnen bzw. Teilnehmern angestellt werden:
91

Vergleich gleicher Teilnehmer/-innen in unterschiedlichen Aufgaben. Dies ist
insofern möglich, als das z.B. die Kompetenz "Innovation" auch schon in der
Aufgabe "Gruppendiskussion" beurteilt werden musste. Dass Beobachter/­
innen aus der Gruppendiskussion bereits Eindrücke von einzelnen Teilnehmer/-innen
mitnehmen, auch wenn diese nur indirekt und nicht primär beobachtet
worden sind, lässt sich wohl nicht verhindem.
Vergleich unterschiedlicher Teilnehmer/-innen in gleicher Aufgabe. Dies ist
spätesten nach dem zweiten Durchlauf einer Aufgabe möglich.
In den Diskussionen wird der Bem1eilungsbogen als Leitfaden genutzt. Es ist
nicht zu erkennen, ob die Diskussion über die Beurteilung als "Zwang zu einem einheitlichen
Ergebnis" aufgefasst wird bzw. ob es durch die Diskussion aufgrund von wahrgenommener
oder tatsächlicher Hierarchiebildung oder durch z.B. verbale Dominanz
einer Gesprächspartnerin/eines Gesprächspartners zu eventuellen Revisionen des Ersteindrucks
kommt.
Es entsteht der Eindruck, dass die Kommentierung der Items als vollständige
Konkretisierung verstanden wird. Dies könnte zur Folge haben, dass die Bewertung
"gut erfJllt" nur dann vergeben wird, wenn auch aJ]e in der Itembeschreibung aufgelisteten
Aspekte erkennbar realisiert worden sind. Beispiel: Für die Beurteilung der Management-Kompetenz
wird das ltem "beIÜcksichtigt Ressourcen" konkretisie11 mit den
Aspekten: ,,++ beachtet und nutzt sinnvoll Ressourcen in den Teilbereichen Personal,
SachmitteJ, Finanzen, Zeit". Unklar ist, welches Gewicht den hier genannten Teilbereichen
für die Beurteilung eingeräumt wird. Nach Aussage von SCHULMANAGEMENT
NRW sollen die jeweils ergänzenden Itembeschreibungen nur beispielhaft verstanden
werden und den Beurteiler/-innen lediglich als Hilfestellung dienen, nicht jedoch den
BeUl1eilungsmaßstab abgrenzend definieren.
7.3.3 Zum Inhalt
Das für diese Aufgabe vorgegebene Thema bietet den Teilnehmer/-innen deutliche
Anknüpfungspunkte an den eigenen Erfahrungshorizont und die Situation an der
eigenen Schule. Dies ist insofern im Sinne des Verfahrens, als das im EFV diejenigen
Teilnehmerinnen und Teilnehmer zukünftiger Schulleitungspositionen identifizie11 werden
sollen, die die typischen Aufgaben des Tätigkeitsbereichs zu erfüllen in der Lage
sind. Entsprechende Kompetenzen sollen also vorhanden sein. Inwiefem die je spezifische
Situation - Beispiel: TeilnehmerinneniTeilnehmer von Förderschulen haben evtl.
einen ganz anderen Erfahrungshintergrund als Kolleginnen/Kollegen von Gymnasium
oder Berufskolleg - systematisch BeIÜcksichtigung findet, wäre in Abhängigkeit zur
Datenlage zu überpIÜfen (siehe auch Kapite] 7.2).
7.4 Das Beratungsgespräch
Als eines von drei möglichen Gesprächsarten wurde in D0l1mund ein Beratungsgespräch
simuliert. Vorgesehen ist ein 15minütiges Gespräch zwischen einer
Schulleiterinleinem Schulleiter und einem - in diesem Falle männlichen - Seitenein-
92

steiger im Referendariat mit Burnout-Syndrom. Die Teilnehmer/-innen übernehmen die
Ro11e der SchulIeitung, der zu Beratende wird von einem Rol1enspieler gespielt. Im
Zentrum der Beobachtung stehen die Kompetenzen "Kommunikation" und "Rollenklarheit"
.
7 .4.1 Teilnehmer/-innen-Seite
Den Teilnehmer/-innen steht eine Rol1enkarte zur Verrugung, die Hintergrund
und Anspruch der Situation formuliert. In der Aufgabenfonnulierung heißt es, dass in
dem zu ruhrenden Beratungsgespräch a11e nach je eigener Einschätzung relevanten Ebenen
des Beratungsfa11s angesprochen werden sollen.
Auf Teilnehmer/-innen-Seite besteht in den beobachteten Situationen anfängliche
Unsicherheit bzgl. der Ausgestaltung der Szene. Dies betrifft vor allem die mögliche
Sitzordnung. Die Beobachter/-innen erklären jeweils, dass sie sich den Wünschen
der Teilnehmenden entsprechend platzieren werden. Die Rollenspieler schlagen jeweils
vor, dass sie zunächst den Raum verlassen und das Gespräch nach Anklopfen und Einlass
beginnen könne. Diese Abfolge gewährt einen in allen beobachteten Beratungsgesprächen
einheitlichen Einstieg in die Gesprächssimulation, welche dann auch jeweils
mit der Begrüßung des zu Beratenden durch die Schul1eiterinlden Schulleiter beginnt.
Während sich einige TeilnehmerinneniTeilnehmer voll und ganz auf das Szenarium
konzentrieren, suchen andere gelegentlich Blickkontakt zu den anwesenden Beobachter/-innen.
Dieses ggf. nach Bestätigung suchende Verhalten wird seitens der Beobachter/-innen
als Ausdruck von Unsicherheit interpretiert und kompetenzmindernd aufgefasst.
In der Rollenkarte ist angesprochen, dass "sowohl Alternativen zur Integration
( ... ) als auch die Empfehlung zum Ausstieg aus dem Referendariat" im Beratungsgespräch
thematisiert werden können. Aus der Metaevaluation heraus war auffällig, dass
zwar in allen runf beobachteten Gesprächen auf integrative Lösungen abgezielt worden
ist, kein einziges Mal aber auf einen Abbruch der Lehrtätigkeit. Zwar wurden die Rollenspieler
teilweise nach der seIbstempfundenen Eignung rur den angestrebten Beruf
gefragt, daraufhin getätigte Beteuerungen jedoch nicht in Richtung Reflexion zu lenken
versucht.
7.4.2 Beobachter/-innen-Seite
Die Beobachter/-innen versuchen sich in dieser Übung aus dem Szenarium weitgehend
herauszuhalten, indem sie sich mit etwas Abstand zu den beiden Akteuren platzieren.
Während der Durchruhrung fällt wiederum auf, dass der Beurteilungsbogen
teilweise durchgeblättert wird. In der Beurteilungsphase ist erneut ein gemeinsames
Durchgehen der Kriterien bei einigen Beobachter/-innen zu erkennen. Andere folgen
der Vorgabe von Einzelbeurteilung im Anschluss an das beobachtete Gespräch und diskutieren
erst danach über Abweichungen. Es wird jeweils deutlich, dass die Beobachter/-innen
ein detail1iertes Gesprächsprotokoll ruh ren und teilweise argumentativ auf die
festgehaltenen Beobachtungen zurückgreifen.
93

7.4.3 RoHenspieler/-innen
Pro EFV gibt es drei RollenspielerIinnen plus eine/-n Ersatzrollenspieler/-in,
die/der in jedem Gesprächsdurchlauf eine/-n Rollenspielerl-in beobachtet und Feedback
gibt. Bei zwei EFV im Parallelbetrieb sind hier somit insgesamt acht Personen im Einsatz.
Die zu spielende RoHe ist in einer gemeinsamen Konferenz aller Beteiligten entwickelt
und Handlungsoptionen durchdiskutiert worden. Bei den eingesetzten Rollenspieler/-innen
handelt es sich um mit Schulleitung vertraute Personen, "vor allem ehemalige
und aktive Schulleiterinnen und Schulleiter sowie Moderatorinnen und Moderatoren"
(EBERHARDT/SCHMIDT 2008: S. 596). Im Dortmunder EFV sind zwei der drei eingesetzten
Rollenspieler in jeweils zwei bis drei Einsätzen im Rahmen der FU­
Evaluation beobachtet worden.
Trotz des einheitlichen Rahmens wird die zu spielende Rolle teilweise unterschiedlich
ausgefüllt. Das Grundsetting ist in allen Situationen gleich, Abweichung ergibt
sich zum einen geringfügig über die Rollenspieler selbst, zum anderen aber auch
wesentlich über die Interaktion mit den unterschiedlichen Teilnehmerinnen und Teilnehmem.
Damit wird durchaus berücksichtigt, dass in der Realität immer unterschiedliche
Menschen miteinander zu tun haben.
7.4.4 Zum Inhalt
Im Lehrberuf ist Burnout eine Thematik, die sich für eine Auseinandersetzung
zwischen Betroffenen und Schulleitung eignet (vgl. z.B. ROTHLAND 2007). Nach
Aussage eines Beobachtenden gibt es im Zusammenhang mit Burnout-Gesprächen von
drei der fünf nordrhein-westfalischen Bezirksregierungen eine Durchführungs- bzw.
Verllaltensempfehlung (z.B. Köln, Detmold: ja; Amsberg: nein). Damit steigen die
Teilnehmer/-innen möglicherweise aufgrund verschiedener Verwa]tungsvorgaben mit
ungleichen Voraussetzungen in die Situation ein, d.h. TeilnehmerinneniTeilnehmer aus
den Regierungsbezirken, in denen eine solche Empfehlung ausgesprochen worden ist,
haben günstigere Ausgangsbedingungen.
7.5 Der Postkorb
Als umfangreichste Aufgabe im EFV dient ein sogenannter Postkorb der Erfassung
und Beurteilung der Kompetenzen "RollenkJarheit" und "Management". Alle
Teilnehmerinnen und Teilnehmer erhalten im Laufe des ersten Prüfungstages ein umfangreiches
Arbeitspaket, zu dessen Bearbeitung insgesamt 7 5 Minuten zur Verfügung
stehen. Das Arbeitspaket besteht aus 23 "Mitteilungen" aus dem Schulalltag, darunter
Notizen, offizielle Anschreiben, Krankmeldungen, Presseanfragen, Anrufbeantw0l1er,
Anrufe, schuJinteme Ereignisse (z.B. ein verletzter Schüler; ein Lehrer kommt mit einer
Frage) etc. Daneben werden ein Tenninkalender über einen Zeitraum von zehn Tagen
und Notizblätter zur schriftlichen Bearbeitung des Postkorbs ausgehändigt. Auf jede
"Mitteilung" ist zu reagieren oder ggf zu begründen, wenn keine Reaktion erforderlich
ist. Eine Reaktion beinhaltet eine Notiz daIiiber, was wann und von wem zu veranlassen
ist.
94

Die bearbeiteten Postkörbe werden zurückgegeben und von den Beobachterinnen
und Beobachtern in einer gemeinsamen Session zum Ende des ersten Veranstaltungstages
bewertet. Für den zweiten Veranstaltungstag ist ein maximal ] 5minütiges
Interview vorgesehen, in dem die Teilnehmer/-innen ihre Entscheidungen und das Vorgehen
mündlich erläutern können. Vor der Interviewphase werden noch einmal 15 Minuten
Vorbereitungszeit eingeräumt.
Die gesamte Postkorb-Aufgabe besteht somit aus zwei Blöcken:
1. Bearbeitung und Bewertung der Postkörbe
2. Interview und Beurteilung der Teilnehmer/-innen
Das Interview soll helfen, jene Kriterien zu beurteilen, die aus der schriftlichen
Bearbeitung heraus nicht eindeutig zu bewerten waren. Aus den den Beobachtenden
ausgehändigten Materialien geht hervor, dass die Fragen im Interview sich ausschließlich
auf solche nicht-erkennbaren Aspekte beziehen sollen. In dieser Vorgabe wird auch
ausgesprochen, dass Managementkompetenz aus der schriftlichen Bearbeitung beurteilt
werden sollte. Für die Kriterien zur Beurteilung der Kompetenz "Rollenklarheit" werden
Leitfragen ausgegeben.
7.5.1 Teilnehmer/-innen-Seite
Aus dem Ablaufp1an des EFV geht hervor, dass die eine Hälfte der Teilnehmer/­
innen den Postkorb vornlittags bearbeitet, die andere Hälfte bearbeitet ihn nachmittags.
Auf eine Meta-Beobachtung der in schriftlicher Einzelarbeit durchgeführten Bearbeitungsphase
wurde zugunsten der Meta-Beobachtung anderer Aufgabendurchführungen
verzichtet. Der Schwerpunkt der Metabeobachtung liegt somit bei den Interviews.
Das Interview nutzen die Teilnehmer/-innen augenscheinlich in unterschiedlicher
Intensität zur Begründung ihres Lösungsvorschlags. In drei der fünf metabeobachteten
Postkorbinterviews merken die Teilnehmer/-innen an, dass sie - sinngemäß
- "in der Realität manches doch anders gemacht hätten". Es wird der Versuch unternommen,
einzelne unter Zeitdruck gemachte Entscheidungen zu revidieren. WeIchen
Einfluss das Argumentationsverhalten auf die Beurteilung der Beobachter/-innen möglicherweise
hat, ist nicht zu erkennen.
Die Teilnehmer/-innen begrüßen die Interaktionsmöglichkeit in der Interviewsituation.
Aufgrund von Diskussion und Feedback wird die Postkorbaufgabe tendenziell
besser eingeschätzt als die anderen Aufgaben.
7.5.2 Beobachter/-innen-Seite
Die Beobachter/-innen finden sich zum Ende des ersten Veranstaltungstages zur
gemeinsamen Bewertung der Postkörbe ein. Der Postkorb jeder Tei1nehmerin/jedes
Teilnehmers wird von jeweils zwei Beobachter/-innen bewertet. Je zwei Beobachter/­
innen sind fünf bzw. vier Postkörbe zugeteilt, zwei Beobachter/-innen haben sechs
Postkörbe zu bewerten. Die zur Postkorbbewertung gebildeten Beobachter/-innen­
Paarungen fuhren auch gemeinsam das entsprechende Interview am zweiten Veranstaltungstag.
95

Die Organisatoren schlagen vor, jeden Postkorb in 15 Minuten durchzusehen. Es
wird ein Ablaufplan ausgegeben, aus dem die Beobachter/-innen-Paarungen hervorgehen.
Die Einhaltung der Zeitvorgabe soll sicherstellen, dass die Neu-Zusammensetzung
der Beobachter/-innen für nachfolgende Postkorb-Bewertungen reibungslos funktioniert.
Die Sichtung des umfangreichen Materialpakets dauert allerdings insbesondere
beim ersten Postkorb länger als erwartet, eine MusterJösung liegt nicht vor. Auf Vorschlag
der Beobachter/-innen wird die Bearbeitungszeit fur den ersten Postkorb verdoppelt
und der zweite Postkorb dafur an das Ende des ursprünglichen Ablaufs gesetzt.
Auf Nachfrage äußern sich die Beobachter/-innen positiv über die als hoch
wahrgenommene Anonymität der Postkorb-Aufgabe. Die Bewertung erfolgt zwar unter
Nutzung der Kennziffern der Teilnehmer/-innen, vollzieht sich aber nicht vis-a-vis. Einschränkend
gilt es aber anzumerken, dass die endgültige Beurteilung der Teilnehmerinnen
und Teilnehmer erst im Anschluss an das Interview geschieht.
Einige Interviewsituationen sind im Rahmen der Evaluation durch die FU Berlin
begleitet worden. Unterschiede im Verhalten der Beobachter/-innen wurden auch hier
deutlich. Ein Beobachter/-innen-Paar erklärt vorab den Sinn des Interviews und verweist
auf die Diskrepanz zwischen schriftlichen und mündlichen Anteilen der Aufgabe.
Gemäß des konzeptionellen Zusammenhangs zwischen Postkorb und Interview wollen
diese Beobachter/-innen klären, "ob der PK aus Schulleitelperspektive bearbeitet wurde."
Die BeUJ1eilung des schriftlichen Anteils wird hier als schwierig eingestuft.
Teilweise zeigen andere Beobachter/-innen eine kurze Unsicherheit darüber, wer
das Interview beginnt und klären den lnterviewablauf im Beisein der Teilnehmerin/des
Teilnehmers. Erkennbar werden unterschiedliche Rollenaufteilungen: Mal wechseln
sich die Beobachter/-innen ab, mal übernimmt eine/-r die RoHe der Interviewerin/des
Interviewers und die/der Andere führt Protokoll.
Die Interviewfuhrung variiert zwischen sachlicher Distanz und persönlicher N ä­
he. Sachlich distanzierte Interviews folgen einem klaren Frage-Antwort-Schema. Persönliche
Nähe hingegen drückt sich in eher diskussions311ig gefuhrten Interviews aus:
Hier erhalten die Teilnehmer/-innen direktes Feedback bspw. in Fonn von bestätigendem
Kopfnicken durch die Beobachter/-innen oder mehrfaches Nachhaken zu einzelnen
Aspekten. Zitat: ,,Jetzt sagen Sie doch noch mal genau, wie Sie das jetzt meinten." Hier
konnte zudem beobachtet werden, dass Antworten der Teilnehmerinldes Teilnehmers zu
Ende gefuhrt bzw. in den Mund gelegt werden, was als Hilfeste]]ung interpretieJ1 werden
könnte. In einem Fall wurde Unbearbeitetes thematisiert und eine Rechtfel1igung
erfragt. In einem anderen Fall kommt von Beobachter/-innen-Seite eine Empfehlung.
Zitat: "Teilnahme an Zweiten Staatsprüfungen kann man auch kurz}i'istig absagen, das
hötten Sie also nicht wahrnehmen müssen."
Die ausgegebenen Frageempfehlungen werden überwiegend Schritt für Schritt
(im Sinne eines Leitfadens) durchgegangen, manchmal wörtlich, manchmal in eigenen
Forn1Ulienmgen abgefragt.
Wie schon in den anderen Durchfuhrungen erfolgt die Beurteilung nicht immer
entsprechend der Vorgabe: Die Beobachter/-innen diskutieren teilweise kurz den Gesamteindruck
und fuhren dann eine Einzelbeurteilung durch oder fullen den Beurtei-
96

lungsbogen gemeinsam aus. Die Beobachter/-innen diskutieren teilweise über den Kontext
der Teilnehmerinnen und Teilnehmer (z.B. "Systembezug: kleine Schule vs. große
Schule") und berücksichtigen ihn in der Bewertung.
Schließlich ist auffal1ig, dass der Interview-Eindruck durchaus auch für die Beurteilung
der Management-Kompetenz herangezogen zu werden scheint.
7.5.3 Zum Inhalt
Die Unterschiedlichkeit der im Postkorb enthaltenen Materialien stellt eine realistische
Sammlung potentie]]er Anforderungen an Schul1eiterinnen und Schulleiter dar.
Die simuherten Tenninüberschneidungen erfordern die Gewinnung eines Überblicks
und die Fähigkeit zur Koordinierung. Teilweise müssen Reaktionen aus den ausgegebenen
Infonnationen heraus kombiniert werden. In einigen Fä11en wird zur Entscheidung
über bestimmte Reaktionen bereits vorhandenes Wissen vorausgesetzt (Beispiel "Absage
der Teilnahme an Zweiten Staatsprüfungen"). Auch die Kompetenz "Ro11enklarheit"
dürfte teilweise aus dem schriftlichen Teil der Postkorb-Aufgabe erkennbar sein, insbesondere,
wenn es um die Delegation von Aufgaben oder die Erklärung der Nicht­
Zuständigkeit geht.
7.6 Schluss bemerkung
Der beobachtete Durchlauf des EFV s wird insgesamt als positiv eingeschätzt.
Konzeption, Organisation und Durchführung sind insgesamt gelungen. Das Verfahren
läuft überwiegend transparent und nach klaren Vorgaben ab. Etwas ungünstiger fa11t die
Beurteilung des teils recht unterschiedlichen und vor a11em nicht vollständig vorgabekonfonnen
Verhaltens einiger Beobachter/-innen aus. Um diesen Missstand zu beheben
und eine weitgehend vereinheitlichte Beurteilungspraxis zu etablieren, sollte ein verstärktes
Augenmerk auf das Briefing der Beobachtenden gelegt werden.
Inwiefern das eingesetzte Beurteilungsinstrument und der Einsatz mehrerer Beobachter/-innen
zu objektiven, reliablen und validen Beurteilungen der Teilnehmerinnen
und Teilnehmer fUhrt, ist unter Nutzung der zur VerfUgung stehenden Daten zu überprüfen.
Hierzu wird eine größere Anzahl an Daten vonnöten sein.
97

8. Beobachtung des Briefings der Beobachter/-innen
am 26.06.2009
Jeweils eine Woche vor dem eigentlichen Eignungsfeststellungsverfahren wird
ein Briefing der Beobachterinnen und Beobachter abgehalten. Das am 26.06.2009 besuchte
Briefing fand in den Räumlichkeiten des L VR-Zentrums für Medien und Bildung
in Düsseldorf statt. Während des mehrstündigen Tennins werden Aspekte der bereits im
Vorjahr durchgeführten Beobachter( -innen)schulung in Erinnerung gerufen. Die Mitarbeiter/-innen
von SCHULMANAGEMENT NRW präsentieren einen Kurzabriss dieser
Schulung und betonen "Do' sand Don 'ts des Bewertungsprozesses" . U .a. werden die
Beobachter/-innen daran erinnert, dass sie nicht den Gesamteindruck der Teilnehmerinnen
und Teilnehmer bewerten, sondern sich auf die jeweils zu beobachtende Kompetenzdimensionen
konzentrieren sollen. Mögliche Verzerrungen und Fehlerquellen im
Beobachtungsprozess werden zur Sprache gebracht und mit den Beobachter/-innen diskutiel1.
Große Aufmerksamkeit wird der Darstellung des Ablaufs des Bewelwngsverfahrens
gewidmet. Die Beobachter/-innen werden mehrfach darauf hingewiesen, dass
folgender Ablauf zwingend einzuhalten ist:
1. Schritt:
2. Schritt:
3. Schritt:
4. Schritt:
5. Schritt:
Alleine beobachten
Alleine bewelien
Abweichungen in einer Zweier-Konferenz besprechen
Ggf. Bewertung alleine korrigieren
Abgabe der Bewertungsbögen
Dabei wird in Bezug auf den dritten und vierten Schritt betont, dass es keinen
Zwang zu einer einheitlichen Bewertung gibt. Die Einhaltung dieses Ablaufs wird durch
die Verwendung sogenannter "Anker" visuell unterstützt: Kleine Abbildungen von Figuren
symbolisieren, an welcher Stelle alleine oder zusammen gearbeitet werden soll.
Die Anker finden sich auf den Bewertungsbögen wieder. Dass diesem Thema soviel
Raum gewidmet wird, hängt damit zusammen, dass in einem früheren EFV vielfach von
der Ablaufregel abgewichen wurde (vgl. Kapitel 7: "Beobachtung des EFV am
30./31.03 .2009").
Die Abgabe der Bewertungsbögen im Tagungsbüro (Schritt 5) regelt sich über
den Kennbuchstaben der Beobachtenden. Der/die Beobachtende mit dem alphabetisch
niedrigeren Buchstaben ist angehalten, die Beobachtungsbögen abzugeben. Abweichungen
von dieser Regelung sind grundsätzlich möglich, solange eine zeitnahe Abgabe
nach Abschluss des jeweiligen Bewelwngsprozesses gewährleistet bleibt.
Zwar wird die strikte Einhaltung des Bewelwngsablaufes stark betont und im
nachfolgenden EFV in Dortmund können auch keine Abweichungen von dieser Ablaufvorgabe
festgestellt werden. Es fällt allerdings auf, dass die Beobachter/-innen nicht
mitgeteilt bekommen, warum die Einhaltung des Ablaufs für das Verfahren von so hoher
Bedeutung ist. Auf Nachfrage bei SCHULMANAGEMENT NRW liegt dieses Vor-
98

gehen darin begründet, dass der Erläuterung und Diskussion des einzuhaltenden Ablaufs
schon während der eigentlichen Schulung der Beobachter/-innen viel Zeit gewidmet
worden ist. 1m Briefing erfolgt damit lediglich eine kurze, aber dennoch eindringliche
Erinnerung.
Ein weiterer Zweck des Briefings besteht in der Vorstellung und Bearbeitung der
unterschiedlichen Aufgaben, die im EFV eingesetzt werden sollen. Den Beobachtenden
werden alle AufgabensteIlungen und Materialien ausgehändigt. Jede Aufgabe wird in
Einzelarbeit mit anschließender Diskussion in Zweier- oder Dreier-Gruppen bearbeitet.
Die Beobachtenden erhalten die Anweisung, sich zu überlegen, wie die Teilnehmerinnen
und Teilnehmer im EFV möglicherweise reagieren könnten, d.h. welche Verhaltensweisen
in Zusammenhang mit der Aufgabenbearbeitung erwartet werden könnten.
Die Reaktionsmöglichkeiten sollen dann kompetenzbezogen den entsprechenden ltems
zugeordnet werden. Die Beobachtenden haben teilweise Schwierigkeiten mit der Umsetzung
der Aufgabe. Nach Aussage von SCHULMANAGEMENT NRW soll dieses
Vorgehen gewährleisten, dass die Beobachter/-innen nicht einfach in eine Teilnehmer­
Rolle schlüpfen, sondern aufgrund des höheren Abstraktionsgrades tiefer und reflektierter
in die Aufgaben eindringen.
Ein dritter Block des Briefings besteht in der Vorstellung der Rollenspieler/­
innen, die in der Aufgabe "Beratungs-, BeUJ1eilungs- bzw. Konfliktgespräch" zum Einsatz
kommen. Die Rollenspieler/-innen treffen sich zunächst parallel zu den Beobachtenden
und entwickeln die zu spielende Rolle. Im gemeinsamen Plenum stellen sie sich
dann selbst und auch ausführlich die entwickelte Rolle vor. Situation und Rollenkonzept
werden im Plenum diskutiert und offene Fragen beantwortet. So wird beispielsweise
diskutiert, zu welchem Zeitpunkt im Schuljahr das Gespräch stattfindet. Da es in diesem
Beispie1 um ein Beratungsgespräch zu einem möglichen Klassenwechse1 aufgrund von
Disziplinproblemen in einer Klasse geht, wird dieses Thema als wichtig erachtet. Ob
das Gespräch am Anfang, in der Mitte oder am Ende eines Schul(halb)jahres stattfindet,
ist für den Ausgang des Gesprächs durchaus von Bedeutung.
Als Fazit aus dem Briefing lässt sich festhalten, dass in einer insgesamt angenehmen
Arbeitsatmosphäre viel Raum für die Vorbereitung des EFVs zur Verfügung
steht. Durch die Bearbeitung der Übungen wird gewährleistet, dass die Beobachtenden
nicht erst in der Durchführung des EFVs Kenntnis von den Aufgaben und dem entsprechenden
Übungsmaterial erlangen. Die Beobachtenden werden sich dadurch eher auf
ihre eigentliche Aufgabe, also die Beobachtung der Teilnehmenden, konzentrieren können.
99

9. Beobachtung des EFVs am 02./03.07.2009
9.1 VOrhe11'lerkung
Das am 02. und 03.07. beobachtete EFV zeigt nur in einigen Punkten Unterschiede
zum EFV vom 30. und 31.03. Diese Unterschiede betreffen im Wesentlichen
den Einsatz anderer Aufgaben. Das BeobachtungsprotokoJl wird deshalb an einigen
Stellen weniger ausführlich sein, markante Beobachtungen werden aber dargestellt.
9.1.1 Räume und Rahmen
Das EFV, das am 02./03. Juli 2009 in Dortmund beobachtet wurde, fand wiederum
in den Räumlichkeiten der Handwerkskammer Dortmund statt. Die personale Besetzung
des EFVs durch Mitarbeiter von SCHULMANAGEMENT NRW war identisch
mit dem vorangegangenen EFV im März des Jahres. Nach Begrüßung durch einen Dezementen
der Bezirksregierung Amsberg stellte SCHULMANAGEMENT NR W den
organisatorischen Rahmen des Verfahrens vor. In einer kurzen Vorste]]ungsrunde stellten
sich a]]e Anvvesenden vor. 1\1öghchervveise aufgrund der ebenfalls all1 02. Juli beginnenden
Sommerferien lagen für das EFV in Dortmund nur zwölf Anmeldungen vor.
Das zeitgleich in Düsseldorf durchgeführte EFV war mit 14 Anmeldungen ebenfalls
nicht vollständig ausgelastet. Der Frauenantei] lag in Dortmund bei 50 Prozent, in Düsseldorf
bei 21,4 Prozent.
In diesem Durchlauf des EFV wurden folgende Aufgaben (vgl. Tabelle 65)
durchgefuhl1:
Tabelle 65: Die Aufg~ zum 02./03.07.2009 im Überblick
Aufgabe
InhalUThema
Gruppendiskussion
Fallstudie + Interview
Präsentation
Beratungsgespräch
Drogenprävention
Begegnungstag Fremdsprachen
Erstellung eines Medienkonzepts
Klassenwechsel aufgrund von Disziplinproblemen
Seitens der FU-Evaluation wurden in Dortmund 13 Aufgaben-Durchführungen
beobachtet, wobei der von SCHULMANAGEMENT NRW ausgegebene Ablaufplan bis
auf zwei Abweichungen eingehalten wurde. Zum einen sind anders als vorgesehen beide
Gruppendiskussionen besucht worden, zum anderen wurde auf den Besuch eines
Fal1studieninterviews verzichtet. Beobachtet wurden im Einzelnen:
),;- am ersten Tag:
2 Gruppendiskussionen (von 2 insgesamt)
2 Präsentationen (von 2 x 3 insgesamt)
3 Beratungsgespräche (von 3 x 3 insgesamt)
100

y am zweiten Tag:
3 Fallstudieninterviews (von 4 x 3 insgesamt)
2 Präsentationen (von 2 x 3 insgesamt)
I Beratungsgespräch (von 1 x 3 insgesamt)
die Zuteilung Beobachtende/Teilnehmende zur Ergebnisbekanntgabe sowie
die daran anschließende Kurzvorbereitung der Beobachter/-innen auf die Ergebnisbekanntgabe
Anders als beim EFV im März konnte hier in keiner Aufgabe eine Abweichung
vom vorgegebenen Beurteilungsablauf beobachtet werden. In der sonstigen Durchführung
ist keine gravierende Veränderung sichtbar geworden. Der organisatorische Ablauf
war ebenso identisch wie die Ausstattung der Räumlichkeiten. Ein Unterschied bestand
lediglich in der geringeren Anzahl an Teilnehmer/-innen, aufgrund dessen das diesmalige
EFV schon etwas fruher abgeschlossen war. Auf die Durchführung der Aufgaben mit
veränderten AufgabensteIlungen wird im Folgenden eingegangen.
9.2 Die Gruppendiskussion
Die Aufgabe "Gruppendiskussion" zum Thema "Drogenprävention" wurde in
zwei Durchläufen a sechs Teilnehmer/-innen (je drei Männer und drei Frauen) durchgeführt.
In Gruppe A fordern die Beobachtenden einen pünktlichen Beginn der Diskussion
ein. Das weitere Zeitmanagement wird dann aus der Gruppe heraus beachtet. Ein
Teilnehmer übernimmt die Einleitung und stellt sein eigenes Konzept vor. Ein zweiter
Teilnehmer greift den Vorschlag auf und bittet aber um eine gemeinsame Problemanalyse
mit allen Beteiligten. Der Reihe nach versuchen alle Teilnehmerinnen und Teilnehmer
zu Wort zu kommen. Zwischenmeldungen des ersten Teilnehmers werden von
den anderen Teilnehmenden abgeblockt. Die Diskussionsrunde bleibt dennoch sachlich
und entspannt, die Teilnehmerinnen und Teilnehmer duzen sich. Es entsteht eine teilweise
lebhafte Diskussion über Gewaltprävention; Fortbildungen von Vertrauenslehrern;
Sozialarbeiter, die als Ressource vom Schulträger einzusetzen sind; Schüler als
Experten für Medikamentenmissbrauch sowie schulübergreifende Netzwerke in Kooperation
mit außerschulischen Einrichtungen. Kurz vor Ablauf der Zeit fasst der zweite
Teilnehmer die Ergebnisse der Gruppendiskussion zusammen und es kommt abschließend
zu einem Beschluss über das weitere Vorgehen. Die Beurteilungsrunde läuft entsprechend
der Verfahrensvorgabe ab: Die Beobachtenden beurteilen "ihre" Teilnehmerinnen/Teilnehmer
zunächst alleine und setzen sich dann zu einer kurzen Diskussion
paarweise zusammen.
Gruppe B beginnt mit der Diskussionsrunde eigenständig zur geplanten Zeit. Die
Teilnehmerinnen und Teilnehmer siezen sich. Gemeinsam wird die Situation detailliert
101

analysiel1. Diskutiert wird insbesondere über die Unterscheidung legaler und illegaler
Drogen, die Bedeutung unterschiedlicher Schu]größen für die DrogenprobJematik sowie
über interne und externe Ressourcen. Ein Projekt mit dem Titel "Schüler stärken Schüler"
und das Konzept "Gesunde Schule" sind Erfahrungen einzelner Teilnehmenden, die
in die Diskussion eingebracht werden. Als Ergebnis der Gruppendiskussion steht der
Beschluss zur Einbindung außerschulischer Experten (insb. Polizei) sowie zur eigenen
FOlibildung. Das Ende der Gruppendiskussion wird von den Beobachtenden eingefordert.
Nach erfolgter Einzelbeurteilung diskutieren die Beobachtenden etwaige Unterschiede
in den Einschätzungen mit der/dem Ko-Beobachtenden. In dieser Diskussion
wird auf teilweise recht umfangreiche Notizen zurückgegriffen. Eine Beobachtenn hat
Unsicherheit hinsichtlich der Beurteilung einzelner Items geäußert: Da sie das einzuschätzende
Verhalten teilweise nicht beobachten konnte, ist sie ohne die entsprechende
Einschätzung in die Beurteilungsdiskussion gegangen. Erst nach kurzer Beratung mit
ihrem Beobachtungspartner wurde dann eine Einschätzung der entsprechenden ltems
vorgenommen.
9.3 Die Präsentation
Insgesamt sind vier Präsentationen beobachtet worden. Die Teilnehmerinnen/Teilnehmer
hatten die Aufgabe, ein Medienkonzept vorzustellen. Zur Vorbereitung
stehen den Teilnehmerinnen/Teilnehmern 90 Minuten Zeit zur Verfügung. Bei einem
Teilnehmer kommt in der Durchführung ein Overheadprojektor (OHP) zum Einsatz,
eine Teilnehmerin nutzt FlipchaJ1S. In den anderen beiden Durchführungen, die beobachtet
wurden, sind sowohl OHP als auch F1ipcharts zum Einsatz gekommen. Alle vier
Teilnehmerinnen/Teilnehmer stellen unter Beachtung der Aufgabenstellung die Rahmendaten
ihrer Schule vor, definieren Ziele und erläutern die geplanten Maßnahmen.
Dabei unterschieden sich die Ausführungen teilweise in der Tiefe der Darstellungen,
insgesamt entsteht aber der Eindruck, dass die TeilnehmerinneniTeilnehmer mit der
Aufgabe durchaus vertraut sind. Die inhaltliche Ausgestaltung wirkt teilweise sehr routiniert.
Bis auf eine Ausnahme beenden alle TeilnehmerinneniTeilnehmer ihre Ausführungen
innerhalb der vorgegebenen Zeit, eine Teilnehmerin wird von den Beobachtenden
auf das Ablaufen der Zeit hingewiesen. Es stellt sich die Frage, wie das zur Beurteilung
der Kompetenz "Management" eingesetzte Hem "bewältigt die Übung im vorgegebenen
Zeitrahmen" in diesem Zusammenhang bewertet wird. Die Beurteilungen werden
anschließend entsprechend des vorgegebenen Beurteilungsschemas durchgeführt. Die
Abstimmung der Beurteilung nimmt nur sehr wenig Zeit in Anspruch, d.h. die Einschätzungen
der Beobachtenden scheinen bei dieser Aufgabe recht übereinstimmend zu sein.
Eine kurze Diskussion entsteht lediglich in Bezug auf einen Teilnehmer, der in seinem
Medienkonzept nicht auf die Sekundarstufe Il eingeht, obwohl die Schule, an der der
Teilnehmer tatsächlich arbeitet, auch diese Stufe hat. Laut AufgabensteIlung soll das
Konzept allerdings genau für diese eigene Schule erstellt werden. Hier wird somit deutlich,
dass die Beobachtenden den tatsächlichen Kontext des Teilnehmers berücksichtigen.
Dies setzt voraus, dass den Beobachtenden dieser Kontext bekannt ist.
102

9.4 Das Beratungsgespräch
In dieser Aufgabe soll ein Beratungsgespräch geführt werden, in dem ein Rollenspieler
aus Unzufriedenheit und mangelnder Disziplin in einer Klasse mitten im
Schuljahr um einen Klassenwechsel bittet. Die EFV -TeilnehmerinnenlTeilnehmer haben
die Aufgabe, das Beratungsgespräch zu führen und "alle Ebenen, die dieser Beratungsfall
[ ... ] beinhaltet", anzusprechen (vgl. Rollenkarte Schulleiterin/Schulleiter).
Die vier beobachteten Durchläufe beginnen jeweils mit der Begrüßung der Rollenspielerin/des
Rollenspielers durch die Teilnehmerinlden Teilnehmer. Ein Teilnehmer
betont in dieser Phase der Aufgabe die Einhaltung einer sachlichen Ebene und droht mit
Abbruch des Gesprächs, sollte diese Ebene verlassen werden. ]n allen Durchführungen
wird der Anlass des Gesprächs thematisiert und versucht, die Situation zu analysieren.
Die Rol1enspieler/-innen füllen ihre Rol1e entsprechend ihrer Rol1enkarte aus. Die gemeinsame
Entwicklung und Abstimmung der Rolle sorgt für vergleichbare Ausgestaltungen.
Wie schon im EFV im März 2009 werden die verschiedenen Gespräche allerdings
auch von der Gesprächsführung der jeweiligen TeilnehmerinnenlTeilnehmer geprägt.
]n zwei der vier Durchführungen wird das Gespräch durch die Beobachtenden
abgebrochen. In diesen beiden Fällen war das Display der zur Verfügung stehenden Uhr
den Beobachtenden zugedreht. Im Rahmen der Beurteilung kann zumindest erneut von
einer Einhaltung des Beurteilungsrasters berichtet werden. Die Beobachtenden bewerten
zunächst in Einzelarbeit und diskutieren dann anhand der teils umfangreichen Beobachtungsprotokolle
etwaige Unstimmigkeiten. Eine Beobachterin weist auf die Schwierigkeit
der Beobachtung nonverbalen Verhaltens bei gleichzeitiger Protokollierung des
Gesprächs hin. Dies dürfte vor allem das ltem "agiert stimmig auf der nonverbalen
Ebene" betreffen.
9.5 Die Fallstudie
In diesem EFV wird die Aufgabe "Fallstudie" erstmalig erprobt. In Umfang und
Bearbeitungsanweisungen ist diese Aufgabe vergleichbar mit der bislang eingesetzten
Postkorb-Aufgabe. Die Aufgaben sollen als Alternativen verstanden werden und dienen
entsprechend beide zur Einschätzung der Kompetenzen ,,Rollenklarheit" und "Management".
Die konkrete Aufgabe in diesem Fallbeispiel besteht in der Planung und Organisation
eines Fremdsprachen-Begegnungstages. Die Teilnehmerinnen und Teilnehmer
sollen sich in die Rolle einer Schulleiterinleines Schulleiters einer Schule mit dem
Schwerpunkt Fremdsprache versetzen und den Begegnungstag planen. bn Arbeitspaket
liegen insgesamt 20 Mitteilungen vor, die reale Situationen in einem solchen Planungsprozess
repräsentieren. Diese reichen u.a. von Zu- und Absagen von Begrüßungsreden,
Gottesdiensten, sportlichen und kulinarischen Angeboten, Presse- und Sponsorenanfragen
oder der Verfügbarkeit schulischer Räumlichkeiten. Die Mitteilungen weisen zum
Teil Überschneidungen oder rechtliche Stolpersteine auf. Die Teilnehmerinnen und
Teilnehmer haben zur Koordination und Begründung der jeweiligen Handlungsschritte
insgesamt 75 Minuten Zeit. Am zweiten Tag des EFVs findet ein ca. 15-minütiges Interview
statt, in dem die Beobachtenden Rückfragen zur Aufgabenbearbeitung stellen
103

können. Die Beurteilung der Teilnehmerinnen und Teilnehmer erfolgt soweit erkennbar
aufgrund der Auswertung des bearbeiteten Materials und der Interviewsituation. Den
Beobachtenden liegen zur Auswertung des bearbeiteten Materials einige Hinweise vor.
In diesen werden zentrale Fragen, rechtliche Stolperfallen und Koordinationsprobleme,
welche aus den Mitteilungen resultieren, aufgegriffen. Man kann diese Hinweise als
Lösungs]eitfaden interpretieren, der die Beurteilung der Teilnehmerinnen und Teilnehmer
erleichtert. Für das Interview gibt es zudem einen Leitfaden mit möglichen Nachfragen.
Die Interviews gestalteten sich wie folgt:
1m ersten Fallstudieninterview stellt eine Beobachterin kurz den Ablauf vor, danach
fragen und protokollieren die Beobachtenden abwechselnd. Der Teilnehmer äußert
sich in der Interviewsituation über die Abweichung zur realen Praxis: "ln der realen
Praxis würde ich ganz anders delegieren." Der Teilnehmer vennisst außerdem seine
gewohnten Arbeitsmaterialien, wobei er auf die Verwendung von Pinnwänden und
Computersoftware verweist. Die Beobachtenden sprechen offensichtliche Koordinationsprobleme
konkret an. Die Nachfragen werden in der Reihenfolge des Leitfadenvorschlags
gestellt, wobei eigene Fonnulierungen verwendet werden. Die Eigenfonnulierungen
sind dabei teilweise sehr weit vom Leitfragenbeispiel entfemt. Statt der Frage
"Welche übergeordneten pädagogischen Ziele velfolgten Sie? Machen Sie dies bitte
beispielhaft an einigen Ihrer getroffenen Entscheidungen deutlich." (vgl. Leitfaden für
das Interview zur "Fallstudie") wurde gefragt: "Der Aktionstag hat ein Motto. Wie sind
Sie damit umgegangen 7" Damit verbunden war das Kompetenzkriterium "handelt zielorientiert"
für die Kompetenz "Rollenklarheit".
Im zweiten Fallstudieninterview werden die Fragen hingegen gezielt und punktuell
gestellt. Lediglich einzelne Mitteilungen werden herausgegriffen und die Beobachtenden
folgen auch nicht der Reihenfolge des Leitfadens. Das Interview endet nach weniger
als zehn Minuten, da alle offenen Fragen dann bereits geklärt sind. Die an die Einzelbeurteilung
anschließende Beurteilungskonferenz der beiden Beobachtenden macht
teilweise Unterschiede in der Kompetenzwahmehmung deutlich.
In der dritten Interviewsituation erläutert ein Beobachter kurz das Begutachtungsverfahren
und den Interviewzweck. Der Teilnehmer entschuldigt sich vorab für
das Versäumnis der Nennung von Stichworten und erklärt, dass ein solcher Aktionstag
an seiner Schule nicht durchgeführt würde. Die d0l1igen Schülerinnen und Schüler erfüllen
dafür nicht die psychosozialen und physischen Voraussetzungen. Das Interview
wird überwiegend von einem Beobachtenden entsprechend des Leitfadens gefühl1. Der
zweite Beobachtende meldet sich nach ca. 10 Minuten erstmalig zu Wort und fragt noch
einmal "nach wesentlichen Problemen bei der Bearbeitung" (vgl. Leitfaden für das Interview
zur "Fallstudie"). Auf die EinzeJbeUI1eilung folgt eine kontroverse Diskussion
zwischen den Beobachtenden über die zum Teil unterschiedlichen BeUI1eilungen des
Teilnehmers.
104

9.6 Schlussbemerkung
Am auffälligsten ist in diesem EFV die im Vergleich zum vorangegangenen
Durchlauf im März durchgängige Einhaltung des Beurteilungsrasters. Die starke Betonung
im Briefing hat daran sicherlich einen bedeutsamen Anteil. Das gesamte Verfahren
ist in Dortmund ohne erkennbare Störungen und zur Zufriedenheit der meisten Beteiligten
durchgeführt worden, was sicherlich auch an der fast schon routinierten Arbeit
des Organisationsteams gelegen hat. Aufgrund personaler Veränderungen bei SCHUL­
MANAGEMENT NRW wird der nächste Durchlauf im September 2009 von nur noch
zwei Mitarbeiter/-innen durchgeführt werden. Es wird sich zeigen, ob es dadurch im
organisatorischen Bereich zu wesentlichen Änderungen im Ablauf des Verfahrens
kommen wird. Aufgrund der bisherigen Erfahrungen ist damit allerdings nicht zu rechnen.
10. Beobachtung des EFVs am 28.129.09.2009
10.1 Vorbelnerkung
Ende September 2009 fanden zwei Verfahren parallel in Dortmund und Düsseldorf
statt. Im Rahmen der externen Evaluation wurde diesmal das Verfahren in Düsseldorf
metabeobachtet.
10.1.1 Räume und Rahmen
Das Verfahren wurde in der Jugendherberge Düsseldorf abgehalten. Die Jugendherberge
liegt im Düsseldorfer StadtteilOberkassel direkt am Rhein und ist u.a.
über die A52 mit dem Auto zu erreichen. ÖPNV-Nutzer/-innen sind auf U-Bahn und
entweder Bus oder einen Fußweg von knapp zehn Minuten angewiesen. Die neugebaute
Jugendherberge ist seit 2008 mit guter Ausstattung auch als Tagungsstätte geeignet. Für
das EFV standen auf zwei Etagen die benötigten Übungsräume, zwei Vorbereitungsräume,
ein Plenarsaal und ein Raum fiir das Organisations büro zur Verfiigung. Die
Übungsräume sind hier deutlich kleiner als in Dortmund (v gl. Metabeobachtungsprotokol1e
von März und Juli 2009), verfügen aber mit Pinn- und Stellwänden sowie kleinen
Kühlschränken mit Getränken über eine vergleichbare Ausstattung. Lediglich bei den
Interviews im Rahmen der Postkorb-Beurteilung machte sich negativ bemerkbar, dass
teilweise zu wenige Tische zum Ausbreiten der Materialien vorhanden waren.
In den Zeiträumen zwischen den einzelnen Übungen nutzten die Teilnehmer/­
innen die innen und außen liegenden Aufenthaltsbereiche der Jugendherberge im Erdgeschoss.
Da die Jugendherberge den Beteiligten auch als Unterkunft diente, konnten die
Zimmer tagsüber ebenfalls als Rückzugsräume genutzt werden. Zu einer leichten Missstimmung
führten die unterschiedlichen Nachtruhebedürfnisse von Beteiligten des
EFVs einerseits und Jugendgruppen, die ebenfalls in der Jugendherberge untergebracht
waren, andererseits. Ob dies ein generelles Problem ist und wie schwerwiegend, kann
105

hier nicht beurteilt werden. Ggf. wäre eine alternative Unterbringung der EFV­
Beteiligten zu überdenken. Der Ablauf des Verfahrens wich nicht von den vorherigen
Verfahren ab. Vier Mitarbeiter/-innen von SchuJmanagement NRW übernahmen die
Organisation. Am EFV nahmen 17 Teilnehmende, sieben Beobachtende und fünf Meta­
Beobachtende teil. Für die Gesprächsübung wurden drei geschulte Rollenspieler/-innen
eingesetzt. In diesem Durchlauf des EFV wurden folgende Aufgaben (v gl. Tabelle 65)
durch gefühl1:
Tabelle 66: Die Aufgaben zum 28./29.09.2009 im Überblick
Aufgabe
Inhalt/Thema
Gruppendiskussion
Postkorb + Interview
Präsentation
Konfliktgespräch
Rauchfrei-Kampagne
Bearbeitung von 22 Mitteilungen
Schule 2015
Verletzung der Aufsichtspflicht
Nach kurzer Begrüßung aller Anwesenden durch die Bezirksregierung Köln und
einer Vorstellungsrunde stellte Schulmanagement NRW den Ablauf vor und beantwortete
Rückfragen. Als Neuerung gegenüber den vorherigen EFV wird das Fotografieren
der Teilnehmenden gesehen. Dies soll den Beobachtenden und dem Organisationsteam
als Erleichterung für die Handhabung und Zuordnung der Ergebnisbägen und für die
Ergebnisrückmeldung dienen.
Unter Einhaltung des von SCHULMANAGEMENT NRW entwickelten AbJaufplans
wurden an den beiden Tagen in Düsseldorf folgende Übungen im Rahmen der
externen Evaluation durch die FU Berlin metabeobachtet:
1 Gruppendiskussion
4 Präsentationen
6 Konfliktgespräche
4 Postkorbinterviews
Die Beobachtungen werden im Folgenden protokol1iert.
10.2 Gruppendiskussion
Das Thema der Gruppendiskussion bestand in der Planung einer Rauchfrei­
Kampagne. Die beobachtete Gruppe verständigte sich mit Hinweis auf die Zeitknappheit
über Gestaltung und Ablauf der Diskussionsrunde. Reihum wurde eine Bestandsaufnahme
vorgenommen. Ein Teilnehmer übernahm unaufgefordert die Visualisierung
der Situationsanalyse unter Nutzung von Flipcharts. Zwischendurch gab es teilweise
Diskussionen und Rückfragen, wobei die Teilnehmenden auf die Erfahrungen
ihrer eigenen Arbeit zurückgriffen. Alle Diskutanten zeigten eine große Bereitscbaft,
eigene Ressourcen oder Programme an andere Schulen weiterzugeben. Diskutie11 wurde
106

über weitere Kooperationsmöglichkeiten und -partner (z.B. Eltern, Schüler, externe Experten).
Ferner wurden eine Reihe von Maßnahmen stichwortartig entwickelt bzw. gesammelt
(z.B. Präventionstag, gemeinsames Frühstück, Erlebnispädagogik). Die Gruppe
diskutierte über das weitere Vorgehen und die Wichtigkeit eines festen Ansprechpartners,
ohne jedoch zu einem Ergebnis zu kommen. Die eigentliche Aufgabe, zu einem
"einstimmig beschlossenem und begründeten Ansatz für ein Modell" zu kommen
(vgL Aufgabenbeschreibung im Übungsmaterial), wurde nicht erfüllt.
Die Beobachtenden fungierten in der ihnen zugeschriebenen Rolle: Sie achteten
auf die Einhaltung von Beginn und Ende der Übung, blieben während der Ausführung
aber neutraL Vor und nach der Übung lieferten sie bei organisatorischen Fragen seitens
der Teilnehmenden die gewünschten Infonnationen. Die Ausfüllung der Beurteilungsbögen
erfolgte unter Beachtung des vorgegebenen Schemas erst alleine. Danach folgte
paarweise die Diskussion von Abweichungen. Die Einzelbewertungen und die Diskussionen
dauerten teilweise recht lange, vielleicht weil es die erste Übung des Tages war.
Ein Beobachter arbeitete mit Bleistift und Radiergummi, ohne die in der Diskussion
initiierten Bewertungsänderungen kenntlich zu machen.
10.3 Präsentation
In diesem EFV bekamen die Teilnehmenden die Aufgabe eine Präsentation "anlässlich
des 1 OO-jährigen Bestehens der Schule im Jahr 2015" zu erarbeiten. Dabei sollte
auf "wesentliche Entwicklungen der letzten sechs Jahre" zurückgeblickt werden. Zum
Szenarium gehöl1e, dass die Schule "führend auf dem Gebiet der Schulentwicklung ist
und mehrfach für innovative Ideen und Projekte ausgezeichnet wurde". Alle anderen
Schulmerkmale (z.B. Größe der Schule) waren frei gestaltbar, sollten dem zuhörenden
Gremium allerdings ebenfalls präsentiert werden. Als zuhörendes Gremium dienten die
in der Übung anwesenden Beobachter/-innen sowie ggf der oder die Metabeobachter/­
innen. Sie sollten als Schulleiter/-innen anderer Schulen angesehen werden, wobei keinerlei
Rückfragen oder Kommentare erwartet (oder befürchtet) werden sollten. Folgende
Besonderheiten konnten beobachtet werden:
In einer Präsentation wurde der Teilnehmer auf den Anbruch der letzten Minute
der Vortragszeit aufmerksam gemacht; in einer anderen Präsentation wurde der Teilnehmer
nach Ablauf der Zeit unterbrochen, ohne dass es vorher einen Hinweis auf die
Restzeit gegeben hätte. Damit hier nicht der Eindruck einer groben Ungleichbehandlung
entsteht, sei angemerkt, das dieser Teilnehmer einen Großteil seiner vorbereiteten Materialien
noch nicht eingesetzt hatte, d.h. auch mit einem Zeithinweis nicht rechtzeitig
zum Abschluss gekommen wäre.
In allen Präsentationen arbeiteten die Teilnehmenden mit Flipchart-Plakaten,
stellten ihre eigene Schule vor und gaben einen Überblick über abgeschlossene und laufende
Projekte. In einer Übung diskutierten die Beobachtenden nach Abschluss der Präsentation
und ohne Beisein des Teilnehmers mehrere Minuten über den Sinn der AufgabensteIlung.
In dieser Diskussion wurde bemängelt, dass die zu beurteilenden Kriterien
nicht zur Aufgabe passen würden. Nach Ansicht der Beobachtenden wurde ein Rückblick
präsentiert, der keine Schlüsse auf Innovation und Management zulassen würde.
107

Aus Sicht der Metabeobachtung heraus lässt sich auf jeden Fall anmerken, dass aus der
Aufgabenstellung nicht eindeutig hervorging, welche zeitliche Perspektive eingenommen
werden sol1te. Soll das Jahr 201 5 angenommen und dann ein fiktiver Rückblick auf
die Jahre seit 2009 vorgestellt werden? Oder soll über den Zeitraum 2003 bis heute berichtet
und für das Jubiläum in sechs Jahren eine Vision entwickelt werden? Lediglich
ein Teilnehmer spezifizierte das Setting für seinen Vortrag und berichtete "rückblickend"
über die Jahre 2009 bis 2015. Die Projekte, über die er referierte, scheinen aktuell
an seiner Schule zu laufen. In diesem Durchlauf diskutierten die Beobachtenden insbesondere
über den Aspekt "Zieldefinition". Abweichungen vom Bewertungsschema
ließen sich in keinem Übungsdurchlauf ausmachen.
10.4 Konjliktgespräch
In der Gesprächsübung bekamen die Teilnehmerinnen und Teilnehmer die Aufgabe,
ein Gespräch mit einer Lehrerin (bzw. einem Lehrer) zu führen, die (der) schon
mehrfach durch Verletzung der Aufsichtspflicht aufgefallen ist. In der konkreten Situation
wurde eine Schü1erin "nach einer schweren Schlägerei, an der sie selbst nicht beteiligt
gewesen sein soll, während der Pause auf dem Schulhof verletzt" (vgt Arbeitsanweisung
zur Aufgabe). Die Rollenspielende sollten als Begründung auf ein wichtiges
Gespräch mit einem Schüler hinweisen und die Hilfsbereitschaft und Kollegialität des
Kollegiums einfordem. Die Übung 'wurde als Konfliktgespräch deklariert. Insgesamt
wurde in aBen sechs Durchläufen der Übung je ein Gespräch metabeobachtet. Da diese
Übungsfonn in der Metabeobachtung neu ist, sind nachfolgende Darstellungen etwas
ausfuhrlicher.
In Konfliktgespräch 1 begrüßte die Teilnehmerin die Rollenspielerin pünktlich
zur vorgegebenen Zeit und stieg SOf011 in das Gespräch ein. Die Beobachtenden waren
zu diesem Zeitpunkt noch dabei, ihre Unterlagen zu kontrollieren und eigentlich nicht
bereit. Erst nach ca. ein bis zwei Minuten konnten sie sich vollständig auf die Gesprächssituation
konzentrieren. Bei einem Beobachter stimmte die Teilnehmer­
Kennnummer in den Unterlagen nicht. Wie sich herausstellte, waren die Unterlagen
allerdings lediglich in der falschen Reihenfolge geheftet. Die Klärung geschah nach
Abschluss der Übung und bevor die Beobachtenden in die Phase der Einzelbeurteilung
eintraten. In der Gesprächssituation hatte die Teilnehmerin mit großem Widerstand der
Rollenspielerin zu kämpfen. Die Rollenspielerin begründete die Verletzung der Aufsichtspflicht
mit der Dringlichkeit einer anderen Situation, in der es um das Wohl eines
Schülers ging. Sie zeigte wenig Einsicht, schob die Schuld für das Geschehnis auf dem
Schulhof auf die mangelnde Hilfsbereitschaft der Kolleginnen und Kollegen. Sie drohte
mehrfach mit "Dienst nach Vorschrift", wodurch insbesondere der Verzicht auf die
Ausübung aller pädagogischen Interventionen, die als freiwillige, aber dennoch wichtige
Aktivitäten angesehen wurden, ausgedrückt werden sollte. Die Teilnehmerin blieb
während der gesamten Situation sachlich und konstruktiv. Sie versuchte, die sich aufbauschende
Emotionalität zu unterbinden und nach Handlungsoptionen zu suchen (z.B.
andere Gestaltung der Aufsichtspläne). Rechtliche Folgen der Situation für die Schule
bzw. die entsprechende Lehrperson wurden nicht angesprochen. Die Teilnehmerin vertagte
schließlich das weitere Gespräch, da mit der Rollenspielerin offensichtlich keine
Einigung mehr erzielt werden würde.
108

In Konfliktgespräch 2 brachte die Rollenspielerin die gleichen Argumente, ging
aber stärker als ihre Kollegin in Konfliktgespräch 1 auf Alternativen und Lösungsmöglichkeiten
ein. Nach zwei Dritteln der Übungszeit drehte sich das Gespräch dann im
Kreis, d.h. Argumente und Entgegnungen beider Seiten wiederholten sich. Die Übung
wurde nach Vereinbarung eines Folgetennins beendet
Das dritte Konfliktgespräch wurde vom Teilnehmer sehr rollenklar und autoritär
mit einer klaren Zurechtweisung der Rollenspielerin nach nur fünf Minuten beendet
Der Teilnehmer blieb dabei konsequent bei der Situation und wurde nicht persönlich.
Die Beobachtenden zeigten sich leicht irritiert über die Kürze des Gesprächs. Die Beurteilungsphase
unter Einhaltung des vorgesehenen Ablaufs nahm daraufhin auch einen
deutlich längeren Zeitraum in Anspruch, da es in dieser Kürze nur schwer möghch war,
alle Facetten der zu beobachtenden Kompetenzen wahrzunehmen.
Im vieJ1en Konfliktgespräch wurde auffällig, dass sich die Kandidatin unsicher
über die Einhaltung der zur Verfügung stehenden Zeit äußerte. Man konnte den Eindruck
gewinnen, dass die Teilnehmerin versucht hat, die Zeit komplett zu nutzen, obwohl
sie der Situation eigentlich keine neuen Aspekte mehr abgewinnen konnte. Sie
beendete die Übung dann nach 13 Minuten und fragte, ob "zwei Minuten eher" ein
Problem darstellen würden. Dies wurde von den Beobachtern verneint In der anschließenden
Bewertungsphase beurteilten die Beobachter zunächst allein und stiegen dann in
die Diskussion ein. Hier muss als zweite Auffälligkeit berichtet werden, dass sich die in
dieser Übung ebenfalls als Metabeobachtende anwesende Gleichstellungsbeauftragte in
diese Diskussion eingemischt und ihre persönliche Meinung zur Teilnehmerin geäußert
hat.
Der Ablauf der letzten beiden Konfliktgespräche ähnelte den vorhergegangenen,
ohne dass es zu berichtenswerten Vorfällen kommt: Nach Begrüßung und Gesprächsbeginn
hörten sich die Teilnehmenden die Sicht der Rollenspielerinnen an, deuteten möghche
Konsequenzen an und besprachen mögliche Vorgehensweisen, damit der Aufsichtspflicht
zukünftig immer Genüge getan wird. Letzteres lief jeweils auf die Vertagung
einer konkreten Einigung hinaus. Die Beurteilungsphase lief auch bei den Konfliktgesprächsdurchführungen
5 und 6 entsprechend des vorgegebenen Schemas ab. Ein
Abweichen von diesem Schema konnte demnach in keinem Fall beobachtet werden.
10.5 Postkorbübung und Interview
Die Postkorbübung war analog zu den vorherigen EFV aufgebaut, in der diese
Übungsfonn eingesetzt wurde. Der Postkorb bestand diesmal aus 22 Mitteilungen unterschiedlicher
Länge und Wichtigkeit Manche Mitteilungen führten zu tenninlichen
oder inhaltlichen Konflikten. Als Neuerung wurde den Beobachtenden eine Art Musterlösung
ausgehändigt, mit der entsprechende Konflikte und/oder Lösungsmöglichkeiten
zu allen Mitteilungen dargestellt wurden. Im Falle der Mitteilung 13 "Betrunkener
Schüler auf Klassenfahrt" sah ein Beobachterpaar die Lösung in der Delegation des
Problems an die entsprechende Lehrerin als sinnvoller an, als die vorgeschlagenen
Maßnahmen der Musterlösung. Insgesamt wurde die Musterlösung aber als positiv ein-
109

geschätzt, da sie zur Schaffung eines Überblicks über alle PostkorbmitteiJungen und
daraus resultierender Konflikte dient.
Insgesamt wurden vier Postkorbinterviews begleitet. Die Interviews liefen im
Wesentlichen unter Nutzung der vorgegebenen Leitfragen ab. Die Beobachtenden erläuterten
kurz den Zweck des Interviews und stellten d3JID Fragen, auf die die Teilnehmenden
unter Zuhilfenahme ihrer eigenen Unterlagen antw0l1eten. Ein Teilnehmer zeigte
deutliche Anzeichen von Nervosität und fand sich nur schlecht in seinen Unterlagen
zurecht. In einem anderen Fall fragte der Teilnehmer nach, ob er anfangen dürfe um
"Punkte aus seiner kritischen Nachbetrachtung" anzusprechen oder ob die Beobachtenden
direkt fragen wollten. Nach kurzer Beratung begrüßten die Beobachtenden den Vorschlag
des Teilnehmers. Dieser sprach daraufhin eine Reihe von Punkten an und begründete
in manchen Fällen eine alternative Vorgehensweise. Auch wenn die Beobachtenden
zwischendurch kurze Rückfragen stellten, konnte der Teilnehmer die ersten fünf
Minuten sehr intensiv nutzen. Danach griffen die BeUlieilenden auf den Frageleitfaden
zurück. In der BeUlieilungsdiskussion brachte ein Beobachter zu Ausdruck, dass der
Teilnehmer durch sein offensives Vorgehen deutliche Pluspunkte erzielt hätte. In einem
dritten Fall versuchten die Beobachtenden die Leitfragen zu modifizieren, was teilweise
etwas hölzern klang und vom Teilnehmer nicht immer verstanden wurde. Als wahre
StolperfalJe erwies sich in drei der vier metabeobachteten Postkorbübungen die Meldung
11 zur "Unterbringung zweier Klassen der NachbarschuJe". Hier kommt zum Tragen,
dass schon in der Szenarienbeschreibung einige Hinweise geliefeli wurden, die für
die Bearbeitung der Meldungen von Bedeutung waren. In diesem Falle wurde in der
Szenarienbeschreibung erwälmt, dass mehrere Kollegen und Klassen auf Klassenfahrt
bzw. Schüleraustausch sind. Die Teilnehmenden hatten dies jedoch nicht zur Kenntnis
genommen.
10.6 Schlussbenlerkung
Sofern man aus den Metabeobachtungen auf das gesamte EFV schließen darf,
zeigt sich erneut, dass das vorgesehene Beurteilungsschema vollständig eingehalten
wurde. Alle Übungsdurchführungen unterschieden sich bei prinzipiell gleichem Rahmen
in konkreten Details. Die Variationen dürften über die Verteilung von Teilnehmenden
und unterschiedlichen Beobachterpaarungen so vielfältig sein, dass für den einzelnen
Teilnehmer keine Benachteiligung oder Bevorzugung hervorgehen dürfte.
Das Organisationsteam von Schulmanagement NRW bewältigte auch dieses
EFV unter Wahrung von Überblick, Freundlichkeit und Hilfsbereitschaft. Ob die Jugendherberge
Düsseldorf als Tagungsort so geeignet ist. lässt sich diskutieren.
110

11. Beobachtung des EFVs am 22./23.10.2009
11.1 Vorbemerkung
Im Oktober 2009 wurde ein Verfahren unter Federführung der Bezirksregierung
Arnsberg im "Europäischen Bildungszentrum" (EBZ) in Bochum durchgeführt. Allgemeine
Einschätzungen und Besonderheiten aus der Metabeobachtung werden nachfolgend
protokolliert.
11.1.1 Räume und Rahmen
Das EBZ zeichnet sich durch seine sehr offen gehaltene Architektur aus. Alle im
Rahmen des EFVs benutzten Räume waren auf der gleichen Etage angesiedelt. Die
Ausstattung der Unterrichtsräume mit Flipchart, Metaplanwänden, Overheadprojektoren
und Tafeln war angemessen. Die Übungsräume waren vergleichsweise hellhöng. Teilweise
hörte man, dass in den Nebenräumen gesprochen wurde. Schrittgeräusche von
Personen, die an den Übungsräumen vorbeigingen waren ebenfalls sehr gut zu hören.
Regelmäßig ertönte während der Übungen das Läuten einer Klingel. Ob die Geräusche
von den EFV -Beteiligten als störend empfunden wurden, war nicht ersichtlich.
Im Vergleich mit vorangegangenen EFV ließen sich keine Abweichungen in Ablauf
und Organisation erkennen. Zu erwähnen ist, dass in der Fragerunde, die sich an
Begrußung und Vorstellung des Tagesablaufs anschließt, wieder die Frage nach dem
Stichwort "Ablauf' im Gesamtplan gestellt wurde. Diese Frage wurde noch in jedem
EFV gestellt. Zur kurzen Erläuterung: Es ist vorgesehen, dass - nach Grußworten der
ausrichtenden Bezirksregierung und einer allgemeinen Begriißungsrunde - alle Teilnehmenden
gemeinsam im Plenum über den Tagesablauf infonniert werden. Zu einem
bestimmten Zeitpunkt muss eine erste Gruppe von sechs Teilnehmenden in die Vorbereitungsphase
zur Gruppendiskussion geführt werden. Sollte die Infonnationsrunde bis
dahin noch nicht beendet worden sein, erhalten diese sechs Teilnehmenden im Anschluss
an ihre erste Übung noch einmal eine separate Unterrichtung. Die individualisierten
Tagespläne dieser Teilnehmenden beinhalten aus diesem Grunde eine Phase
"Ablauf', die deutlich später eingeplant ist als bei den übrigen Teilnehmenden. Bislang
ist die Vorstellung des Tagesablaufs al1erdings immer abgeschlossen gewesen, bevor
die erste Gruppe in die Vorbereitungsphase geführt worden ist.
Auch an diesem EFV nahmen 17 Teilnehmende und sieben Beobachtende plus
Ersatzbeobachter teil. Aufgrund des krankheitsbedingten Ausfalls eines Rollenspielers
und des Ersatzspielers mussten die Mitarbeiter von Schulmanagement NRW für die
Durchführung der Gesprächsübung improvisieren: Der Mitarbeiter, der das Briefing der
Rollenspieler begleitet hatte, war hier in der Lage, die Position eines Rollenspielers zu
besetzen. Er kannte das Szenario der Gesprächssituation und die Details der Rollenausgestaltung.
Das Thema der Gesprächsübung sowie der anderen Aufgaben zeigt Tabelle
67. Dort ist auch angegeben, wie oft die verschiedenen Übungen metabeobachtet worden
sind.
111

Tabelle 67: Die Aufgaben zum 22./23.10.2009 im Überblick
Aufgabe
Inhalt/Thema
Gruppendiskussion
Literatur-Projekt
Fallstudie + Interview
Tag der offenen Tür
Präsentation
Bericht der Qualitätsanalyse
Beratungsgespräch
Seiteneinsteiger im Referendariat
davon meta beobachtet
(Anzahl)
2
5
6
6
11.2 Gruppendiskussion
In der Gruppendiskussion bestand die Aufgabe in der Ennvicklung eines schulformübergreifenden
Literaturprojekts. Die Teilnehmenden sollten die Rolle von Schulleiterinnen
und Schulleitern einnehmen und u.a. über die Verwendung zusätzlicher Finanzmittel
befinden. Die beiden metabeobachteten Gruppen gingen dabei unterschiedlich
vor: Die eine Gruppe konzentrierte sich auf die Sammlung von Vorschlägen für
Einzelprojekte. Die andere Gruppe diskutierte verstärkt über den Gesamtrahmen, ohne
zu sehr in Details zu gehen. Gegen Ende der Arbeitszeit wurde dann von bei den Gruppen
beschlossen, die konkrete Konzeptionienmg zu vertagen. In den Beurteilungsphasen
bewerteten die Beobachtenden sehr konzentriert "ihre" jeweiligen Teilnehmenden,
wobei sie ihre sehr detaillierten Beobachtungsprotokolle nutzten. Auch wenn es sich um
ein zufälliges Ereignis handeln könnte, so fällt doch auf, dass ein Beurteiler für die Bewertungen
deutlich mehr Zeit als die anderen Beobachterinnen und Beobachter benötigt.
Für diesen Beobachter war es eigenen Aussagen zufolge das erste EFV. Es kann
vennutet werden, dass häufigere Beobachtertätigkeit zu einem Aufbau von Routine
fuhrt.
11.3 Präsentation
In der Präsentationsübung ging es diesmal um eine Auseinandersetzung mit Ergebnissen
der Qualitätsanalyse. Die Teilnehmenden sollten sich in einer Lehrerkonferenz
als neu im Amt befindliche Schulleiter mit den Ergebnissen eines Qualitätsberichts
beschäftigen. Im Fokus sollten insbesondere zwei Aspekte stehen, in denen die Schule
nur zwei von vier möglichen Punkten erhalten hatte.
Die Mehrheit der Teilnehmenden nutze Flipchart-Bögen zur Präsentation, ein
Teilnehmer verwendete die Metaplantechnik. Der Schwerpunkt der Präsentationen lag
wie in der AufgabensteIlung fonnulieJi auf den beiden schlecht beUlieilten Aspekten
aus dem Bereich "Lernen und Lehren -Unterricht". Zwei Teilnehmende gingen dabei
ausschließlich auf die negativen Aspekte ein und verzichteten vollständig auf die teilweise
auch durchaus positiven Einschätzungen des Qualitätsbericbts. In den letzten beiden
Durchläufen der Präsentation venviesen die bei den metabeobachteten Teilnehmerinnen
auf die Autoren Klippeli (im Zusammenhang mit Methoden) und Green (im Zusammenhang
mit Sozialfom1en). Dies ist insofern bemerkens\vert, als das bislang in
keiner der anderen Übungen (auch in früheren EFV nicht) auf bestimmte Autoren explizit
Bezug genommen wurde. Dass dann auch noch zwei Teilnehmende auf die gleichen
112

Quellen zugriffen, wirft die Frage auf, ob es sich um Zufall handelt. Es dürfte so sein,
dass sich die Teilnehmenden untereinander austauschten. Hier macht sich bemerkbar,
dass gleiche Übungen teilweise an bei den Tagen durchgefuhrt wurden.
Auf der Seite der Beobachterinnen und Beobachter ist anzumerken, dass das
vorgegebene Bewertungsschema wiederum eingehalten wurde. Zwei Beobachtende
diskutierten über die Möglichkeiten, Aufgaben und Bedeutung einer Lehrerkonferenz.
Zu unterschiedlichen Einschätzungen gelangten verschiedene Beobachter hinsichtlich
des Items zur "Bewältigung der Übung in vorgegebenem Zeitrahmen". Dabei wird teilweise
die Einhaltung der Zeit (15 min) in den Vordergrund gestellt, teilweise die inhaltliche
VoJ1ständigkeit. Zwei Beobachter sahen keine Notwendigkeit "Abweichungen um
1" zu diskutieren. D.h., nur wenn sich die Bewertungen einzelner Aspekte um mehr als
einen Punkt unterschieden, wurde über die Wahrnehmung des Teilnehmenden gesprochen.
11.4 Beratungsgespräch
Das Setting des Beratungsgesprächs war identisch mit der Gesprächsübung des
im März durchgefuhrten EFV s. Es ging wieder um einen Seiteneinsteiger mit Problemen
im Referendariat. Einzig der Hinweis auf "Burn-out" wurde in dieser Version der
Übung nicht mehr verwendet. Um einen reibungslosen Ablauf der Übung und damit des
gesamten EFVs zu gewährleisten, musste ein Mitarbeiter von Schulmanagement NRW
als Rollenspieler einspringen. Dies war notwendig, weil ein Rollenspieler und der eingeplante
Ersatz kurzfristig, d.h. wegen Krankheit, ausfielen.
Die Bewertungen liefen insgesamt regelkonfonn ab. Zwei Beobachter diskutierten
mehrere Minuten über ihr Verständnis einzelner Bewertungsitems und über den
Begriff "Beratung". Die Diskussion über Beurteilungsunterschiede ging in dieser Diskussion
auf, d.h. nicht das als unterschiedlich wahrgenommene Verhalten des Teilnehmers,
sondern Unterschiede im Verständnis der Beobachtenden wurde diskutiert. Eine
Beobachterin äußerte sich kritisch über die Schwierigkeit, Vorangegangenes auszublenden.
Sie schlug vor, die verschiedenen Übungsfonnen immer im Wechsel durchzufuhren.
11.5 Fallstudie und Interview
In der Fallstudie bekamen die Teilnehmenden die Aufgabe, "als Schulleiter einer
Schule im Auftrag der Schulkonferenz einen Tag der offenen Tür zu planen". Zur Bewertung
der Teilnehmenden wurden die vorgesehenen Interviews durch ge fuhrt. Es gab
den gleichen Leitfaden wie in den Interviews früherer EFV. Daneben stand den Beobachterinnen
und Beobachtern eine Übersicht über die verschiedenen Mitteilungen zur
Verfugung. Da hier allerdings keine Problembenennungen aufgefuhrt waren (z.B. Terminüberscheidungen,
rechtliche Problemlagen etc.), hatte diese Auflistung keinen Musterlösungscharakter.
113

In einer Bewertungsphase diskutierten die Beobachtenden die Rolle des Teilnehmers
während der Durchführung der Übung. Dabei kritisierten sie, dass der Teilnehmer
zuviel selbst machen würde. Dass die Aufgabenstellung ausdrücklich vorsah,
dass die Teilnehmenden den Tag der offenen Tür im Auftrag der Schulkonferenz planen
sollen, schien in der Diskussion keine Beliicksichtigung zu finden.
Ansonsten verliefen die Interviews ohne große Besonderheiten. Die LeÜfragen
wurden mal mehr, mal weniger stark abgewandelt. In zwei Übungen wurde die vorgesehene
Interviewzeit um jeweils knapp zwei Minuten leicht überschritten. Dabei wirkte
in einem Fall die Teilnehmerin recht souverän und der lnterviewsituation gewachsen.
Im anderen Fall hatte die Teilnehmerin insgesamt wohl eher Schwierigkeiten mit der
Übungsfonn; sie erklärte auf mehrere Mitteilungen bezogen, dass sie sie "nicht richtig
gelesen" habe.
11.6 Schlussbelnerkung
Insgesamt lief das EFV in Bochum routiniert ab. Durch die lmprovisationsleistung
der Mitarbeiter von SCHULMANAGEMENT NRW konnte der Ausfall bei den
Rollenspieler/-innen kompensiert werden. Die Beobachtenden hielten sich an die Vorgabe
der Bewertungsreihenfolge. Die verschiedenen Diskussionen der Beurteilenden
während der Bewertungsphasen zeigten, dass die Beurteilungen von eigenen Bewertungsmaßstäben
nicht vollständig frei sein können. Der Einsatz möglichst vieler Beobachterinnen
und Beobachter in rollierenden Paarungen könnte hier für den gewünschten
Ausgleich und eine Objektivierung des Verfahrens sorgen.
12. Beobachtung des EFVs am 21./22.12.2009
12.1 Vorbemerkung
Das am 21. und 22. Dezember in Soest 22 durchgeführte EFV lief als Doppelverfahren
ab. Dies bedeutet, dass ein Verfahren unter Federführung der Bezirksregierung
Amsberg (A) und ein Verfahren unter Federführung der Bezirksregierung Köln (K)
durchgeführt wurde. Genutzt wurde dabei der gleiche Tagungsort. Auch wenn die Außenstelle
Soest des MSW NRW etwas mehr Jugendherbergschanne als z.B. die Jugendherberge
in Düsseldorf versprüht, ist der Tagungsort für die Durchführung des EFV
durchaus geeignet.
22 Zur Durchführung des EFV wurde die Außenstelle Soest des Ministeriums für Schule und Weiterbildung
genutzt (Anschrift: Paradieser Weg 64, 59494 Soest). Hier sollen zukünftig alle EFV durchgefühl1
werden.
114

12.1.1 Räume und Rahmen
Die fur zwei Teilnehmergruppen jeweils benötigten Vorbereitungs- und Übungsräume
standen zur Verfugung. Aufgrund der Zusammenlegung zweier Verfahren reichte
ein gemeinsamer Plenarsaal und es wurde auch nur ein Organisationsbüro benötigt. Von
den erwarteten 36 Teilnehmenden war die Gruppe K vol1ständig vertreten, in Gruppe A
gab es hingegen zwei Ausfal1e. Die Gruppen der Beobachter/-innen und Rol1enspieler/­
innen war vollständig.
Im Vergleich zu früheren EFV gab es Änderungen im Ablauf. Anders als zuvor
wurden am ersten Tage neben der Gruppendiskussion auch alle Gesprächsübungen
durchgefuhrt. Interviews und Präsentationen waren hingegen vollständig fur den zweiten
Tag vorgesehen. Die Tagesabläufe gestalteten sich dadurch einheitlicher und die
Teilnehmenden erhielten weniger Möglichkeiten, sich über Aufgaben und Inhalte austauschen.
Für die Beobachtenden entstand dadurch der Nachteil, dass die gleiche
Übungsform mehrfach hintereinander zu bewerten ist. Ggf. leidet die Konzentration
unter der höheren Gleichfönnigkeit und das Verhalten der Teilnehmenden wird verstärkt
in Relation zu den vorangegangenen Beobachtungen bewertet. Je routinierter die
Beobachtenden sind, desto geringer dürfte allerdings ein entsprechender Einfluss sein.
Beobachtet wurden die in Tabelle 68 angegebenen Übungen. Dass das EFV fur
eine Projektbesprechung mit Schulmanagement NRW und dem MSW genutzt wurde,
erklärt die etwas reduzierte Anzahl an Metabeobachtungen.
Tabelle 68: Die Aufgaben zum 21.122.12.2009 im Überblick
Aufgabe InhalUThema davon meta beobachtet
(Anzahl)
Gruppendiskussion Fachkraft für Schulsozialarbeit 3
Fallstudie + Interview Fremdsprachentag 4
Präsentation Medienkonzept 3
Konfliktgespräch Verletzung der Aufsichtspflicht 4
12.2 Gruppen disk ussion
Das Thema der Gruppendiskussion bestand in Entwicklung eines Konzepts zum
Einsatz einer Fachkraft fur Schulsozialarbeit. Als Neuerung im Vergleich zum EFV am
30./3]. März 2009 stand in der Arbeitsanweisung, dass die Teilnehmer/-innen deutlich
machen sollten, "warum gerade ihre Schule die Fachkraft erhalten soBte". Die Interessen
der Schule sollten dadurch fokussiert werden. Dahinter dürfte sich der Wunsch verbergen,
eine stärkere Diskussion anzuregen.
In der ersten Gruppe erläuterten alle Teilnehmenden reihum den Bedarf ihrer
Schule. Häufig fielen die Stichworte "Jungenarbeit" und "Ganztag". Diskutiert wurde
dann darüber, ob man ein übergreifendes Konzept oder eine schulbezogene Einsatzplanung
entwickeln sollte. Die Diskussion lief insgesamt sachlich-distanziert und ohne
115

spürbare Spannungen ab. Nach Ablauf der Zeit beendete eine Beobachterin die Diskussion,
ohne dass die Gruppe einen Beschluss über ein Konzept gefällt hätte.
Die zweite Gruppe begann mit der Diskussionsrunde im Einvernehmen mit den
Beobachtenden etwas eher als im Ablaufplan vorgesehen. Eine Metabeobachterin betrat
dadurch erst während der bereits laufenden Übung den Raum, allerdings \vurde dies
wohl kaum als störend empfunden. Auch in dieser Diskussionsrunde stellten die Teilnehmenden
sich und den Bedarf ihrer Schule reihum vor. Eine Kontroverse entbramlte
aus dem Vorschlag eines Teilnehmers von einem Berufskolleg, die Fachkraft nicht an
Gesamtschulen und Gymnasien einzusetzen. Die Gruppe vertagte sich nach bereits 34
Minuten, ohne ein detailliertes Konzept beschlossen zu haben.
12.3 Präsentation
In dieser Übung stellten alle Teilnehmenden der Aufgabe entsprechend die Details
ihrer Schule vor und präsentierten ein Medienkonzept. Ein Teilnehmer (BerufskoJleg)
wurde zwar in der vorgegebenen Zeit nicht vollständig fe11ig, löste die Aufgabe
aber insgeseHnt vielversprechend, insbesondere, vJeij er einen deutljchen ZUS31TIlnenhang
zwischen Medienkonzept und Berufsvorbereitung herstellte. Auf Seite der Beobachter/-innen
ist berichtenswert, dass ein Beobachter nach Abschluss der Übung, jedoch
vor der Einzelbeurteilung, mit einer Globaleinschätzung über den Teilnehmenden beginnen
wollte. Er wurde aber mit Hinweis auf das Beurtei]ungsraster von seinem Ko­
Beobachter unterbrochen. Dabei war der Ko-Beobachter schon bei anderen Verfahren,
der andere hingegen nach eigenen Aussagen zum ersten Mal als Beobachter eingesetzt.
12.4 Ko njIiktgesp räch
Um eine "Verletzung der Aufsichtspflicht" drehte sich das Konfliktgespräch.
Auch diese Übung wurde im Vergleich zu einem früheren Durchlauf (vgl. das EFV am
28./29. September 2009) leicht modifiziert. Als Auslöser des Konfliktgesprächs diente
diesmal keine Schlägerei, in der eine unbeteiligte Schülerin zu Schaden gekommen ist,
sondern Schüler, die auf dem Schulhof rauchten. In zwei der vier beobachteten Gesprächssituationen
beendeten die Teilnehmenden die Übung bereits nach weniger als 10
Minuten. Ein Beobachter zeigte sich dadurch etwas irritiert, weil "die zur Verfiigung
stehende Zeit nicht ganz genutzt wurde." Die Ko-Beobachterin sah die Übung jedoch
als erfüllt an, da der Sachverhalt mit einer abschließenden Vereinbarung geklä11 wurde.
Weitere berichtenswerte Besonderheiten im Ablauf der Übung gab es nicht. Bei einigen
Metabeobachtenden (alle: Moderator SLQ) lieferte die Bezeichnung "Konfliktgespräch"
Anlass zur Kribk. Die Differenzierung unterschiedlicher Gesprächsarten wurde zwar als
wichtig erachtet, da sie ggf. zur Zielfiihrung unterschiedlich zu gestalten sind. In diesem
ZusammenJlang wurde jedoch der Begriff "Kritikgespräch" präferiert.
Hier ist vielleicht anzumerken, dass ein Schulleiter in der Realsituation wohl
kaum zu einem "Konfliktgespräch" einladen \vürde. Vielmehr dürfte er aus gegebenem
Anlass zu einem "Gespräch" bitten. Ob daraus ein Konflikt entsteht, hängt stark vom
116

Eingeladenen ab und auch von der Erklärung, die der Eingeladene für sein "abweichendes
Verhalten" liefert.
12.5 Fallstudie und Interview
In den Interviews zur Fallstudie "Fremdsprachentag" erläuterten die Beobachtenden
eingangs die Funktion und den Ablauf des Interviews. Insgesamt orientierten
sich alle Beobachtenden nur grob am Leitfaden. Nur eines der vier metabeobachteten
Interviews dauerte 15 Minuten, in den anderen Durchläufen sahen die Beobachtenden
bereits nach zehn, zwölf bzw. 13 Minuten alle Voraussetzungen für die Beurteilung als
erfüllt an. In dem Interview, das die gesamten 15 Minuten dauerte, stellte nur ein Beobachter
die Fragen. Der andere konzentrierte sich dort auf die Protokollierung. Dass ein
Schulleiter die Organisation eines Fremdsprachentags alleine übernehmen sollte, erschien
einem Teilnehmer als unrealistisch. Ein Teilnehmer fokussierte sich bei allen
Antworten auf rechtliche Aspekte.
12.6 Schlussbelnerkung
Zum wiederholten Male konnte eine strikte Einhaltung des Beurteilungsablaufs
beobachtet werden. Es scheint keine Abweichungen mehr wie beim EFV /März zu geben.
Als positiv wird empfunden, dass die Beobachtenden zunehmend mehr Erfahrungen
sammeln, was sich in einer Professionalisierung ihrer Beobachtertätigkeit niederschlagen
dürfte.
13. Beobachtung des EFVs am 25./26.03.2010
13.1 Vorbelnerkung
Am 25. und 26. März wurde in Soest 23 ein weiteres EFV im Rahmen der externen
Evaluation zur Metabeobachtung besucht. An diesem Verfahren, für das sich die
Bezirksregierung Arnsberg verantwortlich zeichnete, nahmen 16 von 18 angemeldeten
Personen teil.
13.1.1 Räume und Rahmen
Der Tagungsort wurde bereits für mehrere Verfahren genutzt, sodass Hinweise
zu den Räumlichkeiten aus den vorangegangenen Protokollen entnommen werden können.
Erwähnt werden soll hier lediglich, dass sich die diesmal genutzten Übungsräume
in ihrer Größe auffallend unterschieden. Die orange und gelb markierten Räume boten
ausreichend Platz für die Durchführungen der Übungen, auch wenn mehrere Metabeob-
23 Außenstelle Soest des Ministeriums für Schule und Weiterbildung (Paradieser Weg 64,59494 Soest)
117

achterlinnen anwesend waren. Der grün gekennzeichnete Raum wurde ab zwei Metabeobachtenden
hingegen als zu klein empfunden.
Am ersten Tag des EFVs wurden Gruppendiskussionen, die Gesprächsübungen
(diesmal: Beratungsgespräche) und die Postkorbübungen durchgeführt, am zweiten Tag
dann die Interviews und Präsentationen. Emeute Änderungen der Tagesabläufe gab es
somit nicht. Von einem Mitarbeiter der Freien Universität Berlin wurden die in Tabelle
65 angegebenen Übungen metabeobachtet.
Tabelle 69: Die Aufgaben zum 25./26.03.2010 im Überblick Berlin wurden die
in Tabelle 65 angegebenen Übungen metabeobachtet.
Tabelle 70: Die Aufgaben zum 25./26.03.20]0 im Überblick
Aufgabe
InhalUThema
Gruppendiskussion
Fachkraft für Schulsozialarbeit
Beratungsgespräch
Motivierte Lehrkraft
Präsentation
Kulturelle Bildung
Postkorb + Interview
davon metabeobachtet
(Anzahl)
3
5
5
4
Die VorsteJ]ung von Beteiligten und Tagesablauf gestaltete sich wie in den bisherigen
Verfahren. Neben der üblichen Rückfrage nach dem Programmpunkt "Ablauf',
erkundigte sich erstmals ein Teilnehmer, ob ein Duden als Hilfsmittel zulässig sei. Seitens
SCHULMANAGEMENT NRW wurde hierzu keine Einwände erhoben, die Nutzung
von Unterlagen aus der Schulleiterquahfizierung wurde allerdings vorsorglich
untersagt. Als neu wurde eine Kurzeinweisung der anwesenden Metabeobachtenden
erlebt. Dabei wurde Personen mit einem farbigen Namensschild die Anwesenheit auch
während der Beurteilungsphasen gewährt, Personen mit Namensschild auf weißem Papier
hingegen sollten die Räume zusammen mit den Teilnehmenden verlassen. Alle Metabeobachtenden
hielten sich an diese Regelung. Ebenfalls neu, war ein Kurzbriefing
der Beobachtenden, in dem kleinere Änderungen der Übungsunterlagen (insb. Titel der
Aufgaben) bekannt gegeben wurden. Dies hatte den Hintergrund, dass das reguläre
Briefing nicht wie sonst eine Woche vor dem EFV stattgefunden hatte, sondem aufgrund
der Häufung an Verfahren im März, gebündelte Briefings in größerem zeitlichen
Abstand zu diesem Verfahren veranstaltet worden sind.
13.2 Gruppendiskussion
Alle Einzelgruppen begannen diese Übung entsprechend des vorgegebenen
Zeitplans. Mehr für Erheiterung als für Verwirrung sorgten variierende Angaben über
die Dauer der Übung auf den Unterlagen der Teilnehmer/-innen und Beobachter/-innen:
Bei allen Personen standen unterschiedliche Minutenangaben zur Übungsdauer auf den
Übungsbögen. Möglicherweise war hier eine Fehlverknüpfung der Seriendruckfunktion
bei Unterlagenerstellung die Ursache. Auf den Ablauf der Übungen und die Einhaltung
der regulären Durchführungszeiten hatte dies hingegen keine Auswirkungen.
118

Insgesamt konnten drei sehr diskussionsfreudige Durchführungen zum Thema
"Drogenprävention" beobachtet werden. Dabei war die Beteiligung einzelner Teilnehmer/innen
unterschiedlich ausgeprägt. Die Teilnehmer/-innen der zweiten und dritten
Gruppe beteiligten sich jeweils weitgehend gleichberechtigt mit vergleichbar hohen
Redeanteilen. In der ersten Gruppe gab es hingegen eher dominante und eher zurückhaltende
Beteiligte. Die erste Gruppe beendete die Übung zwei Minuten eher, die dritte
Diskussionsrunde wurde zum vorgegebenen Zeitpunkt durch die Beobachtenden abgebrochen.
Am Ende der jeweiligen Übungen vollzogen sich die Beurteilungsphasen diesmal
nicht vollständig nach dem vorgegebenen Raster. Nach der ersten Gruppendiskussion
setzten sich zwei Beobachtende unmittelbar zusammen und beendeten die Beurteilungsphase
deutlich bevor die anderen Beobachterpaarungen überhaupt mit der EinzeIbeurteilung
abgeschlossen hatten. Hier kann die Einhaltung des Beurteilungsrasters zumindest
angezweifelt werden. Nach der zweiten Gruppendiskussion diskutierten zwei
Beobachtende während der eigentlichen Einzelbeurteilungsphase sogar so angeregt,
dass sich eine andere Person gestört fühlte. Der Hinweis auf die Einhaltung des Rasters
durch diese Person, hatte dann zumindest ein Absenken der Lautstärke zur Folge. (In
späteren Übungen konnten - mit einer Ausnahme - keine Abweichungen vom Beurteilungsraster
mehr festgestellt werden, da die Beobachtenden noch einmal von Schulmanagement
NRW auf die Einhaltung hingewiesen worden sind.)
13.3 Beratungsgespräch
Unter dem Titel "Motivierte Lehrkraft" thematisiert diese Gesprächsübung den
merklichen Rückgang von Arbeitseinsatz und Zuverlässigkeit einer bislang hoch motivierten
und engagierten Lehrkraft 24 . Um die Unterschiedlichkeit der Durchführungen zu
dokumentieren, werden die fünf metabeobachteten Durchläufe hier im Einzelnen kurz
protokolliert.
Teilnehmer 1 stellte den Gesprächsablauf vor, lobte den Kollegen für das bisherige
Engagement und fragte nach der derzeitigen Perspektive. Mit dem Arbeitsauftrag,
sich bei Klippert Anregungen für die zukünftige Arbeit zu holen, vereinbarte der Teilnehmer
einen neuen Termin und fragte den Kollegen zum Abschluss nach dessen Eindruck
über das Gespräch. Die Beurteilung lief unter Einhaltung des Rasters ab. Nach
Abschluss der Beurteilung entbrannte eine kurze Diskussion zwischen Beobachtenden
und einer Person aus dem Kreis der Metabeobachter. Diese Diskussion führte nicht zu
einer Änderung der Beurteilung. Ergebnis: insg. 15 Punkte (7 für RK, 8 für KO).
Teilnehmer 2 leitete das Gespräch eher anklagend mit einem Hinweis auf das im
Szenarium genannte Terminversäumnis ein, blieb dabei aber weitgehend unkonkret. Er
fragte im Gespräch sehr stark nach den Vorstellungen des Kollegen, entwickelte selbst
aber kaum konkrete Perspektiven. Dafür betonte der Teilnehmer die Unverbindlichkeit
seiner Aussagen. Auch die konkreten Nachfragen des Rollenspielers änderte daran
nichts. In der auf die Einzelbeurteilung folgenden Beurteilungsdiskussion wurde dies
24 Um die Anonymität zu gewährleisten, wird in diesem Abschnitt nur von Teilnehmern, Beobachtern und
KollegenlRollenspielern gesprochen, ohne dem Genus eine Bedeutung zuzumessen.
119

ebenso angemerkt, wie das Problem, dass der Teilnehmer dem Kollegen eine Funktionsstelle
unter Umgehung von Ausschreibungsverfahren in Aussicht stellte. Ergebnis:
insg. 12 Punkte (jeweils 6 für RK und KO).
Teilnehmer 3 begann das Gespräch mit einer allgemeinen Frage zur Arbeitszufriedenheit
und emlunterte den RollenspieJer durch dezente Nachfragen und Kommentierung
der eigenen Beobachtungen die Details des Szenarios selbst auszusprechen.
Auch die Entwicklung von Perspektiven wurde in diesem Stil vorangetrieben, d.h. der
Rollenspieler wurde animiert, sich eigene Gedanken zu machen. Der Teilnehmer beendete
die Übung vor Ablauf der vorgegebenen Zeit, ohne einen verbindlichen Tennin für
weiteres Vorgehen zu vereinbaren. Das Beurteilungsschema wurde eingehalten, ein
Metabeobachter äußerte sich nach Abschluss der Beurteilung noch kurz zu Wort. Ergebnis:
] 3 Punkte (7 für RK, 6 für KO).
Teilnehmer 4 stieg mit einer Prob1embeschreibung in das Gespräch ein. Für seinen
Vorschlag zum Ablauf des weiteren Gesprächs holte er das Einverständnis des Kollegen
ein. Stärker als in den anderen Gesprächsübungen betonte der Rollenspieler seine
Unzufriedenheit mit der "Mädchen für Alles"-Rolle. Vorschläge des Teilnehmers, die
Situation zu entschärfen, wurden regelrecht abgeblockt. Der Teilnehmer zeigte sich jedocb
'vveiterhin sensibel für das Problem, stellte eine Stelle in Aussicht und regte FOl1-
bildungsmaßnahmen an. Mit dem Hinweis auf seine eigene Rolle und der damit verbundenen
Verantwortung sprach er auch die Sorge um die Gesundheit des Kollegen an.
Die Beobachter be endeten die Übung nach Ablauf der Zeit. Unter Einhaltung des Beurteilungsschemas
folgte eine sehr kontroverse Diskussion. Ergebnis: 11 Punkte (6 für
RK, 5 für KO).
Teilnehmer 5 fokussierte in erster Linie eine Umstlllkturielllng der personellen
Verantwortlichkeiten und die lmplementation einer Steuerglllppe. Der Rollenspieler
wurde veranlasst, über die Übernahme neuer und der Abgabe alter Aufgaben nachzudenken.
Dabei sollte eine Entlastung als primäres Ziel angestrebt werden. Dieser
Übungsdurchlauf wurde nach der Hälfte der Zeit durch den Teilnehmer abgeschlossen.
Dieser Umstand prägte die abschließende Beobachter-Diskussion. Einer der Beobachter
orientierte sich sehr stark an den Zusatzbeschreibungen der Verhaltensanker in den
Beurteilungsbögen. Da in der Kürze der Übung nicht jeder Punkt beobachtet werden
konnte, fiel ihm die Beurteilung schwer. Ergebnis: 10 Punkte (6 für RK, 4 für KO).
13.4 Präsentation
Die Präsentationsübung zum Thema "Kulturelle Bildung" wurde in diesem EFV
im Rahmen der extemen Evaluation insgesamt fünf Mal metabeobachtet. 1n nur einer
dieser Übungen ist der mit dem aus Sicht des Metabeobachters naheliegende Zusammenhang
zum Kulturjahr 2010 und der Kulturhauptstadt Ruhr hergestellt worden. Es
besteht natürlich die Möglichkeit, dass die anderen Teilnehmenden nicht aus der Ruhr­
Region, sondem einem anderen Teil NRWs gewesen sind und der Kulturhauptstadt­
Aspekt somit nicht als Anknüpfungspunkt rur die eigene Schule wahrgenommen vvurde.
120

In der ersten Durchführung wurden Musik, bildende Kunst sowie Theater, Film
und Tanz über Wettbewerbe, eine Projektwoche und Kooperationen mit anderen schulischen
und nicht-schulischen Partnern angeregt. In einer anderen Übung wurde der Zugang
zu Kultur, "den die Kinder zu Hause nicht haben" in den Vordergrund gesteHt.
Projekte einzelner Abteilungen (Stufen) wurden dort vorgestellt und deren Unverbundenheit
kritisiert. Perspektivisch versuchte der Teilnehmende hier eine Namensänderung
der Schule sowie die Initiierung eines Kulturtages darzustellen, wurde nach Ablauf
der vorgegebenen Zeit aber von den Beobachtenden abgebrochen. In zwei weiteren
Übungen wurden vielfaltige Ideen präsentiert, ohne einen Gesamtrahmen deutlich zu
machen. In dem einen Fall wurde versäumt, entsprechende Aufgaben zur Umsetzung
der genannten Ideen zu verteilen, die Übung aber nach zwölf Minuten durch den Teilnehmenden
beendet. In dem anderen Fall tat sich der Teilnehmer mit der hypothetischen
Initiierung einer Arbeitsgruppe ohne Kollegiumsdiskussion sichtlich schwer und ging
nur wenig und unsystematisch auf seine Schule ein. Probleme mit dem Einstieg in die
Übung äußerte ein weiterer Teilnehmer und sah sich erst nach einer persönlichen Erklärung
über die eigene Person und Schulsituation bereit, die für die Übung vorgesehene
Rolle zu übernehmen. Ohne auf eine große Vielfalt an konkreten Projektideen zu blicken,
entwarf der Teilnehmer dann aber ein sehr strukturiertes Konzept zum Thema
"Kulturelle Bildung" an seiner Schule. Dieses wurde von einem Beobachtenden (im
Anschluss an die Beurteilungsphase) als erfolgreichste Übungsdurchführung bezeichnet.
Das Beurteilungsschema wurde in vier der fünf Fälle konsequent eingehalten, in
einem Fall gab es an schon während der EinzelbeUJ1eilungsphase an ein-zwei Punkten
kurze Diskussionen zwischen den Beobachtenden.
13.5 Postkorb und Interview
In keinem der vier metabeobachteten Durchläufe schöpften die Beobachtenden
die eingeräumte Zeit von 15 Minuten aus. Die kürzeste Interviewdauer betrug fünf Minuten,
die längste zehn Minuten. Danach sahen die Beobachtenden die Voraussetzungen
zur Beurteilung der Postkorb-Übung als gegeben an. In den Interviews wurde sich - mit
mal mehr und mal weniger großen Abweichungen - an den vorgeschlagenen Leitfragen
orientiert. Vom Beurteilungsraster wurde nicht sichtbar abgewichen. Da allerdings ein
Teil der Beurteilungen schon aufgrund der schriftlichen Bearbeitungen erfolgen konnte,
diente das Interview nur noch punktuell zur Bewertung der Leistung. In einem Fall erfolgte
zum Abschluss der Beurteilung keine Beobachterdiskussion mehr - hier waren
sich die Beurteilenden schon aus der schriftlichen Bearbeitung über die hohe Kompetenz
des Teilnehmers einig. Interessanterweise widersprach die in dieser Übung erfragte
Selbsteinschätzung des Teilnehmers dem positiven Urteil vollständig: Auf die eingangs
im Interview gestellte Frage, "wie sich der Teilnehmer denn bei dieser Aufgabe gefühlt
habe", kam zur Antwort: "nicht gut; schwächste Aufgabe, zu wenig Zeit, alles nur
flüchtig gelesen".
Als problematisch wurde von einem Teilnehmer der "veraltete Brief zum Thema
HIN I-Impfung" eingeschätzt (vgl. Mitteilung 21). Er versuchte auf Nachfrage damit
"Rückschlüsse auf eine mögliche Überlastung des Sekretariats" zu ziehen, die Inaktuali-
121

tät der mehr als drei Monate alten Meldung hatte ihn jedoch veranlasst, den eigentlichen
Sachverhalt zu ignorieren. Angesprochen werden soll hier noch die Reihenfolge der zu
bearbeitenden Mitteilungen: Nach Mitteilung 2 (tenniniert für 8:30 Uhr) und Mitteilung
5 (10:00 Uhr) folgten Mitteilung 7 (8: 15 Uhr), Mitteilung lO (9:00 Uhr), Mitteilung 20
(8:10 Uhr) und Mitteilung 23 (8:25 Uhr).
13.6 Schlussbelnerkung
Insgesamt verlief dieses Verfahren entsprechend der festgelegten Vorgaben. In
einzelnen Fällen wurde deutlich, dass eine gestützte Anwendung des Bem1eilungsschemas
die regelgemäße Durchführung des EFV stärkt. Zu den Stützen zählen die laufende
Erinnerung der Beobachtenden an die Einhaltung des Beurteilungsschemas ebenso, wie
die sorgsame Erstellung der Arbeitsmaterialien.
122

14. Literatur
Campbell, Donald T./Fiske, Donald W. (1959): Convergent and Discriminant Validation
by the Multitrait-Multimethod Matrix. In: Psychologica] Bulletin, 56 (2), pp.
81-105.
Eberhardt, Bernadette/Schmidt, Klaus-Dieter (2008): Schulleitungshandeln. Eignungsfeststellungsverfahren
als Voraussetzung für eine Bewerbung als Schu11eiterin oder
Schulleiter. In: Schule NRW (12/08), S. 595-597.
GaugIer, BarbaraiThornton, George C. (1989): Number of Assessment Center Dimensions
as a Determinant of Assessor Accurancy. In: Journa] of Applied Psychology,
74 (4), pp. 611-6]8.
Gibitz, RolandiRoedinger, Heiner (Hrsg.) (2005): Praxishandbuch Führungskräfteentwicklung
in der Schule. Instrumente der Persona]entwicklung. München u.a.: Luchterhand
u.a.
Höft, Stefan (2007): Die Assessment Center-Bewertung als Ergebnis vieler Faktoren:
Differenzierung von Einflussquellen auf Assessment Center-Beurteilungen mithilfe
der Generalisierbarkeitstheorie. In: Schu]er, Heinz (Hrsg.): Assessment Center zur
Potenzialanalyse. Göttingen: Hogrefe. S. 274-293.
Klein, Helmut E. (2008): Was Schu11eiter als Führungskräfte brauchen. Köln: Bundesarbei
ts gemeinschaft SchuleWirtschaft.
Kleinmann, Martin (1991): Reaktivität von Assessment Centem. In: Schuler,
Heinz/Funke, Uwe (Hrsg.): Eignungsdiagnostik in Forschung und Praxis. Stuttgart:
Verlag für Angewandte Psychologie. S. 159-162.
Kleinmann, Martin (1997): Assessment-Center. Stand der Forschung - Konsequenzen
für die Praxis. Göttingen: Verlag für Angewandte Psychologie.
MSW NRW (2008a): RdErl. v. 25.1 1.2008. Bewerbung von Lehrerinnen und Lehrern
um ein Amt als Schulleiterin oder als Schu11eiter; Eignungsfeststellungsverfahren
und dienstliche Beurteilung.
MSW NRW (2008b): RdEr1. v. 25.1l.2008. Fort- und Weiterbildung; Qualifikationserweiterung
für Lehrkräfte, die ein Amt als Schul1eiterin oder Schulleiter anstreben.
Neubauer, Rainer (1980): Die Assessment-Center-Technik. In: Neubauer, Rainer/von
Rosenstie1, Lutz (Hrsg.): Handbuch der Angewandten Psychologie, Band 1: Arbeit
und Organisation. München: Modeme Industrie. S. 122-158.
Obermann, Christof (2009): Assessment Center. Entwicklung, Durchführung, Trends.
Wiesbaden: Gabler.
Reilly, Richard R./Henry, Sarah/Smither, James W. (1990): An Examination of the Effects
of Using Behavior Checklists on the Construct Validity of Assessment Center
Dimensions. In: Personnel Psychology, 43 (1), pp. 71-84.
Rothland, Martin (Hrsg.) (2007): Belastung und Beanspruchung im Lehrerberuf. Modelle,
Befunde, Interventionen. Wiesbaden: VS - Verlag für Sozialwissenschaften.
Sackett, Paul R./Dreher, George F. (1982): Constructs and assessment center dimensions:
Some troubling empirical findings. In: Joumal of Applied Psychology, 67 (4),
pp. 401-410.
Schuler, Heinz/Höft, Stefan (2007): Diagnose beruflicher Eignung und Leistung. In:
Schuler, Heinz (Hrsg.): Lehrbuch Organisationspsychologie. Bem: Hans Huber. S.
289-343.
123

Silvennan, William H./Dalessio, Anthony/Woods, Steven B./Johnson, Rudolph L. Jr.
(1986): lnfluence of Assessment Center Methods on Assessors' Ratings. In: Personnel
Psychology, 39 (3), pp. 565-578.
Tiede, ManfredIVoß, Wemer (2000): Schließen mit Statistik - Verstehen. München:
Oldenbourg.
Woehr, David J./Arthur, Winfred Jr./Meriac, John Patrick (2007): Methodenfaktoren
statt Fehlervarianz: eine Metaanalyse der Assessment Center-Konstruktvalidität. In:
Schuler, Heinz (Hrsg.): Assessment Center zur Potenzialanalyse. Göttingen: Hogrefe.
S. 81-108.
124