Zwischenbericht 2010 zur Evaluation der ... - Bildungsketten

Drucksache 17/3890 – 12 – Deutscher Bundestag – 17. Wahlperiode
weise durch Umzüge oder andere Gründe zu erklären
sind. Bis zum 1. Mai 2010 wurden 3.595 Teilnahmen
beendet, so dass der Bestand zu diesem Zeitpunkt
22.559 Personen umfasst.
Beim Vergleich der bereinigten ITM-Daten mit der BA-
Statistik fallen hinsichtlich der Eintritte und Teilnehmerzahlen
deutliche Unterschiede auf. So erfasst die BA-Statistik
für den April 2010 20.656 Teilnehmer, also etwa
2.000 Teilnehmer weniger als die bereinigten ITM-Daten.
Die Anzahl der Zutritte seit Programmbeginn liegt bei
29.797. Daraus ergibt sich, dass nach den BA-Daten
9.141 Jugendliche das Programm bereits wieder verlassen
haben.
Derzeit ergeben allerdings nur die ITM-Daten ein zutreffendes
Bild über den Teilnehmerbestand und die Zu- und
Abgänge, da zum gegenwärtigen Zeitpunkt die BA-Statistik
die Teilnehmer an der Berufseinstiegsbegleitung
systematisch untererfasst. Ursache hierfür sind „künstliche“
Statuswechsel im operativen Verfahren coSachNT,
die erforderlich sind, um den elektronischen Datenaustausch
zwischen der Agentur und dem Bildungsträger zu
ermöglichen. Um bereits bewilligte Teilnehmer der Berufseinstiegsbegleitung
bei der elektronischen Maßnahmeabwicklung
(kurz: eM@w) anzumelden, sind die
Anwender gezwungen, den Status des Teilnehmers von
„bewilligt“ auf „angemeldet“ zurückzusetzen. In der Statistik
werden diese Umsetzungen als Abgänge registriert.
Aufgrund der Zähllogik der BA-Statistik kann diese Statusänderung
nicht wieder rückgängig gemacht werden, so
dass die betreffenden Teilnehmer für die BA-Statistik
dauerhaft als Abgänge erfasst werden.
Mittlerweile ist ein Zurücksetzen des Status bei der Anmeldung
im System eM@w nicht mehr erforderlich. Außerdem
wird derzeit eine Umstellung der Statussteuerung
in coSachNT vorbereitet, so dass künftig ein Wechsel des
Status von „bewilligt“ auf „angemeldet“ nicht mehr möglich
ist. In dem Maße, wie derzeit nicht erfasste Teilnehmer
an der Berufseinstiegsbegleitung tatsächlich aus der
Förderung austreten, wird der Grad der Untererfassung
dadurch künftig abnehmen. Eine nachträgliche Korrektur
für das Problem der Untererfassung, das nur bei der Berufseinstiegsbegleitung
und nicht bei anderen Maßnahmen
vorkommt, ist für die derzeit nicht erfassten Fälle allerdings
nicht vorgesehen.
3.4 Stichprobendesign für die Befragungen
Ein wichtiger Schritt bei der Durchführung der standardisierten
Befragungen besteht in der Auswahl der Schulen,
an denen die Evaluation durchgeführt wird. Das Konzept
der Evaluation sieht vor, dass an denjenigen Schulen, an
denen die Schülerbefragung durchgeführt wird, auch
Schulleitung und Lehrkräfte standardisiert befragt werden,
damit die erhobenen Informationen in der Prozessund
Wirkungsanalyse verknüpft werden können. Das
gleiche gilt für die Berufseinstiegsbegleiterinnen und -begleiter
beziehungsweise die Träger der Berufseinstiegsbegleitung.
Ebenso sollen in der Elternbefragung ausschließlich
Interviews mit Eltern befragter Schülerinnen
und Schüler durchgeführt werden.
Nach einem Zufallsverfahren wurde eine Stichprobe der
Teilnehmerschulen gezogen, so dass die statistische Inferenz
auf die Schülerinnen und Schüler aller Teilnehmerschulen
möglich ist. Ziel war es, 2.400 Schülerinnen und
Schüler zu befragen. Dafür sollten ursprünglich aus der
Grundgesamtheit der 913 Schulen 18 an 148 Schulen
Schülerbefragungen durchgeführt werden. Als Schichtungskriterien
wurden Bundesland und Schulart gewählt,
wobei bei der Schulart lediglich zwischen Förderschulen
und allgemeinbildenden Schulen, die zu einem Hauptschulabschluss
führen, 19 unterschieden wird. Unter den
Förderschulen werden nur solche berücksichtigt, die sich
an Jugendliche mit Lernbehinderungen richten, und nicht
solche für Jugendliche mit spezifischen Behinderungen.
Der Ansatz für die später durchzuführenden Wirkungsanalysen
ist ein Kontrollgruppendesign, in dem die Kontrollgruppe
Jugendliche umfasst, die deshalb nicht an der
Berufseinstiegsbegleitung teilnehmen, weil ihre Schule
nicht in die Berufseinstiegsbegleitung einbezogen wurde.
Diese den Teilnehmerschulen jeweils zugeordneten Kontrollschulen
sollten aus demselben regionalen Umfeld
kommen wie die Teilnehmerschulen. Diese Erfordernis
setzt ein zentrales Ergebnis der Evaluationsökonometrie
um: Zur Vermeidung von Verzerrungen sollten Teilnehmer-
und Kontrollpersonen aus demselben regionalen
Umfeld kommen, weil sie so zum Beispiel ähnliche Bedingungen
auf dem Arbeitsmarkt vorfinden (Heckman et al.
1997, 1998a, 1998b; Smith/Todd 2005).
Da aus forschungspraktischen Gründen jeweils zwei teilnehmenden
Schulen nur eine Kontrollschule zugeordnet
werden kann, müssen nicht nur einzelne Schulen sondern
immer Paare von teilnehmenden Schulen gezogen werden.
Um eine proportionale Auswahl nach den gewünschten
Kriterien zu treffen wurde folgendes Vorgehen, jeweils
für die Gruppe der Haupt- und der Förderschulen
getrennt, gewählt. Da mit der Möglichkeit der Antwortverweigerung
der Schulen gerechnet werden muss, wurden
nicht nur zwei teilnehmende Schulen gezogen, sondern
es wurden Cluster von mindestens vier bis maximal
sieben Schulen 20 gebildet, um ausreichend Nachrückerkandidaten
zu bekommen. Die größeren Cluster ermöglichen
zudem eine einfache Ausdehnung der Stichprobe,
indem alle Schulen der gezogenen Cluster in die Befragung
aufgenommen wurden. Dies war nötig, um höhere
Fallzahlen zu erreichen, da die geplanten Fallzahlen mit
den ausgewählten Schulen aus unterschiedlichen Gründen
nicht erreicht werden konnten.
18 Aus dem ursprünglichen Gesamtbestand der 1.000 an der Berufseinstiegsbegleitung
teilnehmenden Schulen sind bis zur Stichprobenauswahl
zwölf ausgeschieden. Zudem wurden sämtliche 65 Schulen aus
Sachsen nicht berücksichtigt. Die Gründe dafür können im Exkurs in
Kapitel 4.1.2 nachgelesen werden
19 Dies umfasst auch Gesamtschulen, regionale Schulen, kombinierte
Haupt- und Realschulen, Sekundarstufe I (SEK I) und so weiter. Im
Folgenden wird vereinfachend von „Hauptschule“ gesprochen.
20 Ab acht Schulen können zwei Cluster gebildet werden.