2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke)
Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013)
teure in den Bezirken ihre Ergebnisse in Relation zu Berlin (natürlich nur in dem Ausschnitt der 5 Bezirke)
einordnen und bewerten können.
1.3 Projektablauf
Der erste Durchlauf für eine Wirkungsevaluation wurde auf den Zeitraum vom 1.7.2010 bis zum 31.12.2011
festgelegt. Da die Sommerferien in die Anlaufphase fielen, stand dem Projekt in der ersten Phase de facto
nur der Zeitraum vom 1.9.2010 bis Ende 2011 zur Verfügung.
Üblicherweise braucht es eine Vorbereitungszeit von mindestens einem halben Jahr, bevor alle organisatorischen
und technisch-materiellen Voraussetzungen geschaffen sind und bevor die Mitarbeiter, die später die
Dokumentationsaufgaben haben, auf das Projekt eingestimmt sind und die nötigen Informationen und Hilfsmittel
haben. Außerdem braucht es dann noch etwa 3-6 Monate, bis sich Routinen einspielen und die Dokumentation
„rund läuft“. Danach braucht es ein Jahr Dokumentation, um eine ausreichend große und differenzierte
Stichprobe zu bekommen für eine hinreichend zuverlässige Querschnittuntersuchung 1 . Es muss beachtet
werden, dass für einen relativ kurzen Zeitraum von weniger als einem Jahr eine Längsschnittuntersuchung
nicht möglich ist. Für eine prospektive Längsschnittevaluation bedarf es einer ausreichend umfangreichen
Stichprobe, bei der in jedem Einzelfall Evaluationsdaten vom Hilfebeginn und vom Hilfeende vorliegen.
Wählt man einen zu kurzen Erhebungszeitraum, kommt es einem systematischen Fehler, weil nur Hilfen mit
kürzeren Laufzeiten untersucht werden
Um auch länger laufende Hilfen für eine Längsschnittuntersuchung zu erfassen und weil die Stichprobenumfänge
und die Datenqualität am Ende der ersten Projektphase noch nicht befriedigend waren, wurde eine
zweite Projektphase vom 1.1.2012 bis 31.12.2013 beschlossen. In dieser zweiten Phase sollten weiterhin alle
Neufälle und beendeten Fälle mit dem Evaluationsverfahren untersucht und dokumentiert werden. Darüber
hinaus sollte mit einigen Leistungserbringern eine gemeinsame kooperative Wirkungsevaluation erprobt werden
und die Implementierung wirkungsorientierter Steuerung in das Hilfeplanverfahren vorbereitet werden.
Die zweite Projektphase (2012/2013) wurde dadurch modifiziert, dass aufgrund von Datenschutzauflagen des
Unabhängigen Berliner Datenschützers umfängliche technische und organisatorische Änderungen bei der Datenerfassung
vorgenommen werden mussten, die zum 31.10.2012 erfolgreich abgeschlossen werden konnten.
Am 17.1.2013 beschlossen die Senatsverwaltung und die Projektbezirke aufgrund der entstandenen Zeitverzögerung
und erheblicher personeller Engpässe in den bezirklichen Jugendämtern, die Datenerfassung zum
30.5.2013 mit der Konsolidierung der Daten zum Stichtag 31.12.2012 zu beenden und den Projektschwerpunkt
auf vertiefte Auswertungen und Analysen zu verlagern
Die Verbesserung der Datenqualität und die Vergrößerung des Stichprobenumfangs für eine Querschnittuntersuchung
wurden erreicht und bilden die Basis der Ergebnisse, die in dem vorliegenden Bericht dargestellt
werden. Außerdem wurden die Schnittstellen zwischen Wirkungsevaluation und dem Berliner Hilfeplanverfahren,
den Berliner Qualitätsentwicklungsdialogen und der Sozialraumorientierung diskutiert und abgeglichen.
Nicht erreicht wurden die Basis für eine Längsschnittanalyse, die den Datenzeitraum von drei Jahren erfordert
hätte und der systematische Einbezug von Leistungserbringern in einer Phase systematischer kooperativer
Datenerfassung.
1 Die Unterscheidung zwischen einer Querschnittuntersuchung und einer Längsschnittuntersuchung wir im Methodenteil
ausführlich erklärt. Der wesentliche Unterschied liegt darin, dass bei einem Querschnittdesign die
Daten zweier unterschiedlicher Gruppen verglichen werden, nämlich diejenigen, die in einem bestimmten
Zeitraum mit einer Hilfe starten, mit denjenigen, die in dem Zeitraum die Hilfe beenden. Bei einer Längsschnittuntersuchung
werden Hilfen von Anfang bis zum Ende dokumentiert und in ihrem Verlauf bewertet.
Die Dokumentation für Längsschnittuntersuchungen dauert bei Hilfen zur Erziehung mindestens drei Jahre.
6