2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke)
Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013)
Die Erhebungszeitpunkte
Bei der retrospektiven Evaluation werden die Werte am Schluss der Hilfe rückblickend erhoben. Der Beurteiler
muss sich daran erinnern, was das Problem und das vereinbarte Ziel war. Außerdem muss er sich an die
Maßstäbe der Problembewertung erinnern, die er am Anfang angewendet hat. Retrospektive Einschätzungen
sind äußerst fehleranfällig, weil Gewöhnungseffekte und nachträgliche Verklärungen oder Dramatisierungen
die Urteile stark beeinflussen. Nach unseren Erfahrungen wirken sich bei der Urteilsbildung oft die letzten
Ereignisse auf das Letzturteil aus. Wenn Familienhilfe beispielsweise in einer Krise endet oder in den letzten
Wochen eine Verschlechterung eingetreten ist, gerät häufig der anfängliche Erfolg völlig aus dem Blick. Zum
anderen ist nicht immer sichergestellt, dass bei einer rückblickendenden Bewertung die anfänglichen Ziele
noch genau erinnert werden. Es würde natürlich helfen, wenn die Ziele am Anfang genau operationalisiert
wurden und am Ende retrospektiv mit dem Wissen dieser anfänglichen Beauftragung eine Bewertung vorgenommen
wird. In der Praxis können wir aber nicht davon ausgehen, dass am Schluss die anfänglichen Ziele
immer noch aktuell sind, und wir können auch nicht davon ausgehen, dass die Zielvereinbarungen am Beginn
so genau getroffen worden sind, dass sie am Ende einer Hilfe noch Bestand haben.
Prospektive Evaluationen vermeiden die meisten Fehler der retrospektiven Wirkungseinschätzung. Die Daten
werden zu Beginn, im Verlauf und am Ende der zu beurteilenden Intervention erhoben. Durch die zeitnahe
Dokumentation vermeidet man Erinnerungsverzerrungen. Die Erhebung im Verlauf der Hilfen setzt aber voraus,
dass die Maßstäbe über die Zeit stabil sind. Sollten diese sich mit der Zeit verschieben, weiß man am
Schluss nicht, ob Veränderungen tatsächlich die Wirkungen von Interventionen widerspiegeln oder auf Verschiebungen
der Maßstäbe. Prospektive Evaluationen sind wissenschaftlich zu empfehlen, haben aber den
Nachteil einer langen Datenerhebungsphase.
Einen guten Kompromiss bieten quasi-experimentelle Querschnittuntersuchungen. Wie bei der prospektiven
Evaluation werden mindestens zwei Zeitpunkte dokumentiert, hier der Hilfebeginn und das Hilfeende. Es bedarf
auch hier eines einheitlichen Beurteilungsmaßstabes. Es ist aber nicht nötig, jede Hilfe vom Anfang bis
zum Ende zu verfolgen, indem man zwei Vergleichsgruppen bildet, in unserem Fall die Stichprobe der begonnenen
in einem Zeitraum im Vergleich zu den beendeten Hilfen des Zeitraumes. Dieses Verfahren ist zeitökonomischer
und eröffnet bei längerer Dauer die Möglichkeiten einer echten prospektiven Längsschnittuntersuchung.
Die Stichprobe der beendeten Hilfen kann außerdem noch retrospektiv evaluiert werden.
Der Detaillierungsgrad:
Die Ziele der Intervention können sehr differenziert erfasst werden oder es wird ein eher generalisierter Blick
auf die Ziele und deren Erreichung geworfen. Ein Beispiel für eine stark differenzierte Ziel-
Wirkungsevaluation bei Erziehungshilfen ist die Dokumentation von smarten Handlungszielen. Diese können
kaum kategorisiert werden, weil es eine nicht begrenzte Anzahl smarter Zielvereinbarungen geben kann. Der
Nachteil stark differenzierter Ziele liegt darin, dass der Dokumentationsaufwand sehr hoch ist und die Menge
der zusammengetragenen Information schwerlich eine allgemein gültige Aussage erlaubt.
Die allgemeinste Form einer sehr wenig differenzierten Zielerreichung ist eine Ja-Nein Frage: Hat die Intervention
gewirkt? Mit einer solchen allgemeinen Einschätzung kann Praxis in der Regel wenig anfangen. Abgesehen
davon, dass auch von Interesse ist, worin denn die Wirkung besteht, sollte man berücksichtigen, dass
Ziele in abgestuften Graden erreicht werden.
Dazwischen liegt ein ganzes Spektrum von Detaillierungsgraden, auf dem man je nach Fragestellung und möglichem
Aufwand die geeignete Form finden muss. Je differenzierter, desto höher der Aufwand und die zu
verarbeitende Informationsmenge. Je weniger differenziert, desto geringer der Erkenntnisgewinn.
Das Problem der Vergleichsgruppe.
Die Überprüfung von Wirksamkeit einer Intervention setzt voraus, dass man eine Vergleichsgruppe definiert,
bei der die Intervention nicht angewandt wurde (Schmidt, 2010). Dieser sogenannte „Goldstandard“ der Wirkungsevaluation
kann allerdings in der Jugendhilfe in der Regel nicht angewandt werden, weil es aus ethischen
und praktischen Gründen wahrscheinlich nicht gelingen wird, eine Gruppe zu bilden und im Verlauf der
nächsten Jahre nachzuverfolgen, bei der ein entsprechender Bedarf existiert und keine Hilfe gewährt wurde.
Falls eine solche Vergleichsstichprobe gefunden werden kann, stellt sich immer noch die Frage, ob es sich
14