2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Weitere Magazine

Empfehlungen

Info

Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke) Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013) Kennzahlen sind nicht mit den Messzahlen (Skalierungen) gleichzusetzen, sondern erfordern eine statistische Bearbeitung der Rohdaten. Möglicherweise braucht es mehrere Einzelwerte, um die Zuverlässigkeit (Reliabilität) von Messwerten zu erhöhen. Kennzahlen können berechnet werden mittels Aggregierung mehrerer Einzelbeobachtungen oder Einzelurteile. Manchmal werden auch verschiedene Messwerte in Beziehung gesetzt. 12
Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke) Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013) 3 Messung von Wirkung und Wirksamkeit – am Beispiel der WIMES-Methode 3.1 Unterschiedliche Evaluationsverfahren Wirkung und Wirksamkeit können auf unterschiedliche Weise definiert, gemessen und statistisch aufbereitet werden. Bei der Auswahl eines Verfahrens muss man entscheiden, wer die Messung vornimmt, wann Daten erhoben werden, wie viele Informationen man braucht und wie man zu einem Beurteilungsmaßstab kommt. Beurteiler: Einig ist man sich darin, dass die Wirkung in irgendeiner Weise die Zielerreichung der Hilfe abbilden muss. Es gibt Wissenschaftler, die einen radikal kundenorientierten Standpunkt einnehmen und von jeglicher fachlicher Einschätzung absehen wollen, sondern nur die Klienten danach fragen wollen, ob sie einen Nutzwert durch die Hilfe erfahren haben (Oelerich, 2005). Davon unterscheidet sich die Wirkungseinschätzung auf fachlicher Sicht. Diese wiederum kann von Akteuren im zu evaluierenden Jugendhilfesystem selber vorgenommen werden (Selbstevaluation) oder von externen Experten (externe Evaluation) Wir sind zwar durchaus der Meinung, dass die Klienten bei der Bewertung der Ergebnisse eine maßgebliche Stimme haben sollen, glauben aber, dass die Messgenauigkeit bei einer ausschließlichen Nutzerbefragung gering sein wird. Erstens gibt es immer das Problem des mangelnden Rücklaufes, insbesondere von den Klienten, bei denen Dinge nicht so erfolgreich gelaufen sind. Zweitens kann es durchaus sein, dass Klienten in einem erfolgreichen Verlauf überhaupt erst erkannt haben, wie desolat ihre Situation ist, so dass der Erfolg der Hilfe sich in einer deutlich schlechteren Einschätzung der Lebenssituation und der Entwicklung der Kinder widerspiegelt, als dieses am Anfang der Fall war. Eine andere Fehlerquelle ist die, dass im Verlauf einer Veränderung sehr schnell Gewöhnungseffekte eintreten. Dieses Ergebnis gibt es in der Glücksforschung, die bei einem glücklichen Lebensereignis immer nur kurzfristig einen Zuwachs an Lebensqualität und Zufriedenheit feststellt. Danach pendelt sich das System wieder auf den alten Mittelwert ein. Wir befürchten also, dass eine ausschließliche Nutzerbefragung zu sehr schlecht interpretierbaren Kennzahlen führen. Als Ergänzung zu einer fachlichen Einschätzung möchten wir diese dennoch empfehlen. Für Fremdevaluationen spricht einiges. Wissenschaftliche externe Bewertungen verfolgen in der Regel, was die Ergebnisse angeht, kein Eigeninteresse. Insofern ist mit einer hohen Objektivität zu rechnen, wenngleich auch bei externen Beurteilern immer subjektive Verzerrungen auftreten können. Mittels gut ausgearbeiteter Instrumente und einer guten Schulung von Beobachtern und Interviewern können diese minimiert werden. Externe Evaluationen haben aber auch Nachteile. Der Aufwand ist in der Regel sehr hoch und mit hohen Kosten verbunden. Das Hauptproblem liegt aber in der Akzeptanz der Ergebnisse seitens der Akteure des Jugendhilfesystems und die Übertragbarkeit in die Praxis. Ob aus interner Sicht die Dinge richtig erfasst und beurteilt worden sind, wird oft bezweifelt. Letztlich führt das untersuchte System immer eine interne Plausibilitätskontrolle anhand einer informellen Selbstevaluation durch. Eine weitere Schwierigkeit liegt darin, dass eine externe Evaluation einen direkten Zugang zu den Klienten braucht, der nicht in jedem Fall herzustellen ist und sich eventuell auch als störend und die Hilfe beeinflussend auswirken kann. Explorationen, Interviews, Akteneinsicht, teilnehmende Beobachtungen setzen das Vertrauen der Klienten voraus und einen einfühlsamen Umgang mit ihnen. Das ist alles zu lösen, bedeutet aber einen hohen Aufwand und ist nicht frei von Fehlerquellen. Auch Selbstevaluationen unterliegen Beurteilungsfehlern. Subjektive Verzerrungen und „blinde Flecken“ beeinflussen die Datenerhebung. Selbstevaluation hat allerdings den Vorteil, dass die Akteure den Daten vertrauen und sie unmittelbar verstehen, was sie bedeuten. Dieses erleichtert den Transfer von Erkenntnissen in die Praxis. Fehlermindernd ist der Einsatz eines standardisierten praxisnahen Messinstrumentes. Unterschiedliche Maßstäbe oder Schwerpunktsetzungen werden homogenisiert, was die Verlässlichkeit und statistische Auswertbarkeit erhöht. Es darf nicht unterschätzt werden, dass auch Selbstevaluation Zeit und Aufwand mit sich bringt. Da die Fachleute aber ohnehin Informationen von Klienten erheben, bedarf es keiner zusätzlichen Zeit für die Informationsgewinnung, sondern lediglich eines gewissen Aufwandes für die Aufbereitung der Informationen und deren Dokumentation. Selbstevaluationen können gegen allzu große Fehlereinflüsse geschützt werden durch eine externe wissenschaftliche Begleitung. Diese kann geeignete erprobte Messverfahren entwickeln oder zur Verfügung stellen, die Qualität der Daten überwachen und statistische Berechnungen durchführen. 13
Seite 1 und 2: Bestimmung steuerungsrelevanter Wir
Seite 11: Bestimmung steuerungsrelevanter Wir
Seite 63 und 64:
Bestimmung steuerungsrelevanter Wir
Seite 65 und 66:
Seite 67 und 68:
Seite 69 und 70:
Seite 71 und 72:
Seite 73 und 74:
Seite 75 und 76:
Seite 77 und 78:
Seite 79 und 80:
Seite 81 und 82:
Seite 83 und 84:
Seite 85 und 86:
Seite 87 und 88:
Seite 89 und 90:
Seite 91 und 92:
Seite 93 und 94:
Seite 95 und 96:
Seite 97 und 98:
Seite 99:
Alle anzeigen

2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?