Kursbuch Wirkung - Das Praxishandbuch für alle, die Gutes noch besser tun wollen

Projektbeispiel PAFF
Bei PAFF ist es die
Aufgabe der Patengruppenbetreuer,
in regelmäßigen
Abständen die
Monitoringdaten
zusammenzutragen, um
sie dann an die Projektleitung
weiterzuleiten.
Um die Qualität der
ge sammelten Daten
sicherzustellen, werden
die Patengruppenbetreuer
gerade zu Beginn bei
dieser Aufgabe von der
Projektleitung unterstützt.
Die Projektleitung
überprüft die Daten bei
der Zusammenführung
und Auswertung auf ihre
Plausibilität und fragt bei
Unklarheiten bei den
Patengruppenbetreuern
nach. Die Diskussionen im
Leitungsteam dienen als
weiterer Qualitätscheck.
Resultate in einen Kontext zu setzen und
vor diesem Hintergrund festzustellen, ob
das Projekt auf dem geplanten Weg ist.
Im Sinne der wirkungsorientierten Steuerung
ist die Analyse der Daten daher ein
sehr wichtiger Schritt, der die Grundlage
für Lernen und Verbessern schafft.
Vergleiche ziehen: wichtig, aber
bitte mit Bedacht!
Vergleiche sind ein zentraler Bestandteil
der Datenanalyse: Sie bilden die Grundlage
für die Einschätzung der Ergebnisse.
Der Gedanke, die eigene Arbeit mit der
von anderen Projekten zu vergleichen, löst
jedoch bei nicht wenigen Menschen im
gemeinnützigen Sektor Unbehagen aus.
Dafür gibt es verschiedene Gründe. Zum
einen nehmen viele Projekte ihre Arbeit
als so „einmalig“ wahr, dass sie diese für
mit nichts vergleichbar halten. Zum anderen
gibt es – zum Teil nicht zu Unrecht
– die Befürchtung, dass Geldgeber ihre
Finanzierungsentscheidung auf Grundlage
der Ergebnisse der Vergleiche treffen.
In der Tat sind rein quantitative Vergleiche
ohne eine Interpretation der Zahlen keine
gute Entscheidungsgrundlage. So können
beispielsweise die Übergangszahlen von
Schülern in eine Ausbildung in strukturschwachen
Regionen nicht sinnvoll mit der
Übergangsquote in Regionen mit einem
hohen Lehrstellenangebot verglichen werden,
ohne dabei die Arbeitsmarktsituation
mitzuberücksichtigen. Eine Erfolgsmessung
ausschließlich an „harten“ Zahlen
wie der Übergangsquote in Ausbildung
kann auch dazu führen, dass Projekte,
deren Förderung von dieser Kennzahl abhängt,
dazu tendieren, mit Jugendlichen
zu arbeiten, bei denen von Anfang an ein
erfolgreicher Abschluss der Maßnahme
wahrscheinlich ist. Dieses sogenannte
„Creaming“ (auf Deutsch in etwa: „die
Sahne abschöpfen“) führt dazu, dass die
„schwereren Fälle“ gar nicht erst in die
Projekte aufgenommen werden und ihnen
keine Chance gegeben wird. Wenn Vergleiche
gezogen werden, sollte dies also
mit Bedacht geschehen, und die Ergebnisse
sollten im Rahmen des jeweiligen
Kontexts interpretiert werden. Denn trotz
der Herausforderungen: Vergleiche bilden
die zentrale Grundlage für Lernen und
Verbessern ( → Kap. 8). Ohne Vergleiche
ist es kaum möglich, festzustellen, wie
gut das Projekt wirklich ist und wie es
sich entwickelt. Vergleiche bieten eine
Grundlage für Diskussion, (gemeinsames)
Lernen und Entscheiden.
Arten von Vergleichen
Sinnvolle Vergleiche werden vor dem
Hintergrund eines bestimmten Erkenntnisinteresses
gezogen. Auf der Basis der
im Rahmen der Wirkungsanalyse erhobenen
Daten können verschiedene Arten
von Vergleichen gezogen werden. Die
meisten Arten werden dabei innerhalb
eines Projekts gezogen, einige Arten von
Vergleichen setzen die Resultate aus dem
Projekt mit Daten aus anderen Projekten
ins Verhältnis. Welche Art von Vergleichen
man für die Analyse des eigenen Projekts
nutzt, hängt von der jeweiligen Fragestellung
ab.
Im Folgenden werden verschiedene Arten
von Vergleichen dargestellt, und es wird
90 © PHINEO gAG 2013, www.phineo.org – Kursbuch Wirkung