2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Weitere Magazine

Empfehlungen

Info

Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke) Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013) Da bei der explorativen Statistik die Signifikanz immer wieder eine Rolle spielt, hier dazu eine kurz Erklärung: Bei der Evaluation, wie bei jeder anderen Forschung, interessieren Erkenntnisse, die eine gute Prognose für die Zukunft liefern. Dazu müssen die Ergebnisse wirkliche Gegebenheiten, Strukturen und Muster widerspiegeln und dürfen nicht auf einmalige, zufällige Ereignisse zurückzuführen sein. Die Wahrscheinlichkeit, dass ein Befund auf einer zufälligen Mischung der Fälle, auf Messfehlern oder auf spezifischen, einmaligen Gegebenheiten beruht, lässt sich berechnen. Es lässt sich niemals vollkommen ausschließen, dass ein Befund auf zufälligen Ereignissen beruht. Wir geben uns damit zufrieden, wenn die Wahrscheinlichkeit kleiner als 5% ist. Das stellt man in dieser Schreibweise dar: p
Bestimmung steuerungsrelevanter Wirkungsindikatoren HzE in Berlin (5 Bezirke) Abschlussbericht für das Gesamtprojekt Wirkungsevaluation (2010 bis 2013) Verlässlichkeit von Unterschieden und Zusammenhängen liefern. Bei speziellen Fragestellungen kann er auf die Rohdaten oder auf die Auswertungsmöglichkeiten des els-Institutes zurückgreifen. Spannend werden explorative Analysen dann, wenn man komplexere Wirkmodelle überprüft, die mehrere Variable umfassen. Dazu gehören Regressionsanalysen, Clusteranalysen und Faktorenanalysen. Solche multivariaten statistischen Verfahren werden hier nicht dargestellt und erklärt. Multivariate Verfahren brauchen eine große Datenmenge. Wenn zukünftig in Berlin kontinuierlich und flächendeckend Evaluationen durchgeführt werden und die Validität der Daten noch etwas besser wird, können in kurzer Zeit Analysen mit einem hohen Prognosenutzen gemacht werden, die auch im Einzelfall evidenzbasierte Entscheidungshilfen liefern (zum Beispiel durch das Verfahren „decision tree“). Klassische Controllingverfahren in Form von vielen detailreichen Tabellen können dieses nicht leisten. Das vom e/l/s-Institut genutzte Statistik-Programm SPSS (Statistical Package for the Social Sciences) bietet viele Möglichkeiten, die von der Firma IBM auch für kommunale Planer angeboten werden. Pro Bezirk würde eine Lizenz für einen geschulten und erfahrenen Statistiker ausreichen. Die wichtigsten Auswertungsroutinen könnte das e/l/s-Institut in Form von Syntax-Skripten zur Verfügung stellen. Handlungsrelevanzmatrix: Die einzige multivariate Auswertung, die standardmäßig gemacht wird, ist die Berechnung einer Handlungsrelevanzmatrix (Moisl, 2011). Mit diesem Verfahren kann überprüft werden, bei welchen Dimensionen Handlungsbedarf besteht. Das Verfahren wird in der Organisationsentwicklung zur Fokussierung strategischer Veränderungen (change management) eingesetzt. Bei einer Strategie müssen nämlich zwei Kriterien gleichzeitig bedacht werden: Wo gibt es Abweichungen und als wie wichtig werden diese eingeschätzt. Bei der WIMES-Handlungsrelevanzmatrix werden zwei Informationen miteinander verknüpft: Wir wirksam ist die Hilfe in einer Dimension? Und: Wie wichtig ist diese Dimension für die Zielerreichung der Hilfe? Wenn Probleme in wichtigen Dimensionen wenig wirksam gelöst werden, besteht ein hoher Handlungsbedarf. Schlechte Ergebnisse in unwichtigen Dimensionen können hingenommen werden, stehen zumindest nicht ganz oben auf der Tagesordnung. Wenn in wichtigen Dimensionen gute Ergebnisse erzielt werden, handelt es sich um eine Stärke der Dienstleistungen. Wie die Wirksamkeit bezogen auf die einzelnen Dimensionen gemessen wird, ist bereits erklärt worden. Bei der Einschätzung der Wichtigkeit der einzelnen Dimensionen wenden wir einen kleinen statistischen Trick an. Die Alternative bestünde darin, die Bedeutung der Dimensionen im jedem einzelnen Fall abzufragen, was zu einem erheblichen Mehraufwand bei der Datenerhebung führen würde. Der Trick besteht darin, die Gesamtbewertung der Hilfe durch die Fachleute mit den neun Bedarfseinschätzung am Ende zu korrelieren. Wenn es einen hohen Zusammenhang zwischen dem noch bestehenden Bedarf und der Gesamtbewertung der Hilfe gibt, wird die Bedeutung der jeweiligen Dimension als hoch angesetzt. Wenn diese keinen Einfluss auf das Gesamturteil hat, wird sie wohl nicht so wichtig sein. Die theoretische Begründung für dieses Vorgehen liegt darin, dass Urteile in der Regel nicht aus allen zur Verfügung stehenden Informationen gebildet werden, sondern unser Gehirn eine Auswahl trifft und sich auf die wesentlichen Aspekte fokussiert. Die Handlungsrelevanzmatrix liefert vier Felder unterschiedlicher Bedeutung (Abbildung 7). In diese vier Felder verteilen sich die neun Wirkungsdimensionen. Natürlich lassen sich Maßnahmen nicht direkt aus dieser Analyse ableiten. Dazu bedarf es einer fachlichen Interpretation und Diskussion. Möglicherweise müssen die Gewichte noch einmal überdacht werden und die Aufmerksamkeit mehr auf bestimmte Dimensionen gelenkt werden. Oder es wird deutlich, dass bei der Schlusswertung der Hilfe manche Aspekte zu sehr in den Fokus geraten. In jedem Fall sollten die Punkte nach Möglichkeit von links unten nach rechts oben verlaufen. Ziele, die einem wichtig sind, sollten erfolgreich bearbeitet werden. Was nicht so wichtig ist, muss nicht auf einem hohen Niveau bearbeitet werden. Das Verfahren ist auch dadurch interessant, dass das Ergebnis nicht bewusst herbeigeführt werden kann. Es setzt sich aus vielen Entscheidungen unterschiedlicher Personen zusammen. Die Berechnung ist so komplex, dass gezielte Veränderungen nur möglich sind, wenn es tatsächlich zu einer Veränderung der Praxis (Performanz) und der Haltungen (Relevanz) kommt. Als Beispiel zeigen wir noch die Handlungsrelevanzmatrix teilstationärer Hilfen in den fünf Bezirken (Abbildung 8) im Vergleich zu den teilstationären Hilfen im übrigen Bundesgebiet (Abbildung 9). Man kann 23
Seite 1 und 2: Bestimmung steuerungsrelevanter Wir
Seite 21: Bestimmung steuerungsrelevanter Wir
Seite 73 und 74:
Bestimmung steuerungsrelevanter Wir
Seite 75 und 76:
Seite 77 und 78:
Seite 79 und 80:
Seite 81 und 82:
Seite 83 und 84:
Seite 85 und 86:
Seite 87 und 88:
Seite 89 und 90:
Seite 91 und 92:
Seite 93 und 94:
Seite 95 und 96:
Seite 97 und 98:
Seite 99:
Alle anzeigen

2013 09 22 20010 Projektbericht 5 Bezirke Berlin_final - SFBB

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?