Evaluation der Sozialpädagogischen Diagnose-Tabellen ...

Bezugnahme auf Wirkfaktoren
Sollte die Evaluation als sogenannte „Black-Box“ geplant werden, die nur Aussagen zu den
Wirkungen nicht aber zu den dafür verantwortlichen Wirkfaktoren ermöglicht? Oder sollten
relevante Wirkfaktoren mitberücksichtigt werden? Im Kontext der Evaluation der Sozialpädagogischen
Diagnose-Tabelle waren Aussagen zur Effektivität zwar notwendig, aber nicht
hinreichend. Daher wurde schon bei der Untersuchungsplanung ein reiner „Black-Box-
Ansatz“ vermieden: Neben den Effekten wurden, soweit möglich, alle relevanten strukturalen
und prozessualen Wirkfaktoren sowie die wichtigen soziografischen Adressatenmerkmale
(etwa Alter und Geschlecht) miteinbezogen, um sie in der Auswertungsphase mit den gemessenen
Wirkungen in Beziehung setzen zu können (so bspw. die Kooperation und Partizipation
der Hilfeadressaten). Hierbei gewinnen natürlich auch multivariate Analysemethoden
eine zunehmende Bedeutung. Neben den quantitativen Daten wurden auf Einzelfallebene
ergänzend auch qualitative Daten herangezogen und ausgewertet.
Prospektives Längsschnittdesign
Um mit einer Evaluation die Wirkungen einer Intervention und damit Veränderungen zuverlässig
abbilden zu können, ist ein Längsschnittdesign eine unverzichtbare Voraussetzung
(s. auch Hermsen & Macsenaere, 2007). Eine Vorher-Nachher-Untersuchung mit zwei Erhebungszeitpunkten
zu Beginn und am Ende der Hilfe stellt das Minimum für eine Wirkungsbestimmung
dar (s. Abschnitt 3.2). Solche hilfebegleitenden, prospektiven Erhebungen führen
zu vollständigeren und erheblich zuverlässigeren Daten als rückblickende, retrospektive Erhebungen.
Durch Einbeziehung eines weiteren Erhebungszeitpunkts in Form einer Verlaufserhebung
können weiterhin auch Entwicklungen aufgezeigt werden.
Erhebung auf Einzelfallebene
Auf welcher Ebene sollte eine wirkungsorientierte Evaluation durchgeführt werden? Auf der
(aufwendigen) Einzelfallebene? Als Kompromiss auf einer Gruppen- oder Bereichsebene?
Oder möglicherweise relativ ökonomisch umsetzbar auf Ebene von Einrichtungen und Diensten?
Wenn ausschließlich Strukturdaten gefragt waren, war diese Ebene natürlich indiziert:
Hier wurde die Datensammlung entweder bei den Jugendämtern oder den Leistungserbringern
durchgeführt. Im Kontext aller Aussagen zu Wirkungen war es allerdings dringend geboten
auf Einzelfallebene zu erheben, da hier schließlich auch ebendiese Effekte erzielt werden.
Beachtung allgemeingültiger Standards
Eine Wirkungsmessung auf quantitativ-empirischer Datenbasis kann nur mit einer ausreichenden
Güte der erhobenen Daten gelingen. Daher müssen der Wirkungsdiagnostik Verfahrensweisen
zugrunde liegen, die den Gütekriterien Objektivität, Reliabilität und Validität
genügen. Die bisherigen Erfahrungen mit Instrumenten, die mit denen der vorliegenden Evaluation
vergleichbar sind (s. Abschnitt 3.4), zeigen eine mindestens zufriedenstellende Interrater-Reliabilität
im Bereich Ressourcendiagnostik sowie gute bis sehr gute Werte im Bereich
Defizitdiagnostik. Zudem müssen auch anerkannte Evaluationsstandards berücksichtigt werden
(s. DeGEval, 2002; vgl. auch Abschnitt 3.1).
36