Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

Interessenkonflikte in der Evaluationsforschung 103
treatment effect) definierten. Wichtig ist, dass die Autoren auch mehrere Variablen
über die Rolle der Evaluatoren bei der Studienentwicklung und -umsetzung
sammelten.
Gesamthaft zeigt diese Metaanalyse einen schwach positiven Effekt von
Cohen’s d = 0.11. Das wichtigste Ergebnis sind jedoch die unterschiedlichen
Effektstärken je nach Rolle des Evaluationsteams. In Studien, in denen der
Evaluator mit den Programmentwickler identisch war, belief sich die angegebene
Effektstärke auf d = 0.47, der weitaus größte mittlere Effekt für alle
Subkategorien. In den Studien, in denen das Evaluationsteam unabhängig
von der Programmumsetzung war, betrug die durchschnittliche Effektstärke
exakt Null. Die Autoren schließen deshalb, dass „studies in which evaluators
were greatly influential in the design and implementation of treatment report
consistently and substantially larger effect sizes than other types of evaluators.“
(Petrosino und Soydan, 2005: 444). Jemand, der nur unabhängige
Evaluationen betrachtet, käme also zum Schluss, dass die Behandlung von
Straftätern im Durchschnitt vollkommen wirkungslos ist, während jemand,
der nur auf der Basis von entwicklergeleiteten Evaluationen urteilt, eine
höchst nützliche Präventionsstrategie vor sich sieht.
Natürlich können diese Befunde unterschiedlich interpretiert werden und sie
demonstrieren nicht eindeutig, dass eine Verzerrung aufgrund von Interessenkonflikten
vorliegt. Wie weiter unten detailliert aufgezeigt wird, weist
der Einbezug von Evaluatoren in die Programmumsetzung auf mögliche Interessenkonflikte
hin. Diese Variable misst Konflikte aber indirekt und enthält
auch andere Aspekte von experimentellen Studiendesigns. Die Metastudie
kontrolliert keine anderen Moderatoren der Effektstärke, die mit der Rolle
des Forschers korrelieren können, etwa die Umsetzungsqualität oder die
Zahl der Studienteilnehmer. Es ist deshalb unklar, welcher Nettoeinfluss der
Entwicklerbeteiligung nach statistischer Kontrolle anderer Einflussfaktoren
übrigbleiben würde.
3.2 Andere Metaanalysen
Petrosino und Soydan (2005) betrachteten im weiteren 50 metaanalytische
Studien über Behandlungsprogramme für Straftäter, die Rückfallkriminalität
als Zielgröße maßen. Zwölf dieser Studien enthielten Informationen über die
Beziehung zwischen den Programmentwicklern und den Evaluatoren. Die
Mitwirkung von Forschern in der Programmumsetzung misst Interessenkonflikte
nicht direkt. Man kann aber annehmen, dass sie eine vernünftige An-