Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

Interessenkonflikte in der Evaluationsforschung 105
Gandhi et al. (2007) untersuchten die Forschungsbefunde zu fünf schulbasierten
Drogenpräventionsprogrammen, die als wissenschaftlich geprüfte
„Modellprogramme“ oder „beispielhafte Programme“ gelten und in den
USA auf mindestens einer von sieben staatlichen Empfehlungslisten aufgeführt
sind. Die Autoren zeigten auf, dass die Befunde über die Wirkung dieser
Programme generell gemischt sind und dass sich die positivsten Ergebnisse
auf gestiegenes Wissen oder auf Einstellungsveränderungen beziehen.
Entgegen der Behauptungen der Entwickler war nur wenig darüber bekannt,
ob die Programme den Substanzgebrauch auf lange Sicht erfolgreich reduzieren.
Zudem kritisierten die Autoren eine Reihe methodischer Fehler, wie
die Wiedergabe von isolierten positiven Effekten, die beim Test vieler Zielgrößen
rein zufällig zu erwarten sind, oder die Überbewertung positiver
Effekte in Subgruppen, die während der statistischen Analyse nachträglich
definiert wurden. Sie empfehlen mehr unabhängige Studien, weil wenig
darüber bekannt ist, „what the results would be if the program were
evaluated by individuals who did not develop it“ (Gandhi et al., 2007: 61).
Gorman publizierte mehrere Studien über mögliche methodische Verzerrungen
in Eigenvaluationen (Gorman, 2003, 2005a, 2005b; Gorman & Conde,
2007). Er stellte eine Reihe von problematischen methodischen Entscheidungen
fest, die durch Interessenkonflikte verursacht sein könnten. Sie umfassen
das selektive Berichten von positiven Resultaten, das Ignorieren von Problemen,
die durch unterschiedliche Stichprobenausfälle entstehen, die nachträgliche
Definition des analysierten Datensets, inkonsistente ad-hoc Definitionen
der abhängigen Variable und den ungerechtfertigten Gebrauch von einseitigen
Signifikanztests.
3.4 Unabhängige Evaluationen von Programmeffekten
Eine dritte Möglichkeit, systematische Verzerrungen zu erforschen, sind unabhängige
Evaluationen von Präventionsprogrammen. Wenn man ihre Ergebnisse
den Resultaten von Studien gegenüberstellt, in denen Interessenkonflikte
bestehen, vergleicht man verschiedene Tests desselben Produktes.
Das ist ein Vorteil gegenüber von Metaanalysen. Natürlich können sich unabhängige
Evaluationsstudien auch in anderen Aspekten von Eigenevaluationen
unterscheiden, als dass sie weniger anfällig für Interessenkonflikte
sind. So sind Evaluationen von unabhängigen Forscherteams oft groß angelegte
Feldstudien, in denen man Programme unter anspruchsvolleren, heterogenen
Bedingungen testet. Dennoch ist es aufschlussreich, einige bekannte
Präventionsprogramme anzuschauen, die kürzlich unabhängig evaluiert wur-