Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

Interessenkonflikte in der Evaluationsforschung 119
Vielleicht sind diese positiven Effekte unverzerrte Schätzungen der Wahrheit.
Die Befunde, die in den vorangehenden Kapiteln präsentiert wurden,
geben jedoch Anlass zur Sorge. Man sollte bedenken, dass Petrosino und
Soydan (2005) eine Effektstärke von d = 0.47 für Studien fanden, die von
Programmentwicklern durchgeführt wurden und eine Effektstärke von d =
0.00 für unabhängige Studien. Die Differenz zwischen diesen zwei Werten
ist größer als der mittlere Gesamteffekt in den meisten anderen kriminologischen
Metaanalysen. Falls Cohen’s d = 0.47 eine realistische Schätzung
der vorliegenden Verzerrungen ist, wären viele positive Effekte in kriminologischen
Metaanalysen lediglich Artefakte.
Wir wissen im Moment nicht, in welchem Ausmaß dies der Fall ist. Zukünftige
Forschung sollte deshalb versuchen, die Bedeutung von Verzerrungen in
Präventionsstudien zu klären. Solange die kriminologische Präventionsforschung
nicht besser versteht, wo und wie Interessenkonflikte zu verzerrten
Resultaten führen, ist es unmöglich, die Ergebnisse, denen man trauen kann,
von den Resultaten zu unterscheiden, denen man nicht trauen kann. Im Folgenden
werde ich deshalb einige Strategien vorschlagen, die helfen könnten,
das Problem besser zu verstehen.
5.1 Operationalisierung von Interessenkonflikten in Metaanalysen
Viele aktuelle kriminologische Metaanalysen erheben Variablen über Studiencharakteristika,
die einen moderierenden Einfluss auf die Zielgröße
haben können. Interessante Variablen umfassen die Stichprobengröße, das
Publikationsdatum, die Zielpopulation und die Intensität der Intervention
(siehe z.B. Loesel & Beelmann, 2003; Lundahl et al., 2006; Wilson & Lipsey,
2007). Bisher hat jedoch keine kriminologische Metaanalyse versucht, Interessenkonflikte
direkt mit mehreren Indikatoren zu messen. Es ist klar, dass
die Beteiligung des Evaluators an der Programmentwicklung – eine Moderatorvariable,
die in vielen Metaanalysen enthalten ist – das Eigeninteresse der
Forscher ungenügend annähert, weil sie faktisch nur eine Modalität der Programmumsetzung
misst.
Es ist nicht einfach, die notwendigen Daten zu erheben. Kein Abnehmer von
kriminologischen Präventionsstudien verlangt, dass Autoren von randomisierten
Studien ihre Interessenkonflikte offenlegen. Man muss sich diese Informationen
deshalb aus einer Vielzahl von Dokumenten zusammensuchen.
Tabelle 3 schlägt Variablen vor, mit denen Interessenkonflikte man in zukünftigen
Studien messen kann.