Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

Interessenkonflikte in der Evaluationsforschung 117
bei der Konstruktion von Dummy-Variablen, statistische Transformationen
etc. Mehrere Studien haben entsprechende problematische Praktiken dokumentiert.
In einer Untersuchung des Life Skills Training-Programms (LST)
(Botvin et al., 1995), fand Gorman (2005a), dass in verschiedenen Studien
eine Vielfalt von Zielgrößen benutzt wurden, die nicht durch einen Wechsel
der Forschungsfrage motiviert schienen. Der Autor argumentiert deshalb,
dass die berichteten Wirkungen von der Art der Messung abhängig sein
könnten.
Viertens sind statistische Analysen sehr anfällig für verschiedene Strategien,
die darauf setzen, durch eine große Zahl von Analysen zufällig auf ein positives
Ergebnis zu stoßen. Das gilt speziell, wenn vorab keine Strategie für
die Datenanalyse festgelegt wurde oder sie nicht befolgt wird. Methodologen
haben wiederholt davor gewarnt, bei Mehrfachvergleichen nicht für kumulierte
Alphafehler zu kontrollieren oder nachträgliche Anpassungen an der
statistischen Analyse vorzunehmen.
Seit Forschungen zeigten, wie wichtig eine getreuliche Programmumsetzung
ist, um die gewünschten Resultate zu erzielen (Elliott & Mihalic, 2004), ist
es üblich geworden, separate Analysen nach Umsetzungsqualität zu machen.
Auch hier: Es ist nichts gegen separate Auswertungen nach Umsetzungsgüte
einzuwenden, solange die Kriterien zur Messung der Qualität festgelegt sind,
bevor die Datenanalyse beginnt. Wird die Umsetzungsqualität erst operationalisiert,
nachdem die Ergebnisse bekannt sind, steigt das Risiko für nachträgliche
Modellanpassungen. Das ist speziell der Fall, wenn mehrere Variablen
die Vollständigkeit und Genauigkeit der Umsetzung messen, so dass
man einfach alternative Modelle explorieren kann.
Ein fünfter Themenbereich bezieht sich auf den Publikations- und Verbreitungsprozess.
Mögliche Quellen von Verzerrungen sind unter anderem die
selektive Wiedergabe positiver Resultate, die unangebrachte Betonung von
positiven Resultaten in Subgruppen, unangebrachte Aussagen über die methodische
Qualität einer Studie. Hewitt et al. (2008) machten kürzlich auf ein
weiteres Problem der Interpretationsverzerrung aufmerksam: Die Art, wie
nicht-signifikante Gruppendifferenzen in randomisierten Kontrollgruppendesigns
interpretiert werden. Sie argumentierten, dass Autoren nichtsignifikante
Resultate, die in die gewünschte Richtung weisen, häufiger als
positive Befunde interpretieren, während sie nicht-signifikante negative
Resultate schnell als irrelevant abtun.