Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

116
Manuel Eisner
beeinflussen. Unterliegen sie einem Interessenkonflikt, dürfen sie eher ein
Design anlegen, das hilft, positive Befunde hervorzubringen. Studien, die
ihre Zielgrößen nur als Einschätzung der unmittelbaren Studienteilnehmer
messen, setzen beispielsweise auf einen Loyalitätseffekt unter den Personen,
die eine Behandlung erhalten haben. Designs, die Effekte ausschließlich
unmittelbar nach einer Intervention messen, aber keine Follow-Up-
Messungen vorsehen, erhöhen die Wahrscheinlichkeit für die Praxis
bedeutungslose Kurzzeiteffekte zu finden. Gleichzeitig senken sie das
Risiko, ein Fehlen von Langzeiteffekten zu erkennen.
Ein zweiter Bereich umfasst die Entscheidungen über das Datenset, das für
die publizierten Analysen benutzt wird. Typischerweise handelt es sich um
Entscheidungen über den Ausschluss von Ausreißern, die Imputation fehlender
Werte, die genaue Zuteilung von Fällen zu Interventions- und Kontrollgruppen
und über die Zuteilung von Subgruppen zu verschiedenen Niveaus
von Umsetzungsqualität. Derartige Entscheidungen sind in den meisten Evaluationsstudien
nötig. Sie werden dann problematisch, wenn man sie erst
trifft, wenn die Daten über Zielgrößen erhoben sind und nachträgliche Anpassungen
zu einer verlockenden, wenn auch unzulässigen, Option werden.
Es ist nicht bekannt, wie verbreitet solche Praktiken sind, aber einige Untersuchungen
haben Probleme in einzelnen Studien dokumentiert. So fand
Gorman (2005b) Hinweise auf nachträgliche Veränderungen an der Stichprobe
in Studien über Drogenpräventionsprogramme. Littell (2005) verfolgte
die Fallzahlen in unpublizierten und publizierten Analysen von MST-Evaluationen.
Sie fand heraus, dass sich die Fallzahlen in den unpublizierten und
den publizierten Analysen unterschieden und dass diese Veränderungen mit
höheren Effektstärken einhergingen. Eisner (2008) überprüfte eine Triple P-
Studie der deutschen Lizenznehmer des Programms (Heinrichs et al., 2006).
Er stellte fest, dass nicht kooperierende Befragte, die ursprünglich in der Interventionsgruppe
waren, für die statistische Analyse in die Kontrollgruppe
umgeteilt wurden, was zu stark überhöhten Effektstärken führte.
Selbstdienliche Wahrnehmungsverzerrungen können auch Entscheidungen
über die abhängige Variable beeinflussen. Inferenzstatistische, auf Deduktion
beruhende Verfahren, erfordern im Prinzip, dass die abhängige Variable
vor der Studie operationalisiert wird und danach unverändert bleibt. Allerdings
werden abhängige Variablen meist aus mehreren Items und/oder
Datenquellen konstruiert. Sie sind somit offen für alle möglichen Manipulationen.
Die erste Entscheidung betrifft, welche der gemessenen Variablen in
einer Publikation als Zielvariablen präsentiert werden. Entschieden wird
über die Zahl der Items, welche die Zielgröße umfasst, die Schwellenwerte