Gewaltdelinquenz – Lange Freiheitsentziehung – Delinquenzverläufe

Interessenkonflikte in der Evaluationsforschung 115
Studien. Diese zwei Arbeiten halfen mir, die Checkliste in Tabelle 2 zusammenzustellen.
Sie listet Praktiken auf, die in Experimentalstudien zu
verzerrten Resultaten führen. Die Verhaltensweisen sind in fünf Bereiche
eingeteilt: Studiendesign und Datenerhebung, Manipulation der
Analysedaten, Definition der Zielvariablen, statistische Analyse und
Publikation und Verbreitung (siehe Tabelle 2).
Tabelle 2: Verzerrende Forschungspraktiken in Evaluationsstudien
Studiendesign und
Datenerhebung
Manipulation der
Analysedaten
Definition der Zielgrößen
- Design mit Prä- und Postmessung um die Wahrscheinlichkeit auszunutzen, dass
Problemverhalten natürlicherweise abnimmt
- Unmittelbare Messung von Post-Effekten, aber keine Follow-Up-Messung
- Unrealistische Kontrollgruppe (keine Behandlung statt üblicherweise angewandete
Behandlung)
- Messung der Zielgrößen nur für Studienteilnehmer, Ausnützen des Hawthorne-Effekts
- Keine Blindmessung der Zielgrößen
- Fehlende Entwicklung einer schriftlichen, publizierten Strategie für die Datenanalyse
- Nachträglicher Ausschluss von Ausreißern oder anderen Fällen
- Nachträgliche Wahl eine Imputationsstrategie für fehlende Werte
- Nachträgliche Umteilung von Fällen zwischen Interventions- und Kontrollgruppen
- Abweichung von einer Intent-to-treat-Analyse
- Nachträgliche Definition von Subgruppen nach Implementationsqualität (Problem von
Selektionseffekten)
- Nachträgliche Veränderung in der Konstruktion der abhängigen Variable
(Messabhängigkeit)
- Nachträgliche Wahl der Zielgröße
- Ignorieren von Daten über unerwünschte Effekte
- Veränderung der Zielgrößen in aufeinanderfolgenden Studien
Statistische Analyse - Veränderung der Analysemethode bis signifikante Resultate gefunden werden
- Ausnützen von Zufallsresultaten durch Multigruppen- oder Multimethodenvergleiche
- Analyse ausgewählter Subgruppen
- Anwendung einseitiger Signifikanztests
- Inadäquate Analyse klumpenrandomisierter Daten
- Einbezug von Kovariaten bis der Interventionseffekt in die gewünschte Richtung weist
- Herunterspielen von Problemen der fehlender Vergleichbarkeit von Interventionsgruppen
- Fehlende Mitteilung von Follow-Up-Resultaten
Publikation und
Verbreitung
- Keine Angabe unvorteilhafter Resultate
- Selektive Wiedergabe vorteilhafter Resultate
- Selektive Wiedergabe von Subgruppenanalysen
- Nicht-Publikation von Studien mit negativen Ergebnissen (Schubladenproblem)
- Nicht-Publikation von Zielgrößen mit negativen oder nicht-signifikaten
Resultaten
- Überinterpretation von positiven Resultaten in kleinen Versuchsgruppen
- Ungerechtfertigte Behauptung eine Intent-to-Treat-Analyse durchzuführen
- Fehlende Deklaration von Interessenkonflikten
Im Verlauf des Studiendesigns und der Datenerhebung treffen Forscher eine
Reihe von Entscheidungen, welche die Wahrscheinlichkeit beeinflussen,
positive Wirkungen zu finden. Insbesondere erfahrene Forscher wissen
meist, wie Entscheidungen in der Designphase die Ergebnisse einer Studie