Skript zur Vorlesung „Versuchsplanung“ (Prof. Dr. Christoph Stahl ...

‐ Problem: Zufallsstichproben oft praktisch nicht realisierbar (Datenschutz, Kosten/Aufwand, Population nicht
definiert (Treatment, Outcomes))
Gefährdungen der externen Validität: UTOS
‐ Units: Interagiert der kausale Zusammenhang mit Merkmalen der Personen/Untersuchungseinheiten?
‐ Bsp.: Bildung/Intelligenz (Psychologiestudierende); Geschlecht; Medikamente (Übertragung zulässig?)
‐ Treatment: Interagiert der kausale Zusammenhang mit Merkmalen der Behandlung/Intervention?
‐ Bsp.: nur die Kombination aus Medikation & Psychotherapie wirkt, nicht aber einzeln; Wirkung
abhängig von Reichweite der Implementierung (soziale Programme)
‐ Outcome: Interagiert der Zusammenhang mit Merkmalen der verwendeten Kriteriums/der AV?
‐ Ist der Zusammenhang nur mit bestimmten Outcome‐Variablen, aber nicht mit anderen beobachtbar?
‐ Bsp.: Maßnahme zur Erhöhung der Kundenzufriedenheit wirkt nur auf Beurteilung durch Dritte, nicht
auf Selbstbericht der Kunden
‐ Setting: Interagiert der Zusammenhang mit dem Untersuchungskontext?
‐ Bsp.: neue Unterrichtsmaßnahme wirkt im Labor, nicht in Schule; Psychotherapiestudien untypisch für
Therapiealltag; Unterschiede zwischen Schulen, Kliniken, kleinen/großen Betrieben
Gefährdungen der externen Validität: Prüfung der Generalisierbarkeit
‐ Viele verschiedene Studien realisieren
‐ Multiple Treatments (Verschiedene Arten; unterschiedliche Dosierung)
‐ Outcomes (z.B. Emotion: Selbstbeobachtung, Fremdbeobachtung, physiologische Maße, …)
‐ Personenstichproben (z.B. Geschlecht, Alter, Bildung, Land,...)
‐ Settings (Schulen, Kliniken,…)
‐ � Grenzen: erforderliche SP‐Größe, Komplexität des Versuchsplans, Statistische Power zur
Entdeckung von Interaktionen
‐ Gesamtbewertung über unterschiedliche Studien (z.B. Metaanalyse)
Konstruktvalidität
- Leitfrage: Wird das relevante Konstrukt unverfälscht & vollständig erfasst?
- Unverfälschtheit: wird nur das relevante Konstrukt erfasst?
- Vollständigkeit (auch „Inhaltsvalidität“): werden bei der Messung alle Aspekte des zugrunde
gelegten psychologischen Konstrukts erfasst?
- Latentes Konstrukt muss operationalisiert werden
- Frustration � Nichterreichen des Ziels
- Aggression � Anzahl/Ausprägung verbal‐aggressiver Verhaltensweisen
- Frage: Wurde tatsächlich Frustration untersucht, oder nur das Nichterreichen eines Ziels?
- Häufiger Kritikpunkt empirischer Studien
- Operationalisierung bestimmt, was tatsächlich untersucht wird
- aber: Schlussfolgerung und Interpretation bezieht sich auf Konstrukt
- Güte der Untersuchung abhängig von Güte der Erfassung des Konstrukts
Gefährdung der Konstruktvalidität
- Ungenügende Analyse der Konstrukte
- Voraussetzung für Konstruktvalidität ist Konstruktexplikation
- Bsp: Patientenzufriedenheit; Selbstwertgefühl
- Gefahr, dass…
- … die Konstrukte zu allgemein operationalisiert werden
- … die Konstrukte zu spezifisch operationalisiert werden
- … mehrere Konstrukte zugrunde liegen, wo nur ein Konstrukt diskutiert wird
- Konfundierungen zwischen relevanten Konstrukten
- unerkannte Zusammenhänge zwischen (zugrundeliegenden & intervenierenden) Konstrukten möglich
- es wurden nicht alle relevanten Variablen/Konstrukte erhoben
- Bsp.: wenig Psychologen in Führungspositionen � Benachteiligung Psychologen oder Frauen?
- Mono‐operation‐bias
- Nur eine Operationalisierung des Ergebniskonstrukts oder des Treatmentkonstrukts
- erhöht das Risiko einer inadäquaten Realisierung des Konstrukts