Skript Evaluationsmethoden von der Angelika N. - Seelensammler

EvaluationsmethodenLengenfelder SoSe 2009Utilization-focused Evaluation Patton, M.Q.• Sehr starker Focus auf die Beteiligtengruppe(n)• Developmental Evaluation: Evaluatoren müssen aktiv an der Evaluations-Nutzung arbeiten - undihren Unabhängigkeitsstatus aufgeben• Ziel: Entscheidungsfindung, Meinungsklärung, Identifizierung von Verbesserungspotentialen• Intended use bei intended users wird erreicht durch:- Overcoming staff fear- Asking the right questions- Being situationally responsive as an expert evaluator- Reection and evaluation- Being an advocate for evaluationBeitrag zur Evaluationsforschung:• Pragmatischer Ansatz - Gut ist was wirkt• Rollenwechsel beim Evaluator• Eval-Nutzen ist: Summativ, formativ und Wissensgenerierungweiter AnsätzeThe Four Levels / Kirkpatrick Erstes Konzept für die Systematisierung der anfallenden Evaluationsinformationen.Aus Trainingsevaluation. Theorie weniger wichtig als direkte Umsetzbarkeit - Daher wenig Anerkennung von derCommunity. Vier Ebenen der Zuordnung von Evaluationsergebnissen: Eb1 Reaktionsebene, Eb2 Lernerfolg, Eb3Verhalten und Eb4 Endergebnis.Empowerment Evaluation / Fetterman Unterstützung der Evaluationsbeteiligten zur Selbstevaluation.Evaluationsstarthilfe, die für die Beteiligten Kompetenzen aufbauen sollen, den Prozess zukünftig alleine zu leiten.(Empowerment = Befähigung; Hilfe zur Selbsthilfe).Ansätze im Vergleich• Einsatzgebiet unterschiedlich - je nach Fragestellung und Anforderungen• Wissenschaftlicher und Erkenntnistheoretischer Hintergrund der Personenbestimmt Ansatz• Zugang zu Evaluation kann sehr unterschiedlich sein• Wissen um unterschiedliche, erfolgreiche Zugänge kann genutzt werden, umAnforderungen zu bestimmen und danach den geeigneten Ansatz zu wählen - derHilfe und Struktur für die Planung gibt• Eigene Zuordnung zu Ansatz zeigt, dass das Vorgehen Überlegungen entspringt,die sich in die Anderer einordnen.Teil III Planung und Gestaltung von EvaluationenAufgaben der Evaluations-PlanungÜblicher Evaluationsablauf1. Definition der zu evaluierenden Maßnahme2. Zielsetzung der Evaluation3. Planung des Evaluationsprojekts4. Datenerhebung und -auswertung5. Berichtlegung6. Bewertung und weitergehender Nutzen► Projektmanagement• Informationsbeschaffung• Entwicklung eines vorläufigen Arbeitsplans• Zeit- und Kostenschätzung► Designfrage• Entwicklung eines Untersuchungsplans• Auswahl und Applikation spezifischer Datenerhebungsverfahren• Identifikation u. Überprüfung potentieller Störquellen11/23

EvaluationsmethodenLengenfelder SoSe 2009► Auswertung• Entscheidung für bestimmte Maße der Effektstärke• Wahl eines spezifischen Auswertungsverfahrens• Qualitative VerfahrenProjektmanagementInformationsbeschaffung► Je nach Auftraggeber ist mehr oder weniger zu fordern.► Liste mit gewünschten Informationen erstellen und abarbeiten.► Informationsbeschaffung über unterschiedliche Quellen für möglichstvollständiges Ausgangsbild• Akten• persönliche Gespräche mit Auftraggeber• persönliche Gespräche mit Betroffenen/Beteiligten► Informationsbeschaffung auf unterschiedlichen Ebenen• Anforderungen und Aussagen des Auftraggebers• Restriktionen des Auftraggebers• Spezifische Eigenschaften u. Qualitäten des Eval-Objektes• Bisherige Evaluationen des AuftraggebersEntwicklung eines vorläufigen ArbeitsplansAufstellung der Posten auf Basis eines vorliegenden Arbeitsplans mit …► Zeitschätzung► Kostenschätzung► Personalschätzung• Anforderungen• Zeitvolumen• EntlohnungDilemmasituation:Wenn zu viele Ressourcen geplant sind, bekommt man das Projekt nicht. Wenn zuwenige Ressourcen, großes Risiko für die eigene Person/Firma. → Kosten für diePlanung selbst werden oft unterschätzt!Zeit- und KostenschätzungNotwendig sind …► Eigene, einzelnen Arbeitsschritte in der zeitlichen Abfolge► Entscheidungspunkte die vom Auftraggeber zu klären sind; Arbeiten, die vomArbeitgeber erbracht werden müssen + bis wann.► Aufwand pro Arbeitsschritt• Zeit• Ressource• PersonalZeitschätzungen Entweder deterministisch (=Einzelwert) oder stochastisch(=Intervalle). Vorteil stochastisch: Schätzung für den Mind. und Max. AufwandMethoden/Techniken dazu sind …► Balkenplan► Quick-Look Plan► NetzplanEs gilt: Die richtige Methode, ist die, mit der die Planung gut abgebildet werden kannund sich auch nachträglich als richtig und ausreichend flexibel erwiesen hat.12/23

EvaluationsmethodenLengenfelder SoSe 2009Exkurs: Naturalistische Evaluation► Keine experimentellen oder statistischen Kontrollen► Keine quantitativen Daten (wie Skalen, Auswertungen, etc.)► Ziel: Die Maßnahme und deren Auswirkungen soll unvoreingenommene und offene beschrieben,interpretiert und verstanden werden.► Naturalistische Evaluationen werden auch bezeichnet als:• Ethnographisch• Ideographisch• Interpretativ• HermeneutischFazit:Häufig partizipatorisch und formativ orientiert. Haben nicht den Anspruch wissenschaftlich fundiert zusein.Auswahl und Applikation spezifischer Datenerhebungsverfahren► Tests / Fragebögen Wünschenswert: Auf die Anforderungen hin konstruierteMessverfahren die den Testgütekriterien entsprechen - ist aber fast nie möglichzusätzlich zu den anderen Eval-Aufgaben. Problem der bestehenden Verfahren:• Geringe Änderungssensitivität (wegen hoher Re-Test Reliabilitäten)• Meistens zu viele Items (=zu lange Bearbeitungszeit)• Konstrukte der Tests oft sehr spezifisch - in Eval allgemeiner notwendig• Zusammenhang Testwert $ Nutzen ist unbekannt► Beobachtung Überall dort sinnvoll, wo Aufwand bewältigbar und Eval-Kriterienbeobachtbar. Direkt wenn möglich immer besser als indirekte Messung. Aber:Zusammenhang UV $ AV dadurch nicht erhebbar► Interviews Zur Erhebung der subjektiven Wirkzusammenhänge und komplexerSysteme; aber sehr hoher Durchführungsaufwand. Interview soll geführt sind, umSubjektivität des Interviewers möglichst gering zu halten - vor allem wenn diesubjektiven Theorien der VPn das Messobjekt sind.Fazit:Wahl der Datenerhebungsmethoden nach inhaltlichen und strukturellen Kriterienfestgelegt. Oft gilt: Je exakter die Methode der Messung, desto geringer derNutzen!Identifikation u. Überprüfung potentieller StörquellenBei Durchführung von Eval-Projekten zahlreiche Fehlerquellen durch Untersuchungim Feld. Häufige Störquellen sind:Reifung Veränderungen in den AVs gehen auf natürliche und nicht den eigentlichen TreatmentEffekte zurück (Problem der internen Validität) - Kann nicht immer kontrolliert werden.Äquivalenzprobleme Zufällige Zuordnung der VPn zu Treatments nicht möglich (oft durchfreiwillige Teilnahme der VPn oder Problematik der Unterschiedlichkeit der Treatments); Keinezufälligen TreatmentanordnungenMortalität (statistisch) Problem des Ausscheidens von VPn (aus unterschiedlichen Gründen)Aufgaben für die EvaluatorInnen:Alle denkbaren Störeffekte möglichst ausschließen können, oder gering halten.Wegen quasiexperimenteller Untersuchungsbedingungen aber immer Störeinflüssevorhanden.→ Evaluations-Studien immer angreifbar!14/23

EvaluationsmethodenLengenfelder SoSe 2009AuswertungVorab klären:► Inwieweit möchte Auftraggeber in die Planung der Auswertung einbezogenwerden bzw. informiert werden► Entscheidung für statistisches oder/und hermeneutisches Vorgehengeisteswissenschaftliches Verfahren → Person, die deutet, geht unvoreingenommen vor► Feste Stichprobengröße vs. sequentielles Vorgehen nach und nach Stichproben, bis sig. oderklar, dass sehr kleiner Effekt → weniger Kosten, aber dafür unübersichtlicherVorteil sequentiell: Erhebliche Reduktion des Erhebungsaufwands (bis zu ), daswirksamere Treatment wird weniger Leuten vorenthalten, die notwendige,vermehrten Vorüberlegungen im Planungsstadium zeichnen klareres Bild.Nachteil sequentiell: Kosten der Datenerhebung nicht kalkulierbar, Stichprobenwirken auf Auftraggeber manchmal zu klein.Entscheidung für bestimmte Maße der Effektstärke► Welche Ergebnisse werden erwartet und wie sind diese zu interpretieren?► Welche Referenz wird für Unterschied herangezogen?► Wie wird der Ausdruck signifikant verwendet?► Gruppenaussage vs. Aussage für Einzelperson lassen sich Gruppenaussagen auf Einzelpersonenanwenden? Bis jetzt ein klare Position zur Zulässigkeit, obwohl wir es ständig tun► In welcher Skalierung werden Ergebnisse ausgegeben?► Gibt es einen Unterschied und wie groß ist dieser? → Effektstärkemaße:• Zusammenhangsmaße: r, r 2 , R, R 2 ω, ω 2 , η, η 2• Unterschiedsmaße: Cohens d, Hedges g, ∆ Glass (Unterschied: durch welche Streuung dividiert wird)• Vergleichsmaß: Odds RatioFazit:Unterschiedlichkeit kann sehr unterschiedlich definiert werden, woraus sich auchunterschiedliche Interpretationen ergeben. Dieser Interpretationsspielraum sollapriori durch Festlegung des Unterschiedlichkeitsmaßes eingeschränkt werden.Wahl eines spezifischen Auswertungsverfahrens► Entweder einfache Gruppenvergleiche mittels Effektstärken oder Analyse derStrukturen in den Daten► Strukturprüfung über multivariate Auswertungsmodelle: Spezialfälle desAllgemeinen Linearen Modell► Probleme:• Stichproben-, Populationsabhängig Ausgangsverteilung etw. linkssteil mit Ausreißern rechts → für Modellwird Normalverteilung angenommen (fitten) → sind diese Personen (Ausreißer) ein Spezifikum der Stichprobe?Bekomme ich die gleichen Daten bei Replikation wieder?• Interpretation nur deskriptiv aber nicht funktional möglich• Modell ist immer in Gesamtheit zu sehen - einzelne Teile immer im Zusammenhang mit demGanzenFazit:Nicht täuschen lassen vom Anschein der Multivariaten Verfahren. Oft eingesetzt umeiner Arbeit einen hohen, wissenschaftlichen Anstrich zu geben. Nur dort sinnvoll,wo Querschnitts- oder Längsschnittvergleiche angestellt werden. Modell müssensich bewähren!15/23

EvaluationsmethodenLengenfelder SoSe 2009Qualitative Verfahren• Sammelbegriff für Verfahren, mit niedrigen Anforderungen an das Messniveau• Analysen auf Nominalskalen-Niveau• Hermeneutische Methoden• = Nicht-quantitativ: Subjektive Interpretationen, Verstehenserlebnisse• Hohen Auswertungsaufwand einplanen und kontrollieren ob Kompetenzvorhanden• Einsatz vor allem in Formativen EvaluationenKonfigurale Techniken Es werden Konfigurationen in den nominalskalierten Daten gesucht, weilquantitative Bewertung nicht möglich. Ergeben letztendlich Wenn-Dann Sätze → leichtverständliche, zugängliche Ergebnisse. Problem: Exponentiell steigende Anzahl möglicherKonfigurationen.Strukturierungshilfen Verfahren der Inhaltsanalyse, die über das Auszählen von Worthäufigkeitenhinausgehen. Anwendungsbereich: Offene Interviews in Bildungsevaluation, Therapieevaluation,etc. Erstellen von Strukturen aus qualitativen Datenerhebungen.Verstehen In vielen geisteswissenschaftlichen Bereichen das wissenschaftliche Vorgehen. InEvalforschung von untergeordneter Bedeutung. Öffentliche Akzeptanz rein verstehender Eval-Methodik sehr gering → jeder kann dann Experte sein.Fazit:Qualitative Verfahren bzw. qualitative Daten werden in jeder Evaluation von Interesseund Nutzen sein. Alleinige Anwendung qualitativer Verfahren eher nur dort woandere Zugänge nicht möglich. Qualitative Daten liefern oft den Rahmen, umquantitative Daten einordnen und präsentieren zu können.Fazit zur Evaluations-Planung► Je nach Ursprung des Auftrags (Projekt wird einem angeboten oder man bewirbtsich um ausgeschriebenes Projekt), startet das Projektmanagement anunterschiedlichem Ausgangspunkt.► Planungsdilemma: Je genauer die Planung desto aufwändiger und teurer, dafürmeist guter Plan. Je ungenauer der Plan, desto billiger, aber auch risikoreicherbezüglich Durchführbarkeit - nicht - vorhergesehene Probleme sind finanziellnicht abgedeckt.► Je größer Projekt, desto sinnvoller ist ein großes, erfahrenes, interdisziplinäresEvaluatoren-Team.► Ersten Projekte sollten nicht alleine geplant werden (Lehrgeld).► Methodik hängt von der Fragestellung ab: Mischung aus quantitativen undqualitativen Daten (mit Schwerpunkt quantitativ) ist üblich.Es gilt:Wenn der Plan konkret, genau und gut ist kann man sich in der Durchführung auf dieEinhaltung des Plans beschränken - ohne Nachkorrektur.GestaltungsaspekteFragen die zu klären sindEvaluationsziel Warum wird evaluiert?Evaluationsbereiche In welchem gesellschaftlichen Bereich wird evaluiert?Evalutionsnutzung Wie werden die Ergebnisse aufbereitet und verwendet?-------------------------- ---------------------------------------------------------------------------Evaluationsobjekt Wer / was wird evaluiert?Evalutionsmodell Wie wird evaluiert?Evaluationsort Wo wird evaluiert?16/23

EvaluationsmethodenLengenfelder SoSe 2009EvaluationszieleWarum wird evaluiert?► Ziele sind fremdbestimmt - Fragestellung kommt von außen.► Welche Personen haben welche Ziele und welche Wünsche an dieEvaluationsergebnisse?► Ziele müssen oft erst erarbeitet werden (sehr wichtig für die Akzeptanz)► Ausarbeitung der Ziele = Teil des Auftrags (ähnlich wie Diagnostik)► Explizite und Implizite Ziele (nicht alle Ziele werden vom Auftraggeber explizitgemacht, aber am Projektende meist explizit gefordert)Fazit:Evaluation benötigt neben der wissenschaftlichen Kompetenz ein sehr hohes Maß ankommunikativer Kompetenz (Mediation). Je sicherer man sich der tatsächlichenZiele sein kann, desto erfolgreicher wird die Evaluation sein.Kontrollzyklus• THEMA & ZIELE↓• Konkreten FRAGESTELLUNGEN↓• HYPOTHESEN↓• METHODE↓• DURCHFÜHRUNG↓• ERGEBNISSEN↓• INTERPRETATIONEN↓• ANTWORTEN AUF FRAGESTELLUNG↓• ZIELERREICHUNG ?Fazit:Sobald sich die Ziele ändern - ändert sich auch das Vorgehen (und umgekehrt!).Zieländerungen sollten nach Möglichkeit vorhergesehen werden undEvaluationsplanung soll diese schon berücksichtigen.EvaluationsbereicheIn welchem gesellschaftlichen Bereich wird evaluiert?► Fast immer im praktischen Anwendungsfeld► Anwendungsfelder bedingen das pers. Auftreten des Evaluators.► Anwendungsfeld definiert:• Spielregeln• Arbeitsmöglichkeiten• Rechtliche RahmenbedingungenIn folgenden Bereichen ist Evaluationforschung zu finden:BildungssektorWirtschaftAgrar- u. VerkehrspolitikFamilien- u. SozialpolitikJustizvollzugBeschäftigungspolitikUmweltpolitikGesundheitswesenStädtebau- u. WohnungspolitikMilitärischer BereichFazit:Wo Interesse nach Wirksamkeit von Maßnahmen vorhanden ist und fast immer dortwo beschränkte Ressourcen auf eine Vielzahl von Optionen treffen wird evaluiert.17/23

EvaluationsmethodenLengenfelder SoSe 2009Externe Evaluation Evaluationsplanung und/oder Auftrag erfolgt von externen, kompetentenEvaluatoren - Evaluatoren sind unabhängig vom konkreten Evaluationsbereich. Bringen oft neueSichtweisen ins Feld. Problem: Interesse an konkreten Maßnahmen meist eher gering undAbhängigkeiten von Auftraggeber, Wünsche der Evaluierten können oft nicht berücksichtigt werdenoder werden übersehen.inwiefern sind Ergebnisse auf Population übertragbarEvaluationsbericht1. Danksagung2. Genauere Beschreibung der untersuchten Problemstellung3. Ausführliche Beschreibung des Evaluationsgegenstands4. Genauere Beschreibung der Studie (Fragestellung, Durchführung, Ergebnisse, Empfehlung)5. Vergleich mit ähnlichen Evaluationsstudien (optional)6. Empfehlung für weiter Studien (optional)7. Zusammenfassung8. Literatur9. AnhängeFazit:Bericht ist abhängig von Projekt und entsprechend auszurichten.Teil IV Statistik für ErwachseneCohen (1990)Things I Have Learned (So Far)Some Things You Learn Aren't So Nur weil man etwas lernt - muss es nicht stimmen. Weil manetwas nicht lernt heißt nicht, dass es falsch ist.Less Is More Weniger ist mehr, außer bei der Stichprobengröße (→ Graduate Disease); AV : UV : n- siehe Gigerenzer (Take the Best); DezimalstellenSimple Is Better Diagramme statt/und Zahlen; Wer rechnet kennt seine Zahlen; Wenn derRechenaufwand groß ist, ist die Planung gut; TallyingThe Fisherian Legacy Umgekehrte Fragestellungslogik, die sich wegen der eindeutigenEntscheidbarkeit schnell durchsetzte; Entscheidungsrelevanz aber für die PsychologischeForschung weniger wichtigThe Null Hypothesis Tests Us p α Werte sagen uns nichts über die Wahrscheinlichkeit der H0;Fisher vs. Neyman & Pearson; Nicht Signifikant ≠ Äquivalent; The Nil-Hypotheses is always false;Poweranalysen für eine bessere psychologische Forschung; Soft Psychology; A-priori Schätzungder Populationseffektstärke für StichprobengrößeThings take Time Wissenschaftliche Theorien brauchen manchmal sehr lange, bis sie Konventionsind (unabhängig von der Güte der Theorie)How To Use Statistics see next pageHow to Use Statistics► Deskriptiv (siehe EDA Exploratory Data Analysis) (Lengenfelder; solangedeskriptiv suchen, bis man etwas robustes findet, und das versuchen statistischabzusichern, Statistische Inferenz = Qualitätssicherung)► Bessere Forschungsplanung durch die notwendigenStichprobengrößenschätzungen, Effektstärkeschätzungen► Effektstärken statt pα-Werten► Konfidenzintervalle► Zutrauen wissenschaftliche Bewertungen abzugeben – Verantwortung nichtauf statistische Tests abwälzen► pα= .05 soll keine Klippe sein, sondern ein AnhaltspunktKonventionen:>.80 starker Effekt >.50 mittlerer Effekt >.20 schwacher Effekt19/23

EvaluationsmethodenLengenfelder SoSe 2009Beispiel der AnwendungStatistisch … + Praktisch … + KlinischStatistische Signifikanz► Programm A ist besser als Programm BPraktische Signifikanz► Programm A ist besser als Programm B► mit einem Unterschied von d = :74,Klinische Signifikanz► Programm A ist besser als Programm B► mit einem Unterschied von d = :74,► von den 100 Probanden der Experimentalgruppe benötigten 34 Personenkeine Medikamente mehr bei Programm A im Unterschied zu 10 Personen vonProgramm BEffektstärken Umrechnungenx xd− 1 2d=r =SD 2 pooledd + 4d=2r1−r2Effektstärken und die APASeit 1994 APA Manual: … eine dringende Empfehlung Effektstärken in diewissenschaftliche Literatur und das Berichten von Ergebnissen zu übernehmen.Aber viele Studien zeigen, dass dieser Empfehlung nicht nachgekommen wurde.Seit 2001 APA Manual: … es ist fast immer notwendig Effektstärken zu berichten.Aber: Erst wenn die Herausgeber der Zeitschriften Effektstärken verlangen, werdensie Standard werden.Fazit:Effektstärken werden heute in fast allen Peer-Reviewten Zeitschriften gefordert.Cumming & Finch (2005)Inference by EyeConfidence Intervals and How to Read Pictures of Data7 Regeln zum Lesen (5 für CI; 2 für SE Bars)1. Was repräsentieren die Mittelwerte und die Fehler Balken? Stellen die BalkenCIs oder SEs dar? Was ist das experimentelle Design?2. Zuerst eine substantielle Interpretation der Mittelwerte vornehmen3. Dann eine substantielle Interpretation der Balken vornehmen (Streubereich)4. Bei Vergleich zweier unabhängiger Mittelwerte*: p ≤ .05 wenn dieÜberschneidung im Verhältnis der 95% CIs ca. 50% beträgt oder weniger. BeiNull Überschneidung p ≤ .015. Bei abhängigen Daten: Interpretieren den Mittelwert der Differenzen und dieFehlerbalken dieses Mittelwerts. Vorsicht vor Fehlerbalken getrennterabhängiger Mittelwerte bei Messwiederholungen: Diese sind irrelevant fürInferenzaussagen6. Zu SE Balken: sind ca. ½ die Länge der 95% CIs und stellen ca. 68% CIs dar7. Zu SE Balken: Bei Vergleich zweier unabhängiger Mittelwerte: p ≤ .05 wennsich die Balken nicht überschneiden, Bei ca. doppeltem Abstand p ≤ .01* gilt bei n1 = n2 ≈ 10 und w1 : w2 nicht größer als 2.021/23

EvaluationsmethodenLengenfelder SoSe 2009Paul:1. Gruppen (abh. oder unabh.?) → erst abh. Var. identifizieren, was wird dargestellt?2. Konfidenzintervall oder Error Bars????MW interpretieren (wer hat höheren / niedrigeren, ist besser / schlechter…)3. Interpretation des Bereichs des Konfidenzintervalls (Bereiche angeben)4. Inferenzprüfung per Augeunabhängige Gruppe + KI, wenn Überschneidung der KI ≤ 50% → hohe Wahrscheinlichkeit fürsig. am 5%-Level → keine Überschneidung → 1%-LevelKI (CI) = 2*SE → bei SE: keine Überschneidung → sig. 5%-LevelRosenthal, Rosnow & RubinBinomial Effect Size Display - Counternull ValuerR = *100250+R 50-R50-R 50+Rdcounternull= 2ESCounternulld r= 2 EScounternullobtained− ES2d=2 r d + 1nullcounternull=2r1+3r2Odds RatioTeil V Meta-AnalyseEinsatzgebiet der Meta-AnalyseDon't mix up with meta-evaluation!► Zur (besseren) Kumulierung von Wissen und Absicherung auch kleiner Effekte► Untersuchungseinheit = Studie► Aussagen möglich zu Effekthöhe & -stabilität, moderierende Variablen, etc.► Nur auf empirische Forschungsstudien anwendbar, die quantitative Ergebnisseliefern. Die Studien müssen konzeptuell vergleichbar sein (ähnliche AVs &UVs).► AVs: Diverse Merkmale des Untersuchungsdesigns und DAS Ergebnis► DAS Ergebnis = Effektstärke des Unterschieds Kontroll- vs.Experimentalgruppe► Ergebnisse werden mit adaptieren sonst üblichen statistischen Technikenbearbeitet (Mittelwerte, Standardfehler, Konvidenzintervalle, etc.)► Thematisches Einsatzgebiet: Unbeschränkt. Überall wo eine Vielzahl vonStudien zu einem Effekt vorliegt.Meta-Analyse:= Analyse von Analysen. Alle Techniken und Methoden der quantitativenForschungssynthese.22/23

EvaluationsmethodenLengenfelder SoSe 2009Entwicklung der Meta-AnalyseEysenck (1952): These: Psychotherapie hat keine zusätzliche positiveWirkung auf Patienten.bis Mitte 1970er: Hunderte Studien, die versuchten das Gegenteil zubeweisen - mit sehr unterschiedlichen Resultaten.Literatur-Reviews konnten die Debatte nicht eindeutigklären.Smith & Glass (1977): 375 Psychotherapiestudien; Treatment- KontrollUnterschied statistisch standardisiert undzusammengefasst → Psychotherapie IST effektiv: r =.32; erstmalige Verwendung des Ausdrucks Meta-Analysezeitgleich:Rosenthal & Rubin (1978):Schmidt & Hunter (1977):Ähnliche Studie zu interpersonal expectancy effect(Rosenthal Effekt)Ähnliche Studie zu Validität von Berufseinstellungs-TestsHauptrichtungen der Meta-AnalyseRosenthal (& Rubin) (Versuchsleitereffekt) Methode baut auf den Vorüberlegungen vielerAnderer auf (ab 1931); Effektstärke r (Fisher-Z Transformation.) und Irrtumswahrscheinlichkeiten pαder Studien werden für die MA verrechnetHunter, Schmidt & Jackson (ABO) keine Biaskorrektur der Effektstärken, aber werden aufverschiedene Error Quellen korrigiert (z.B. Stichproben, Minderung durch schwache Reliabilität,etc.) und gehen so in MA einHedges & Olkin (StatistikerIn) Wird von vielen als DIE Standardmethode betrachtet (z. B. AntonKühberger); Studienergebnisse werden in Standardabweichungs Einheiten transformiert (g =korrigiert für Bias) → d; werden kombiniert, auf Homogenität geprüft, Abweichungen werden durchmoderierende stetige oder diskrete Variablen erklärt.Fazit des Vergleichs:Johnson, Mullen und Salas (1995) verglichen die Methoden und kommen fürRosenthal und Hedges & Olkin zu sehr ähnlichen Ergebnissen. Schmidt und Hunter(1999) kommen bei Re-Berechnungen zu dem Schluss, dass sich Johnson, Mullenund Salas (1995) falsche Berechnungsformeln verwendet haben und die dreiMethoden bei korrekter Berechung zu sehr ähnlichen Ergebnisse gelangen (beisimulierten Vergleichen).Ablauf einer Meta-Analyse1. Konkretisierung der Fragestellung2. Suche und Sammlung der vorhandenen Studien3. Kodierung und Bewertung der Studien4. Analyse der Ergebnisse5. Interpretation der Ergebnisse bezüglich der FragestellungProbleme der Meta-Analyse► File Drawer Problem: Ladenhüter & Studienverfügbarkeit► Äpfel und Birnen Problem: Vergleichbarkeit der Studien (Spezifität vs.Generalisation)► Garbage In, Garbage OUT Problem: Studienauswahl nach methodischenKriterien► Nonindependent Effects Problem: (Un-)Abhängigkeit der Studien23/23