Skript Evaluationsmethoden von der Angelika N. - Seelensammler

EvaluationsmethodenLengenfelder SoSe 2009Externe Evaluation Evaluationsplanung und/oder Auftrag erfolgt von externen, kompetentenEvaluatoren - Evaluatoren sind unabhängig vom konkreten Evaluationsbereich. Bringen oft neueSichtweisen ins Feld. Problem: Interesse an konkreten Maßnahmen meist eher gering undAbhängigkeiten von Auftraggeber, Wünsche der Evaluierten können oft nicht berücksichtigt werdenoder werden übersehen.inwiefern sind Ergebnisse auf Population übertragbarEvaluationsbericht1. Danksagung2. Genauere Beschreibung der untersuchten Problemstellung3. Ausführliche Beschreibung des Evaluationsgegenstands4. Genauere Beschreibung der Studie (Fragestellung, Durchführung, Ergebnisse, Empfehlung)5. Vergleich mit ähnlichen Evaluationsstudien (optional)6. Empfehlung für weiter Studien (optional)7. Zusammenfassung8. Literatur9. AnhängeFazit:Bericht ist abhängig von Projekt und entsprechend auszurichten.Teil IV Statistik für ErwachseneCohen (1990)Things I Have Learned (So Far)Some Things You Learn Aren't So Nur weil man etwas lernt - muss es nicht stimmen. Weil manetwas nicht lernt heißt nicht, dass es falsch ist.Less Is More Weniger ist mehr, außer bei der Stichprobengröße (→ Graduate Disease); AV : UV : n- siehe Gigerenzer (Take the Best); DezimalstellenSimple Is Better Diagramme statt/und Zahlen; Wer rechnet kennt seine Zahlen; Wenn derRechenaufwand groß ist, ist die Planung gut; TallyingThe Fisherian Legacy Umgekehrte Fragestellungslogik, die sich wegen der eindeutigenEntscheidbarkeit schnell durchsetzte; Entscheidungsrelevanz aber für die PsychologischeForschung weniger wichtigThe Null Hypothesis Tests Us p α Werte sagen uns nichts über die Wahrscheinlichkeit der H0;Fisher vs. Neyman & Pearson; Nicht Signifikant ≠ Äquivalent; The Nil-Hypotheses is always false;Poweranalysen für eine bessere psychologische Forschung; Soft Psychology; A-priori Schätzungder Populationseffektstärke für StichprobengrößeThings take Time Wissenschaftliche Theorien brauchen manchmal sehr lange, bis sie Konventionsind (unabhängig von der Güte der Theorie)How To Use Statistics see next pageHow to Use Statistics► Deskriptiv (siehe EDA Exploratory Data Analysis) (Lengenfelder; solangedeskriptiv suchen, bis man etwas robustes findet, und das versuchen statistischabzusichern, Statistische Inferenz = Qualitätssicherung)► Bessere Forschungsplanung durch die notwendigenStichprobengrößenschätzungen, Effektstärkeschätzungen► Effektstärken statt pα-Werten► Konfidenzintervalle► Zutrauen wissenschaftliche Bewertungen abzugeben – Verantwortung nichtauf statistische Tests abwälzen► pα= .05 soll keine Klippe sein, sondern ein AnhaltspunktKonventionen:>.80 starker Effekt >.50 mittlerer Effekt >.20 schwacher Effekt19/23