Skript Evaluationsmethoden von der Angelika N. - Seelensammler

EvaluationsmethodenLengenfelder SoSe 2009Exkurs: Naturalistische Evaluation► Keine experimentellen oder statistischen Kontrollen► Keine quantitativen Daten (wie Skalen, Auswertungen, etc.)► Ziel: Die Maßnahme und deren Auswirkungen soll unvoreingenommene und offene beschrieben,interpretiert und verstanden werden.► Naturalistische Evaluationen werden auch bezeichnet als:• Ethnographisch• Ideographisch• Interpretativ• HermeneutischFazit:Häufig partizipatorisch und formativ orientiert. Haben nicht den Anspruch wissenschaftlich fundiert zusein.Auswahl und Applikation spezifischer Datenerhebungsverfahren► Tests / Fragebögen Wünschenswert: Auf die Anforderungen hin konstruierteMessverfahren die den Testgütekriterien entsprechen - ist aber fast nie möglichzusätzlich zu den anderen Eval-Aufgaben. Problem der bestehenden Verfahren:• Geringe Änderungssensitivität (wegen hoher Re-Test Reliabilitäten)• Meistens zu viele Items (=zu lange Bearbeitungszeit)• Konstrukte der Tests oft sehr spezifisch - in Eval allgemeiner notwendig• Zusammenhang Testwert $ Nutzen ist unbekannt► Beobachtung Überall dort sinnvoll, wo Aufwand bewältigbar und Eval-Kriterienbeobachtbar. Direkt wenn möglich immer besser als indirekte Messung. Aber:Zusammenhang UV $ AV dadurch nicht erhebbar► Interviews Zur Erhebung der subjektiven Wirkzusammenhänge und komplexerSysteme; aber sehr hoher Durchführungsaufwand. Interview soll geführt sind, umSubjektivität des Interviewers möglichst gering zu halten - vor allem wenn diesubjektiven Theorien der VPn das Messobjekt sind.Fazit:Wahl der Datenerhebungsmethoden nach inhaltlichen und strukturellen Kriterienfestgelegt. Oft gilt: Je exakter die Methode der Messung, desto geringer derNutzen!Identifikation u. Überprüfung potentieller StörquellenBei Durchführung von Eval-Projekten zahlreiche Fehlerquellen durch Untersuchungim Feld. Häufige Störquellen sind:Reifung Veränderungen in den AVs gehen auf natürliche und nicht den eigentlichen TreatmentEffekte zurück (Problem der internen Validität) - Kann nicht immer kontrolliert werden.Äquivalenzprobleme Zufällige Zuordnung der VPn zu Treatments nicht möglich (oft durchfreiwillige Teilnahme der VPn oder Problematik der Unterschiedlichkeit der Treatments); Keinezufälligen TreatmentanordnungenMortalität (statistisch) Problem des Ausscheidens von VPn (aus unterschiedlichen Gründen)Aufgaben für die EvaluatorInnen:Alle denkbaren Störeffekte möglichst ausschließen können, oder gering halten.Wegen quasiexperimenteller Untersuchungsbedingungen aber immer Störeinflüssevorhanden.→ Evaluations-Studien immer angreifbar!14/23