Evaluations - Institut für Pädagogische Psychologie
11.02.2014 • Aufrufe
Teilen Einbetten Melden

Evaluations - Institut für Pädagogische Psychologie

Evaluations - Institut für Pädagogische Psychologie

Evaluations - Institut für Pädagogische Psychologie

MEHR ANZEIGEN
WENIGER ANZEIGEN
ePAPER LESEN
ePAPER HERUNTERLADEN
psychologie.uni.hannover.de

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.

JETZT STARTEN

Philosophische Fakultät<br />

<strong>Institut</strong> für Pädagogische <strong>Psychologie</strong><br />

Wintersemester 2012/13<br />

Forschungsmethoden<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Konzepte, Untersuchungspläne, Analysemethoden<br />

Dr. Günter Faber<br />

Download von stud.ip<br />

Stand 28.01.2013<br />

LV Evaluation © Faber 2012

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Veranstaltungshinweis<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Konzepte, Untersuchungspläne, Analysemethoden<br />

TV 2SWS<br />

Master Sonderpädagogik/Rehabilitationswissenschaft Modul 3.2<br />

Master Bildungswissenschaften Modul PM 8.1<br />

Mo 12-14 Raum 1211.105<br />

Die systematische Kontrolle von pädagogisch-psychologischen Maßnahmen im Hinblick auf ihre<br />

Wirksamkeit stellt einen wichtigen Aspekt des professionellen Handlungsrepertoires dar. Insbesondere<br />

geht es um die Frage, nach welchen Kriterien die Wirksamkeit von Interventionen beurteilt –<br />

und wie sie unter Umständen im gegebenen Handlungsfeld überprüft werden kann. Unter dieser<br />

Perspektive sollen in der Veranstaltung grundlegende Konzepte und Methoden pädagogischpsychologischer<br />

Maßnahmenevaluierungen vorgestellt und diskutiert werden. Im Einzelnen geht es<br />

dabei sowohl um wesentliche Aspekte des theoretischen Ansatzes, der empirischen Voraussetzungen<br />

(Designs, Gütekriterien, Datenerhebung, Datenverarbeitung) und der statistischen Analyse<br />

(Prüfverfahren, Effektstärken). Anhand ausgewählter Beispiele sollen verschiedene <strong>Evaluations</strong>möglichkeiten<br />

(feldexperimentelle Studien, Metaanalysen, praxisbegleitende Effektkontrollen, Einzelfallstudien)<br />

in ihren spezifischen Möglichkeiten und Grenzen untersucht und gegebenenfalls<br />

auch erprobt werden. Auf diesem Hintergrund gilt es schließlich auszuloten, wie dem Anspruch<br />

kontrollierter Praxis in einem bestimmten Handlungsfeld entsprochen werden kann.<br />

LV Evaluation © Faber 2012<br />

2

22.10. Evaluieren in pädagogischen Handlungsfeldern<br />

Begriff, Merkmale, Ziele, Varianten, Konzepte<br />

29.10. Komponenten und Kriterien des evaluativen Prozesses<br />

Variablen, Treatment, Entwicklungs-/Wirkmodelle<br />

05.11. Komponenten und Kriterien des evaluativen Prozesses<br />

Transfereffekte, Messzeitpunkte, Kurz-Langzeiteffekte<br />

12.11. Komponenten und Kriterien des evaluativen Prozesses<br />

Gütekriterien Datenerfassung Erhebungsmethoden<br />

19.11. Evaluative Untersuchungspläne<br />

Hypothesen, Kontroll-Vergleichsgruppendesigns, Parallelisierung<br />

26.11. Evaluative Untersuchungspläne<br />

Einzelfallstudien, interne externe Validität Stichproben Störvariablen<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Veranstaltungsplan<br />

03.12. Evaluative Untersuchungspläne<br />

Regressionseffekt, Vortestunterschiede, Implementierung, Treatment-Fidelity, Validitätsdilemma<br />

10.12. Statistische Analysemethoden I<br />

Bi- multivariate Analysen (SPSS), Signifikanz, Effektstärken<br />

17.12. Statistische Analysemethoden I<br />

Bi- multivariate Analysen (SPSS), Signifikanz, Effektstärken<br />

07.01. Evaluative Untersuchungstypen<br />

Quasi-experimentelle Feldstudie, praxisbegleitende Effektkontrolle, Metaanalyse<br />

14.01. Ausgewählte Beispiele<br />

Exemplarische Rekonstruktion evaluativer Untersuchungspläne<br />

21.01. Statistische Analysemethoden II<br />

Varianzanalytische (faktorielle) Designs in SPSS<br />

28.01. Kontrollierte Praxis<br />

Methodische und konzeptuelle Überlegungen für eine praxisbegleitende Evaluation<br />

Studienleistung<br />

LV Evaluation © Faber 2012<br />

3

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Literatur<br />

Astleitner, H. (2010). Methodische Rahmenbedingungen zur Entdeckung der Wirksamkeit von pädagogischen<br />

Interventionen. In T. Hascher & B. Schmitz (Hrsg.), Pädagogische Interventionsforschung und empirisches<br />

Handlungswissen (48-62). Weinheim: Juventa.<br />

Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4.<br />

Aufl.). Heidelberg: Springer.<br />

Ditton, H. (2009). Evaluation und Qualitätssicherung. In R. Tippelt & B. Schmidt (Hrsg.), Handbuch Bildungsforschung<br />

(2. Aufl., 607-623). Wiesbaden: Verlag für Sozialwissenschaften.<br />

Döring, N. (2010). Planung und Durchführung von <strong>Evaluations</strong>studien. In H. Holling & B. Schmitz (Hrsg.), Handbuch<br />

Statistik, Methoden und Evaluation. Handbuch der <strong>Psychologie</strong> 13 (261-272). Göttingen: Hogrefe.<br />

Gollwitzer, M. & Jäger, R.S. (2007). Evaluaton. Workbook. Weinheim: Beltz.<br />

Grünke, M. & Masendorf, F. (2000). Experimentelle Interventionsforschung in Gruppen. In J. Borchert (Hrsg.),<br />

Handbuch der Sonderpädagogischen <strong>Psychologie</strong> (974-986). Göttingen: Hogrefe.<br />

Hager, W. (2000). Zur Wirksamkeit von Interventionsprogrammen: Allgemeine Kriterien der Wirksamkeit von<br />

Programmen in einzelnen Untersuchungen. In W. Hager, J.-L. Patry & H. Brenzing (Hrsg.), Evaluation psychologischer<br />

Interventionsmaßnahmen: Standards und Kriterien. Ein Handbuch (153-168). Bern: Huber.<br />

Hager, W. (2000). Über plausible Störhypothesen bei der Evaluierung von Förderprogrammen. Empirische<br />

Pädagogik, 14, 343-372.<br />

Kern, H.-J. (1997). Einzelfallforschung. Eine Einführung für Studierende und Praktiker. Weinheim: Beltz.<br />

Köller, O. (2009). Evaluation pädagogisch-psychologischer Maßnahmen. In E. Wild & J. Möller (Hrsg.), Pädagogische<br />

<strong>Psychologie</strong> (333-352). Heidelberg: Springer.<br />

Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und<br />

<strong>Evaluations</strong>forschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis, 24, 105-131.<br />

LV Evaluation © Faber 2012<br />

4

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Literatur<br />

Kuper, H. (2005). Evaluation im Bildungssystem. Eine Einführung. Stuttgart: Kohlhammer.<br />

Levin, J.R., O‘Donnell, A.M. & Kratochwill, T.R. (2003). Educational/psychological intervention research. In<br />

W.M. Reynolds & G.E. Miller (Eds.), Handbook of psychology. Volume 7: Educational psychology (557-581). Hoboken:<br />

Wiley & Sons.<br />

Masendorf, F. & Grünke, M. (2000). Metaanalysen. In J. Borchert (Hrsg.), Handbuch der Sonderpädagogischen<br />

<strong>Psychologie</strong> (986-991). Göttingen: Hogrefe.<br />

Mittag, W. & Bieg, S. (2010). Die Bedeutung und Funktion pädagogischer Interventionsforschung und deren<br />

grundlegende Kriterien. In T. Hascher & B. Schmitz (Hrsg.), Pädagogische Interventionsforschung und empirisches<br />

Handlungswissen (31-47). Weinheim: Juventa.<br />

Prenzel, M. (2010). Geheimnisvoller Transfer? Wie Forschung der Bildungspraxis nützen kann. Zeitschrift für Erziehungswissenschaft,<br />

13, 21-37.<br />

Scheithauer, H. & Petermann, F. (2003). Wirksame und effektive psychotherapeutische Interventionen im<br />

Kindes- und Jugendalter. In F. Petermann (Hrsg.), Kinderverhaltenstherapie. Grundlagen, Anwendungen und manualisierte<br />

Trainingsprogramme (2. Aufl., 328-357). Baltmannsweiler: Schneider Verlag Hohengehren.<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson<br />

Studium.<br />

Wellenreuther, M. (2000). Quantitative Forschungsmethoden in der Erziehungswissenschaft. Eine Einführung.<br />

Weinheim: Juventa.<br />

Westermann, R. (2002). Merkmale und Varianten von Evaluationen: Überblick und Klassifikation. Zeitschrift<br />

für <strong>Psychologie</strong>, 210, 4-26.<br />

Weitere Angaben im Verlauf der Veranstaltung<br />

LV Evaluation © Faber 2012<br />

5

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluation <strong>Evaluations</strong>forschung<br />

Evaluation<br />

Bewertung von Ergebnissen und Prozessen von Gegenständen und/oder<br />

Ereignissen<br />

nicht zwangsläufig systematisch oder datengestützt (evidenzbasiert)<br />

keine expliziten methodischen Anforderungen oder Standards<br />

LV Evaluation © Faber 2012<br />

6

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluation <strong>Evaluations</strong>forschung<br />

Evaluation<br />

Bewertung von Ergebnissen und Prozessen von Gegenständen und/oder<br />

Ereignissen<br />

nicht zwangsläufig systematisch oder datengestützt (evidenzbasiert)<br />

keine expliziten methodischen Anforderungen oder Standards<br />

<strong>Evaluations</strong>forschung<br />

temporärer Ansatz der systematischen Bewertung von Gegenständen und<br />

Prozessen<br />

auf der Basis expliziter Bewertungskriterien<br />

unter Verwendung wissenschaftlicher Methoden<br />

LV Evaluation © Faber 2012<br />

7

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluation <strong>Evaluations</strong>forschung<br />

Evaluation<br />

Bewertung von Ergebnissen und Prozessen von Gegenständen und/oder<br />

Ereignissen<br />

nicht zwangsläufig systematisch oder datengestützt (evidenzbasiert)<br />

keine expliziten methodischen Anforderungen oder Standards<br />

<strong>Evaluations</strong>forschung<br />

temporärer Ansatz der systematischen Bewertung von Gegenständen und<br />

Prozessen<br />

auf der Basis expliziter Bewertungskriterien<br />

unter Verwendung wissenschaftlicher Methoden<br />

Qualitätsmanagement<br />

weitgehend als Vorgang der kontinuierlichen Evaluation unter kontextspezifischen<br />

und pragmatischen Aspekten<br />

rekurriert nicht notwendig auf Verwendung von Methoden der <strong>Evaluations</strong>forschung,<br />

schließt sie aber auch nicht aus<br />

LV Evaluation © Faber 2012<br />

8

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluation <strong>Evaluations</strong>forschung<br />

„Zur Evaluation wird empirische Wissenschaft … nicht durch die<br />

Methode, sondern durch ein spezifisches Erkenntnis- und Verwertungsinteresse.“<br />

(Kromrey 2001, 112)<br />

Konzeptuelle Perspektiven<br />

Entwicklungsparadigma<br />

Forschungsparadigma<br />

Kontrollparadigma<br />

Kromrey, H. (2001). Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und <strong>Evaluations</strong>forschung. Empfehlungen<br />

für die Praxis. Sozialwissenschaften und Berufspraxis, 24, 105-131.<br />

LV Evaluation © Faber 2012<br />

9

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

Evaluation = Bewertung<br />

Definierte Ziele<br />

Entscheidungen<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

LV Evaluation © Faber 2012<br />

10

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

Evaluation = Bewertung<br />

Definierte Ziele<br />

Entscheidungen<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

CIPP Model of Evaluation<br />

Context<br />

Inputs<br />

Process<br />

Product<br />

Stuffelbeam, D.L. & Shinkfield, A.J. (2007). Evaluation theory,<br />

models, and applications. San Francisco: Jossey-Bass.<br />

LV Evaluation © Faber 2012<br />

11

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

Evaluation = Bewertung<br />

<strong>Evaluations</strong>forschung<br />

Definierte Ziele<br />

Explizite Kriterien<br />

Wissenschaftliche Methoden<br />

Nachvollziehbare Bewertung<br />

Entscheidungen<br />

Qualitätsentwicklung<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Bildungs-, Erziehungs-, Lern-, Förderziele<br />

Maßnahmen zu deren Erreichung<br />

gesellschaftlich, institutionell, didaktisch, therapeutisch<br />

person- kontextbezogen<br />

kurz- oder langfristig<br />

global oder spezifisch<br />

Wirkungen<br />

Effekte<br />

LV Evaluation © Faber 2012<br />

12

Soll-Zustand<br />

Welcher genau?<br />

Warum erstrebenswert?<br />

Welcher Indikator?<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

Ist-Zustand<br />

Welcher genau?<br />

Warum veränderungsbedürftig?<br />

Welcher Indikator?<br />

AV<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Bildungs-, Erziehungs-, Lern-, Förderziele<br />

LV Evaluation © Faber 2012<br />

13

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

Soll-Zustand<br />

Welcher genau?<br />

Warum erstrebenswert?<br />

Welcher Indikator?<br />

UV<br />

AV<br />

Programm<br />

Intervention<br />

Wirkvariable<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Bildungs-, Erziehungs-, Lern-, Förderziele<br />

Maßnahmen zu deren Erreichung<br />

gesellschaftlich, institutionell, didaktisch, therapeutisch<br />

person- kontextbezogen<br />

kurz- oder langfristig<br />

global oder spezifisch<br />

Wirkungen<br />

Effekte<br />

LV Evaluation © Faber 2012<br />

14

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Merkmale<br />

UV<br />

AV<br />

Wirksamkeit<br />

Veränderungen in AV unter optimal kontrollierten<br />

Bedingungen<br />

Forschungssetting Laborforschung<br />

Scheithauer & Petermann (2003)<br />

Effektivität<br />

Veränderungen in AV unter annähernd<br />

realen Bedingungen<br />

Praxissetting Feldforschung<br />

Wirkungen<br />

Effekte<br />

LV Evaluation © Faber 2012<br />

15

Summative Evaluation<br />

Formative Evaluation<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Varianten Komponenten<br />

UV<br />

AV<br />

Selbstevaluation<br />

Fremdevaluation<br />

UV<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Experimentelle Evaluation<br />

Quasi-experimentelle Evaluation<br />

Kasuistische Evaluation<br />

Erkenntnisgewinn<br />

UV effektiv<br />

UV ineffektiv<br />

Zieleffekte<br />

Nettoeffekte<br />

Bruttoeffekte<br />

Kriterien<br />

LV Evaluation © Faber 2012<br />

16

Summative Evaluation<br />

Formative Evaluation<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

<strong>Evaluations</strong>forschung Varianten Komponenten<br />

UV<br />

AV<br />

Selbstevaluation<br />

Fremdevaluation<br />

UV<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Experimentelle Evaluation<br />

Quasi-experimentelle Evaluation<br />

Kasuistische Evaluation<br />

Zieleffekte<br />

programmgebunden Transfereffekte<br />

differenzielle Effekte<br />

interventionsgebunden Nebeneffekte<br />

Kriterien<br />

Zielerreichung<br />

Veränderung<br />

LV Evaluation © Faber 2012<br />

17

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

(Un)abhängige Variablen<br />

Hempel-Oppenheim-Schema<br />

Wenn...<br />

Gesetzesaussage<br />

Theorie<br />

Antezedensbedingungen<br />

Explanans<br />

Quantitative<br />

Forschungskonzepte<br />

Unabhängige<br />

Variable(n) UV<br />

dann...<br />

Ereignis<br />

Explanandum<br />

Abhängige<br />

Variable(n) AV<br />

LV Evaluation © Faber 2012<br />

18

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Wirkmodell<br />

UV<br />

Programm<br />

Intervention<br />

Konstrukt<br />

AV<br />

Verhalten<br />

Operationalisierung<br />

Datenerhebung<br />

Indikatoren<br />

◄ Zuordnungsregeln<br />

LV Evaluation © Faber 2012<br />

19

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Wirkmodell<br />

Erklärung Vorhersage<br />

Wirkprozesse<br />

AV 3<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Verhalten<br />

Indikatoren<br />

AV 2<br />

AV 4<br />

Erklärung Vorhersage<br />

Wirkprozesse<br />

LV Evaluation © Faber 2012<br />

20

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungs- und Wirkmodell<br />

Entwicklungsmodell<br />

AV 3<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Verhalten<br />

Indikatoren<br />

AV 2<br />

AV 4<br />

Erklärung Vorhersage<br />

Wirkprozesse<br />

LV Evaluation © Faber 2012<br />

21

Kontrollvariablen<br />

Mediatoren<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungs- und Wirkmodell<br />

KV<br />

Moderatoren AV 3<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Verhalten<br />

AV 2<br />

AV 4<br />

Operationalisierung<br />

Datenerhebung<br />

Indikatoren<br />

LV Evaluation © Faber 2012<br />

22

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Transfer<br />

UV AV 1<br />

AV 3<br />

Übertragung<br />

erlernten Wissens<br />

erlernter Fähigkeiten<br />

erlernter Motivationen<br />

erlernter Strategien<br />

AV 2<br />

AV 4<br />

Transfer<br />

trivial<br />

positiv negativ<br />

horizontal vertikal<br />

spezifisch unspezifisch<br />

nachhaltig<br />

LV Evaluation © Faber 2012<br />

23

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Transfer<br />

positiv negativ<br />

trivial<br />

horizontal<br />

spezifisch<br />

unspezifisch<br />

vertikal<br />

nachhaltig<br />

übergeordnete Fähigkeit<br />

Hasselhorn, M. & Hager, W. (2008). Transferwirkungen kognitiver Trainings. In W. Schneider & M. Hasselhorn (Hrsg.), Handbuch der Pädagogischen<br />

<strong>Psychologie</strong> (381-390). Göttingen: Hogrefe.<br />

Klauer, K.J. (2000). Das Huckepack-Theorem asymmetrischen Strategietransfers. Ein Beitrag zur Trainings- und Transfertheorie. Zeitschrift für<br />

Entwicklungspsychologie und Pädagogische <strong>Psychologie</strong>, 32, 153-165.<br />

LV Evaluation © Faber 2012<br />

24

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Transfer<br />

Förderung<br />

induktiven Denkens<br />

Beispiel<br />

AV 3<br />

UV AV 1<br />

Kognitives Training<br />

Induktives Schließen<br />

Vergleichen<br />

Gleichheit Verschiedenheit<br />

Merkmale Relationen<br />

AV 2<br />

AV 4<br />

Tiedemann, J., Billmann-Mahecha, E., Kölbl, C. & Kollenrott, A.I. (2008). KOLIBRI. Kognitive Förderung in der Grundschule. Münster:<br />

Waxmann.<br />

LV Evaluation © Faber 2012<br />

25

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Transfer<br />

Förderung<br />

induktiven Denkens<br />

Beispiel<br />

AV 3<br />

UV AV 1<br />

AV 2<br />

AV 4<br />

Kognitives Training<br />

Tiedemann, J., Billmann-Mahecha, E., Kölbl, C. & Kollenrott, A.I. (2008). KOLIBRI. Kognitive Förderung in der Grundschule. Münster:<br />

Waxmann.<br />

LV Evaluation © Faber 2012<br />

26

Förderung<br />

induktiven Denkens<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Transfer<br />

Beispiel<br />

AV 1<br />

Lesen<br />

UV AV 1<br />

AV 2<br />

Kognitives Training<br />

MZP 1<br />

MZP 2<br />

Induktives Schließen<br />

AV 3<br />

Induktives Schließen<br />

Lernmotivation<br />

Transferwirkungen<br />

Tiedemann, J., Billmann-Mahecha, E., Kölbl, C. & Kollenrott, A.I. (2008). KOLIBRI. Kognitive Förderung in der Grundschule. Münster:<br />

Waxmann.<br />

LV Evaluation © Faber 2012<br />

27

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Konstrukt<br />

AV 1<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

28

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

sozial-kognitiv<br />

Aggressive<br />

Verhaltensstrategien<br />

Soziale Kompetenzen<br />

Empathie<br />

Selbstkontrolle<br />

Lern-/Veränderungsprozesse<br />

Konstrukt<br />

AV 1<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

29

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

sozial-kognitiv<br />

Aggressive<br />

Verhaltensstrategien<br />

Soziale Kompetenzen<br />

Empathie<br />

Selbstkontrolle<br />

Lern-/Veränderungsprozesse<br />

Konstrukt<br />

AV 1<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

30

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

sozial-kognitiv<br />

Aggressive<br />

Verhaltensstrategien<br />

Soziale Kompetenzen<br />

Empathie<br />

Selbstkontrolle<br />

Lern-/Veränderungsprozesse<br />

Konstrukt<br />

AV 1<br />

Verhalten<br />

Operationalisierung<br />

Datenerhebung<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

31

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Konstrukt<br />

Aggressive<br />

Verhaltensstrategien<br />

Soziale Kompetenzen<br />

Empathie<br />

Selbstkontrolle<br />

Lern-/Veränderungsprozesse<br />

AV 1<br />

Verhalten<br />

Operationalisierung<br />

Datenerhebung<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

32

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Verhalten<br />

verbal<br />

physisch<br />

kognitiv<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

33

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Individuum Umfeld<br />

Verhalten<br />

verbal<br />

physisch<br />

kognitiv<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

34

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Individuum Umfeld<br />

Verhalten<br />

verbal<br />

physisch<br />

kognitiv<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

35

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Individuum Umfeld<br />

Verhalten<br />

verbal<br />

physisch<br />

kognitiv<br />

Indikatoren<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

36

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Entwicklungsmodell Intervention Datenerhebung Transfer<br />

Entwicklungsmodell<br />

Selbstwert<br />

Konstrukt<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity<br />

UV AV 1<br />

Operationalisierung<br />

Datenerhebung<br />

Individuum Umfeld<br />

Verhalten<br />

verbal<br />

physisch<br />

kognitiv<br />

Indikatoren<br />

Akzeptanz<br />

Leistung<br />

Beispiel<br />

Aggressives Verhalten<br />

LV Evaluation © Faber 2012<br />

37

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung<br />

Konstrukt<br />

UV AV 1<br />

Programm<br />

Intervention<br />

Bedingungen<br />

Implementierung<br />

Treatment-Fidelity Verhalten Beobachtung<br />

Operationalisierung<br />

Datenerhebung<br />

Indikatoren<br />

Befragung<br />

Test<br />

LV Evaluation © Faber 2012<br />

38

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Theorie Konstrukt Operationalisierung<br />

Begriff<br />

Konstrukt<br />

Theorie<br />

Operationalisierung<br />

Variable<br />

Indikatoren<br />

Item<br />

Aufgabe<br />

Eindeutig<br />

beobachtbar<br />

Intersubjektiv<br />

überprüfbar<br />

Messen<br />

Quantifizieren<br />

LV Evaluation © Faber 2012<br />

39

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Theorie Konstrukt Operationalisierung<br />

Begriff<br />

Konstrukt<br />

Theorie<br />

Operationalisierung<br />

Beispiel: Variable<br />

Leistungsangst<br />

Indikatoren<br />

Subjektiv<br />

erlebte<br />

Besorgtheit<br />

und<br />

Aufgeregtheit<br />

Emotionaler<br />

Stress<br />

Ich mache mir Sorgen, dass ich alles<br />

vergesse …<br />

… habe ich schon einen Tag vorher<br />

ein komisches Gefühl im Magen.<br />

LV Evaluation © Faber 2012<br />

40

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Theorie Konstrukt Operationalisierung<br />

Begriff<br />

Konstrukt<br />

Beispiel:<br />

Lesen<br />

Theorie<br />

Variable<br />

Indikatoren<br />

Operationalisierung<br />

Graphem-<br />

Phonem-<br />

Korrespondenz<br />

Syllabieren<br />

Phonologische<br />

Basiskompetenzen<br />

Buchstaben zu Lauten, Silben,<br />

Wörten ...<br />

Inhalt wiedergeben können ...<br />

LV Evaluation © Faber 2012<br />

41

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Erhebungsverfahren Gütekriterien<br />

Person A<br />

Σ<br />

Anwender A = B = C<br />

Objektivität Vergleichbarkeit<br />

in Anwendung, Auswertung, Interpretation<br />

(Normierung), Standardisierung<br />

Reliabilität Zuverlässigkeit<br />

Instrumentelle Reliabilität/interne Konsistenz (Cronbachs<br />

Alpha), zeitliche Stabilität (Wiederholung t 1<br />

– t 2<br />

)<br />

Σ 1 Σ 2<br />

Validität Gültigkeit<br />

Augenscheinvalidität, curriculare Validität, Kriteriumsvalidität,<br />

prognostische Validität, Konstruktvalidität<br />

Lienert, G.A. & Raatz, U. (1994). Testaufbau und Testanalyse (5. Aufl.). Weinheim: Beltz.<br />

LV Evaluation © Faber 2012<br />

42

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Erhebungsverfahren Gütekriterien<br />

Person A<br />

Σ<br />

Anwender A = B = C<br />

Datenerhebung als<br />

Interaktion<br />

(Double) Implizite<br />

Blind Botschaften<br />

Experiment<br />

Objektivität Vergleichbarkeit<br />

in Anwendung, Auswertung, Interpretation<br />

(Normierung), Standardisierung<br />

Standardisierung<br />

Instruktion Materialien<br />

vorgegebener Wortlaut Verhaltensregeln<br />

Bedingungen<br />

Ort Zeit physische psychische Verfassung<br />

Anwendung<br />

Vermeidung unangemessener Einflüsse<br />

Auswertung<br />

Kodierschlüssel<br />

Interpretation<br />

Auswertungsschlüssel Bezugsnormen<br />

LV Evaluation © Faber 2012<br />

43

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Gütekriterien „korrelativ“<br />

Beurteiler 1<br />

Objektivität Vergleichbarkeit<br />

Σ<br />

Beurteiler 2<br />

Reliabilität Zuverlässigkeit<br />

Aufgabe<br />

Item<br />

Σ 1<br />

Σ 2<br />

Bezugsvariable<br />

Skalensumme<br />

Test<br />

Fragebogen<br />

Validität Gültigkeit<br />

LV Evaluation © Faber 2012<br />

44

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Gütekriterien „korrelativ“<br />

Ausreißer<br />

verminderte<br />

Varianz<br />

Einschränkende Bedingungen<br />

LV Evaluation © Faber 2012<br />

45

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Gütekriterien „korrelativ“<br />

lineare Beziehung<br />

y<br />

-1 0<br />

+1<br />

x<br />

kurvilineare<br />

Beziehung<br />

Einschränkende Bedingungen<br />

LV Evaluation © Faber 2012<br />

46

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Psychometrische Normwerte<br />

68.26%<br />

interindividuelle<br />

(soziale)<br />

Bezugsnorm<br />

Eichstichprobe<br />

Durchschnitt<br />

T = 50 + 10z<br />

PR = f cum %<br />

PR<br />

z<br />

T<br />

PR<br />

-1.0<br />

40<br />

16<br />

0<br />

50<br />

50<br />

+1.0<br />

60<br />

84<br />

Lienert, G.A. & Raatz, U. (1994). Testaufbau und Testanalyse (5. Aufl.). Weinheim: Beltz.<br />

LV Evaluation © Faber 2012<br />

47

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Beobachtung<br />

teilnehmend<br />

nicht-teilnehmend<br />

offen<br />

verdeckt<br />

systematisch<br />

unsystematisch<br />

standardisiert<br />

nicht-standardisiert<br />

Systematisches<br />

Erfassen ... sinnlich<br />

wahrnehmbaren<br />

Verhaltens innerhalb<br />

eines umschriebenen<br />

sozialen Kontexts zum<br />

Zeitpunkt seines<br />

(potenziellen)<br />

Auftretens<br />

Erfassung<br />

offenen<br />

Verhaltens<br />

LV Evaluation © Faber 2012<br />

48

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Beobachtung<br />

nicht-teilnehmende Beobachtung<br />

Situation<br />

Trennung<br />

von<br />

Beschreibung<br />

und<br />

Beurteilung<br />

Beobachter<br />

offen<br />

verdeckt<br />

K1<br />

K2<br />

Kn<br />

Kategorien<br />

Beobachtete<br />

standardisiert<br />

nicht-standardisiert<br />

systematisch<br />

unsystematisch<br />

LV Evaluation © Faber 2012<br />

49

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Beobachtung<br />

teilnehmende Beobachtung<br />

Situation<br />

Trennung<br />

von<br />

Beschreibung<br />

und<br />

Beurteilung<br />

Beobachter<br />

offen<br />

verdeckt<br />

K1<br />

K2<br />

Kn<br />

Kategorien<br />

Beobachtete<br />

standardisiert<br />

nicht-standardisiert<br />

systematisch<br />

unsystematisch<br />

LV Evaluation © Faber 2012<br />

50

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Beobachtung Beispiel<br />

Systematische<br />

Verhaltensbeobachtung<br />

... schaut geradeaus<br />

Beobachtungsintervalle<br />

||||||| |||| ||||||<br />

... schaut nach links<br />

||||<br />

||<br />

|||<br />

... schaut nach rechts<br />

|||||<br />

||||<br />

|||||||<br />

Auto<br />

Seminar<br />

SeminarAuto<br />

... schaut nach oben<br />

... schaut nach hinten<br />

|||<br />

||||<br />

||<br />

|||<br />

|<br />

|||<br />

Kontext<br />

... schreibt etwas auf<br />

|<br />

LV Evaluation © Faber 2012<br />

51

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Befragung<br />

mündlich Interview<br />

Fragebogen schriftlich<br />

Einzelsituation<br />

Gruppensituation<br />

strukturiert<br />

offen<br />

unstrukturiert<br />

reaktiv geschlossen<br />

standardisiert<br />

nicht-standardisiert<br />

Fehlermöglichkeiten<br />

Soziale Erwünschtheit<br />

Antworttendenzen<br />

response sets<br />

Einflussnahme<br />

Erfassung<br />

von Fakten<br />

subjektiven Perspektiven<br />

Bewertungen Überzeugungen<br />

Introspektion<br />

Retrospektion<br />

LV Evaluation © Faber 2012<br />

52

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Befragung Antwortformate<br />

alternativ<br />

graphisch<br />

<br />

<br />

☺<br />

ja<br />

nein<br />

Likert-Skala<br />

verbal<br />

stimmt<br />

gar nicht<br />

stimmt<br />

kaum<br />

stimmt<br />

ein wenig<br />

stimmt<br />

genau<br />

bipolar<br />

-3 -2 -1 0 +1 +2 +3<br />

Semantisches Differential<br />

Polaritätenprofil<br />

LV Evaluation © Faber 2012<br />

53

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Befragung response sets<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

Item-Bias<br />

response<br />

sets<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

Soziale Erwünschtheit<br />

Tendenz zu Extremwerten<br />

Tendenz zur Mitte<br />

1 2 3<br />

1 2 3<br />

1 2 3<br />

LV Evaluation © Faber 2012<br />

54

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Fragebogen Beispiel<br />

Differentielles Schulisches Selbstkonzept-Gitter (DISK)<br />

D.H. Rost, J.R. Sparfeldt & S.R. Schilling (2007)<br />

Konstrukt: schulfachspezifische Selbstkonzepte<br />

Manchmal fühle ich mich<br />

in ... anderen überlegen.<br />

Aufbau: 6 Subskalen mit je 8 sechsstufigen Schätzitems<br />

Durchführung: standardisiert<br />

Auswertung: Auswertungsbogen<br />

Ich kann in ... Sachen<br />

selbst rauskriegen.<br />

Interpretation: T-Normwerte nach Schularten und Klassenstufen<br />

Reliabilität: Cronbachs Alpha = .91 bis .95<br />

Validität: faktorenanalytisch begründete Skalenbildung<br />

Beziehungen u.a. zu Schulleistungen, Geschlecht,<br />

Leistungsmotivation, Interesse, Leistungsangst,<br />

Intelligenz, Lern- und Arbeitsverhalten<br />

Ich habe ein gutes<br />

Gefühl, was meine Arbeit<br />

in ... angeht.<br />

LV Evaluation © Faber 2012<br />

55

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Fragebogen Beispiel<br />

Differentielles Schulisches Selbstkonzept-Gitter (DISK)<br />

D.H. Rost, J.R. Sparfeldt & S.R. Schilling (2007)<br />

LV Evaluation © Faber 2012<br />

56

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Fragebogen Beispiel<br />

Sind Sie ein notorischer Aufschieber?<br />

H.-W. Rückert (o.J.)<br />

Konstrukt: Prokrastination<br />

Aufbau: 10 dreistufige<br />

Schätzitems<br />

Durchführung: vorgegeben<br />

Auswertung: vorgegeben<br />

Interpretation:<br />

Rohwertintervalle unerklärt<br />

Reliabilität: keine Angaben<br />

Validität: keine Angaben<br />

Bevor ich eine wichtige<br />

Sache anfange, muss<br />

ich erst aufräumen und<br />

abwaschen.<br />

http://cgi.uni-muenster.de/exec/Rektorat/<br />

upm.php?rubrik=Alle&neu=0&monat=200407&nummer=05543<br />

Ich bin ein eher<br />

spontaner Typ und<br />

mag mich nicht<br />

festlegen.<br />

LV Evaluation © Faber 2012<br />

57

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Fragebogen Beispiel<br />

Sind Sie ein notorischer Aufschieber?<br />

H.-W. Rückert (o.J.)<br />

Analyse<br />

Item<br />

01<br />

r it<br />

.254<br />

α t-i<br />

.566<br />

Reliabilität<br />

02<br />

03<br />

.270<br />

.045<br />

.561<br />

.607<br />

04<br />

.130<br />

.592<br />

05<br />

.197<br />

.578<br />

06<br />

.320<br />

.547<br />

Reliabilitätsanalyse<br />

Trennschärfen<br />

Cronbachs Alpha<br />

07<br />

08<br />

09<br />

10<br />

.340<br />

.262<br />

.449<br />

.358<br />

.543<br />

.563<br />

.510<br />

.540<br />

Alpha<br />

.588<br />

LV Evaluation © Faber 2012<br />

58

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Test<br />

Testmerkmale<br />

Standardisierung<br />

nicht bzw. schwach<br />

teilweise<br />

vollständig<br />

Formatierung<br />

Antworten frei multiple choice<br />

Kriterium speed power<br />

Einsatz Individual-Gruppensituation<br />

Bearbeitung paper-pencil materialbezogen<br />

computergestützt<br />

Differenzierungsgrad uni-mehrdimensional<br />

Testbatterien<br />

Inhalt<br />

Entwicklungstests<br />

Intelligenztests<br />

Konzentrationstests<br />

Aufmerksamkeitstests<br />

spezielle Fähigkeitstests<br />

Schulleistungstests<br />

LV Evaluation © Faber 2012<br />

59

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Datenerhebung Test<br />

Konstruktionsprinzipien<br />

Konstrukt<br />

Entwicklungsniveau<br />

Aufgaben<br />

Operationalisierungen<br />

Differenzierungsgrad<br />

Komplexitätsgrad<br />

Schwierigkeitsstufen<br />

Reihenfolge<br />

Instruktion<br />

Kubinger, K.D. (2006). Psychologische Leistungstests. In F. Petermann & M. Eid (Hrsg.), Handbuch der Psychologischen Diagnostik (118-<br />

126). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2012<br />

60

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Leistungstest Beispiel<br />

2 Testteile<br />

je 46 Aufgaben<br />

Series<br />

Classifications<br />

Matrices<br />

Topologies<br />

Durchführung<br />

standardisiert<br />

Auswertung<br />

Schablonen<br />

Interpretation<br />

Normwerte<br />

Grundintelligenztest Skala 2 CFT 20<br />

R.H. Weiß (1998)<br />

Konstrukt: Nonverbale Intelligenz (g-Faktor)<br />

Instruktionsbeispiel: Series<br />

In jeder Reihe soll also immer diejenige von den 5 Figuren auf der<br />

rechten Seite ausgewählt werden, die zu den 3 Figuren auf der linken<br />

Seite am besten passt.<br />

Den Buchstaben, der zu dieser Figur gehört, sollst Du ankreuzen.<br />

LV Evaluation © Faber 2012<br />

61

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Leistungstest Beispiel<br />

Validität<br />

Grundintelligenztest Skala 2 CFT 20<br />

R.H. Weiß (1998)<br />

Konstrukt: Nonverbale Intelligenz (g-Faktor)<br />

Reliabilität<br />

.71 bis .94<br />

LV Evaluation © Faber 2012<br />

62

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Leistungstest Beispiel<br />

7 Subtests mit 74<br />

Aufgaben<br />

Segmentierung<br />

Vokalersetzung<br />

Restwortbestimmung<br />

Phonemvertauschung<br />

Lautkategorisierung<br />

Vokallänge<br />

Wortumkehr<br />

Durchführung<br />

standardisiert<br />

Auswertung<br />

vorgegeben<br />

Interpretation<br />

Normwerte<br />

Basiskompetenzen für Lese-<br />

Rechtschreibleistungen BAKO 1-4<br />

C. Stock, P. Marx & W. Schneider (2003)<br />

Phonologische Bewusstheit<br />

Subtest Vokalersetzung<br />

Für jedes a im Wort sagst Du ein i...<br />

also ich sage „schlafen“, und Du<br />

machst daraus „schlifen“.<br />

Ich sage „Sand“, Du sagst ...<br />

Ich sage „Kaba“, Du sagst ...<br />

Ich sage „Afate“, Du sagst ...<br />

LV Evaluation © Faber 2012<br />

63

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Leistungstest Beispiel<br />

Validität<br />

Basiskompetenzen für Lese-<br />

Rechtschreibleistungen BAKO 1-4<br />

C. Stock, P. Marx & W. Schneider (2003)<br />

Phonologische Bewusstheit<br />

Reliabilität<br />

Interne Konsistenz<br />

.91 bis .94<br />

LV Evaluation © Faber 2012<br />

64

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungshypothesen<br />

theoretisch abgeleitete Annahmen über ein Ereignis<br />

empirisch überprüfbare Beziehung(en) zwischen UV und AV<br />

Wenn... dann... (Je... desto...)<br />

prinzipiell falsifizierbar<br />

auf der Basis von Konstruktoperationalisierungen<br />

Nullhypothesen (H 0 ) vs. Alternativhypothesen (H 1 )<br />

ein- oder zweiseitige Alternativhypothesen<br />

H 0<br />

Gruppe A = B<br />

H 1eins<br />

Gruppe A < B<br />

H 1zweis<br />

Gruppe A ≠ B<br />

Beispiel<br />

Unterschied in der Ausprägung von AV<br />

LV Evaluation © Faber 2012<br />

65

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungshypothesen<br />

Unterschiede<br />

H 0<br />

Gruppe A = B<br />

H 1zweis<br />

Gruppe A ≠ B<br />

H 1eins<br />

Gruppe A < B<br />

LV Evaluation © Faber 2012<br />

66

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungshypothesen Beispiel<br />

H 0<br />

H 1zweis<br />

H 1eins<br />

AV<br />

Lesekompetenz<br />

UV Lesetraining (Gruppenbildung)<br />

Operationalisierung<br />

Test<br />

Befragung<br />

Selbst- Fremd-<br />

Methode(n)<br />

Bedingung(en)<br />

Wirkmodell<br />

Stichprobe<br />

Zustandekommen<br />

Zusammensetzung<br />

Untersuchungsplan<br />

Messzeitpunkte<br />

Beispiel<br />

LV Evaluation © Faber 2012<br />

67

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungspläne<br />

Posttest-Design mit einer Experimentalgruppe<br />

Posttest<br />

EG<br />

UV<br />

AV<br />

Statistische Analysen<br />

nicht möglich<br />

LV Evaluation © Faber 2012<br />

68

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungspläne<br />

Prä-Posttest-Design mit einer Experimentalgruppe<br />

EG<br />

Prätest<br />

AV 1<br />

Posttest<br />

UV AV 2<br />

Statistische Analysen<br />

bivariate Unterschiedstests Signifikanzprüfung Effektstärke<br />

LV Evaluation © Faber 2012<br />

69

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungspläne<br />

Prä-Posttest-Design mit Kontrollgruppe<br />

Prätest<br />

Posttest<br />

parallelisiert<br />

EG<br />

KG<br />

AV 1<br />

AV 1<br />

UV AV 2<br />

AV 2<br />

Statistische Analysen<br />

bivariate Unterschiedstests Signifikanzprüfung Effektstärke<br />

LV Evaluation © Faber 2012<br />

70

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungspläne Beispiel<br />

AV1 CFT Prätest<br />

5 Wochen Quasi-experimentelle<br />

Feldstudie<br />

UV Kognitives Training<br />

EG<br />

KG<br />

CFT<br />

Nonverbaler<br />

Intelligenztest<br />

Series<br />

Matrices<br />

statistische<br />

Kontrolle<br />

AV2 CFT Posttest<br />

Tiedemann, J., Billmann-Mahecha, E., Kölbl, C. & Kollenrott, A.I. (2008). KOLIBRI. Kognitive Förderung in der Grundschule. Münster:<br />

Waxmann.<br />

LV Evaluation © Faber 2012<br />

71

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungspläne<br />

Prä-Posttest-Design mit Kontroll-Vergleichsgruppe<br />

Prätest<br />

Posttest<br />

EG<br />

AV 1<br />

UV A AV 2<br />

parallelisiert<br />

KG<br />

AV 1<br />

AV 2<br />

VG<br />

AV 1<br />

UV B<br />

AV 2<br />

Statistische Analysen<br />

Varianzanalysen Signifikanzprüfung Effektstärke<br />

LV Evaluation © Faber 2012<br />

72

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Einzelfallstudie<br />

Einzelfallstudie grundlegende Designs<br />

N=1-Studie<br />

intraindividuelle Bezugsnorm<br />

A B A<br />

Messungen<br />

AV 2<br />

AV 1<br />

zahlreiche MZP<br />

vergleichbare Erfassungsmethode<br />

Prätest<br />

Grundrate<br />

baseline<br />

Treatment UV<br />

Posttest<br />

Julius, H., Schlosser, R.W. & Goetze, H. (2000). Kontrollierte Einzelfallstudien. Eine Alternative für die sonderpädagogische<br />

und klinische Forschung. Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2012<br />

73

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Einzelfallstudie Beispiel<br />

Einzelfallstudie<br />

N=1-Studie<br />

60<br />

55<br />

50<br />

45<br />

40<br />

35<br />

30<br />

25<br />

20<br />

15<br />

10<br />

5<br />

0<br />

intraindividuelle Bezugsnorm<br />

Interventionsdauer: 2 Jahre<br />

gk+ 2<br />

gk+ 3<br />

gk+ 4<br />

ieih 2<br />

ieih 3<br />

ieih 4<br />

II+ 2<br />

II+ 3<br />

II+ 4<br />

ssß 2<br />

ssß 3<br />

ssß 4<br />

grokl 2<br />

grokl 3<br />

grokl 4<br />

lautg 2<br />

lautg 3<br />

lautg 4<br />

Fehlerprozent<br />

LV Evaluation © Faber 2012<br />

74

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Einzelfallstudie Auswertung<br />

Grundrate<br />

Trainingsphase<br />

Trendlinie<br />

Split-Mittel-Methode<br />

5! = 1 · 2 · 3 · 4 · 5 Binomial-Test<br />

Kern, H.J. (1997). Einzelfallforschung. Eine Einführung für Studierende und Praktiker. Weinheim: Beltz<br />

LV Evaluation © Faber 2012<br />

75

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungsplanung Übung<br />

Fragestellung<br />

Wirkung(en)<br />

Seminar<br />

Methodenkompetenz<br />

PPT-Datei Untersuchungsplanung<br />

Download<br />

stud.ip<br />

Störvariablen<br />

s1<br />

s2<br />

s3<br />

s4<br />

UV<br />

AV 1<br />

AV 2<br />

AV 3<br />

Stichprobe<br />

N = nnn<br />

EG<br />

KG<br />

VG<br />

MZP 1<br />

MZP 2<br />

MZP 3<br />

LV Evaluation © Faber 2012<br />

76

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Untersuchungsplanung Übung<br />

Fragestellung<br />

Wirkung(en)<br />

Seminar<br />

Methodenkompetenz<br />

Stichprobe<br />

N = 20+20<br />

1. Studiensemester<br />

randomisiert<br />

parallelisiert<br />

EG<br />

KG<br />

Störvariablen<br />

schulische Vorkenntnisse<br />

Merkmale Lehrende<br />

MZP 1 MZP 2<br />

AV 1 UV AV 2<br />

Seminar<br />

AV 1 AV 2<br />

Fragebogen<br />

Test<br />

standardisierte<br />

Aufgabe<br />

LV Evaluation © Faber 2012<br />

77

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Interne externe Validität<br />

AV<br />

UV<br />

AV<br />

Stichprobe<br />

externe Validität<br />

interne Validität<br />

Kontrolle Störvariablen<br />

Genauigkeit Eindeutigkeit<br />

Setting Generalisierbarkeit<br />

LV Evaluation © Faber 2012<br />

78

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Stichproben<br />

Repräsentativität<br />

Zustandekommen Umfang Eigenschaften<br />

Population<br />

Grundgesamtheit<br />

Stichprobe<br />

Zusammensetzung<br />

Merkmale der Personen<br />

Anzahl der Personen<br />

Reichweite Geltungsbereich<br />

der Ergebnisse<br />

LV Evaluation © Faber 2012<br />

79

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Stichproben<br />

Zufalls-<br />

Stichproben<br />

einfache<br />

Zufallsstichprobe<br />

geschichtete Stichprobe<br />

Klumpenstichprobe<br />

Randomisierung<br />

Parallelisierung<br />

Matching<br />

systematische<br />

Stichproben<br />

Quotenverfahren<br />

systematische Auswahl<br />

klinische Forschung<br />

Interventionsforschung<br />

Evaluation<br />

anfallende<br />

Stichproben<br />

individuelle<br />

Indikatorvariablen<br />

LV Evaluation © Faber 2012<br />

80

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Interne externe Validität<br />

Stichprobe Zustandekommen Zusammensetzung<br />

Merkmale<br />

Setting Kontext Rahmenbedingungen<br />

externe Validität<br />

Teilstichproben Parallelisierung<br />

Prä-Posttest-Daten MZP<br />

Güte Erhebungsmethoden objektiv<br />

reliabel valide<br />

Untersuchungsbedingungen<br />

Störvariablen Konfundierung von<br />

Einflüssen auf AV ...<br />

methodenabhängige Effekte<br />

interne Validität<br />

Kontrolle Störvariablen<br />

Genauigkeit Eindeutigkeit<br />

Setting Generalisierbarkeit<br />

LV Evaluation © Faber 2012<br />

81

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Methodenabhängige Regressionseffekte<br />

Überschätzung des Interventionseffekts<br />

Regression zur Mitte<br />

Post<br />

Post<br />

UV<br />

r = -.58***<br />

Prä2<br />

UV<br />

Prä<br />

Prä1<br />

insbesondere bei<br />

extrem ausgelesenen Stichproben<br />

Statistisches Indiz:<br />

Negative Korrelation zwischen Erstmessung und Differenz<br />

Erst-Zweitmessung Prä1/Prä2-Prä1<br />

sowohl in der EG als auch in der KG<br />

Rogosa, D.R. & Willett, J.B. (1985). Understanding correlates of change by modelling individual differences in growth. Psychometrika, 50,<br />

203-228.<br />

Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4. Aufl.). Heidelberg: Springer.<br />

LV Evaluation © Faber 2012<br />

82

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Methodenabhängige Vortesteffekte<br />

Überschätzung des Interventionseffekts<br />

EG<br />

Prä1<br />

Prä2<br />

UV<br />

KG<br />

Prä1<br />

Prä2<br />

UV<br />

Höhere<br />

Vortestwerte<br />

in der EG<br />

überlagern<br />

„Netto“-Effekt<br />

der UV<br />

Post<br />

Post<br />

Schereneffekt<br />

Matthäus-Effekt<br />

Statistische Kontrolle<br />

korrigierte Effektstärke (d korr<br />

= d post<br />

– d prä<br />

)<br />

um Vortestunterschiede bereinigte Differenz zwischen<br />

Nachtestergebnissen in Experimental- und Kontrollgruppe<br />

Masendorf, F. (1997). Einführung in das Experiment im Kontext sonderpädagogischer Theoriebildung. In F. Masendorf (Hrsg.), Experimentelle<br />

Sonderpädagogik. Ein Lehrbuch zur angewandten Forschung (71-75). Weinheim: Beltz.<br />

LV Evaluation © Faber 2012<br />

83

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Implementierung Treatment-Fidelity<br />

Beeinflussung des Interventionseffekts<br />

Konzeptueller Standard<br />

Material Methoden Reihenfolge Vollständigkeit<br />

Instruktion Training<br />

Kontextuelle Einbettung<br />

AV 1 UV AV 2<br />

AV 1<br />

AV 2<br />

(Double)Blind Design<br />

Ähnlichkeiten mit UV-Bedingungen<br />

Test-Taking- bzw. Coaching-Effekte<br />

LV Evaluation © Faber 2012<br />

84

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Effekte der Datenerhebung<br />

Beeinflussung des Interventionseffekts<br />

Methode<br />

Schwierigkeit Ähnlichkeit mit UV<br />

Normierungsalter<br />

AV 1 UV AV 2<br />

AV 1<br />

AV 2<br />

Lynn-Flynn-Effekt<br />

(Double)Blind Design<br />

Standardisierung<br />

Rückmeldungen Hilfestellung<br />

LV Evaluation © Faber 2012<br />

85

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

(Konstrukt-)Validität Designvalidität<br />

psychometrische Güte interne Validität<br />

psychometrische<br />

Güte<br />

Erhebungsmethoden<br />

Objektivität<br />

Reliabilität<br />

Validität<br />

Design<br />

interne<br />

Validität<br />

LV Evaluation © Faber 2012<br />

86

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

untersuchungsplanerisches Validitätsdilemma<br />

Validitätsdilemma exemplarische Darstellung<br />

externe<br />

Validität<br />

Korrelationsstudie<br />

Evaluative<br />

Untersuchungstypen<br />

quasiexperimentelle<br />

Feldstudie<br />

Einzelfallstudie<br />

Laborexperiment<br />

interne<br />

Validität<br />

LV Evaluation © Faber 2012<br />

87

i- und multivariate<br />

Prüfung von Unterschiedshypothesen<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse<br />

EG<br />

EG<br />

KG<br />

t-Tests<br />

U-Test Wilcoxon-Test<br />

statistische Signifikanz p (α)<br />

Effektstärke d oder d korr<br />

Analyseperspektive<br />

intraindividuell within subjects<br />

interindividuell between subjects<br />

KG<br />

VG<br />

Varianzanalysen ANOVA<br />

Varianzanalysen MANOVA mit<br />

Messwiederholung<br />

Kovarianzanalysen MANCOVA<br />

Rangvarianzanalysen<br />

statistische Signifikanz p (α)<br />

Haupt- Interaktionseffekte<br />

Effektstärke Eta 2 (η 2 )<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson Studium.<br />

LV Evaluation © Faber 2012<br />

88

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse<br />

multivariate varianzanalytische<br />

Prüfung von Unterschiedshypothesen<br />

Haupteffekte Messzeitpunkt UV<br />

auf mittlere Ausprägungen AV<br />

MZP 1<br />

EG KG VG<br />

EG<br />

KG<br />

MZP 2<br />

MZP 3<br />

Analyseperspektive<br />

intraindividuell within subjects<br />

interindividuell between subjects<br />

VG<br />

Varianzanalysen ANOVA<br />

Varianzanalysen MANOVA mit<br />

Messwiederholung<br />

Kovarianzanalysen MANCOVA<br />

statistische Signifikanz p (α)<br />

Haupt- Interaktionseffekte<br />

Effektstärke Eta 2 (η 2 )<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson Studium.<br />

LV Evaluation © Faber 2012<br />

89

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse<br />

Varianzanalytische Ergebnismuster<br />

AV<br />

Haupteffekt A<br />

Faktorvariable A<br />

AV<br />

EG<br />

KG<br />

Faktorvariable B<br />

Haupteffekt B<br />

Haupteffekte AB<br />

additiv<br />

Interaktionseffekt<br />

AB<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson Studium.<br />

LV Evaluation © Faber 2012<br />

90

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse<br />

bi- und multivariate<br />

Prüfung von Unterschiedshypothesen<br />

t-Tests bzw. U-Test Wilcoxon-Test<br />

Varianzanalysen<br />

Prätest<br />

t-Test<br />

für unabhängige Stichproben<br />

EG<br />

AV 1<br />

UV AV 2<br />

t-Test<br />

für abhängige<br />

Stichproben<br />

KG<br />

AV 1<br />

AV 2<br />

t-Test<br />

für abhängige<br />

Stichproben<br />

t-Test<br />

für unabhängige Stichproben<br />

Posttest<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson Studium.<br />

LV Evaluation © Faber 2012<br />

91

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Effektstärke<br />

Problem<br />

Abhängigkeit statistischer Signifikanz<br />

von Stichprobengröße N<br />

Lösung<br />

Effektstärkemaß d (ES)<br />

praktische Signifikanz<br />

Abweichungsmaß<br />

KG<br />

EG<br />

gepoolte<br />

Standardabweichung<br />

Konventionen zur<br />

Interpretation<br />

Effektstärkemaß d<br />

■ 0.2<br />

■ ■ 0.5<br />

■ ■ ■ 0.8<br />

Interpretation:<br />

Unterschied zwischen<br />

zwei Gruppen in Streuungseinheiten<br />

Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der <strong>Psychologie</strong>. München: Pearson Studium.<br />

LV Evaluation © Faber 2012<br />

92

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Effektstärke<br />

Problem<br />

Abhängigkeit statistischer Signifikanz<br />

von Stichprobengröße N<br />

G*Power 3<br />

Lösung<br />

Effektstärkemaß d (ES)<br />

praktische Signifikanz<br />

Abweichungsmaß<br />

gepoolte<br />

Standardabweichung<br />

Konventionen zur<br />

Interpretation<br />

Effektstärkemaß d<br />

■ 0.2<br />

■ ■ 0.5<br />

■ ■ ■ 0.8<br />

Interpretation:<br />

Unterschied zwischen<br />

zwei Gruppen in Streuungseinheiten<br />

Softwaretool zur Berechnung von d<br />

http://www.psycho.uni-duesseldorf.de/aap/projects/gpower/<br />

LV Evaluation © Faber 2012<br />

93

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Effektstärke<br />

Rechenbeispiele<br />

Effektstärkemaß d (ES)<br />

praktische Signifikanz<br />

Abweichungsmaß<br />

gepoolte<br />

Standardabweichung<br />

15−10<br />

d = = 1.25<br />

4<br />

15−10<br />

d = = 0.25<br />

8<br />

12−12<br />

d = = 0.00<br />

8<br />

Leonhart, R. (2004). Effektgrößenberechnung bei Interventionsstudien. Rehabilitation, 43, 241-246.<br />

LV Evaluation © Faber 2012<br />

94

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Effektstärke<br />

ungleiche Prätestausprägungen<br />

korrigiertes Effektstärkemaß d (ES)<br />

d<br />

korr<br />

=<br />

d<br />

post<br />

Prätest<br />

−<br />

d<br />

prä<br />

d post<br />

parallelisiert<br />

EG<br />

KG<br />

AV 1<br />

AV 1<br />

UV AV 2<br />

AV 2<br />

d prä<br />

Posttest<br />

Masendorf, F. (1997). Einführung in das Experiment im Kontext sonderpädagogischer Theoriebildung. In F. Masendorf (Hrsg.), Experimentelle<br />

Sonderpädagogik. Ein Lehrbuch zur angewandten Forschung (71-75). Weinheim: Beltz.<br />

LV Evaluation © Faber 2012<br />

95

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Quasi-experimentelle Feldstudie<br />

ungleiche Prätestausprägungen<br />

korrigiertes Effektstärkemaß d (ES)<br />

60<br />

55<br />

d korr = d post - d prä<br />

MZP 1<br />

Experimentalgruppe:<br />

N = 18 Schüler mit besonderen Rechtschreibschwierigkeiten<br />

(ICD-10)<br />

mittlere T-Werte<br />

50<br />

45<br />

40<br />

35<br />

30<br />

MZP 2<br />

(Warte-)Kontrollgruppe:<br />

N = 18 Schüler mit besonderen Rechtschreibschwierigkeiten<br />

(ICD-10)<br />

Intervention: Einzelförderung über 34<br />

Stunden<br />

25<br />

EG KG<br />

Rechtschreibtests<br />

Regression zur Mitte kontrolliert<br />

Setting: außerschulische Förderung<br />

d korr = 1.90 (d = 2.55)<br />

Klassenstufe/Fortschritt p > .05<br />

Geschlecht/Fortschritt p > .05<br />

Faber, G. (2005). Systematische Rechtschreibförderung mit algorithmischen und selbstinstruktiven Lernhilfen: Die Leistungen von konzeptgemäß<br />

trainierten und untrainierten Schülern im Vergleich. Heilpädagogische Forschung, 31, 129-144.<br />

LV Evaluation © Faber 2012<br />

96

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Quasi-experimentelle Feldstudie<br />

ungleiche Prätestausprägungen<br />

korrigiertes Effektstärkemaß d (ES)<br />

60<br />

55<br />

d korr = d post - d prä<br />

MZP 1<br />

Intervention<br />

Selbstinstruktive<br />

Aufgabenformate<br />

mittlere T-Werte<br />

50<br />

45<br />

40<br />

35<br />

MZP 2<br />

-e -en -er<br />

30<br />

25<br />

EG KG<br />

Rechtschreibtests<br />

mie<br />

-e -en -er<br />

<br />

mie<br />

Faber, G. (2005). Systematische Rechtschreibförderung mit algorithmischen und selbstinstruktiven Lernhilfen: Die Leistungen von konzeptgemäß<br />

trainierten und untrainierten Schülern im Vergleich. Heilpädagogische Forschung, 31, 129-144.<br />

LV Evaluation © Faber 2012<br />

97

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Quasi-experimentelle Feldstudie<br />

Analysieren<br />

Mittelwerte vergleichen<br />

t-Test unabhängige Stichproben<br />

►<br />

►<br />

LV Evaluation © Faber 2012<br />

98

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Quasi-experimentelle Feldstudie<br />

EG<br />

Analysieren<br />

Mittelwerte vergleichen<br />

t-Test gepaarte Stichproben<br />

d =<br />

AM<br />

s<br />

diff<br />

diff<br />

KG<br />

► ►<br />

LV Evaluation © Faber 2012<br />

99

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Metaanalyse<br />

empirische Studien<br />

abhängige Variablen<br />

Leistungsänderungen<br />

standardisierte<br />

Effektstärkemaße ES (d)<br />

Mittelwertdifferenzen<br />

relativiert auf Streuung<br />

Auswahl<br />

Anzahl<br />

Vergleichbarkeit<br />

Stichprobengröße<br />

methodische Qualität<br />

Publikationspraxis<br />

d =<br />

A B C D E F<br />

unabhängige Variablen<br />

Interventionsmethoden<br />

x<br />

EG<br />

−<br />

s<br />

x<br />

KG<br />

Masendorf, F. & Grünke, M. (2000). Metaanalysen. In J. Borchert (Hrsg.), Handbuch der Sonderpädagogischen <strong>Psychologie</strong> (986-991). Göttingen:<br />

Hogrefe.<br />

LV Evaluation © Faber 2012<br />

100

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Evaluative Untersuchungstypen Metaanalyse<br />

26 Metaanalysen: mittlere Effektstärken d<br />

Schriftsprache<br />

Rechnen<br />

■ 0.2<br />

■ ■ 0.5<br />

■ ■ ■ 0.8<br />

Wahrnehmung<br />

Kognition<br />

Motivation<br />

DI Direkte Instruktion ST Strategietraining SI Selbstinstruktion<br />

WT Wahrnehmungstraining MT Motoriktraining SB Schülerberatung EB Elternberatung<br />

Grünke, M. (2006). Zur Effektivität von Fördermethoden bei Kindern und Jugendlichen mit Lernstörungen. Eine Synopse vorliegender Metaanalysen.<br />

Kindheit und Entwicklung, 15, 239-254.<br />

LV Evaluation © Faber 2012<br />

101

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien<br />

Checkliste<br />

zur Darstellung und Analyse empirischer <strong>Evaluations</strong>studien<br />

Fragestellung UV AV<br />

Entwicklungs- Wirkmodell<br />

Untersuchungsplan<br />

Stichprobe<br />

Methoden zur Erfassung der AV<br />

Gütekriterien<br />

statistische Analysen<br />

Ergebnisse<br />

Kennwerte statistische praktische Signifikanz Effektstärke<br />

Konklusion<br />

interne externe Validität<br />

Programm- Interventionseffekte<br />

Beurteilung der Intervention Reichweite Grenzen<br />

Wirksamkeit<br />

Wirkung einer Intervention auf AV (im<br />

Vergleich zu einer Kontrollgruppe)<br />

Effektivität<br />

Wirkung einer Intervention auf AV unter<br />

annähernd realen oder realen<br />

Bedingungen<br />

LV Evaluation © Faber 2012<br />

102

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Effekte Mathematik-Förderung Klasse 1<br />

EG<br />

Teil-<br />

Ganzes<br />

5<br />

fünf<br />

2<br />

zwei<br />

3<br />

drei<br />

Mathematische<br />

Kompetenz<br />

Zusammensetzung Zerlegung<br />

Ennemoser, M. & Krajewski, K. (2007). Effekte der Förderung des Teil-Ganzes-Verständnisses bei Erstklässlern mit schwachen Mathematikleistungen.<br />

Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 76, 228-240.<br />

LV Evaluation © Faber 2013<br />

103

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Effekte Mathematik-Förderung Klasse 1<br />

EG<br />

Teil-<br />

Ganzes<br />

Entwicklungsmodell<br />

5<br />

fünf<br />

2<br />

zwei<br />

3<br />

drei<br />

Mathematische<br />

Kompetenz<br />

Zusammensetzung Zerlegung<br />

Ennemoser, M. & Krajewski, K. (2007). Effekte der Förderung des Teil-Ganzes-Verständnisses bei Erstklässlern mit schwachen Mathematikleistungen.<br />

Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 76, 228-240.<br />

LV Evaluation © Faber 2013<br />

104

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Effekte Mathematik-Förderung Klasse 1<br />

Stichprobe<br />

DEMAT<br />

PR ≤ 25<br />

EG<br />

N = 30<br />

VG<br />

Teil-<br />

Ganzes<br />

Lesen<br />

Förderung<br />

6 45 Minuten<br />

Kleingruppen (je 5)<br />

Visualisierung<br />

Verbalisierung<br />

Ennemoser, M. & Krajewski, K. (2007). Effekte der Förderung des Teil-Ganzes-Verständnisses bei Erstklässlern mit schwachen Mathematikleistungen.<br />

Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 76, 228-240.<br />

LV Evaluation © Faber 2013<br />

105

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Effekte Mathematik-Förderung Klasse 1<br />

Stichprobe<br />

DEMAT<br />

PR ≤ 25<br />

EG<br />

N = 30<br />

VG<br />

AV<br />

AV<br />

Teil-<br />

Ganzes<br />

Lesen<br />

AV<br />

DEMAT 1+<br />

AV<br />

DEMAT 1+<br />

3 Wochen<br />

Förderung<br />

6 45 Minuten<br />

Kleingruppen (je 5)<br />

Visualisierung<br />

Verbalisierung<br />

Ennemoser, M. & Krajewski, K. (2007). Effekte der Förderung des Teil-Ganzes-Verständnisses bei Erstklässlern mit schwachen Mathematikleistungen.<br />

Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 76, 228-240.<br />

LV Evaluation © Faber 2013<br />

106

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Effekte Mathematik-Förderung Klasse 1<br />

Stichprobe<br />

DEMAT<br />

PR ≤ 25<br />

EG<br />

N = 30<br />

VG<br />

AV<br />

DEMAT 1+<br />

AV<br />

DEMAT 1+<br />

Teil-<br />

Ganzes<br />

Lesen<br />

AV<br />

DEMAT 1+<br />

AV<br />

DEMAT 1+<br />

Varianzanalytische Ergebnisse Haupteffekt EG-VG p < .05<br />

DEMAT-Total<br />

d = 0.58<br />

DEMAT-TGV<br />

d = 0.79<br />

Förderung<br />

6 45 Minuten<br />

Kleingruppen (je 5)<br />

Visualisierung<br />

Verbalisierung<br />

Konklusion<br />

Pro und Contra<br />

Ennemoser, M. & Krajewski, K. (2007). Effekte der Förderung des Teil-Ganzes-Verständnisses bei Erstklässlern mit schwachen Mathematikleistungen.<br />

Vierteljahresschrift für Heilpädagogik und ihre Nachbargebiete, 76, 228-240.<br />

LV Evaluation © Faber 2013<br />

107

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Rechtschreibförderung klinisches Setting<br />

EG<br />

Regelwissen<br />

gk<br />

dt<br />

bp<br />

i<br />

ie<br />

ih<br />

I-II<br />

k-ck<br />

z-tz<br />

Rechtschreibk<br />

ompetenz<br />

Orthographische Regelanwendung<br />

Schulte-Körne, G., Deimel, W. & Remschmidt, H. (1998). Das Marburger Rechtschreibtraining – Verlaufsuntersuchung nach zwei Jahren.<br />

Zeitschrift für Kinder- und Jugendpsychiatrie, 26, 167-173.<br />

LV Evaluation © Faber 2013<br />

108

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Rechtschreibförderung klinisches Setting<br />

EG<br />

Regelwissen<br />

Entwicklungsmodell<br />

gk<br />

dt<br />

bp<br />

i<br />

ie<br />

ih<br />

I-II<br />

k-ck<br />

z-tz<br />

Orthographische Regelanwendung<br />

Rechtschreibk<br />

ompetenz<br />

Orthographische<br />

Lösungsstrategien<br />

Schulte-Körne, G., Deimel, W. & Remschmidt, H. (1998). Das Marburger Rechtschreibtraining – Verlaufsuntersuchung nach zwei Jahren.<br />

Zeitschrift für Kinder- und Jugendpsychiatrie, 26, 167-173.<br />

LV Evaluation © Faber 2013<br />

109

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Rechtschreibförderung klinisches Setting<br />

Stichprobe<br />

IQ ≥ 85<br />

Elternurteil<br />

EG<br />

N = 17<br />

Regelwissen<br />

Marburger Rechtschreibtraining<br />

Förderung<br />

Häusliche Übungen<br />

Mutter-Kind<br />

Visualisierung<br />

Verbalisierung<br />

Kleinschrittigkeit<br />

Elternanleitung<br />

http://www.winklerverlag.com<br />

Schulte-Körne, G., Deimel, W. & Remschmidt, H. (1998). Das Marburger Rechtschreibtraining – Verlaufsuntersuchung nach zwei Jahren.<br />

Zeitschrift für Kinder- und Jugendpsychiatrie, 26, 167-173.<br />

LV Evaluation © Faber 2013<br />

110

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Rechtschreibförderung klinisches Setting<br />

Stichprobe<br />

IQ ≥ 85<br />

Elternurteil<br />

EG<br />

N = 17<br />

AV<br />

Rs-Test<br />

Altersnormen<br />

Regelwissen<br />

2 Jahre<br />

AV<br />

Rs-Test<br />

Altersnormen<br />

Förderung<br />

Häusliche Übungen<br />

Mutter-Kind<br />

Visualisierung<br />

Verbalisierung<br />

Kleinschrittigkeit<br />

Elternanleitung<br />

Schulte-Körne, G., Deimel, W. & Remschmidt, H. (1998). Das Marburger Rechtschreibtraining – Verlaufsuntersuchung nach zwei Jahren.<br />

Zeitschrift für Kinder- und Jugendpsychiatrie, 26, 167-173.<br />

LV Evaluation © Faber 2013<br />

111

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Rechtschreibförderung klinisches Setting<br />

Stichprobe<br />

IQ ≥ 85<br />

Elternurteil<br />

EG<br />

N = 17<br />

AV<br />

Rs-Test<br />

Altersnormen<br />

Regelwissen<br />

2 Jahre<br />

AV<br />

Rs-Test<br />

Altersnormen<br />

Trainingsinhalt<br />

Inferenzstatistische Prüfung mittels t-Test<br />

50<br />

Rs-Test T-Wert Fehlerprozent<br />

Schärfung<br />

t-Test p = .03 40.6<br />

t-Test p = .00<br />

41.9<br />

37.1<br />

14.5<br />

d = 0.69 d = 1.44<br />

Förderung<br />

Häusliche Übungen<br />

Mutter-Kind<br />

Visualisierung<br />

Verbalisierung<br />

Kleinschrittigkeit<br />

Elternanleitung<br />

Konklusion<br />

Pro und Contra<br />

Schulte-Körne, G., Deimel, W. & Remschmidt, H. (1998). Das Marburger Rechtschreibtraining – Verlaufsuntersuchung nach zwei Jahren.<br />

Zeitschrift für Kinder- und Jugendpsychiatrie, 26, 167-173.<br />

LV Evaluation © Faber 2013<br />

112

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

LV Evaluation © Faber 2013<br />

113

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

N = 470.000 weltweit<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

LV Evaluation © Faber 2013<br />

114

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

N = 27 pro Schule<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

115

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Entwicklungsmodell<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

116

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Entwicklungsmodell<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Testverfahren<br />

Rasch-Skalierung<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

Befragung<br />

Rating-Scales<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

117

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Evaluation<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Entwicklungsmodell<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

118

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Evaluation<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Entwicklungsmodell<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Familiale Bedingungen<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

• Kompetenzen<br />

• Motivation<br />

Schulische Bedingungen<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

119

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Evaluation<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Entwicklungsmodell<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

AV<br />

Familiale Bedingungen<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

Explanation<br />

Schulische Bedingungen<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

120

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

Evaluation<br />

AV<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

Explanation<br />

Störvariablen<br />

Kontrollvariablen<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

121

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

VG<br />

VG<br />

VG<br />

Schulsystem<br />

Stichproben<br />

65 Staaten<br />

Deutschland<br />

N = 4979 15-jährige SchülerInnen<br />

230 Schulen<br />

Alle Schularten<br />

Evaluation<br />

AV<br />

Soziale Disparitäten<br />

Migrationshintergrund<br />

Lesen<br />

AV<br />

Mathematik<br />

AV<br />

Naturwissenschaften<br />

Explanation<br />

Unterrichtsqualität<br />

Geschlechterstereotype<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

122

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Analyse empirischer <strong>Evaluations</strong>studien Beispiel<br />

Programme for International Student Assessment 2009 OECD<br />

Schulsystemvergleich<br />

Finnland<br />

Deutschland<br />

UK<br />

OECD<br />

Exemplarische<br />

Darstellung<br />

Chile<br />

Naturwissenschaft<br />

Mathematik<br />

Lesen<br />

0 100 200 300 400 500 600<br />

Klieme, E., Artelt, C., Hartig, J., Jude, N., Köller, O., Prenzel, M., Schneider, W. & Stanat, P. (Hrsg.) (2010). PISA 2009. Bilanz nach einem<br />

Jahrzehnt. Münster: Waxmann.<br />

LV Evaluation © Faber 2013<br />

123

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

LV Evaluation © Faber 2013<br />

124

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

t-Tests unabhängige Stichproben<br />

LV Evaluation © Faber 2013<br />

125

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

t-Tests abhängige Stichproben<br />

4 Signifikanztests<br />

Alpha-Risiko<br />

Alphakorrektur (bspw. nach Bonferroni)<br />

Klauer, K.J. (1990). Über Signifikanztests oder Weniger ist manchmal mehr. <strong>Psychologie</strong> in Erziehung und Unterricht, 37, 131-136.<br />

LV Evaluation © Faber 2013<br />

126

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

α adj = α/k<br />

α adj = .05/4 = .0125<br />

4 Signifikanztests<br />

Alpha-Risiko<br />

Alphakorrektur (bspw. nach Bonferroni)<br />

Klauer, K.J. (1990). Über Signifikanztests oder Weniger ist manchmal mehr. <strong>Psychologie</strong> in Erziehung und Unterricht, 37, 131-136.<br />

LV Evaluation © Faber 2013<br />

127

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Untersuchungsplan<br />

Beschränkung<br />

2 Messzeitpunkte, 2 Gruppen<br />

LV Evaluation © Faber 2013<br />

128

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

2 2 ANOVA 2 3 ANOVA 3 3 ANOVA<br />

Varianzanalytische (faktorielle) Untersuchungspläne<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

129

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Faktorvariable Gruppe GF<br />

q Stufen<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

130

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

131

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

132

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Gesamtvarianz<br />

Between<br />

Within<br />

Residual<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

133

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Beispiel 1<br />

QS<br />

p<br />

2<br />

MW<br />

= n ⋅∑(Bi<br />

− T)<br />

i=<br />

1<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

134

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Beispiel 1<br />

2<br />

2<br />

2<br />

QSMW = 4 ⋅(8<br />

− 8) + (8 − 8) + (8 − 8) =<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

0<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

135

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Beispiel 2<br />

QS<br />

p<br />

2<br />

MW<br />

= n ⋅∑(Bi<br />

− T)<br />

i=<br />

1<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

136

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Beispiel 2<br />

2<br />

2<br />

2<br />

QSMW = 4 ⋅(8.5<br />

− 9.8) + (10 − 9.8) + (11−<br />

9.8) = 12.7<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

137

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Beispiel 3<br />

Daten aus<br />

Rasch et al. 2008, 101<br />

QS<br />

p<br />

2<br />

MW<br />

= n ⋅∑(Bi<br />

− T)<br />

i=<br />

1<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

138

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Daten aus<br />

Rasch et al. 2008, 101<br />

2<br />

2<br />

2<br />

QSMW = 4 ⋅(8.5<br />

−15.5)<br />

+ (18 −15.5)<br />

+ (20 −15.5)<br />

=<br />

Beispiel 3<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

302<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

139

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

p<br />

2<br />

QSMW = n ⋅∑(Bi<br />

− T) =<br />

i=<br />

1<br />

p<br />

2<br />

QSMW = n ⋅∑(Bi<br />

− T) =<br />

i=<br />

1<br />

p<br />

2<br />

QSMW = n ⋅∑(Bi<br />

− T) =<br />

i=<br />

1<br />

0<br />

12.7<br />

302<br />

Varianzanalyse mit Messwiederholung repeated measure design<br />

LV Evaluation © Faber 2013<br />

140

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

141

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Gruppe GF<br />

q Stufen<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

142

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Innersubjekteffekte SPSS<br />

Faktorvariable Gruppe GF<br />

q Stufen<br />

Zwischensubjekteffekte SPSS<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

143

QS<br />

2<br />

GF<br />

n ⋅ q⋅(Bi<br />

− T)<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Innersubjekteffekte SPSS<br />

Faktorvariable Gruppe GF<br />

q Stufen<br />

Zwischensubjekteffekte SPSS<br />

QS = ∑ T<br />

(x − T)<br />

Haupteffekte<br />

= ∑ 2<br />

QSMW = ∑n<br />

⋅p<br />

⋅(Wj<br />

− T)<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

2<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

144

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Faktorvariable Messwiederholung MW<br />

p Stufen<br />

Innersubjekteffekte SPSS<br />

Faktorvariable Gruppe GF<br />

q Stufen<br />

Zwischensubjekteffekte SPSS<br />

Ändert sich W (B) in Abhängigkeit von B (W)?<br />

Interaktionseffekt<br />

[ WB − (W + B T ] 2<br />

QS ∑ −<br />

MW × GF<br />

= n ⋅<br />

ij j i<br />

)<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

145

F =<br />

MW<br />

F =<br />

GF<br />

QS<br />

df<br />

QS<br />

df<br />

MW<br />

MW<br />

GF<br />

GF<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

F<br />

MW× GF<br />

=<br />

F ≥ F crit signifikanter Effekt<br />

Prüfgröße F<br />

QS<br />

df<br />

MW×<br />

GF<br />

MW×<br />

GF<br />

Ablehnung H 0<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

146

F =<br />

MW<br />

F =<br />

GF<br />

QS<br />

df<br />

QS<br />

df<br />

MW<br />

MW<br />

GF<br />

GF<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

F<br />

MW× GF<br />

=<br />

F ≥ F crit signifikanter Effekt<br />

QS<br />

df<br />

MW×<br />

GF<br />

MW×<br />

GF<br />

Haupteffekt MW Haupteffekt GF Interaktionseffekt<br />

2 2 Varianzanalyse mit Messwiederholung repeated measure design<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

147

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

Messwiederholung<br />

MZP1 MZP2<br />

2 2 Varianzanalyse mit Messwiederholung<br />

◄ Folie 97<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

148

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

aufgeklärte Merkmalsvarianz AV in Prozent<br />

Effektstärke η 2 (100)<br />

2 2 Varianzanalyse mit Messwiederholung<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

149

Interpretation<br />

η 2 > .01 <br />

η 2 > .06 <br />

η 2 > .14 <br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Statistische Analyse faktorielle Designs<br />

Analysieren<br />

Allgemeines Lineares Modell<br />

Messwiederholung<br />

aufgeklärte Merkmalsvarianz AV in Prozent<br />

Effektstärke η 2 (100)<br />

2 2 Varianzanalyse mit Messwiederholung<br />

Rasch, B., Friese, M., Hofmann, W. & Naumann, E. (2008). Quantitative Methoden 2. Einführung in die Statistik (2. Aufl.). Heidelberg:<br />

Springer.<br />

LV Evaluation © Faber 2013<br />

150

Summative Evaluation<br />

Formative Evaluation<br />

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

UV<br />

AV<br />

Selbstevaluation<br />

UV<br />

<strong>Evaluations</strong>forschung<br />

in (sonder-)pädagogischen<br />

Handlungsfeldern<br />

Kasuistische Evaluation<br />

Zieleffekte<br />

Transfereffekte<br />

differenzielle Effekte<br />

interventionsgebunden Nebeneffekte<br />

Kriterien<br />

Zielerreichung<br />

Veränderung<br />

LV Evaluation © Faber 2013<br />

151

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

(psycho-)therapeutischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Ziel<br />

alltagsnahe Überprüfung und Optimierung<br />

• Methode<br />

fallbasiert … Einzelfallanalyse<br />

Orientierung an methodischen <strong>Evaluations</strong>kriterien<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

152

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

(psycho-)therapeutischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Ziel<br />

alltagsnahe Überprüfung und Optimierung<br />

praxisbegleitende Evaluation<br />

• Methode<br />

fallbasiert … Einzelfallanalyse<br />

Orientierung an methodischen <strong>Evaluations</strong>kriterien<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

153

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

pädagogischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Ziel<br />

alltagsnahe Überprüfung und Optimierung<br />

praxisbegleitende Evaluation<br />

• Methode<br />

fallbasiert … Einzelfallanalyse<br />

Orientierung an methodischen <strong>Evaluations</strong>kriterien<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

154

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

pädagogischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Anforderungen<br />

nach expliziten Regeln<br />

überprüfbar<br />

praxisbegleitende Evaluation<br />

• Methode<br />

fallbasiert … Einzelfallanalyse<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

155

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

pädagogischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Vorgehensweise<br />

Indikation<br />

Datenerhebung Änderungsziele Änderungsschritte<br />

Prüfung<br />

Dokumentation Quantifizierung Verlaufsanalyse<br />

kumulative Erfahrungsverwertung<br />

Fallvergleich Falltypisierung<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

156

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

• Strukturierung<br />

• Systematisierung<br />

pädagogischen Handelns<br />

in praktischen Anwendungskontexten<br />

• Analyse Verlaufsdaten<br />

Einzelfallanalyse<br />

Split-Mittel-Methode<br />

◄Folie 73<br />

Entwicklung<br />

Umsetzung<br />

Kontrolle<br />

fallbezogener<br />

Änderungshypothesen<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

157

<strong>Evaluations</strong>- und Effektivitätsforschung<br />

Kontrollierte Praxis<br />

Konzept der Kontrollierten Praxis<br />

Bedingungswissen<br />

Änderungswissen<br />

Methodenwissen<br />

◄Folie 73<br />

Entwicklung<br />

Umsetzung<br />

Kontrolle<br />

fallbezogener<br />

Änderungshypothesen<br />

Petermann, F. (2005). Kontrollierte Praxis. In F. Petermann & H. Reinecker (Hrsg.), Handbuch der Klinischen <strong>Psychologie</strong> und Psychotherapie<br />

(168-177). Göttingen: Hogrefe.<br />

LV Evaluation © Faber 2013<br />

158

logo

Produkte

Ressourcen

Unternehmen

AGB
Datenschutzerklärung
Cookie-Richtlinien
Cookie-Einstellungen
Impressum
Change language
Made with love in Switzerland
© 2024 Yumpu.com all rights reserved

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!