Lernwirkungen neuer Lernformen - ABWF

• Mangelnde Validität: Es werden nur einzelne Informationsquellen ausgewählt und daran
bekannte Verfahren zur Informationsgewinnung angewendet, ohne zu prüfen, ob die aus
den gewonnenen Informationen gezogenen Schlussfolgerungen den Fragestellungen der
Evaluation entsprechen, also valide sind. Auch die Konzentration auf eine kritische Variable,
wie z.B. „Wissenszuwachs“ ermöglicht kaum die angemessene Charakterisierung
und Bewertung eines Lernarrangements. Erst die Verwendung einer Kombination von
verschiedenen Verfahren und Informationsquellen ermöglicht, alle wichtigen Variablen in
die Betrachtung mit einzubeziehen und somit „G 5 Valide Informationen“ zu gewinnen.
Die interne Validität ist dann vor allem bei der Auswertung der Daten zu beachten (vgl.
Punkt 4.3.2.8)
Wenn schließlich unter Berücksichtigung der Störeffekte eine Auswahl von Informationsquellen
getroffenen wurde, empfiehlt es sich, die Gründe, die für oder gegen eine Stichprobe bestanden
haben sowie die Kriterien und Methoden, die zur Auswahl herangezogen wurden zu
dokumentieren („G 1 Programmdokumentation“). Dies legitimiert nicht nur die Schlussfolgerungen,
die aus den Ergebnissen gezogen werden, sondern lässt sie gleichfalls nachvollziehbar
werden, wodurch die Glaubwürdigkeit der Evaluation auch für Außenstehende erhöht wird.
4.3.2.7 Methoden zur Datenerhebung entwickeln
Sind die Informationsquellen ausgewählt, geht es darum, mit spezifischen Instrumenten und
Erhebungsmethoden gezielt Informationen zu sammeln. Diese Informationen sollen das beschreiben,
was im Rahmen des Forschungsfeldes in den Gestaltungsprojekten geschieht, um
ein geordnetes, überschaubares und dadurch schließlich beurteilbares Bild des Handelns der
Beteiligten und seinen Folgen zu gewinnen (vgl. König 2000, S. 88). Das setzt zum einen Methoden
voraus, mit deren Hilfe das Handeln in den Gestaltungsprojekten dokumentiert werden
kann. Zum anderen sind Instrumente nötig, die das Verhalten, Erleben und die soziale Wirklichkeit
der Beteiligten und Betroffenen beschreiben. Es gibt somit zwei Arten der Informationssammlung:
1. Dokumentationsmethoden, die all dass erfassen, was im Handeln geschieht sowie
2. Beobachtungs- und Befragungsmethoden, die die Auswirkungen dieses Handelns aufzeigen.
Ad 1.: Dokumentationsmethoden:
Das alltägliche Handeln in den Gestaltungsprojekten kann in seinem Verlauf, also direkt oder
nachträglich, z.B. im Anschluss an Projektsitzungen, erfasst werden. Wenn die Dokumentation
allerdings in einem größeren zeitlichen Abstand zum Handlungszeitpunkt erfolgt, ist die
Gefahr von Vergessens- und Verzerrungseffekten sehr groß. Dies kann vermieden werden,
wenn zwischendurch parallel Aufzeichnungen erfolgen, die dann regelmäßig in eine Gesamtdokumentation
überführt werden.
Dokumentationen können verdeckt oder offen, also ohne und mit dem Wissen des Betroffenen
vorgenommen werden. Verdeckte Dokumentationsmethoden (z.B. Tonbandmitschnitt einer
Handlungssequenz oder Logfiles von Eingaben am Computer ohne Wissen des Teilnehmenden)
sind allerdings aus moralischen Gründen fraglich, weil sie nicht die persönliche Integrität
der Beteiligten respektieren („K 3 Schutz individueller Menschenrechte“). Dies gilt es
zu berücksichtigen, selbst wenn beim offenen Dokumentieren damit zu rechnen ist, dass das
Wissen darüber zu Verzerrungen von Interaktionen und somit zu Störungen im Handlungsab-
106