Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ...

62
6.2. Anregungen, Vorschläge und Empfehlungen methodischer Art für weitere
Untersuchungen
Auch die Auswertung von Evaluationsdaten ist ein Lernprozess. Deswegen sollen in diesem Abschnitt
einige Anregungen gegeben werden, wie – aus der Rückperspektive – eine derartige Evaluation noch
effizienter gestaltet werden kann. Vieles davon war im Vorfeld keineswegs absehbar, sondern beruht
eben erst auf den gemachten Erfahrungen.
Zunächst ist als technischer Punkt die direkte Eingabe am Computer verbunden mit der obligatorischen
Beantwortung aller Fragen vor dem Abschicken einer Druckversion eindeutig vorzuziehen. Dies
vermindert einerseits die Anzahl fehlender Werte und verhindert andererseits Übertragungsfehler bei
der Eingabe schriftlich ausgefüllter Bögen.
Zweitens ist es zu empfehlen, durchgängig der Kontrolle der Datenqualität mehr Aufmerksamkeit zu
widmen als üblich. Im Kontext unserer – durchaus nicht etwa ungewöhnlich oberflächlich betriebenen
– Untersuchung aufgetretene Schwierigkeiten (z. B. bei der Eingabe der Printbogen, bei der Behandlung
fehlender Werte, bei der Koordination von Berechnungen und bei der Programmierung ) sind
notorisch und sicher eher die Regel als die Ausnahme. Insbesondere bei ersten Auswertungsversuchen
werden diese Probleme fast immer unterschätzt – vielleicht auch, weil sie so selten thematisiert
und zumeist aus falsch verstandenem Perfektionsstreben verschwiegen werden. Hier ist jedoch Realismus
und nicht „Optimismus“ gefragt.
Eine unbedingt nötige Ergänzung sollte ein Vorabfragebogen sein, der vor Beginn der Arbeit mit dynamischen
Arbeitsblättern ausgefüllt wird. Dadurch wird ein Standard festgestellt, gegen den dann die
Veränderungen durch die Unterrichtsserie reliefartig hervortreten. Zugleich liefert dies auch nützliche
Hinweise über die Erwartungen der Teilnehmer und wie weit diese im Rückblick erfüllt wurden. Darüber
hinaus eröffnet sich dadurch bei falscher Kalibrierung noch die Möglichkeit des Eingriffs. Liefert
etwa eine Frage nur Extremkategorieantworten (inklusive „KA“), ist sie falsch formuliert und kann im
Hauptfragebogen entweder modifiziert oder ergänzt werden.
Eine gute Idee in diesem Zusammenhang ist es natürlich, die Vorab- und Nachbefragungsbögen mit
einer ID-Nummer zu versehen, so dass die Bögen leicht pro Teilnehmer einander zugeordnet werden
können. Praktisch erreicht man auf diese Weise eine Art `Mikrolängsschnittstudie` für einen besseren
Vorher-Nachher-Vergleich. Auf jeden Fall sollte eine solche Zuordnung bei echten Längsschnittuntersuchungen
Pflicht sein. Echte Längsschnittstudien würden zudem eine wichtige Bereicherung des
Untersuchungsspektrums darstellen und könnten neue Aspekte eröffnen.
In Querschnittrichtung ergeben sich neue Aspekte durch die Kombination von Lehrer- und Schülerfragebögen.
Im vorliegenden Fall wurden solche Fragebögen mit ins Auge gefasst, führten aber nur zu
wenigen Rückläufen. Hier wäre anzuregen, im Vorfeld die Kooperationsbereitschaft der Lehrer zu
stärken.
Konkret für das benutzte Erhebungsinstrument sollte die Skalenbildung in folgender Hinsicht optimiert
werden:
1. Die Anzahl der Items pro Skala sollte äquilibriert werden. (Dies verbessert die Vergleichsmöglichkeiten
der Skalen aus statistischer Sicht.)
2. Die Items einer Skala sollten im vorliegenden Fall gebündelt und mit einer passenden Überschrift
versehen werden. (Dies widerspricht zwar der oft empfohlenen randomisierten Reihenfolge, vermindert
aber gerade bei Jugendlichen durch zusätzliche Kontextinformation Missverständnisse und unscharfe
Abgrenzungen. Bei Schülerbefragungen überwiegt diese zusätzliche Klarheit nach unseren
Erfahrungen potentielle Nachteile.)
3. Konkret sollten die Skalen wie in Kapitel 3 diskutiert neu gefasst werden.
Eine weitere – eigentlich notwendige – Dimension der Evaluation sollte zudem die Messung des objektiven
Leistungsfortschritts sein. Zwar kann dies derzeit in den meisten Untersuchungen nicht thematisiert
werden, doch darf nicht vergessen werden, dass Beurteilungen aus Schüler- bzw. Lehrersicht
und objektiver Leistungsfortschritt nicht unbedingt identisch sein müssen.