Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ...

schon möglich, deshalb gibt es unterschiedliche Bedeutungen der 0: Einerseits Kreuze bei „keine
Angabe“ und andererseits Leerzellen (nur bei den Bögen in Printform), wobei die Schüler gar kein
Kreuz gemacht haben. Quantitativ ergibt sich, dass 5,73 % fehlende Werte („keine Angabe“) bei der
Printform auftreten gegenüber 4,50 % bei der EDV-Form.
Dieser Unterschied wäre bei der vorliegenden Anzahl der Erhebungsbogen signifikant.
Die nahe liegende Vermutung, dass bei der Printvorlage des Erhebungsbogens mehr Schüler Items
ausgelassen haben als bei der EDV-Form, bei der sie gezwungen waren, zumindest „keine Angabe“
anzukreuzen, bestätigt sich also. Insofern stellt die Onlineversion auch in dieser Hinsicht eine Verbesserung
in der Datenerhebung dar. Um im weiteren Verlauf der Untersuchung nicht mit zu komplizierten
Aufschlüsselungen für die Printform arbeiten zu müssen, werden die beiden verschiedenen
Werte „keine Angabe angekreuzt“ und „nichts angekreuzt“ zusammengefasst und als gleichwertig
betrachtet. Angesichts der letztlich geringen Anteile fehlender Werte und der noch geringeren Differenz
zwischen Print- und EDV-Form erscheint dies vertretbar.
2.2. Qualitätssicherung und Qualitätsbeurteilung
Generelles
Weit seltener als eine genaue Erläuterung findet sich in empirischen Untersuchungen eine detaillierte
Diskussion der Datenqualität. Es wird zu unrecht stets unterstellt, dass die Daten „stimmen“. Hintergrund
scheint die Überzeugung zu sein, dass bei normaler Sorgfalt Datenprobleme auszuschließen
seien. Dies ist jedoch nicht richtig. Gerade durch das natürliche Wachsen nahezu jeder empirischen
Untersuchung bei der sich fast immer Fragebogen, Antwortmöglichkeiten oder Erfassungstechniken
ändern, ergibt sich ein weites Feld für Fehlerquellen. Dass darüber nahezu nie berichtet wird verstärkt
noch den Eindruck, Datenqualität sei selbstverständlich und eigentlich kein Problem, was wiederum
zur Unterschätzung der Thematik führen kann. Dem soll hier ausdrücklich und nachdrücklich entgegen
getreten werden.
Dazu ist zunächst festzuhalten, dass mangelnde Datenqualität viele Ursachen haben kann: Eingabefehler,
Bedienungsfehler, Berechnungsfehler, Verständnisfehler und mangelnde Seriosität bei den
Antworten können etwa alle zu problematischen Daten führen, die dann ebenso problematische Analysen
nach sich ziehen. Analog zu den Qualitätssicherungsprogrammen der Industrie sollte man daher
auch Qualitätssicherung niemals als ein statisches Unterfangen, sondern immer als einen dynamischen
Prozess betrachten, der ein Projekt auf allen Stufen begleitet und laufend überwacht.
Eingabe- und Bedienungsfehler
Da die Klassensätze 2, 10 und 13 noch nicht direkt online erhoben wurden, mussten die Werte nachträglich
im Computer erfasst werden. Im Einklang mit den obigen Prinzipien wurden deshalb im Rahmen
dieser Untersuchung die bereits von Hilfskräften eingegebenen Daten nochmals mit den von den
Schülern per Hand ausgefüllten Printbogen abgeglichen und auf Eingabefehler untersucht. Die Ergebnisse
(vgl. Reuschlein 2006 für Details) waren überraschend und bemerkenswert: Es stellte sich
nämlich heraus, dass die bisher als Computerdatei erfassten Daten in erheblichem Umfang von den
Angaben in den Printbogen abwichen. Dabei ist natürlich zu berücksichtigen, dass die Reihenfolge bei
den Printbogen und den Erfassungen permutiert sein konnte. Bemerkenswerterweise ließen sich aber
auch markante Einzelbogen (z. B. der des einzigen 14-jährigen in den Printbogen und der EDV-
Erfassung) in keiner Weise sinnvoll zuordnen. Somit blieb auch die Ursache für die fehlenden Übereinstimmungen
unklar. Letztlich ließ sich das Problem nur durch eine (überprüfte) Neueingabe der
Klassensätze 21, 22 und 20 lösen. Wir möchten nochmals davor warnen, dies als ungewöhnlichen
Einzelfall anzusehen – es illustriert vielmehr die allgemein unterschätzte Notwendigkeit, Datenkontrolle
ganz Ernst zu nehmen. Aus diesem Grund haben wir das Phänomen hier auch beschrieben, was
sonst fast nie geschieht. Eine bemerkenswerte Ausnahme ist Breiman (1985).
Abhilfe kann man wieder durch die direkte EDV-Erfassung schaffen, die schon in Hinblick auf fehlende
Werte als sinnvoll erkannt wurde. Hierdurch werden Übertragungsfehler fast vollständig vermieden.
Allerdings hat man nach wie vor keine Klarheit über etwaige Bedienungsfehler seitens des Teilnehmers.
Wer Schwierigkeiten mit der Mausbedienung hat (Item 7), klickt vielleicht gerade deswegen eine
unbeabsichtigte Kategorie an! Allerdings dürfte sich hier die von uns in anderer Hinsicht favorisierte
Vorerhebung auch als nützliches Vortraining erweisen. Im vorliegenden Fall haben wir keine Anzeichen
von Bedienungsfehlern (z. B. durch Rückmeldungen).
11