Lehrstuhl für Mathematik und ihre Didaktik Walter Olbricht, Doris ...

Lehrstuhl für Mathematik und ihre Didaktik
Bayreuther Schriftenreihe mαth-kit
Heft 18 (2007)
– Sektion Evaluation –
Walter Olbricht, Doris Bocka
Evaluierung von GEONExT – Teil I
Quantitative Analyse und methodische Anmerkungen
ISSN 1613-4095

0
Stand der vorliegenden Textfassung: Dezember 2007
Der Druck des vorliegenden Heftes wurde ermöglicht im Rahmen des BLK-
Programms SINUS-Transfer.
Abstract
Die quantitative Analyse von knapp 370 Schülerfragebogen über die Evaluierung von
GEONExT zeigt, dass die meisten gut mit GEONExT zu Recht kommen und positiv
urteilen. Die Schülerinnen und Schüler profitieren in mehrfacher Hinsicht von der dynamischen
Veranschaulichung. Während die allgemeinen Erfahrungen mit dem
Computer recht ähnlich sind, zeigen sich bei der Arbeit mit GEONExT und dynamischen
Arbeitsblättern große Unterschiede zwischen den Klassen. Der Klassenfaktor
scheint den größten Einfluss auf das Antwortverhalten der Befragten auszuüben.
The quantitative results of a study with almost 370 students show that most students
come to grips with dynamic worksheets and assess GEONExT as good. Students
benefit from dynamic visualisation in manifold ways. Their general experiences with
computers are very similar, but their special experiences with GEONExT diverge
among classes. Class emerges as the dominant factor.
Impressum
ISSN 1613-4095
Herausgeber:
Lehrstuhl für Mathematik und ihre Didaktik
Universität Bayreuth
Postfach 101251
D-95440 Bayreuth
Deutschland
Redaktion: Dr. Manfred J. Bauch
http://did.mat.uni-bayreuth.de/math-kit

Inhalt
0. Vorbemerkung..................................................................................................... 3
Konzeption des Projektberichts ........................................................................... 3
1. Eckdaten ............................................................................................................. 4
1.1. Hintergrund ...................................................................................................... 4
Dynamische Mathematik ..................................................................................... 4
Einsatz dynamischer Arbeitsblätter im Mathematikunterricht .............................. 4
1.2. Projektziele ...................................................................................................... 5
2. Datenbasis .......................................................................................................... 7
2.1. Datenerhebung und Datenstruktur................................................................... 7
Auswahl der Klassen........................................................................................... 7
Erhebungszeitraum ............................................................................................. 9
Erhebungsinstrument .......................................................................................... 9
Ausrichtung der Fragen....................................................................................... 9
Umskalierung der Items..................................................................................... 10
Ausfüllen der Bogen .......................................................................................... 10
2.2. Qualitätssicherung und Qualitätsbeurteilung.................................................. 11
Generelles ......................................................................................................... 11
Eingabe- und Bedienungsfehler ........................................................................ 11
Berechnungs- und Verständnisfehler ................................................................ 12
Mangelnde Seriosität der Antworten ................................................................. 12
Auffälligkeiten von Schülern .............................................................................. 12
Auftreten und Verteilung von fehlenden Werten und Randwerten..................... 13
Ankreuzschemata und inhaltlich konsistentes Antwortverhalten ....................... 15
2.3. Fazit ............................................................................................................... 17
3. Untersuchung der Items .................................................................................... 19
3.1. Inhaltliche Skalenbildung ............................................................................... 19
Gruppierung der Items und ihre Begründung .................................................... 19
Überprüfung der Skalen durch eine Befragung ................................................. 22
Zusammenfassung............................................................................................ 24
3.2. Substrukturen (Datenbasierte Skalenbildung)................................................ 25
3.3. Klassische Kennzahlen zur Itemanalyse........................................................ 28
3.4. Auswirkungen der Kovariablen im Spiegel der Skalen................................... 31
Grundsätzliches................................................................................................. 31
Geschlecht ........................................................................................................ 31
Zensur ............................................................................................................... 32
Schulart ............................................................................................................. 32
Anzahl der bearbeiteten dynamischen Arbeitsblätter ........................................ 34
Klassenstufe...................................................................................................... 35
Zusammenhang ................................................................................................ 36
3.5. Fazit ............................................................................................................... 37
4. Untersuchung der Schüler................................................................................. 38
4.1. Klasseneinteilung und Substrukturen............................................................. 38
4.2. Einfluss der Kovariablen ................................................................................ 41
Geschlecht ........................................................................................................ 42
Zensur ............................................................................................................... 43
Schulart ............................................................................................................. 44
Anzahl der bearbeiteten dynamischen Arbeitsblätter ........................................ 44
Klassenstufe...................................................................................................... 45
4.3. Fazit ............................................................................................................... 47
1

2
5. Integrative Analyse und Diskussion................................................................... 48
5.1. Multivariate Aspekte....................................................................................... 48
5.2. Längsschnittbetrachtung ................................................................................ 53
5.3. Vergleich von Schulalltag und Universitätsbedingungen................................ 58
5.4 Fazit ................................................................................................................ 59
6. Schlussfolgerungen........................................................................................... 61
6.1. Bemerkungen zur statistischen Methodologie................................................ 61
6.2. Anregungen, Vorschläge und Empfehlungen methodischer Art für weitere
Untersuchungen.................................................................................................... 62
6.3. Antworten auf die Ausgangsfragen ................................................................ 63
7. Abbildungsverzeichnis....................................................................................... 65
8. Tabellenverzeichnis........................................................................................... 66
9. Literatur ............................................................................................................. 67

0. Vorbemerkung
Konzeption des Projektberichts
Aufgrund der Bedeutung von internationalen Schulvergleichsstudien und Qualitätssicherung im Unterricht
ist davon auszugehen, dass Evaluations-Maßnahmen im Unterricht der Zukunft einen bedeutenden
Rang einnehmen werden. Betrachtet man bisherige Vorstöße in diese Richtung, fällt jedoch auf,
dass die befragten Lehrkräfte und Schüler mehr als Objekte zur Datengewinnung dienen und weniger
als Adressaten der Ergebnisse. Deswegen erscheint es uns wichtig, sich mit praktikablen Möglichkeiten
der Evaluation im schulischen Bereich auseinander zu setzen. Im Mittelpunkt des vorliegenden
Projektberichts stehen demnach die Beteiligten der Untersuchung. Die Ausführungen zur Evaluation
dynamischer Arbeitsblätter im Mathematikunterricht der Sekundarstufe sind in Form eines Kompendiums
konzipiert. Dies soll als Handreichung für Lehrkräfte und Studierende des Lehramtes dienen,
indem Möglichkeiten und Grenzen der Evaluation schulischer Prozesse aufgezeigt werden. Um dieses
Ziel zu verfolgen setzt sich das Forschungsteam aus einer Didaktikerin und einem Statistiker zusammen,
ergänzt um drei Studierende des Lehramtes an Grundschulen. Die Studentinnen sollten durch
Bearbeitung von Teilproblemen in ihren Zulassungsarbeiten Einblick in Evaluationsprozesse erhalten
und bei der Bewältigung komplexerer Aufgabenstellungen helfen. Für die Einbindung von Studierenden
in das Projekt spricht noch ein forschungsbedingter Umstand. Als Erhebungsinstrument der Evaluation
wurde ein Schülerbogen eingesetzt. Es ist davon auszugehen, dass man von den Studierenden
dahingehend profitieren kann, dass sie sich sprachlich näher am Jugendjargon befinden. Die
Erhebungsbogen liegen in einer online-Version www.geonext.de/evaluation vor, die von Herrn PD Dr.
Alfred Wassermann im Kursverwaltungssystem moodle installiert wurde. Ihm gilt unser besonderer
Dank für die Entwicklung und die technische Betreuung.
3

4
1. Eckdaten
Vor der ausführlicheren Darstellung des Evaluationsprojekts sollen noch kurze Hintergrundinformationen
über dynamische Mathematik und die Projektziele erläutert werden.
1.1. Hintergrund
Dynamische Mathematik
Traditionelle Arbeitsmedien im Mathematikunterricht sind das Schülerheft, das Lehrbuch und die Tafel,
gelegentlich auch der Overhead-Projektor oder Arbeitsblätter. Dynamische Mathematik erweitert
dieses Spektrum um den Computer als Werkzeug. Die Schüler können am Bildschirm mathematische
Konstruktionen selbst erstellen oder fertige Konstruktionen als Ausgangspunkt für eigenständiges
Experimentieren, Forschen und Entdecken nehmen. Dazu dient die dynamische Mathematiksoftware
GEONExT als Konstruktionswerkzeug in der Geometrie und durch das integrierte Computer-Algebra-
System kann sie auch in der Analysis und Algebra eingesetzt werden (Ehmann 2004, Miller 2004). Die
dynamische Mathematik bietet Visualisierungsmöglichkeiten durch bewegliche Konstruktionen, die
traditionelle Unterrichtsmedien nicht leisten können. Interaktive Konstruktionen, die von den Schülern
am Bildschirm dynamisch variiert werden können, in Verbindung mit Text, Bildern, Links und anderen
Web-Elementen werden als dynamische Arbeitsblätter bezeichnet. Der Computer und diese Unterrichtsmaterialien
sind Werkzeuge, die eigenständiges Arbeiten der Schüler mit mathematischen Inhalten,
gemeinschaftliches Forschen und Begründen sowie kooperatives Präsentieren und Diskutieren
erarbeiteter Resultate anregen sollen (Miller, Ulm 2006).
Einsatz dynamischer Arbeitsblätter im Mathematikunterricht
Folgt man dem konstruktivistischen Verständnis von Lernprozessen, müssen Schüleraktivitäten im
Unterricht angeregt werden. Dynamische Arbeitsblätter bieten dazu einen möglichen Rahmen. Die
Schüler sind gefordert, sich eigenständig mit den Problemstellungen und Arbeitsaufträgen auseinander
zu setzen und eigene Lernwege zu gehen. Der Computer und die eingesetzte Unterrichtssoftware
dienen dabei als Werkzeuge, um eigenständiges Arbeiten der Schüler mit mathematischen Inhalten,
gemeinschaftliches Forschen und Entdecken, Argumentieren und Begründen sowie kooperatives Präsentieren
und Diskutieren erarbeiteter Resultate anzuregen. Diese Prinzipien lassen sich in das didaktische
Konzept von Gallin und Ruf (1998) einbinden, die eine dreistufige Konzeption als Arbeitsform
entwerfen. In der ersten Phase (ICH-Phase) macht sich jeder Schüler mit der Aufgabenstellung der
dynamischen Arbeitsblätter vertraut. Die Arbeitsaufträge fordern auf zum Experimentieren, Beobachten
und Entdecken. Anschließend (DU-Phase) tauschen die Lernenden in Partnerarbeit oder in Kleingruppen
ihre Ideen und Ergebnisse aus. Gemeinsam wird tiefer in die Problemlösung vorgedrungen.
Abschließend (WIR-Phase) präsentieren die Arbeitsgruppen im Klassenplenum ihre Resultate und
diskutieren diese. Unter Leitung der Lehrkraft wird ein gemeinsames Ergebnis erarbeitet. Zur Dokumentation
der Experimente und Gedankengänge, empfiehlt es sich diese schriftlich zu fixieren. Parallel
zur Tätigkeit am Computer mit dynamischen und somit flüchtigen Ergebnissen sollten die Schüler
in einem Heft oder auf einem Arbeitsblatt aussagekräftige Figuren skizzieren, Beobachtungen notieren,
Vermutungen formulieren, Begründungen aufschrieben und persönliche Eindrücke festhalten.
Dadurch soll eine intensive Auseinandersetzung mit den Aufgabenstellungen bewirkt werden und
zugleich eine gewisse Nachhaltigkeit des Lernprozesses initiiert werden. Derartige Aspekte sollten bei
der Konzeption des Unterrichts mit dynamischen Arbeitsblättern berücksichtigt werden (Baptist 2004).
Die dynamischen Arbeitsblätter, die mehrheitlich evaluiert wurden, haben als Zielgruppe die Sekundarstufe
– hier vor allem die 7. und 8. Jahrgangsstufe. Besonders für die siebte und achte Jahrgangsstufe
liegt umfangreiches Unterrichtsmaterial in Form dynamischer Arbeitsblätter vor (Baptist 2004).
Der Erhebungsbogen bietet aber auch Lehrkräften die Möglichkeit selbst konzipierte dynamische Arbeitsblätter
von den Schülern bewerten zu lassen. Die Gesamtergebnisse ihrer Befragung können von
den Lehrkräften innerhalb des Kursverwaltungssystems moodle automatisiert ausgewertet werden.
Dazu lassen sich Grafiken mit den Ergebnissen ihrer Gruppe generieren. Bei der durchgeführten
Untersuchung wurden folgende Themen dynamischer Arbeitsblätter bearbeitet. Dabei ist anzumerken,
dass vier Themenkreise von mindestens zwei Gruppen bzw. Klassen bearbeitet und bewertet wurden.

80
70
60
50
40
30
20
10
0
Mathematik in der Kunst
Dynamische Arbeitsblätter - Schüleranzahl
3 5 7
Goldener Schnitt
15
19 19
Vierecke
Sehnen-Tangenten-Winkel
Parabeln
Strahlensatz
23 24 24
Abbildung 1 Dynamische Arbeitsblätter und Schüleranzahl
27
34
43
50
Umfangswinkelsatz
Dreiecke
Grunderfahrung
Vierecke und Billard
Pythagoras
Thales
1.2. Projektziele
In Anlehnung an Helmke (2003) beinhaltet das Evaluationskonzept von GEONExT folgende Bestandteile:
• eine systematische Erfassung
• des Einsatzes von dynamischen Arbeitsblättern im Mathematikunterricht der Sekundarstufe
• verglichen mit den Erwartungen
• mit dem Ziel der Verbesserung der dynamischen Arbeitsblätter und Empfehlungen für den Einsatz
dynamischer Arbeitsblätter im Unterricht.
Mit der Evaluation der mit GEONExT erstellten dynamischen Arbeitsblätter werden folgende Ziele
verfolgt:
• Rückmeldungen aus der Praxis zum Einsatz der dynamischen Arbeitsblätter
Hierbei geht es darum eine Bestandsaufnahme zum Unterricht mit dynamischen Arbeitsblättern zu
erhalten. Im Mittelpunkt des Interesses steht es dabei zu erfassen, wie Anwender mit GEONExT umgehen.
• Qualitätssicherung der dynamischen Arbeitsblätter
Durch Rückmeldungen über die dynamischen Arbeitsblätter sollen Möglichkeiten gefunden werden,
diese optimieren zu können.
• Bedingungs-Wirkungsmuster
Von Schülern werden ihre Einstellungen zu Computereinsatz in der Schule und ihre generellen Haltungen
zum Mathematikunterricht in der Schule (in Verbindung mit dem Einsatz dynamischer Arbeitsblätter)
erfragt.
• Ableitung von Empfehlungen für den Einsatz dynamische Arbeitsblätter im Mathematikunterricht
Aufgrund der gefundenen Resultate soll der Unterrichtseinsatz dynamischer Arbeitsblätter optimiert
werden.
72
5

6
Aus den Zielen können folgende forschungsleitende Fragestellungen abgeleitet werden:
1. Sind die dynamischen Arbeitsblätter nutzergerecht konzipiert?
Um dies beantworten zu können, werden von den Anwendern verschiedene Beschreibungen und
Beurteilungen zum Einsatz der dynamischen Arbeitsblätter im Unterricht erfragt.
2. Gibt es besonders günstige Kontextbedingungen bzw. wichtige Einflussvariablen beim Einsatz
dynamischer Arbeitsblätter im Unterricht zu beachten?
Zu klären ist inwiefern bestimmte Kovariablen wie Vorkenntnisse, Leistungsstand etc. Wirkungen auf
das Arbeiten mit dynamischen Arbeitsblättern erzielen.
3. Lassen sich besondere Wirkungen auf die subjektiven Einstellungen der Lernenden feststellen?
Hierbei geht es vor allem darum mögliche Folgen auf grundsätzliche Haltungen zu erfassen.

2. Datenbasis
In diesem Kapitel soll die vorhandene Datenbasis und ihre Erhebung erläutert sowie die Datenqualität
untersucht werden. Beide Themenkreise sind für alle weiteren Schritte fundamental. Während dies für
die Datenerhebung und Datenstruktur schon deshalb einleuchtet, weil ohne diese Erläuterungen ein
Verständnis kaum möglich ist, erfährt die Qualitätsbeurteilung und Qualitätssicherung oft zu wenig
Aufmerksamkeit. Sie stellt aber in analoger Weise die Voraussetzung für zutreffende Schlussfolgerungen
dar. Sonst kommt es zu dem bekannten „Müll rein- Müll raus-“ Effekt.
2.1. Datenerhebung und Datenstruktur
Auswahl der Klassen
Die Teilnahme an der Befragung erfolgte auf freiwilliger Basis unter Gewährleistung von Anonymität.
Diese Bedingung bewirkt üblicherweise, dass man eine Positivauswahl von Antworten erhält, da eher
engagierte und interessierte Lehrkräfte Interesse an Befragungen zeigen. Als Argument gegen die
Teilnahme an einer Befragung klingt im schulischen Bereich oft die Furcht vor Kontrolle des Unterrichts
an bzw. die Furcht vor Beurteilungen, die nicht zuletzt für die schulische Laufbahn negative
Konsequenzen nach sich ziehen könnten. Deshalb ist zu beachten, dass sich die aufgeschlossene
Einstellung der beteiligten Lehrkräfte in der Führung und im täglichen Unterricht ihrer Klassen widerspiegeln
kann und so Einfluss auf die Antworten ihrer Schüler bewirken kann. Es ist daher nicht ausgeschlossen,
dass es bei der Auswertung zu – positiven – Verzerrungen kommen kann.
Für den vorliegenden Datensatz haben 17 Gruppen (in der Regel Schulklassen) Datensätze geliefert,
so dass insgesamt 365 Schülerbogen vorliegen. Zu betonen ist vorab, dass die Daten also in keiner
Weise einer Zufallsstichprobe entstammen, sondern eine Sammlung aller verfügbaren Antworten darstellen.
Insofern handelt es sich bei der vorliegenden Untersuchung auch nur um eine Beobachtungsstudie.
Es sind zwar – außer den oben schon angesprochenen – keine augenfälligen Gründe für eine
hierdurch bedingte Verzerrung der Resultate erkennbar, doch ist dies auch nicht auszuschließen. Die
Teilnahme war auch für die Schüler freiwillig unter Zusicherung von Anonymität. Die Befragten wurden
unmittelbar im Anschluss an die Arbeit mit einem dynamischen Arbeitsblatt gebeten, einen Erhebungsbogen
auszufüllen. Dabei lassen sich grundsätzlich zwei äußere Bedingungen unterscheiden,
die möglicherweise Einfluss auf das Antwortverhalten der Schüler haben können. Wie in nachstehender
Abbildung zu ersehen ist, wurde nur ein Teil der Bogen in der Schule unter realen Unterrichtsbedingungen
erhoben, während der andere Teil im Rahmen einer Schulung von Schulklassen durch
Lehrstuhlmitarbeiter an der Universität quasi unter speziellen Laborbedingungen erzielt wurde. Zudem
ist zu unterscheiden, dass anfangs die Bogen in Printform vorlagen und zur elektronischen Weiterverarbeitung
online eingegeben werden mussten (Klassensatz 20, 21, 22), während der Großteil der
Schülerbogen direkt online ausgefüllt wurde. Zu einem kritischen Vergleich dieser beiden Möglichkeiten
später mehr.
Insgesamt beteiligten sich vier Klassen aus der Hauptschule, eine Realschulklasse, zehn Gymnasialklassen
sowie eine schulart- und altersgemischte Gruppe (Girl’s Day / UBT) an der Befragung. Die
Grafik zeigt des Weiteren die Verteilung in Jahrgangsstufen: zwei 6. Klassen (HS), acht 7. Klassen
(GY), eine 8. Klasse (RS), zwei 9. Klassen (HS/GY) und zwei 10. Klassen (HS/GY).
Bei vier Klassenpaaren handelt es sich um Parallelklassen: Das betrifft die zwei 7. Klassen aus Berlin,
die zwei 7. Klassen aus Brandenburg, die zwei 7. Klassen des Richard-Wagner-Gymnasiums Bayreuth
und die beiden 6. Klassen der Gutenberg-Schule Rehau. Wie die Verteilung in Jahrgangsstufen
verdeutlicht, sind weitere jahrgangsparallele Datensätze vorhanden. Die 7. Jahrgangsstufe ist besonders
häufig vertreten. Die Realschulklasse nahm zweimal teil (Herbst 2004, Frühjahr 2005). Außerdem
wurden die dynamischen Arbeitsblätter „Thales“, „Pythagoras“, „Billard und Vierecke“ und
„Grunderfahrungen“ von mehr als einer Klasse bearbeitet, so dass an dieser Stelle themenspezifische
Teiluntersuchungen möglich sind.
Die Grafik verdeutlicht außerdem, dass jene Schulklassen, die im Unterricht mit GEONExT arbeiteten
und abschließend Fragebögen ausfüllten, von den Gruppen, die aufgrund der Unterstützung durch die
Robert-Bosch-Stiftung im Rahmen eines Universitätsbesuches sich mit GEONExT beschäftigten, zu
unterscheiden sind. Diese Differenzierung ist bedeutsam, da man annimmt, dass die Rahmenbedingungen
für jene Gruppen, die durch die Robert-Bosch-Stiftung gefördert wurden, günstiger sind (z. B.
durch den Universitätsbesuch: besondere Betreuung, Klassenausflug, andere Umgebung, etc). Dementsprechend
ist zu fragen, inwiefern sich die günstigeren Bedingungen auf die Motivation oder die
Einschätzung tatsächlich auswirken.
7

P
R
I
N
T
B
O
G
E
N
8
Überblick über Schulstufe, Klassenzusammensetzung, bearbeitetes Thema
S
C
H
U
L
I
N
T
E
R
N
U
N
I
V
E
R
S
I
T
Ä
T
S
B
E
S
U
C
H
Schul
art
Schul-
stufe
Klassen-
Thema
Schüler-
zahl
satz ( m / w )
GY 7. 21 Umfangswinkel- 24
Satz 12 / 12
GY 7. 22 Dreiecke 27
8 / 10 / 9 o.A.
RS 8. 20 Thales 23
Herbst 23 m
RS 8. 3 Brüche 24
Frühjahr 24 m
GY 7. 12 Sehnen-Tang. 19
Winkel 10 / 9
GY 7. 17 Billard- 23
Vierecke 23 w
GY 7. 9 Billiard- 20
Vierecke 20 w
GY 9. 8 Pythagoras 24
11 / 13
GY 10. 7 Pythagoras 26
11 / 15
GY 7. 14 Vierecke 15
3 / 12
GY 7. 16 Thales 17
5 / 12
GY 7. 11 Thales 32
21 / 11
HS 6. 15 Grund- 18
Erfahrungen 12 / 6
HS 6. 6 Grund- 16
Erfahrungen 11 / 5
HS M 10 4 Parabeln 19
11 / 8
HS M 9 5 Strahlensatz 23
14 / 9
GY 7./ 1 15 1
Girl’s Day 8./
10./
12.
Goldener Schnitt
8
Mathematik/
Kunst 4
Was ist Schönheit?
5
1 In dieser Gruppe bearbeiteten einzelne Schüler mehrere Arbeitsblätter.
Parallel-
Klassen
Brandenburg
Zweimalige
Teilnahme
Parallel-
Klassen
Berlin
Parallel-
Klassen
Bayreuth
Parallel-
Klassen
Rehau

Abbildung 2 Überblick über Schulstufe, Klassenzusammensetzung, bearbeitetes Thema
Erhebungszeitraum
Die Bogen wurden im Schuljahr 2004/05 eingesandt. Mehrheitlich wurden diese aus folgenden Gründen
im Frühjahr 2005 bearbeitet: Zum einen haben die Lehrkräfte in diesem Zeitraum Geometrie-
Themen in ihrem Unterricht behandelt. Zum anderen wurden zwischen Februar 2005 und Juli 2005
Schulklassen vom Lehrstuhl für Mathematik und ihre Didaktik an der Universität Bayreuth in das Arbeiten
mit dynamischen Arbeitsblättern eingeführt.
Erhebungsinstrument
Als Befragungsinstrument wurde ein Erhebungsbogen 2 entwickelt, der neben soziometrischen Daten,
wie Alter, Geschlecht, Schulstufe und Schulart im Wesentlichen aus 38 Aussagen zum Themenbereich
dynamischer Arbeitsblätter besteht, denen die Befragten in einer vierstufigen Skala zustimmen
können. Als Antwortmöglichkeiten sind „stimmt vollständig“, „stimmt eher“, „stimmt eher nicht“ und
„stimmt gar nicht“ vorgesehen. Außerdem ist es möglich „keine Angabe“ anzukreuzen. Das Antwortschema
sieht also so aus:
Item
1. Ich habe...
Abbildung 3 Antwortschema
stimmt
vollständig
stimmt
eher
stimmt
eher nicht
stimmt
gar nicht
keine
Angabe
Um sicherzustellen, dass nicht nur Antworten zu Themen, die im Horizont der Fragebogenentwickler
stehen, beantwortet werden, wurde der Bogen am Ende durch eine offene Fragestellung ergänzt (vgl.
Czerwenka 1990). Die dort gesammelten Aussagen können als ergänzende Belege bzw. als Korrektiv
für die nach Auszählungen gefundenen Ergebnisse dienen.
Ausrichtung der Fragen
Um die Antworten auszählen zu können, werden den Antwortmöglichkeiten Werte zugeordnet, die
eine Mittelbildung ermöglichen. Eine offensichtliche Codierung reicht von „stimmt vollständig“ (Wert 1) 3
über „stimmt eher“ (Wert 2) und „stimmt eher nicht“ (Wert 3) bis „stimmt gar nicht“ (Wert 4) und „keine
Angabe“ (Lücke bzw. Wert 0). Allerdings ist es für eine aussagefähige Mittelwertbildung notwendig,
dass die Codierungen „gleich gerichtet“ sind.
Sind Items positiv gerichtet bedeutet das, dass ein Kreuz bei „stimmt vollständig“ einer positiven Aussage
der Schüler entspricht. Ist dagegen ein Item negativ gerichtet, beinhaltet es also eine Verneinung
oder ein negative Aussage, wie „verzichten“, „nicht gerne“ oder „schwierig“, so entspricht ein Kreuz bei
„stimmt vollständig“ einer negativen, ein Kreuz bei „stimmt gar nicht“ dagegen einer positiven Antwort.
Bei dem Entwurf eines Erhebungsbogens für Schüler und Schülerinnen muss man sich überlegen, wie
man die Aussagen formuliert. Für den Einsatz von negativ formulierten Items sprechen zwei Gründe.
Einerseits müssen die Fragen für die Schüler gut verständlich sein und sollten deshalb keine Doppelverneinungen,
wie zum Beispiel „Ich hatte keine Schwierigkeiten...“ beinhalten. Andererseits kann
man die Aussagen der Befragten bei Themen, die besonders interessieren überprüfen indem man sie
doppelt – einmal positiv und einmal negativ gerichtet – abfragt.
Man muss sich aber auch die Frage stellen, ob die Befragten bei einem negativ gerichteten Item genauso
antworten, als wenn das Item positiv gerichtet worden wäre. Wahrscheinlich lehnt man negativ
gerichtete Aussagen eher ab, wie man positiv gerichteten zustimmt. Dies hätte zur Folge, dass unterschiedlich
gerichtete Items das Ergebnis der Erhebung verschieben könnten. Wechselt man aber positiv
und negativ gerichtete Items im Erhebungsbogen ab, hebt sich diese Wirkung wieder auf. Man
muss sich dabei allerdings stets bewusst sein, dass unterschiedlich gerichtete Items auch unterschiedliche
Antwortmuster nach sich ziehen können.
2
Der Erhebungsbogen ist im Teil II abgedruckt (Bocka & Olbricht 2007).
3
Die Werte / Kodierungen 1,0 / 2,0...Lücke sind die in den Computerdaten verwendete Form der Antworten.
9

10
Umskalierung der Items
Die Antworten mit den dazugehörigen Werten der negativ gerichteten Items werden inhaltlich umskaliert,
dass heißt die negativ gerichteten Items werden in positiv gerichtete verwandelt, indem man ihre
Werte x für die numerischen Berechnungen umdreht und in (5 – x) transformiert. Aus einem Kreuz bei
„stimmt vollständig“ wird somit ein „stimmt gar nicht“ hinsichtlich der ins Gegenteil transformierten
Frage, aus einem bei „stimmt eher“ ein „stimmt eher nicht“ und anders herum. Der Wert 0 für „keine
Angabe“ bleibt bestehen. Die umskalierten Items sind im Folgenden mit einer Markierung (∗) versehen.
Zur Identifizierung der negativen Items wurde ein kleines Experiment durchgeführt: Acht verschiedene
Personen wurden gebeten, sich die Aussagen durchzulesen und zu entscheiden, welche sie für
negativ formuliert halten. Unter diesen acht Personen befanden sich drei Studentinnen, die an der
GEONExT-Erhebung mitarbeiten und fünf außen stehende Personen, die die Items zum ersten Mal
sehen. Von diesen fünf Befragten sind zwei Schüler einer Realschule, die gelegentlich schon mit GE-
ONExT gearbeitet haben.
Item 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Positiv
gerichtet
Negativ
gerichtet
8 8 8 0 8 8 0 0 0 8 0 0 8 8 8 8 1 8 8
0 0 0 8 0 0 8 8 8 0 8 8 0 0 0 0 7 0 0
Item 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
Positiv
gerichtet
Negativ
gerichtet
8 8 0 0 1 8 8 0 1 8 0 8 8 0 8 8 0 8 0
0 0 8 8 7 0 0 8 7 0 8 0 0 8 0 0 8 0 8
Tabelle 1 Ausrichtung der Items
In diesen Tabellen kann man erkennen, dass die Befragten bei fast allen Items übereinstimmender
Meinung waren. Zur Sicherheit werden die drei Items, bei denen Abweichungen vorliegen, nochmals
genauer betrachtet.
• Item 17: Ich fand den Computereinsatz überflüssig
Stimmt man dieser Aussage zu, zielt die Antwort ins Negative. Die Aussage, dass man den Computereinsatz
überflüssig fand spricht nicht für die Lernsoftware. Das bedeutet ein Kreuz bei „stimmt vollständig“
entspricht einer negativen Bewertung von GEONExT. Deshalb ist dieses Item eindeutig negativ
gerichtet.
• Item 24: Ich arbeite nicht gerne mit Lernsoftware
Stimmt man dieser Aussage zu bedeutet das, dass man ungern mit Lernsoftware arbeitet. Das heißt
die Antwortrichtung zielt ins Negative. Deshalb ist dieses Item eindeutig negativ gerichtet.
• Item 28: Ich finde es nicht gut, im Unterricht selbständig zu arbeiten
Bei Zustimmung zu dieser Aussage bestätigt man, dass man die Selbständigkeit im Unterricht nicht
gut findet. Etwas nicht gut oder auch schlecht finden zielt in die negative Richtung. Deshalb ist dieses
Item eindeutig negativ gerichtet.
Die zunächst nicht eindeutig klassifizierten Items erweisen sich also als negativ formuliert. Als Grund
für die Abweichungen bei diesen drei Items kommen Flüchtigkeitsfehler oder Überlesen von Wörtern
seitens der Befragten in Betracht. Die Umskalierung der Items ist damit überprüft und man kann davon
ausgehen, dass die Daten ohne Fehler umcodiert worden sind.
Ausfüllen der Bogen
Insgesamt liegen 365 Erhebungbogen vor, von denen 291 in EDV Form im Internet unter
www.geonext.de/evaluation ausgefüllt wurden und 74 in Printform. Ursprünglich wurde der Erhebungsbogen
in Printform verwendet. Dies wurde auf Wunsch der Befragten geändert, da mit GEO-
NExT am Computer gearbeitet wird und das Ausfüllen am Computer damit eine Erleichterung für die
Durchführung der Befragung darstellt. In der EDV-Form konnten die Schüler kein Item auslassen, da
sie nur vollständig ausgefüllte Erhebungsbogen abschicken konnten. Bei der Printform war dies leider

schon möglich, deshalb gibt es unterschiedliche Bedeutungen der 0: Einerseits Kreuze bei „keine
Angabe“ und andererseits Leerzellen (nur bei den Bögen in Printform), wobei die Schüler gar kein
Kreuz gemacht haben. Quantitativ ergibt sich, dass 5,73 % fehlende Werte („keine Angabe“) bei der
Printform auftreten gegenüber 4,50 % bei der EDV-Form.
Dieser Unterschied wäre bei der vorliegenden Anzahl der Erhebungsbogen signifikant.
Die nahe liegende Vermutung, dass bei der Printvorlage des Erhebungsbogens mehr Schüler Items
ausgelassen haben als bei der EDV-Form, bei der sie gezwungen waren, zumindest „keine Angabe“
anzukreuzen, bestätigt sich also. Insofern stellt die Onlineversion auch in dieser Hinsicht eine Verbesserung
in der Datenerhebung dar. Um im weiteren Verlauf der Untersuchung nicht mit zu komplizierten
Aufschlüsselungen für die Printform arbeiten zu müssen, werden die beiden verschiedenen
Werte „keine Angabe angekreuzt“ und „nichts angekreuzt“ zusammengefasst und als gleichwertig
betrachtet. Angesichts der letztlich geringen Anteile fehlender Werte und der noch geringeren Differenz
zwischen Print- und EDV-Form erscheint dies vertretbar.
2.2. Qualitätssicherung und Qualitätsbeurteilung
Generelles
Weit seltener als eine genaue Erläuterung findet sich in empirischen Untersuchungen eine detaillierte
Diskussion der Datenqualität. Es wird zu unrecht stets unterstellt, dass die Daten „stimmen“. Hintergrund
scheint die Überzeugung zu sein, dass bei normaler Sorgfalt Datenprobleme auszuschließen
seien. Dies ist jedoch nicht richtig. Gerade durch das natürliche Wachsen nahezu jeder empirischen
Untersuchung bei der sich fast immer Fragebogen, Antwortmöglichkeiten oder Erfassungstechniken
ändern, ergibt sich ein weites Feld für Fehlerquellen. Dass darüber nahezu nie berichtet wird verstärkt
noch den Eindruck, Datenqualität sei selbstverständlich und eigentlich kein Problem, was wiederum
zur Unterschätzung der Thematik führen kann. Dem soll hier ausdrücklich und nachdrücklich entgegen
getreten werden.
Dazu ist zunächst festzuhalten, dass mangelnde Datenqualität viele Ursachen haben kann: Eingabefehler,
Bedienungsfehler, Berechnungsfehler, Verständnisfehler und mangelnde Seriosität bei den
Antworten können etwa alle zu problematischen Daten führen, die dann ebenso problematische Analysen
nach sich ziehen. Analog zu den Qualitätssicherungsprogrammen der Industrie sollte man daher
auch Qualitätssicherung niemals als ein statisches Unterfangen, sondern immer als einen dynamischen
Prozess betrachten, der ein Projekt auf allen Stufen begleitet und laufend überwacht.
Eingabe- und Bedienungsfehler
Da die Klassensätze 2, 10 und 13 noch nicht direkt online erhoben wurden, mussten die Werte nachträglich
im Computer erfasst werden. Im Einklang mit den obigen Prinzipien wurden deshalb im Rahmen
dieser Untersuchung die bereits von Hilfskräften eingegebenen Daten nochmals mit den von den
Schülern per Hand ausgefüllten Printbogen abgeglichen und auf Eingabefehler untersucht. Die Ergebnisse
(vgl. Reuschlein 2006 für Details) waren überraschend und bemerkenswert: Es stellte sich
nämlich heraus, dass die bisher als Computerdatei erfassten Daten in erheblichem Umfang von den
Angaben in den Printbogen abwichen. Dabei ist natürlich zu berücksichtigen, dass die Reihenfolge bei
den Printbogen und den Erfassungen permutiert sein konnte. Bemerkenswerterweise ließen sich aber
auch markante Einzelbogen (z. B. der des einzigen 14-jährigen in den Printbogen und der EDV-
Erfassung) in keiner Weise sinnvoll zuordnen. Somit blieb auch die Ursache für die fehlenden Übereinstimmungen
unklar. Letztlich ließ sich das Problem nur durch eine (überprüfte) Neueingabe der
Klassensätze 21, 22 und 20 lösen. Wir möchten nochmals davor warnen, dies als ungewöhnlichen
Einzelfall anzusehen – es illustriert vielmehr die allgemein unterschätzte Notwendigkeit, Datenkontrolle
ganz Ernst zu nehmen. Aus diesem Grund haben wir das Phänomen hier auch beschrieben, was
sonst fast nie geschieht. Eine bemerkenswerte Ausnahme ist Breiman (1985).
Abhilfe kann man wieder durch die direkte EDV-Erfassung schaffen, die schon in Hinblick auf fehlende
Werte als sinnvoll erkannt wurde. Hierdurch werden Übertragungsfehler fast vollständig vermieden.
Allerdings hat man nach wie vor keine Klarheit über etwaige Bedienungsfehler seitens des Teilnehmers.
Wer Schwierigkeiten mit der Mausbedienung hat (Item 7), klickt vielleicht gerade deswegen eine
unbeabsichtigte Kategorie an! Allerdings dürfte sich hier die von uns in anderer Hinsicht favorisierte
Vorerhebung auch als nützliches Vortraining erweisen. Im vorliegenden Fall haben wir keine Anzeichen
von Bedienungsfehlern (z. B. durch Rückmeldungen).
11

12
Berechnungs- und Verständnisfehler
Die Auswertung der Daten wird typischerweise mit Hilfe von EDV-Programmen (im vorliegenden Fall
z.B. EXCEL und S-PLUS) vorgenommen. Es mag daher überflüssig erscheinen, systematisch die
Ergebnisse zu kontrollieren. Allerdings lehrt die Erfahrung, dass sich auch bei EDV-Benutzung leicht
Programmierfehler oder falsche Datenzugriffe einschleichen. Am besten schafft man hier Abhilfe
durch Gegenprüfungen (crosschecks) und summarische – leicht kontrollierbare – Abgleiche wie Quersummen,
Minima und Maxima.
Verständnisfehler beziehen sich schließlich auf die Möglichkeiten, Fragen und Antwortoptionen semantisch
misszuverstehen. Als Vorbeugung wird man grundsätzlich auf möglichst klare und eindeutige
Formulierungen achten. Gleichwohl empfiehlt sich in der Regel ein Testlauf mit der beabsichtigten
Zielgruppe. Auch in dieser Hinsicht kann eine Vorerhebung hilfsweise größere Probleme anzeigen.
Nicht zu unterschätzen ist bei der Durchführung von Schülerbefragungen die Problematik des Jugendjargons
(vgl. Czerwenka 1990).
Mangelnde Seriosität der Antworten
In anekdotenhafter oder essayistischer Form wird diese Problematik oft behandelt – leider beschränkt
sich ihr Vorkommen aber nicht auf solche Fälle. Es ist vielmehr davon auszugehen, dass viele Antworten
in Umfragen schlichtweg nicht ehrlich sind. Als Gründe kommen verschiedenste psychologische
Motive in Betracht. In einigen Fällen kann man durch objektive Überprüfungen Vorhandensein und
Ausmaß solcher unseriösen Antworten abschätzen.
In der vorliegenden Untersuchung war es beispielsweise durch persönlichen Kontakt mit einer Lehrkraft
möglich, eine Liste mit der im Bogen erfragten Zensur im letzten Zeugnis zu erhalten. Ein Vergleich
der Lehrer- mit den Schülerangaben brachte Erstaunliches zu Tage: Nur bei den Extremwerten
der Noten 1 und 6 herrscht Übereinstimmung. Bei Notenstufe 2 kann die Abweichung noch durch die
unterschiedliche Anzahl von Schülern bei der Lehrer- und bei der Schülerliste erklärt werden. Bei den
restlichen Zensuren 3, 4 und 5 ist jedoch die Differenz bei den erzielten Noten nicht nachvollziehbar.
Note 1 Note 2 Note 3 Note 4 Note 5 Note 6
Lehrerdaten 0 2 10 11 6 0
Schülerantworten 0 5 13 3 2 0
Tabelle 2 Angegebene Zensuren
Als erste Möglichkeit kann man eine Fehlinterpretation der Fragestellung durch die Schüler (gefragt
war nach der Zensur im letzten Zeugnis und nicht etwa nach der letzen Probearbeit oder Schulnote)
und daraus resultierender Antwort in Betracht ziehen. Die Frage scheint aber weder semantisch noch
inhaltlich zweideutig zu sein, so dass man dieses Erklärungsmuster ausschließen kann. Vielmehr ist
man zu dem Schluss gezwungen, dass nicht ehrlich geantwortet wurde.
Als Empfehlung lässt sich schon an dieser Stelle aussprechen, dass Schülerangaben zu erhaltenen
Zensuren mit Vorsicht zu behandeln sind. Besser wäre es, nach einer Möglichkeit zu suchen, diese
mit den Notenlisten der Lehrkräfte bei der Befragung abzugleichen. Allerdings ist dabei die Anonymität
der Befragten zu gewährleisten.
Auffälligkeiten von Schülern
Nicht immer stehen externe (objektive) Daten zur Überprüfung bereit. Dann bleibt immerhin die Möglichkeit
nach Auffälligkeiten bei der Verteilung der Schülerantworten, fehlenden Werten, konsistentem
Antwortverhalten bzw. Ankreuzmustern in den Schülerantworten zu suchen, um zu sehen, ob „etwas
nicht stimmt“.
In der folgenden Graphik (Mittelwert-SD-Diagramm) werden als ein erster Versuch alle Schüler mit
ihren Werten für das Gesamtmittel und die Gesamtstandardabweichung (Gesamtsd) – jeweils berechnet
unter Weglassung fehlender Werte – in einem Streuungsdiagramm dargestellt. Die einzelnen
Schüler sind dabei durch ihren Klassensatz als Symbol gekennzeichnet, wobei verschiedene Klassensätze
verschiedene Farben haben. Wegen der hohen Anzahl von Klassensätzen ist aber die Farbcodierung
nicht einfach. Immerhin lassen sich auf dies Weise zusammenhängende Gruppierungen
von Daten aus den gleichen Klassensätzen leicht erkennen.

Gesamtsd
1.6
1.4
1.2
1.0
0.8
0.6
0.4
1.0 1.5 2.0 2.5 3.0
Abbildung 4 Mittel-SD-Diagramm
5
8
9
22 11
11
15
21 11 12
11
22 11
16 15
22 1622
16
21 16
16
4 22 11 7
12
22 11 1
4
12 12
21
8
12
11
22 11 12
12 9 8
22
6
1617
15
11
22 11
11
17 12
6 8 219
5
7
21
15 8
17 7
12
6
17
7
8
11
17 7
17
7 1
3 8 20
22
1
4 22
21
4
5
7
9
8 11
21
3
1
7
14 12
3
7
7
8
9
1
5
3 9
11
20 21
16
16
15
22
15
8 22 11 7 7 14 21
17
17
9
4
3 5
4 1
5 9
21
8 6
21 12
15
8
14
6 4 12
22 16
5
4
6 3
7
78
7 7 8
822
11 14 9
21
9
21
21
14
1
17 11
8
17 20
7 4
9
8 6 14
14
17
14
21
7 3 8
8
11
4
3
4
4 7
6 8
14 15
8 12
1
5 9
6
17
7
8
20 20
21
20
9
20 5
1
9
1
3
3 5 14 5
17
6
9
15 15 17 7
14
15
14
21
20 22 16 20
46
17 5
1 36
7 9
22
15
20 20
9 7 8 17 5 4 15
17 16
16 6 8 5 11
20
7 16 15 5
3
4 3 14 3
3
5
5 15 2120
15
4 5 6
11
20 20
21
3
3
5
14
1
3
20
14 9 1122
21 20 17 20
20 144
20 1
3
4
17
5
17
7 3
3
20
15 20
20
5 9
5
17
15
22 16
11
1122
1122
16
22 11 16
21
2122
11
12
22 16
21 11
9
11
35
3
17
Gesamtmittel
Man erkennt z. B. deutlich einige kohärente Substrukturen in den Daten. Hauptzweck des Plots ist es
aber an dieser Stelle, Befragte mit ungewöhnlichen summarischen Werten (Gesamtmittel und Gesamtsd)
deutlich hervortreten zu lassen. Es zeigt sich, dass unter den Schülern mit hoher Gesamtsd
(etwa größer als 1.3) recht viele aus Klassensatz 12 stammen. Weiterhin sind unter den Schülern mit
hohem Wert des Gesamtmittels auffällig viele aus Klassensatz 11 vertreten. Schließlich weisen umgekehrt
die Klassensätze 3, 5 und 20 meist kleine Werte des Gesamtmittels bei kleinen Standardabweichungen
auf (d. h. sie beurteilen GEONExT konstant recht positiv). Man kann aber nicht sagen, dass
der Datensatz als Ganzes in klare Teilgruppen zerfällt. Auch „Cliquen“ mit eindeutig unplausiblen Antworten
(z. B. Gesamtmittel = 4.0 und Gesamtsd = 0.0) tauchen nicht auf.
Auftreten und Verteilung von fehlenden Werten und Randwerten
Auch das Auftreten fehlender Werte sollte auf Muster untersucht werden. Grundsätzlich bedeuten
fehlende Werte im Datensatz (Lücke), dass Teilnehmer „keine Angabe“ markiert haben. Lediglich 12
Schüler haben also mehr als neunmal „keine Angabe“ gewählt. Sie verteilen sich zudem unauffällig
über den Gesamtdatensatz. Die folgende Graphik gibt die Anzahl der angekreuzten „keine Angabe“
für die einzelnen Schüler an:
12
6
11 12
12
7
21
12
22
11
12
17
22 16
22 11
13

14
35,00
30,00
25,00
20,00
15,00
10,00
5,00
Abbildung 5 Anzahl „keine Angabe“
Ebenso interessiert natürlich auch das häufige Auftreten von Randwerten, also sowohl sehr hohen
(ceiling) als auch sehr niedrigen (floor) Antwortoptionen. In folgender Graphik lässt sich die Anzahl der
angekreuzten „stimmt vollständig “ für die einzelnen Schüler ablesen.
35,00
30,00
25,00
20,00
15,00
10,00
5,00
Anzahl der angekreuzten "stimmt vollständig"
0,00
0 50 100 150 200 250 300 350 400
Abbildung 6 Anzahl „stimmt vollständig“
In entsprechender Weise zeigt die nächste Graphik die Anzahl der angekreuzten „stimmt gar nicht“ für
die einzelnen Befragten an:
25,00
20,00
15,00
10,00
5,00
Anzahl der angekreuzten "keine Angabe"
0,00
0 50 100 150 200 250 300 350 400
Anzahl der angekreuzten "stimmt gar nicht"
0,00
0 50 100 150 200 250 300 350 400
Abbildung 7 Anzahl „stimmt gar nicht“
Beunruhigende Auffälligkeiten zeigen sich in keiner der beiden Graphiken. Allerdings lässt sich deutlich
erkennen, dass es einen asymmetrischen Zug zu „stimmt vollständig“ gibt. Diese Antwort wurde

sehr häufig, das Pendant „stimmt gar nicht“ nur sehr selten gewählt. Die letzte Graphik verdeutlicht
außerdem, dass in zwei Bereichen der Wert 4 („stimmt gar nicht“) öfter als 10-mal gewählt wurde:
zwischen den Schülern 149 und 216 und zwischen Schüler 319 und 363. Das deckt sich fast exakt mit
dem Bereich der Klassensätze 9, 11 und 12 bzw. den Klassensätzen 21 und 22.
In der folgenden Tabelle sind abschließend zur genaueren Analyse die Verteilungen aller Antwortkategorien,
einschließlich derer für „stimmt eher“ und „stimmt eher nicht“, zusammengefasst. Die Tabelle
zeigt die jeweilige Anzahl der Schüler, die eine bestimmte Antwortmöglichkeit x-mal angekreuzt haben.
Beispielsweise haben 16 Schüler die Antwort „stimmt vollständig“ zwischen 0- und 5-mal angekreuzt.
Anzahl wie oft
gewählt wurde
stimmt vollständig
0 – 5 6 - 10 11 - 15 16 - 20 21 - 25 26 - 30 31 - 35 36 - 38
16 85 104 79 57 21 3 0
stimmt eher 63 120 107 55 16 3 1 0
stimmt eher
nicht
stimmt gar
nicht
219 109 36 1 0 0 0 0
279 48 25 13 0 0 0 0
keine Angabe 332 23 4 2 1 2 1 0
Tabelle 3 Verteilung der Antworten
Hier zeigt sich eine stark ausgeprägte Asymmetrie, die einerseits eine ungünstige Kalibrierung der
Fragestellung andeuten können oder aber andererseits auf die positiven Resultate zurückzuführen
sind. Darauf wird später noch einzugehen sein.
Ankreuzschemata und inhaltlich konsistentes Antwortverhalten
Eine weitere potentielle Art von Auffälligkeiten in Schülerantworten stellen Ankreuzschemata dar. Das
wären z.B. Antworten mit zwei oder drei sich abwechselnden Werten (z. B.12121.. oder 113344
113344), mit auf- und absteigenden Reihen (z.B. 1234 321 234.. oder 1234 1234 1234..) oder Ketten
mit gleichen Zahlen wie 1111.. etc. Solche Schemata konnten in Reinform nicht nachgewiesen werden.
Allerdings besteht gleichwohl die Möglichkeit, dass ein Fragebogen willkürlich ausgefüllt wurde und
auf den Inhalt der Fragen gar nicht geachtet wurde. Es wäre natürlich sinnvoll, solche Bogen auszuschließen.
Als ein elementarer deskriptiver Test werden hierzu die einzelnen Schülerantworten im
Sinne der Skalen gruppiert, da diese zusammengehörende Items eines Themas bündeln. Mit Hilfe von
Mittelwert und Standardabweichung wird dann überprüft, inwiefern und inwieweit Antworten zum gleichen
Thema voneinander abweichen. Zur Illustration sei folgendes Beispiel eingefügt. Skala 1 umfasst
die Items 1, 7, 22, 26, 31.
Es werden die Antworten der Schüler betrachtet: Zum Beispiel kreuzte Schüler RowNr 5 an:
Item 1 7 22 26 31
Wert 1 1 1 1 1
Tabelle 4 Antworten von Schüler RowNr 5
Der Mittelwert 1,0 und die Standardabweichung σ = 0 lassen auf ein konsistentes Antwortschema
schließen. Als ein anderes Beispiel kreuzte Schüler RowNr 66 an:
Item 1 7 22 26 31
Wert 1 1 4 3 1
Tabelle 5 Antworten von Schüler RowNr 66
15

16
Der Mittelwert 2,0 und die Standardabweichung σ = 1,41 werfen hier die Frage auf, inwieweit dieses
Antwortverhaltens noch konsistent ist.
Es gibt natürlich keine feste Regel („benchmark“), ab wann ein Antwortverhalten als auffällig gelten
soll, zumal die Skalen unterschiedlich viele Items umfassen, die noch dazu nicht unabhängig sind.
Aus rein pragmatischen Gründen sowie einigen empirischen Erwägungen wird deshalb hier mit dem –
zugegebenermaßen willkürlichen – Grenzwert 1,3 gearbeitet.
Die folgende Tabelle fasst die Ergebnisse zusammen:
Skala
Anzahl der darunter-
liegenden Schüler
Tabelle 6 Antwortverhalten der Schüler
Anzahl der „auf-
fälligen" Schüler
1 332 (91,0%) 33 (9,0%)
2 213 (58,4%) 152 (41,6%)
3 335 (91,8%) 30 (8,2 %)
4 349 (95,6%) 16 (4,4%)
5 341 (93,4%) 24 (6,6%)
6 331 (90,7%) 34 (9,3%)
7 291 (79,7%) 74 (20,3%)
8 320 (87,7%) 45 (12,3%)
9 344 (94,3%) 21 (5,7%)
Das Resultat ist recht beruhigend: Die große Mehrzahl der Schüler scheint konsistent zu antworten.
Der Anteil von Teilnehmern, der höhere Streuungen besitzt, befindet sich zumeist unter 10%. Allerdings
fällt Skala 2 hier deutlich aus dem Rahmen, da hier nur 58,4% der Schüler zum konsistenten
Bereich gehören. Skala 7 und 8 liegen mit etwa 80 % und 88 % ebenfalls über der 10%-Marke. Neben
potentiell inkonsistentem Verhalten seitens einzelner Schüler kann dies – gerade weil es sich auf einzelne
Skalen konzentriert – auch umgekehrt ein Hinweis darauf sein, dass diese Skalen intern selbst
nicht konsistent sind, sondern divergierende Fragestellungen kombinieren. Später werden diese Aspekte
noch ausführlich beleuchtet.
Es ist interessant, jene Schüler herauszufiltern, die tatsächlich auffallen, da sie mehrmals im „nichtkonsistenten“
Bereich liegen:
Anzahl der auffälligen Skalen 0 1 2 3 4 5 6 7 8 9
Schüleranzahl 145 119 56 29 10 1 2 1 0 2
Tabelle 7 Anzahl auffälliger Schüler bei den Skalen
Nur 16 Schüler, d. h. 4,4% von 365, haben auffällige Werte bei mehr als vier Skalen. Diese 16 Schüler
sind:

Anzahl
auffälliger
Skalen
Row
Klassensatz
Skala 1
Skala 2
Skala 3
9 170 11 x x x x x x x x x
9 200 12 x x x x x x x x x
7 86 6 x x x x x x x
6 187 11 x x x x x x
6 359 22 x x x x x x
5 241 15 x x x x x
4 83 6 x x x x
4 107 7 x x x x
4 176 11 x x x x
4 181 11 x x x x
4 188 11 x x x x
4 209 12 x x x x
4 216 12 x x x x
4 255 16 x x x x
4 351 22 x x x x
4 354 22 x x x x
Tabelle 8 Auffällige Schüler
In der Tabelle sind die Skalen, in welchen ein Schüler auffällige Werte aufweist, mit einem Kreuz versehen.
Es fällt auf, dass die „Problemfälle“ einigen wenigen Klassensätzen angehören. Insbesondere
Klassensatz 11 ist allein fünfmal vertreten, Klassensatz 12 und 22 je dreimal.
Es zeigt sich, dass die Daten als in hohem Maß konsistent betrachtet werden können, da die als konsistent
angenommenen Daten je nach Skala über 80% liegen. Im Übrigen wird nur ein sehr geringer
Anteil (

18
Antworten, aber all dies hält sich in relativ engen Grenzen. Deswegen scheint es auch unangebracht,
durch Ausschließen von Fragenbogen den Datensatz – letztlich etwas willkürlich – zu verändern. Wir
wollen lieber den umgekehrten Weg gehen und nur solche Analysetechniken verwenden, die durch
etwaige kleine Anomalien nicht beeinträchtigt werden, mit anderen Worten es soll eher ein deskriptives
solides Vorgehen bei der Auswertung eingeschlagen werden.
Inhaltlich sei schon festgehalten, dass es bei Skala 2 Anzeichen für fehlende Konsistenz gibt. Ferner
scheinen die Klassensätze 11, 12 und 22 einige „auffällige Teilnehmer“ zu umfassen.

3. Untersuchung der Items
In diesem Kapitel geht es darum, schwerpunktmäßig den Datensatz von den Items her zu untersuchen.
Es interessiert insbesondere, ob und wie sich die Items inhaltlich in Gruppen zusammenfassen
und durch Skalen bündeln lassen. Dem wird als zweiter Schritt eine datenbasierte Skalenbildung gegenübergestellt.
Dabei wird untersucht, wie sich die Items nicht vom Inhalt, sondern von den gegebenen
Antworten her gruppieren. Idealerweise sollte natürlich beides in etwa zusammenfallen. Einen
weiteren Schwerpunkt bildet ein Abschnitt über klassische Kennzahlen der Itemanalyse (Boden- und
Deckeneffekte, Cronbach’s α). Schließlich werden die interessantesten Kovariablen (Geschlecht, Zensur,
Schulart, Anzahl der Arbeitsblätter, Klassenstufe) im Spiegel der Skalen beleuchtet, um zu untersuchen,
ob es hier besonders auffällige Verschiebungen in den Skalenprofilen gibt.
3.1. Inhaltliche Skalenbildung
Gruppierung der Items und ihre Begründung
Um die Ziele der Untersuchung erreichen zu können, wurden a priori Items in Form von Aussagen
festgelegt und zu Skalen gruppiert. Als Quelle dienten bisherige Untersuchungen zur Schülersicht
über Schule und Unterricht (vgl. Bocka, Czerwenka, Weinert) bzw. Studien über Schulleistungen (vgl.
Helmke, PISA). Um für alle Schülerinnen und Schüler eine Verständlichkeit der Items zu erleichtern
und eine persönliche Betroffenheit auszulösen, wurde als einheitlicher Satzanfang „Ich...“ festgelegt.
Als maximale Bearbeitungsdauer des Bogens wurden 15 Minuten 4 angestrebt, weswegen die Anzahl
der Items auf 38 begrenzt wurde. Diese 38 Items verteilen sich aus folgenden Überlegungen heraus
auf neun Themenkreise (Skalen):
Im Zentrum des Interesses stehen die Rückmeldungen von GEONExT-Anwendern zu dynamischen
Arbeitsblättern. Dieser Bereich gliedert sich in den Aufbau der dynamischen Arbeitsblätter (Skala 4)
und die Beurteilung des bearbeiteten Themas (Skala 5), den bei der Bearbeitung benötigten Zeitaufwand
(Skala 6) und die Beurteilung des selbständigen Arbeitens (Skala 7). Flankierend dazu sollen
Aussagen erfragt werden über bestehende Kontextbedingungen und mögliche Wirkungen. Deshalb
werden Vorerfahrungen mit dem Medium Computer (Skala 1) und dabei speziell mit Lernsoftware
(Skala 2) ermittelt, sowie nach der Bedeutung des Computers als Lernwerkzeug (Skala 3) gefragt.
Grundsätzliche Einstellungen zum Themengebiet (Skala 9) können sowohl als Kontextbedingung als
auch als mögliche Wirkungen beurteilt werden, die Frage nach weiterem Einsatz von Lernsoftware
(Skala 8) zielt auf mögliche positive Effekte.
Um die Zugehörigkeit der Items zu den Skalen überprüfen zu können, werden die Items zunächst
nach inhaltlichen Aspekten den verschiedenen Skalen zugeordnet. Deshalb werden die neun vorab
konzipierten Skalen nochmals genauer diskutiert. Die 38 Items werden dazu der Reihe nach einzeln
durchgegangen und einer Skala, bei Grenzfällen auch mehreren Skalen, zugeteilt. Diese Zuordnung
wird dann nochmals durch weitere unabhängige Meinungen abgeklärt. Da das Erhebungsinstrument
(Fragebogen) von zentraler Bedeutung für die vorliegende Untersuchung ist, soll diesen Aspekten
breiter Raum gewidmet werden.
Skala 1: Vorerfahrungen mit Computern
Diese Skala soll Aussagen enthalten, die auf Vorerfahrungen mit dem Computer zielen.
Eindeutig zur Skala gehörend ist Item 1 (Ich habe Erfahrung mit Computern.). Item 7 (Ich hatte
Schwierigkeiten, mit der Maus die Befehle auszuführen.), genauso wie Item 22 (Ich habe Hemmungen,
mit dem Computer zu arbeiten.), lassen auf fehlende Erfahrung im Umgang mit dem Computer
schließen und sind deshalb negativ gerichtete Aussagen nach Vorerfahrungen mit dem Computer. Die
inhaltliche Gegenfrage dazu ist Item 26 (Ich fühle mich sicher im Umgang mit dem Computer.), was
sicherlich durch oftmalige Benutzung gefördert wird. Voraussetzung für die regelmäßige Computernutzung
und dadurch resultierenden Vorerfahrungen ist die Möglichkeit, zu Hause einen Computer
nutzen zu können bei Item 31 (Ich habe die Möglichkeit zuhause einen Computer zu nutzen.).
4 Zeitmessungen bei den an der Universität betreuten Gruppen ergaben eine durchschnittliche Bearbeitungsdauer
von 8-15 Minuten. Der höchste Wert wurde in solchen Hauptschul-Klassen erzielt, in
denen die Lehrkraft die Items vorlas, um Verständnisschwierigkeiten von Seiten der Schüler ausschließen
zu können. Dieses Vorgehen können wir für leseschwache Klassen empfehlen, da wir den
Nutzen hinsichtlich der Verständlichkeit höher einschätzen als eine mögliche Beeinflussung im Antwortverhalten
durch das Vorlesen.
19

20
Die Zuteilung dieser fünf Items zu dieser Skala ist recht eindeutig, nur Item 31 lässt nicht direkt auf die
Vorerfahrungen schließen, da die Möglichkeit noch nicht den konkreten Gebrauch beinhaltet. Vielleicht
sollte man dieses Item deshalb in „Ich habe zu Hause Zugang zu einem Computer und nutze ihn
auch.“ ändern, um sicher zu gehen, dass die Schüler damit auch Erfahrungen haben. Alternativ kann
man, wenn man nur daran interessiert ist, wie viele Schüler daheim einen Computer zur Verfügung
haben, dieses Item als Einzelitem stehen lassen.
Skala 2: Vorerfahrungen mit Lernsoftware
Diese Skala soll eine Spezialisierung der eben erläuterten Skala sein, da die Erfahrungen mit Lernsoftware
mit allgemeiner Computernutzung einhergehen.
Zu dieser Skala gehören einerseits die Items, in denen Lernsoftware explizit genannt ist, wie bei den
Items 11 (Ich arbeite sonst nicht mit Lernsoftware.), 21 (Ich kenne andere Lernsoftware.) und 24 (Ich
arbeite nicht gerne mit Lernsoftware.). Andererseits gehören aber auch solche Items dazu, bei denen
von Lernen mit Hilfe des Computers wie Item 27 (Ich benutze den Computer in meiner Freizeit nicht
zum Lernen.), sowie speziell von Erfahrungen mit dynamischen Arbeitsblättern wie Item 30 (Ich habe
vorher noch nie mit dynamischen Arbeitsblättern gearbeitet.) die Rede ist, da Lernen mit dem Computer
meist nur mit Lernsoftware möglich ist und es sich bei den dynamischen Arbeitsblättern um Lernsoftware
handelt. Wobei man sich dieses Item wahrscheinlich sparen könnte, weil die Schüler am
Anfang des Erhebungsbogens angeben sollten, wie viele dynamische Arbeitsblätter sie vorher schon
bearbeitet haben. Die Zuteilung dieser fünf Items zu der Skala Vorerfahrungen mit Lernsoftware erscheint
eindeutig.
Skala 3: Beurteilung von Computernutzung
Diese Skala hängt eng mit den zwei vorhergehenden zusammen, wobei es bei dieser Skala um die
Beurteilung der Computernutzung gehen soll.
Die Items 17 (Ich fand den Computereinsatz überflüssig.) und 19 (Ich finde es gut, wenn wir in der
Schule mit dem Computer arbeiten.) fragen einmal negativ und einmal positiv gerichtet nach der Meinung
über Computereinsatz in der Schule. Wobei die zwei Items zu schnell aufeinander folgen, was
sich durch einige Schülerkommentare in der Spalte für „Was möchtest Du uns noch mitteilen?“ belegen
lässt. Zum Beispiel schrieb eine Gymnasiastin aus der 10 Klasse: „Im Fragebogen nicht immer so
ziemlich die gleichen Fragen stellen - manche sind fast gleich“ (RowNr 119) 5 . „Bitte im Fragebogen
nicht immer dieselben Fragen, bloß anders formuliert, stellen! Danke!“ (RowNr 104) bat ein Junge aus
derselben Klasse. Ebenfalls aus derselben Klasse merkte ein 17 - Jähriger an: „Mehrere Fragen sind
aus Manipulationsgründen gleich oder haben gleiche Bedeutung. Ich denke in der 10. Klasse ist niemand
dumm genug darauf hereinzufallen. Das würde ich beim nächsten Mal schon aus Zeitgründen
unterlassen.“ (RowNr 106). Diese Befragten haben also die einmal positiv und einmal negativ gerichteten
Items als Abfrage derselben Aussage verstanden, fanden es aber überflüssig bzw. sogar manipulativ
dasselbe zweimal abzufragen. Man könnte diesem Problem aus dem Weg gehen, wenn man
zwei zusammengehörende Items weit genug auseinander stellt.
Die Aussage 37 (Ich halte es für mich wichtig, mit dem Computer umgehen zu können.) geht noch
über die Schule hinaus und fragt nach der persönlichen Bedeutung von Computerkompetenz für die
Schüler. Diese Frage ist vielleicht für die Jüngeren schwieriger zu beantworten, weil sie noch nicht
darüber nachdenken bzw. einschätzen können, inwieweit sie Fähigkeiten am Computer für Schule,
Beruf etc. benötigen.
Skala 4: Aufbau der dynamischen Arbeitsblätter
Bei dieser Skala geht es um die Verständlichkeit der dynamischen Arbeitsblätter des Lernprogramms
GEONExT.
Mit Item 2 (Ich fand die farbliche Gestaltung der dynamischen Arbeitsblätter hilfreich.), Item 3 (Ich
denke, dass die Reihenfolge der einzelnen dynamischen Arbeitsblätter hilfreich war.), Item 4 (Ich hatte
Schwierigkeiten, die schriftlichen Arbeitsanweisungen zu verstehen.), Item 6 (Ich fand diese dynamischen
Arbeitsblätter übersichtlich aufgebaut.) Item 33 (Ich fand die dynamischen Arbeitsblätter langweilig.)
und Item 38 (Ich hatte Schwierigkeiten, die schriftlichen Anleitungen zu verstehen.) werden
offensichtliche Aspekte der Beurteilung der Arbeitsblätter erfragt. Diesen Items ließen sich nach inhaltlichen
Gesichtspunkten noch weitere zuordnen. Wenn man voraussetzt, dass der Aufbau der Arbeitsblätter
zum Verständnis des Themas beigetragen hat, würden folgende Items zu dieser Skala passen:
Item 15 (Ich habe den Eindruck, dass ich das Thema verstanden habe.), Item 18 (Ich meine, dass mir
die dynamischen Arbeitsblätter geholfen haben, das Unterrichtsthema zu verstehen.), Item 20 (Ich
fand das Thema verständlich aufbereitet.), Item 23 (Ich meine, dass es überflüssig war, mit diesen
5 Die Schülerzitate wurden nur rechtschriftlich verbessert

dynamischen Arbeitsblättern zu arbeiten.) und Item 25 (Ich denke, dass ich mir das Ergebnis gut merken
kann.). Diese fünf Items sind bisher allerdings der Skala 5 (Beurteilung des Themas) zugeteilt. Die
Skalen 4 (Aufbau der dynamischen Arbeitsblätter) und 5 (Beurteilung des Themas) hängen eng zusammen,
sie könnten eventuell zu einer Skala zusammengefasst werden.
Skala 5: Beurteilung des Themas
In dieser Skala sollen sich Items zur Beurteilung des Themas des bearbeiteten dynamischen Arbeitsblattes
wieder finden. Die Items 15 (Ich habe den Eindruck, dass ich das Thema verstanden habe.),18
(Ich meine, dass mir die dynamischen Arbeitsblätter geholfen haben, das Unterrichtsthema zu verstehen.),
20 (Ich fand das Thema verständlich aufbereitet.), 23 (Ich meine, dass es überflüssig war, mit
diesen dynamischen Arbeitsblättern zu arbeiten.) und 25 (Ich denke, dass ich mir das Ergebnis gut
merken kann.) drehen sich aber nicht nur um die Verständlichkeit des Themas und einen möglichen
Lernerfolg, sondern auch um die Aufbereitung des Themas durch die dynamischen Arbeitsblätter und
die Vermittlung des Stoffes durch Lernsoftware und Lehrer. Daher sollte man erwägen, die beiden
Skalen 4 und 5 zusammenzufassen, oder sie treffender zu formulieren. Eine Möglichkeit wäre, die
vierte Skala in „Gestaltung der dynamischen Arbeitsblätter“ zu ändern und die fünfte Skala in „Lernerfolg
und Verständlichkeit durch die dynamischen Arbeitsblätter“ umzubenennen.
Skala 6: Zeitrahmen
Diese Skala soll Items enthalten, anhand derer man überprüfen kann, ob die Zeit, die von Lehrern und
Entwicklern der Lernsoftware GEONExT für die Bearbeitung der dynamischen Arbeitsblätter eingeplant
wurde, passend war.
Zu dieser Skala gehören die Items 9 (Ich bin unter Zeitdruck geraten.) und 16 (Ich denke, dass ich
zügig gearbeitet habe.). Sie fragen einmal danach, ob die Schüler unter Zeitdruck geraten sind, das
andere Mal danach, ob sie zügig gearbeitet haben. Item 9 (s. o.) ist klar formuliert und gehört eindeutig
zu dieser Skala, bei Item 16 (s. o.) hingegen kann man nicht unbedingt auf den zeitlichen Rahmen
schließen. Der Grund für zügiges Arbeiten kann auf der einen Seite Interesse, Ehrgeiz, Selbstverantwortung
und guter, klarer Aufbau der Software sein, aber auf der anderen Seite ist auch Zeitmangel
oder Druck des Lehrers als Antrieb für zügiges Arbeiten denkbar. Klarer und damit besser wäre es
gewesen, wenn man an dieser Stelle die Aussage 9 (s. o.) positiv gerichtet abfragen würde, wie beispielsweise:
„Ich denke, dass ich für die Bearbeitung der Arbeitsblätter genügend Zeit hatte."
Skala 7: Beurteilung selbständigen Arbeitens
Das Arbeiten mit dynamischen Arbeitsblättern soll so stattfinden, dass die Schüler am Computer ohne
die ständige Anleitung der Lehrperson arbeiten. 6
Dieser Skala gehört eindeutig das negativ gerichtete Item 28 an (Ich finde es nicht gut, im Unterricht
selbständig zu arbeiten.), in welchem nach der Meinung der Schüler zu selbständigen Arbeiten gefragt
wird. Auch in den Items 5 (Ich habe keine zusätzliche Hilfe vom Lehrer gebraucht.) und 14 (Ich habe
auch mit anderen zusammengearbeitet.) geht es um selbständiges Arbeiten, aber bei diesen beiden
Items wird nicht die Meinung der Schüler abgefragt, sondern ob sie selbständig mit GEONExT umgehen
konnten und deshalb die Hilfe des Lehrers nicht gebraucht haben und ob sie selbständig auch mit
anderen zusammengearbeitet haben. Dabei wird allerdings nicht die Beurteilung sondern vielmehr die
Fähigkeit selbständig zu arbeiten, abgefragt. Deshalb sollte man diese Skala zu „Selbständiges Arbeiten“
kürzen.
Skala 8: Weiterer Einsatz von Lernsoftware
In dieser Skala soll herausgefunden werden, ob der Wunsch besteht in der Schule zukünftig mehr mit
Lernsoftware zu arbeiten.
In Item 29 (Ich denke, wir sollten öfters in Mathematik mit dynamischen Arbeitsblättern arbeiten.) wird
diese Thematik direkt angesprochen. Die Gegenaussage dazu ist in Item 36 (Ich möchte nicht mehr
mit dynamischen Arbeitsblättern arbeiten.) zu finden, in dem negativ gerichtet nach dem weiteren
Einsatz von dynamischen Arbeitsblättern im Unterricht gefragt wird. Weiterführend wird in den Items
32 (Ich kann mir vorstellen, Mathetests zu schreiben, in denen ich am Computer arbeiten muss.) und
34 (Ich bin der Meinung, Computer sollten in Matheprüfungen eingesetzt werden.), nach dem Computereinsatz
bei Tests bzw. Prüfungen gefragt. 7 Die Items sind beide positiv gerichtet und folgen zu kurz
6 Der momentane Forschungsstand bestätigt die Bedeutung von selbständigem Arbeiten, das die
Schüler in Deutschland laut PISA-Studie in der Vergangenheit viel zu wenig gelernt haben.
7 Der Computereinsatz bei Prüfungen wurde erst auf Vorschlag von Schülern nach einem früheren
Testlauf der Erhebungsbogen mit in den Fragenkatalog aufgenommen.
21

22
hintereinander. Besser wäre es die Items unterschiedlich gerichtet und an weiter auseinander liegenden
Stellen des Erhebungsbogens zu bringen.
Skala 9: Generelle Einstellung zum Themengebiet
Dieser Skala sollen die Items zugeordnet werden, die sich auf grundlegende Haltungen zum Themengebiet
beziehen. Allerdings sollte die Bezeichnung der Skala konkretisiert werden, da nicht ganz klar
ist, was man unter Themengebiet zu verstehen hat.
Nach Änderung des Namens der Skala von „Generelle Einstellung zum Themengebiet“ in „Generelle
Einstellung zu Geometrie/Mathematik“ lassen sich Item 8 (Ich finde Geometrie schwierig.) und Item 13
(Ich interessiere mich für Geometrie.) eindeutig dieser Skala zuordnen, da bei diesen nach dem subjektiv
empfundenen Schwierigkeitsgrad und dem Interesse an Geometrie gefragt wird. Auch die Aussage
12 (Ich kann mir mathematische Formeln nicht merken.) zielt auf die subjektive Begabung der
Schüler in Hinsicht auf Mathematik ab. Darüber hinaus geht das Item 35 (Ich denke, dass das bearbeitete
Thema für mich wichtig ist.), in dem die persönliche Bedeutung des Themas für die Schüler
selbst benannt ist. Da dieses Item so formuliert ist, dass die Bedeutung eines bearbeiteten Arbeitsblattes,
und nicht die von Mathematik allgemein, abgefragt wird, ist die Zuordnung nicht eindeutig. Ein
Vorschlag wäre, das Item anders zu formulieren: „Ich denke, dass Geometrie für mich wichtig ist.“
Überprüfung der Skalen durch eine Befragung
Nach der kritischen Diskussion der Items kann es auch aufschlussreich sein, Dritte zur Einteilung der
Items in die Skalen zu befragen. Dafür liegen von acht verschiedenen Personen Zuordnungen vor. Zu
diesen acht Personen zählen drei Studentinnen (a – c), die sich mit der GEONExT-Erhebung beschäftigen,
zwei außen stehende Personen (d – e) und drei Schüler einer Realschule (f – h), die im Unterricht
des Öfteren mit GEONExT gearbeitet haben. Ihre Zuordnungen werden mit den a priori festgelegten
Kombinationen verglichen, um zu erkennen, welche Items nicht eindeutig einer Skala zugeordnet
werden.

Skala 1
Skala 2
Skala 3
Skala 4
Skala 5
Skala 6
Skala 7
Skala 8
Skala 9
a b c d e f g h
Item 1 1 1 1 1 1 1 1 1
Item 7 1 1 1 3 7 3 3 3
Item 22 1 1 1 3 3 1 3 5
Item 26 1 1 1 3 1 1 1 5
Item 31 1 1 1 1 1 1 1 9
a b c d e f g h
Item 11 2 2 2 2 2 2 2 9
Item 21 2 2 2 2 2 2 2 2
Item 24 2 2 2 2 2 2 8 5
Item 27 1 1 2 3 9 1 2 9
Item 30 2 2 2 2 2 5 2 8
a b c d e f g h
Item 17 3 3 3 3 3 3 3 7
Item 19 3 3 3 3 3 3 9 9
Item 37 3 3 3 3 3 1 1 9
a b c d e f g h
Item 2 4 4 4 4 4 4 4 5
Item 3 4 4 4 4 4 4 4 4
Item 4 4 4 4 7 7 4 5 7
Item 6 4 4 4 4 4 4 4 4
Item 33 4 4 4 5 5 5 5 5
Item 38 4 4 4 4 7 4 5 9
a b c d e f g h
Item 15 5 5 5 5 5 5 5 7
Item 18 5 5 5 7/8 9 5 5 5
Item 20 4/5 5 5 5 5 9 5 7
Item 23 5/8 5 5 8 8 5 5/9 5
Item 25 5 5 5 9 8 5 9 9
a b c d e f g h
Item 9 6 6 6 6 6 6 6 6
Item 16 6 6 6 6 7 3 6 7
a b c d e f g h
Item 5 2/7 7 7 7 7 7 7 2
Item 10 7 7 7 7 7 7 7 7
Item 14 7 7 7 7 7 7 7 7
Item 28 7 7 7 7 7 7 7 7
a b c d e f g h
Item 29 8 8 8 5 8 5 5 5
Item 32 8 8 8 9 3 3 7/9 3
Item 34 8 8 8 9 9 5 9 5
Item 36 8 8 8 8 5 9 5
a b c d e f g h
Item 8 9 3/9 9 9 9 9 5 5
Item 12 9 9 9 9 7 9 9 9
Item 13 9 9 9 9 9 9 5 5
Item 35 5 9 9 5 5 8 9 7
Tabelle 9 Überprüfung der Zuordnung der Items zu den Skalen
23

24
Die Teilnehmer an diesem Experiment bilden keine Zufallsstichprobe aus einer wohldefinierten
Grundgesamtheit. Allerdings gehören sie größtenteils der Zielgruppe an. Insofern sind die Ergebnisse
durchaus Ernst zu nehmen, da sich darin typische Einschätzungen von Schülern widerspiegeln können,
die von der ursprünglichen Skalenkonstruktion abweichen. Folgende Punkte scheinen erwähnenswert:
1. Die Studentinnen waren im Großen und Ganzen im Einklang mit den ursprünglichen Skalen. Bei
den anderen Befragten zeigen sich hingegen deutliche Abweichungen. Es könnte also eine Art
Betriebsblindheit bzw. Expertenwissen geben, nach dem einige Zuordnungen mit etwas Vertrautheit
„klar“ erscheinen, es aber für Schüler nicht sind. Dieser Punkt ist wesentlich, da möglicherweise
einige Fragen anders aufgefasst werden als gedacht.
2. Zwischen Skala 1 und Skala 3 zeigen sich einige Überschneidungen. Insbesondere die Items 7
und 22 werden auch oft der Skala 3 zugeschrieben, da die Befragten offenbar nicht streng zwischen
Computererfahrung und Computerbeurteilung unterscheiden.
3. Bei Skala 2 sticht insbesondere Item 27 heraus. Das Problem dürfte sein, dass „Lernsoftware“
nicht explizit erwähnt wird, und die Frage eher auf den Computer allgemein bezogen wird. Dies
könnte auch die schon in Sektion 2.2. bemerkten Inkonsistenzen bei Skala 2 erklären.
4. Teile von Skala 4 (insbesondere Item 33 bzw. Item 4) werden oft als Teil von Skala 5 bzw. Skala 7
verstanden.
5. Bei Skala 6 ist Item 16 unklar formuliert.
6. Die Items von Skala 8 werden sehr häufig anderen Skalen (insbesondere den Skalen 5, 3 und 9)
zugeschrieben. Es erscheint problematisch, die spezielle Frage nach weiterem Einsatz von Lernsoftware
von der generellen Einstellung zum Thema bzw. Computern bzw. dem Themengebiet zu
trennen.
7. Schließlich zeigen sich die schon bei der inhaltlichen Analyse vermuteten Überschneidungen zwischen
Skala 9 und Skala 5.
Zusammenfassung
Die bisherigen Überlegungen zur inhaltlichen Überprüfung der Skalenbildung brachten folgende Ergebnisse.
• Bei einigen Skalen sollte die Bezeichnung präzisiert werden:
Skala 4: Gestaltung der dynamischen Arbeitsblätter
Skala 5: Lernerfolg und Verständlichkeit durch die dynamischen Arbeitsblätter
Skala 7: Selbständiges Arbeiten
Skala 9: Generelle Einstellung zu Geometrie/Mathematik.
• Zusammengehörige Items einer Skala könnten im Erhebungsbogen weiter auseinander gestellt
werden (vgl. z.B. Skala 4: Items 2, 3, 4, 6, 33 und 38). Allerdings erschwert dies gerade wieder die
Nutzung von Kontextinformation bei der Zuordnung und kann so leichter zu Missverständnissen führen.
Insofern wäre eine klare Abgrenzung vielleicht das kleinere Übel.
• Item 4 (Ich hatte Schwierigkeiten, die schriftlichen Arbeitsanweisungen zu verstehen.) und 38 (Ich
hatte Schwierigkeiten die schriftlichen Anleitungen zu verstehen.) sind zu ähnlich. Eines der beiden
Items sollte negativ formuliert werden (Vorschlag: Ich hatte keine Probleme den schriftlichen Anleitungen
zu folgen.)
• Es gibt einige Überschneidungen zwischen den Skalen. Insbesondere die folgenden Items erhielten
weniger als vier „richtige“ Zuordnungen:
Item 7 (Ich hatte Schwierigkeiten mit der Maus die Befehle auszuführen.) wird entweder Skala 1 (Vorerfahrungen
mit Computern) oder Skala 3 (Beurteilung von Computernutzung) zugeordnet.
Item 27 (Ich benutze den Computer in meiner Freizeit nicht zum Lernen.) wird unklar zugeordnet.
Item 32 und 34 werden unklar zugeordnet.
Item 33 (Ich fand die dynamischen Arbeitsblätter langweilig) wird entweder Skala 4 (Aufbau der dynamischen
Arbeitsblätter) oder Skala 5 (Beurteilung des Themas) zugeordnet.
Item 35 wird unklar zugeordnet.
• Item 16 (Ich denke, dass ich zügig gearbeitet habe.) sollte umformuliert werden: Ich denke, dass
ich für die Bearbeitung der dynamischen Arbeitsblätter genügend Zeit hatte.
• Item 30 (Ich habe vorher noch nie mit dynamischen Arbeitsblättern gearbeitet) sollte entfallen, da
dieser Sachverhalt bereits bei den Angaben abgefragt wird.
• Item 31 (Ich habe die Möglichkeit zuhause einen Computer zu nutzen.) sollte umformuliert werden:
Ich habe zu Hause Zugang zu einem Computer und nutze ihn auch.
• Item 35 (Ich denke, dass das bearbeitete Thema für mich wichtig ist.) sollte umformuliert werden:
Ich denke, dass Geometrie für mich wichtig ist.

3.2. Substrukturen (Datenbasierte Skalenbildung)
Zu fragen ist nun, inwiefern die Ergebnisse der nach inhaltlichen Aspekten durchgeführten Skalenüberprüfung
einer datenbasierten Analyse standhalten können. Hierzu zeigt schon ein erster Blick auf
die Beantwortung der Items, dass sich verschiedene Gruppen von Items ausmachen lassen, die ähnliches
Antwortverhalten zeigen.
Anazhl der Schüler
400
350
300
250
200
150
100
50
0
Verteilung der Kreuze bei den Items
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
Items
Wie oft wurde stimmt vollständig angekreuzt Wie oft wurde stimmt eher angekreuzt
Wie oft wurde stimmt eher nicht angekreuzt
Wie oft wurde keine Angabe angekreuzt oder eine Lücke gelassen
Wie oft wurde stimmt gar nicht angekreuzt
Abbildung 8 Verteilung der Antworten bei den Items
Beispielsweise erkennt man in der obigen Abbildung leicht, dass Item 31 nahezu immer mit „stimmt
vollständig“ beantwortet wurde. Sehr hoch waren die Zustimmungsraten auch bei den Items 7, 22 und
19. Umgekehrt gab es hohe Anteile von eher negativen Antworten („stimmt gar nicht“) bei den Items
15, 16 und 25. Die Items 11, 13, 34 und 35 hatten wenig Zustimmung, aber das lag weniger an negativen
als vielmehr an hohen Raten von „keine Angabe“ und „stimmt eher nicht“. So offensichtlich diese
Zusammenhänge sind, so schwer ist es doch, die Items in dieser Weise miteinander zu vergleichen.
Dies liegt natürlich an der vierdimensionalen (genauer: 5 – 1) Struktur der Antworten – und gilt selbst
dann, wenn man die Antworten nach einem Kriterium wie z. B. zunehmende volle Zustimmung sortiert.
Es wäre daher zweckmäßig, diese Daten – selbst unter gewissem Informationsverlust – in einer
zweidimensionalen Darstellung zusammenzufassen. Hierzu werden wir ein elementares, aber für diesen
Zweck und diese Situation maßgeschneidertes Hilfsmittel verwenden. Als Hintergrund beschreibt
der folgende Kasten, wie man für eine erwartete und eine beobachtete Multinomialverteilung den so
genannten Chiquadrat-Abstand (χ²-Abstand) berechnet.
25

26
Hintergrund: χ²-Abstand
Eine Multinomialverteilung ergibt sich, falls eine Anzahl n von Werten unabhängig voneinander in m
Schubladen einsortiert werden, wobei die Wahrscheinlichkeit für die i-te Schublade gerade pi
beträgt. Falls diese Wahrscheinlichkeiten bekannt sind, kann man die beobachteten (observed, „O“)
und die erwartenen (expected, „E“) Anzahlen einander gegenüberstellen. Beispielsweise könnten sich
für 60 Würfe mit einem Würfel folgende Resultate ergeben:
Augenzahl 1 2 3 4 5 6
Erwartet (E) 10 10 10 10 10 10
Beobachtet (O) 9 8 16 17 6 4
Mit dem χ²-Abstand kann man dann den Abstand der beobachteten Verteilung von der erwarteten Verteilung
messen. Hierzu berechnet man:
6
2 ( Oi
− Ei
)
∑ = 14.
2 .
i= 1 Ei
Der χ²-Abstand ist also eine gewichtete quadratische Abstandssumme.
Für unsere Situation bietet es sich an, für jedes Item die beiden χ²-Abstände zu zwei „extremen“ Multinomialverteilungen
zu berechnen: Einerseits zum Optimum (das ist diejenige Verteilung, bei der 361
Schüler die beste Antwort „stimmt vollständig“ und nur jeweils eine Person die restlichen vier Antwortmöglichkeiten
– einschließlich „keine Angabe“ ankreuzte) und andererseits zum Antioptimum (das
ist diejenige Verteilung, bei der 361 Schüler die schlechteste Antwort „stimmt gar nicht“ und nur jeweils
eine Person die restlichen vier Antwortmöglichkeiten – einschließlich „keine Angabe“ ankreuzte.
Dies liefert ein Koordinatenpaar, so dass man die einzelnen Items geometrisch in der Ebene darstellen
kann. Items mit ähnlichem Antwortmuster werden in diesem Diagramm „nahe“ beieinander liegen.
Im folgenden Diagramm sind die Items mit ihrer Nummer und die Skalen durch Farben codiert. Man
kann auf diese Weise – natürlich unter Beachtung des eingeschränkten, weil verdichteten Informationsgehalts
– viererlei gewinnen:
• einen Eindruck von der Kohärenz der einzelnen Skalen
• einen Eindruck von Verhältnis der Skalen zueinander
• Vermutungen über die Zuordnung einzelner bislang nicht eindeutig zugeordneter Skalen oder
Vorschläge für eine passendere Zuordnung abweichender Items
• Hinweise darauf, welche Items bzw. Skalen besonders nahe am Optimum bzw. Antioptimum liegen
und daher welche Dinge besonders gut bzw. schlecht bewertet wurden.

Chiquadratabstand zum Antioptimum
100000
80000
60000
40000
20000
31
7
22
19
0 10000 20000 30000 40000
Chiquadratabstand zum Optimum
Abbildung 9 χ²-Abstände zum Optimum und Antioptimum
37
30
17
14
Die einer Skala angehörenden Items sind jeweils mit derselben Farbe gekennzeichnet:
Skala 1: Vorerfahrungen mit Computern (Items 1, 7, 22, 26 und 31)
Skala 2: Vorerfahrungen mit Lernsoftware (Items 11, 21, 24, 27 und 30)
Skala 3: Beurteilung von Computernutzung (Items 17, 19 und 37)
Skala 4: Aufbau der dynamischen Arbeitsblätter (Items 2, 3, 4, 6, 33 und 38)
Skala 5: Beurteilung des Themas (Items 15, 18, 20, 23 und 25)
Skala 6: Zeitrahmen (Items 9 und 16)
Skala 7: Beurteilung selbständigen Arbeitens (Items 5, 10, 14 und 28)
Skala 8: Weiterer Einsatz von Lernsoftware (Items 29, 32, 34 und 36)
Skala 9: Generelle Einstellung zum Themengebiet (Items 8, 12, 13 und 35)
9
32 21
Man erkennt unmittelbar folgende Punkte:
1. Die Skalen sind weitgehend kohärend, was aber nicht ausschließt, dass einzelne Items oder einige
Gruppen abweichende Lagen einnehmen. Beispielsweise erscheinen Skala 1 und Skala 6 nahezu
zweigeteilt.
2. An dem Diagramm kann man recht gut erkennen, dass die Items der Skala 1 und 3 (1, 7, 17, 19,
22, 26, 31 und 37) zum Großteil recht nahe beieinander liegen und sich überlappen. Weitere Überschneidungen
sieht man etwa zwischen Skala 5 und Skala 9 sowie zwischen Skala 4 und Skala 5
oder Skala 2 und Skala 8.
3. Für die oben mit weniger als vier „richtigen“ Zuordnungen genannten Items erhält man folgendes
Bild:
Item 7 bleibt umstritten zwischen Skala 1 und Skala 3.
Item 27 wäre tendenziell wie vorgesehen der Skala 2 zuzuordnen.
Item 32 und 34 bleiben zwischen Skala 2 und Skala 8 umstritten.
Item 33 bleibt unklar, aber vielleicht tendenziell in Skala 4.
1
26
23
38
36 29
285
34
10
12
33
24
27
3
8
6
4
20 2
18
35
13
11
15
25
16
27

28
Item 35 bleibt zwischen Skala 9 und Skala 5 umstritten.
4. Die Lage der Skalen als Ganzes unterscheidet sich deutlich. An den Vorkenntnissen (Skala 1)
fehlt es beispielsweise nicht (relativ geringer Abstand zum Optimum, aber relativ großer zum Antioptimum).
Demgegenüber werden die Themen (Skala 5) und das Themengebiet (Skala 9) etwas kritischer
beurteilt (relativ großer Abstand zum Optimum, aber relativ kleiner zum Antioptimum). Dabei ist
zu betonen, dass es sich um relative Aussagen handelt. Unter den Items schneidet Item 31 (Ich habe
die Möglichkeit zu Hause einen Computer zu nutzen.) so einheitlich positiv ab, dass es vielleicht sogar
aus dem Erhebungsbogen gestrichen werden kann. Die Skala 6 (Zeitrahmen) enthält das strittige Item
16 (Ich denke, dass ich zügig gearbeitet habe.), das inhaltlich nicht dem Zeitrahmen, sondern eher
dem selbstverantwortlichen Lernen, also der Skala 7 (Beurteilung selbständigen Arbeitens), zugeteilt
werden könnte. Item 16 hat von den 38 Items den kleinsten χ²-Abstand zum antioptimalen Antwortmuster.
Das bedeutet, dass dieses Item am negativsten beantwortet wurde. Der Abstand zu Item 9
(Ich bin unter Zeitdruck geraten.) ist sehr groß und man kann die beiden Items datenorientiert nicht als
zusammengehörig identifizieren. Wie bereits erwähnt sollte dieses Item aus dem Erhebungsbogen
genommen werden und durch ein anderes zur Skala 6 (Zeitrahmen) passenden, ersetzt werden.
3.3. Klassische Kennzahlen zur Itemanalyse
Die Analyse von Items und Skalen ist ein geradezu klassischer Teil der psychologischen Testtheorie.
Dabei werden allerdings zum Teil recht ausgefeilte Modelle zugrunde gelegt und oft weit reichende
Annahmen gemacht. Für unsere eher elementaren Zwecke und eher unsicheren Annahmen ist das
nicht unproblematisch. Aber zur Einordnung in klassische Herangehensweisen und zur Vergleichbarkeit
mit der einschlägigen Literatur sollen in diesem Abschnitt die gängigsten Kennzahlen zusammengestellt
werden. Die folgende Tabelle fasst die in diesem Kontext üblicherweise betrachteten Kennzahlen
für die neun (inhaltlich definierten) Skalen zusammen:
Dimension Anzahl Mittel SD
Boden
(Anzahl)
Decke
(Anzahl)
NA's
Cronbach's
Skala 1 5 1.42 0.44 106 2 0 0.45
Skala 2 5 2.34 0.55 5 3 2 0.08
Skala 3 3 1.48 0.59 149 3 0 0.56
Skala 4 6 1.99 0.63 16 2 0 0.75
Skala 5 5 2.06 0.73 15 8 1 0.83
Skala 6 2 1.90 0.75 73 10 1 0.56
Skala 7 4 1.99 0.57 25 0 1 0.28
Skala 8 4 2.14 0.86 55 24 2 0.76
Skala 9 4 2.24 0.73 18 13 0 0.68
Tabelle 10 Kennzahlen und Reliabilität der Skalen ( n=365)
Die ersten sieben Spalten sind weitgehend selbsterklärend. Bei Skala 1 und insbesondere Skala 3
zeigen sich deutliche Bodeneffekte. Deckeneffekte gibt es hingegen so gut wie nicht. Skala 1 und
Skala 3 sind insofern (im Rückblick) nicht ideal justiert, sondern zu positiv. Es ist aber zu bedenken,
dass dies im Vorfeld ja nicht klar war.
Die letzte Spalte gibt mit Cronbach's α ein gebräuchliches Maß für die Reliabilität an. Dazu sind in
aller Kürze folgende Anmerkungen zu machen:
1. Interpretation
Cronbach's α ist nur eine Schätzung für eine untere Schranke der interessierenden Größe. Es ist anfällig
für Verzerrungen und ohnehin nicht ganz leicht zu interpretieren. Grob gesprochen zeigt es die
innere Konsistenz der beteiligten Items.
2. Berechnung
Cronbach's α wurde auf der Basis der Kovarianzmatrix berechnet. Für die Korrelationsvariante ergeben
sich aber nahezu identische Werte, da die Varianzen aller Items sich nicht stark unterscheiden.
Alle Schüler mit wenigstens einem fehlendem Wert bei einem Item der betrachteten Skala wurden
α

ganz aus der Berechnung der Kovarianzmatrix ausgeschlossen (listwise deletion), um die gleichen
Anzahlen für alle Kovarianzen herzustellen.
3. Ergebnis
Man strebt – mit Vorbehalten – Werte von etwa 0.7 und mehr an. Demnach sind die Skalen 2 und 7 –
und eventuell auch 1– nicht so recht intern konsistent. Dies deckt sich mit schon früher gemachten
Beobachtungen aus Abschnitt 2.2. bzw. 3.2. Ein Blick auf die Korrelationsmatrizen (Tabelle 11 bis
Tabelle 13) zeigt auch die Gründe auf:
Item 1 Item 7 Item 22 Item 26 Item 31
Item 1 1.00 -0.01 0.23 0.49 0.15
Item 7 -0.01 1.00 0.13 0.05 0.01
Item 22 0.23 0.13 1.00 0.27 -0.02
Item 26 0.49 0.05 0.27 1.00 0.16
Item 31 0.15 0.01 -0.02 0.16 1.00
Tabelle 11 Korrelationsmatrix für Skala 1
Item 11 Item 21 Item 24 Item 27 Item 30
Item 11 1.00 0.36 0.18 -0.19 -0.12
Item 21 0.36 1.00 0.19 -0.04 -0.14
Item 24 0.18 0.19 1.00 -0.16 -0.08
Item 27 -0.19 -0.04 -0.16 1.00 0.15
Item 30 -0.12 -0.14 -0.08 0.15 1.00
Tabelle 12 Korrelationsmatrix für Skala 2
Item 5 Item 10 Item 14 Item 28
Item 5 1.00 0.32 0.02 0.12
Item 10 0.32 1.00 -0.08 0.17
Item 14 0.02 -0.08 1.00 -0.01
Item 28 0.12 0.17 -0.01 1.00
Tabelle 13 Korrelationsmatrix für Skala 7
Dese Skalen sind die einzigen mit negativen Einträgen. Insbesondere Skala 2 scheint in die Items
(11, 21, 24) und die Items (27,30) zu „zerfallen“. Abschließend interessiert auch die Korrelation der
Skalen selbst. Denn natürlich sollen die Skalen zwar intern konsistent sein, aber untereinander verschiedene
Dimensionen (also nichts Überflüssiges) messen. Dazu vergleiche man die folgende Tabelle:
29

30
Skala 1 Skala 2 Skala 3 Skala 4 Skala 5 Skala 6 Skala 7 Skala 8 Skala 9
Skala 1 1.00 0.17 0.42 0.18 0.20 0.29 0.11 0.31 0.20
Skala 2 0.17 1.00 0.15 -0.06 -0.03 -0.08 -0.03 0.14 -0.03
Skala 3 0.42 0.15 1.00 0.29 0.31 0.27 0.17 0.50 0.24
Skala 4 0.18 -0.06 0.29 1.00 0.75 0.45 0.24 0.47 0.54
Skala 5 0.20 -0.03 0.30 0.75 1.00 0.41 0.21 0.60 0.63
Skala 6 0.29 -0.08 0.27 0.45 0.41 1.00 0.22 0.31 0.38
Skala 7 0.11 -0.03 0.17 0.24 0.21 0.22 1.00 0.17 0.19
Skala 8 0.31 0.14 0.50 0.47 0.60 0.31 0.17 1.00 0.42
Skala 9 0.20 -0.03 0.24 0.54 0.63 0.38 0.19 0.42 1.00
Tabelle 14 Korrelationen der Skalen
Auch hier findet man wieder die schon festgestellten Überschneidungen der Skalen 1 und 3 sowie 4
und 5 oder auch 5 und 9. Natürlich stellt sich die Frage nach der Berechtigung von Korrelationen, da
das vorliegende Datenmaterial stark diskreter Natur ist. Für die hier berechneten Korrelationen wurde
anhand von Scatterplots aber immer überprüft, ob eine Berechnung sinnvoll ist. Als Beispiel gibt die
nächste Abbildung die Scatterplotmatrix für die Korrelationsmatrix der Skalen an.
4
3
2
1
4
3
2
1
4
3
2
1
4
3
2
1
Skala1mittel
1 2 3 4
1 2 3 4
Skala2mittel
Skala3mittel
1 2 3 4
1 2 3 4
Skala4mittel
Abbildung 10 Scatterplotmatrix für die neun Skalen
Skala5mittel
1 2 3 4
1 2 3 4
Skala6mittel
Skala7mittel
1 2 3 4
1 2 3 4
Skala8mittel
Skala9mittel
1 2 3 4
Der Vollständigkeit halber sei noch erwähnt, dass die Verwendung nichtparametrischer Korrelationen
hier wegen Bindungen erst recht nicht unproblematisch wäre.
4
3
2
1
4
3
2
1
4
3
2
1
4
3
2
1
4
3
2
1

3.4. Auswirkungen der Kovariablen im Spiegel der Skalen
Grundsätzliches
Bei dieser Untersuchung wurden einige Kovariablen wie Geschlecht, Zensur, Schulart, Anzahl der
bearbeiteten dynamischen Arbeitsblätter oder Klassenstufe erhoben. Es liegt nahe, die Ergebnisse in
Bezug auf eben diese Merkmale zu betrachten. Hierfür ist die Zusammenfassung der Items in Skalen
praktisch, da die Themengebiete dann kompakter untersucht werden können und somit Tendenzen
für die einzelnen Skalen ersichtlich werden. Dabei muss man bedenken, dass negativ gerichtete Items
umskaliert wurden, um die Mittelwerte berechnen zu können. Im Folgenden werden alle Items bei der
Verbindung mit den Kovariablen positiv gerichtet formuliert. Diejenigen, die im Erhebungsbogen ursprünglich
negativ gerichtet waren, sind mit einem Sternchen (*) markiert.
Natürlich kann es sein, dass die im Folgenden dargestellten Ergebnisse im Wesentlichen auf vermengenden
Faktoren beruhen. Zum Beispiel könnte es sein, dass die Realschulklassen nicht aufgrund der
Schulart eine Skala besonders positiv bewerten, sondern weil sich darunter viele Mädchen befinden,
die diese Skala positiv beurteilen. Dann handelt es sich in Wirklichkeit nicht um einen Effekt der
Schulart, sondern des Geschlechtes. Derartige Betrachtungen werden hier zunächst ignoriert. In der
Tat legen unsere Ergebnisse nahe, dass eine sehr entscheidende Kovariable der in diesem Zusammenhang
meist nicht untersuchte Klassensatz ist. Vor vorschnellen Schlussfolgerungen muss man
sich jedenfalls hüten. Fehlende Werte werden bei den folgenden Darstellungen jeweils weggelassen.
Geschlecht
Schon in der PISA-Studie (2003) wurde der Vergleich von Interesse und Begabung zwischen Mädchen
und Jungen im Fach Mathematik gezogen, mit dem Ergebnis, dass es den Jungen besser als
den Mädchen gelingt ihr Leistungspotential im Bereich Mathematik auszuschöpfen. Mehr als 10 Jahre
früher kam Czerwenka, der 1990 eine umfassende Studie zu Urteilen von Schülern über die Schule
durchführte, zu folgenden Erkenntnissen: Mädchen schätzen die Fächer Musik, Textiles Gestalten und
Hauswirtschaft/Kochen mehr als die Jungen. Bei der Untersuchung des naturwissenschaftlichen Bereiches
ließ seine Untersuchung jedoch keine Differenzen zwischen den Geschlechtern erkennen.
„Interessant ist, dass die Mädchen dem mathematischen, aber auch dem naturwissenschaftlichen
Bereich nicht anders gegenüberstehen als Jungen“ (Czerwenka 1990, S. 88). Zu fragen ist, inwiefern
diese Erkenntnisse früherer Untersuchungen bei der GEONExT-Erhebung bestätigt werden können
oder ob Geometrie, als ein Teilbereich der Mathematik, von den Mädchen und den Jungen unterschiedlich
bewertet wird.
Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
Unterschiede nach Geschlecht
1 2 3 4 5
Skala
6 7 8 9
Abbildung 11 Unterschiede nach Geschlecht
weiblich
männlich
31

32
In der Abbildung kann man erkennen, dass sich eine gleichmäßige Tendenz durch alle neun Skalen
zieht. Die Jungen bewerteten durchschnittlich positiver als die Mädchen. Bei den Skalen 1 (Vorerfahrungen
mit Computern), 2 (Vorerfahrungen mit Lernsoftware), 3 (Beurteilung von Computereinsatz), 4
(Aufbau der dynamischen Arbeitsblätter), 5 (Beurteilung des Themas), 6 (Zeitrahmen) und 7 (Beurteilung
selbständigen Arbeitens) ist dieser Unterschied jedoch nicht besonders stark ausgeprägt. Etwas
auffälligere, aber immer noch geringe Unterschiede kann man bei den Skalen 8 (Weiterer Einsatz von
Lernsoftware) und 9 (Generelle Einstellung zum Themengebiet) ausmachen. Betrachtet man auf der
Ebene einzelner Skalen die Skala 2 im Detail, zeigt sich erstaunlicherweise, dass die Mädchen entgegen
dem sonst vorherrschenden Muster bei 3 von 5 Items (Items 11, 21 und 24) leicht positiver urteilen.
Zensur
Ebenfalls wenige Unterschiede in den Antworten zeigen sich in Blick auf die letzte Zeugnisnote in
Mathematik. Diese Variable wurde in Selbsteinschätzung der Befragten erhoben und ist nicht unbedingt
zuverlässig, wie schon vorher gezeigt wurde. Deshalb sind die folgenden Untersuchungen vorsichtig
zu betrachten.
Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
Abbildung 12 Unterschiede nach Zensur
Als Ergebnis kann man festhalten, dass sich schlechte Noten im letzten Zeugnis kaum negativ auf das
Antwortverhalten ausgewirkt haben.
Schulart
Unterschiede nach Zensur
1 2 3 4 5
Skala
6 7 8 9
Der Vergleich der vorliegenden Daten in Hinsicht auf die Schularten ist deshalb so wichtig, weil Gymnasium,
Realschule und Hauptschule unterschiedliche Lehrpläne und Fächer haben, in denen der
Geometrie und dem Computereinsatz ein unterschiedlicher Stellenwert beigemessen wird und unterschiedliche
Inhalte zugewiesen werden. Unser Vergleich bezieht sich vor allem auf die bayerischen
Lehrpläne, da der Großteil der Befragten in diesem Bundesland eine Schule besucht. Die befragten
Gymnasiasten haben kein Pflichtfach, in dem der Umgang mit dem Computer gelernt wird. An der
Realschule ist bei den Befragten Textverarbeitung ein Pflichtfach in der 5. Klasse gewesen. Auf dem
mathematischen und wirtschaftlichen Zweig ist ab der 8. Klasse Informatik ein Pflichtfach. In der
Hauptschule lernen die Schüler und Schülerinnen in der 5. Klasse im Fach ITG sich Informationen mit
dem Computer zu beschaffen. Außerdem werden dort ab der 7. Klasse verschiedene Themenberei-
Note 1
Note 2
Note 3
Note 4
Note 5

che im Umgang mit dem Computer durchgenommen (Buchführung, Tabellenkalkulation, EDV –
Grundlagen, etc.) 8 .
Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
Abbildung 13 Unterschiede nach Schulart
Unterschied nach Schulart
1 2 3 4 5
Skala
6 7 8 9
Betrachtet man die Übersicht zeigt sich, dass die Gymnasiasten bis auf die Skala 7 (Beurteilung selbständigen
Arbeitens) bei allen Skalen negativer als die Realschüler und die Hauptschüler gewertet
haben. Die Realschüler beantworten alle Items bis auf die der Skala 6 (Zeitrahmen) am positivsten.
Vor allem der sehr positive Mittelwert der Realschüler bei Skala 3 (Beurteilung von Computernutzung)
fällt auf. Ein möglicher Grund dafür könnte wie bereits vermutet der Unterricht in der Realschule sein,
der im Gegensatz zu dem am Gymnasium die Fächer Textverarbeitung verpflichtend und auf dem
mathematischen und wirtschaftlichen Zweig auch Informatik beinhaltet. Die Schüler der Realschule
kommen also schon im Regelunterricht viel mit Computern in Berührung, bei den Gymnasiasten dagegen
ist es nur ein Wahlfach und es liegt somit an den Lehrern, ob diese in ihrem Unterricht auch die
Arbeit am Computer einplanen. Ebenfalls auffällig ist die deutlich negative Bewertung der Skala 9
(Generelle Einstellung zum Themengebiet) durch die Gymnasiasten. Der zughörige Mittelwert ist um
mehr als 0,5 niedriger als der von den Hauptschülern und mehr als 0,7 niedriger als jener der Realschüler.
Diese Tatsache lässt Platz für Spekulationen. Entweder sind die Gymnasiasten durchgehend
dem Fach Mathematik und speziell der Geometrie negativer eingestellt, was an dem Lehrplan und der
Aufarbeitung der Themen im Unterricht liegen kann oder sie urteilen durchgehend negativer, weil sie
kritischer mit den Items umgehen. Die These, dass die Gymnasiasten kritischer werten, wird von den
Ergebnissen bei den anderen Skalen unterstützt. Aber auch Klassendynamiken und die soziale Erwünschtheit
können eine große Rolle bei der Beantwortung des Erhebungsbogens gespielt haben.
Weiter unten wird nochmals genauer darauf eingegangen.
8 Vgl. www.isb.bayern.de : Lehrplan Gymnasium, Hauptschule und Realschule
33
Gymnasium
Realschule
Hauptschule

34
Anzahl der bearbeiteten dynamischen Arbeitsblätter
Als bedeutsame Einflussvariable auf die Bewertung von dynamischen Arbeitsblättern ist die Vorerfahrung
mit diesen zu vermuten. Zu klären ist, ob Vorerfahrungen nützlich sind oder eher Langeweile
verursachen. Deswegen kann man fragen, ob die Schüler, die schon öfter mit GEONExT gearbeitet
haben, GEONExT und Geometrie besser beurteilen und ob sie auch mit dem Aufbau der dynamischen
Arbeitsblätter und dem Zeitrahmen besser zu Recht kamen. Dies könnte zutreffen, da die Schüler,
die mit der Lernsoftware besser vertraut sind, im technischen Umgang mit den dynamischen Arbeitsblättern
weniger Probleme haben sollten als Schüler und Schülerinnen, die zum ersten Mal mit
GEONExT arbeiten. Die Frage, ob die Lernsoftware eine hohe Eingewöhnungszeit voraussetzt, lässt
sich durch diesen Vergleich abfragen. Schüler und Schülerinnen, die mehr als drei dynamische Arbeitsblätter
vor dem Ausfüllen des Erhebungsbogens bearbeitet haben, werden als Profis, diejenigen
die zwischen einem und drei Blätter bearbeitet haben, werden als Fortgeschrittene und diejenigen, die
vorher noch nie mit GEONExT gearbeitet haben, werden als Anfänger bezeichnet.
Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
Unterschiede nach Anzahl der bearbeiteten Arbeitsblätter
1 2 3 4 5
Skala
6 7 8 9
Abbildung 14 Unterschiede nach Anzahl der bearbeiteten Arbeitsblätter
Anfänger (0)
Fortgeschrittene (1-3)
Profis (mehr als 3)
Betrachtet man diese Übersicht, erkennt man eine eindeutige und wieder ziemlich homogene Tendenz.
Die Schüler, die vor der Befragung mehr als drei dynamische Arbeitsblätter bearbeitet haben,
beurteilen acht von neun Skalen am besten. Die Schüler die vorher noch nie mit GEONExT gearbeitet
haben bewegen sich meist in der Mitte, und die Befragten, die mit einem bis drei Arbeitsblättern gearbeitet
haben antworten bei sechs von neun Skalen am Negativsten. Eine mögliche Erklärung für dieses
Muster ist es, dass die Anfänger dem Reiz des Neuen ausgesetzt sind und dem Programm deshalb
freudig entgegen treten. Bei den Fortgeschrittenen tritt die Ernüchterung ein und deshalb urteilen
sie negativer. Die positive Beurteilung der Profis resultiert aus deren Erfahrungen, die sie im Umgang
mit GEONExT sicher machen. Trotzdem scheint keine Langeweile aufzukommen, was an unterschiedlichen
Inhalten und abwechslungsreichem Aufbau dynamischen Arbeitsblättern liegen könnte.
Abweichungen von dieser Tendenz findet man nur bei den Vorerfahrungen mit Lernsoftware, bei der
das erwartete Muster (Anfänger am wenigsten und Profis am meisten Vorerfahrungen) auftritt. Außerdem
fällt bei genauer Analyse der Skala 9 (Generelle Einstellung zum Themengebiet) auf, dass die
Items bei denen Geometrie explizit genannt wird (Items 8 und 13) aus dem sonst vorherrschenden
Muster herausfallen. Die Befragten, die vorher noch nie mit GEONExT gearbeitet haben antworten bei

diesen beiden Items verglichen mit den Ergebnissen der anderen Skalen auffallend negativ. Beachten
muss man bei der Verbindung mit der Kovariable „Anzahl der bearbeiteten dynamischen Arbeitsblätter“,
dass die Schüler klassenweise meist gleich viele Vorerfahrungen haben. Diese Variable steht
also im engen Zusammenhang mit der Kovariable Klassenstufe, weshalb auch bei diesem Punkt
Klassendynamiken, die Stimmung und die soziale Erwünschtheit in der Klasse eine große Rolle spielen
können.
Klassenstufe
Die Klassenstufe stellt ein wichtiges Untersuchungskriterium in der Evaluation dar, um mögliche
Schlüsse für den Einsatz von GEONExT in den verschiedenen Jahrgangsstufen zu ziehen. Vorstellbar
ist ein besserer Umgang mit bzw. ein besseres Verständnis von GEONExT je mehr Unterrichtserfahrung
die Schüler und Schülerinnen haben. Demnach müssten die Befragten höherer Klassenstufen
besser mit dem Zeitrahmen zurechtgekommen sein und selbständiges Arbeiten positiver beurteilen.
Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
Abbildung 15 Unterschiede nach Klassenstufe
Unterschiede nach Klassenstufe
1 2 3 4 5
Skala
6 7 8 9
Auf den ersten Blick fällt auf, dass bei den ersten drei Skalen die Befragten unterschiedlicher Klassenstufen
recht ähnlich antworten. Bei den Skalen 4 – 9 ist dies nicht mehr der Fall. Bei diesen Skalen
stechen die relativ negative Beurteilung der 7. Klässer und die positive Beurteilung der 12. Klässer
hervor. 9 Woran das liegt, kann aufgrund der vorliegenden Daten nicht geklärt werden. Wie sich bisher
auch schon gezeigt hat, ist der Klasseneinfluss bedeutsam, so dass entsprechende Stimmungen in
der Klasse zu einer negativen Meinungsbildung geführt haben könnten.
Andere durchgehende Muster lassen sich in der Übersicht nicht finden. Analysiert man die Skalen
einzeln, so zeigt sich bei Skala 8, dass die 12. Klässer gegenüber dem Einsatz von dynamischen Arbeitsblättern
im Unterricht am positivsten eingestellt (Item 29), dem Computereinsatz bei Matheprüfungen
dagegen am negativsten (Item 34) sind. Der relativ gesehen sehr negative Mittelwert der 12.
Klässer bei Item 34 (Ich bin der Meinung, Computer sollten in Matheprüfungen eingesetzt werden.)
sticht bei dieser Skala am meisten hervor. Eine Erklärungsmöglichkeit wäre, die zeitliche Nähe zu
Abschlussprüfungen. Dort ist ein Computereinsatz noch nicht möglich, so dass dies eine neue und
ungewohnte Prüfungssituation darstellen würde.
9
Ein Grund für die Extremwerte der 12. Klässer wäre, dass nur zwei Schüler der 365 Befragten dazu
zählen.
35
Klasse 6
Klasse 7
Klasse 8
Klasse 9
Klasse 10
Klasse 12

Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
36
Der Vergleich der Klassenstufen liefert vor allem die Erkenntnis, dass die Befragten der 7. Klassen
durchgehend negativer geantwortet haben als die übrigen. Tendenziell kann man außerdem noch
feststellen, dass jüngere Schüler und Schülerinnen (6. und 8. Klasse) dem weiteren Einsatz von Lernsoftware
und Mathematik/Geometrie im Vergleich positiver eingestellt sind. Mit dem gesteckten Zeitrahmen
kommen die Befragten tendenziell besser zurecht je älter sie sind.
Zusammenhang
Betrachtet man die Resultate hinsichtlich der Kovariablen im Zusammenhang, so zeigen sich weitere
bemerkenswerte Phänomene. Hinsichtlich Geschlecht und Mathematikzensuren sind die Auswirkungen
in allen neun Skalen nahezu homogen. Bei Schulart und Anzahl der bearbeiteten Arbeitsblätter
sind die Auswirkungen markanter und bei Klassenstufe am meisten ausgeprägt. Gerade bei den letzten
drei Kovariablen wird man aber mit Vermengungen rechnen müssen. In allen Fällen beschränken
sich die markanten Unterschied aber auf einige Skalen: Die Skalen 1, 2, 3 und 7 werden eigentlich
stets einheitlich und unabhängig vom Status der Kovariable beantwortet. Bei Skala 6 zeigen sich moderierte
Auswirkungen (vor allem wenn man von Klassenstufe 6 absieht). Bei den Skalen 4 und 5
sowie 8 und 9 kommen die Kovariablen Schulart, Anzahl der bearbeiteten Arbeitsblätter und Klassenstufe
ins Spiel. Hier „scheiden sich dann die Geister“. Dabei scheint der Schlüssel darin zu liegen, ob
es in einer Unterrichtsreihe gelingt, GEONExT zu einer positiven Erfahrung werden zu lassen – oder
nicht. Diese Erfahrung hat aber wenig Auswirkungen auf generelle Haltungen zu Computern oder
selbständigem Arbeiten: Sie wird eben von den Schülern durchaus spezifisch (auf die Unterrichtsreihe
bezogen) wahrgenommen. Es scheint im weitesten Sinne die Klassensituation (umschrieben durch
Klassenstufe, Anzahl der bearbeiteten Arbeitsblätter und Schulart) und weniger Geschlecht und Note
zu sein, die dann zu unterschiedlichen Beurteilungen führen. Prägnant zusammenfassen lassen sich
diese Überlegungen mittels der Kovariable Klassensatz, die im Grunde die anderen Kovariablen umgreift.
Die entsprechende Graphik sieht dann so aus:
Abbildung 16 Unterschiede nach Klassensatz
Hieraus lässt sich unschwer erkennen:
Unterschiede nach Klassensatz
1 2 3 4 5
Skala
6 7 8 9
Klassensatz1
Klassensatz3
Klassensatz4
Klassensatz5
Klassensatz6
Klassensatz7
Klassensatz8
Klassensatz9
Klassensatz11
Klassensatz12
Klassensatz14
Klassensatz15
Klassensatz16
Klassensatz17
Klassensatz20
Klassensatz21
Klassensatz22

1. GEONExT wird im Allgemeinen recht positiv bewertet – dies gilt selbst dann, wenn man in Rechnung
stellt, dass durch die freiwillige Teilnahme an der Evaluation eine positive Verzerrung vorliegt.
Der bestmögliche Mittelwert ist 1,0; der schlechtestmögliche 4,0. Wie leicht zu sehen ist, werden auf
keiner Skala und in keiner Klasse Mittelwerte über 3,0 erreicht.
2. Die Skalen zerfallen im Wesentlichen in zwei Gruppen: Allgemeine Einstellungen zum Arbeiten
mit Computern (Skalen 1, 2, 3 und 7) und spezielle Erfahrungen mit GEONExT (Skalen 4, 5, 6, 8, 9).
In der ersten Gruppe hängen die Bewertungen wenig von Kovariablen (wie insbesondere Klassensatz)
ab. Sie variieren zwar deutlich zwischen den Skalen, aber eben im „Gleichschritt“. In der zweiten
Gruppe zeigen sich hingegen deutliche Unterschiede zwischen den Klassen: In einigen Klassen wird
GEONExT zu einer sehr positiven Unterrichtserfahrung (durchgehende Linien), in anderen weniger
(gestrichelte Linien). Entscheidend hierfür scheinen Lehrer- und Klasseneffekte. Hier ist anzusetzen,
um das Potential von GEONExT voll auszuschöpfen.
3.5. Fazit
Eine genaue inhaltliche Analyse der Skalen zeigt zunächst, dass und wie die einzelnen Items zu interpretierbaren
Grundhaltungen zusammengefasst werden können. Allerdings offenbart sie – insbesondere
auch in Verbindung mit einem kleinen Befragungsinstrument – auch einige Überlappungen und
Unklarheiten. Darauf aufbauend können konkrete Empfehlungen zur Weiterentwicklung des Erhebungsinstrumentes
gegeben werden. Eine datenbasierte Analyse der Antwortmuster zeigt einige interessante
Strukturen innerhalb und zwischen den Skalen auf. Insbesondere liefert sie Hinweise, welche
Items und Skalen besonders gut bzw. schlecht bewertet werden. Dies lässt sich durch die klassischen
Kennzahlen aus Abschnitt 3.3. noch untermauern: GEONExT wird so gut bewertet, dass sich sogar
einige Bodeneffekte zeigen. Allerdings war dies bei der Konzeption des Fragebogens nicht absehbar.
Die Skaleneinteilung wird (gemessen in Cronbach's α) für die meisten Skalen als adäquat beurteilt.
Auch hier ergeben sich wieder konkrete Resultate zur Verbesserung des Fragebogens. Betrachtet
man die Resultate in den – mit einigen Einschränkungen abgesicherten – Skalen in Abhängigkeit von
Kovariablen, so scheint vor allem die Klassensituation eine Rolle zu spielen. Sie beeinflusst die Rezeption
von GEONExT, aber nicht allgemeinere Haltungen. Hier ist anzusetzen, um die an sich positiven
Potentiale von GEONExT voll zum Tragen zu bringen.
37

Gesamtmittel
3.0
2.5
2.0
1.5
1.0
38
4. Untersuchung der Schüler
Im vorigen Kapitel wurde die Datenmatrix weitgehend von den Spalten (Items) her betrachtet. In diesem
Kapitel sollen nun die Zeilen (Schüler) im Vordergrund stehen. Jede der 365 Zeilen der Datenmatrix
enthält die Antworten (und daraus abgeleitete Größen) für einen Teilnehmer. Auch hier gibt es
aber Gruppierungen und Substrukturen, die dargelegt werden müssen. Ferner ist zu fragen, welche
Kovariablen unter diesen Umständen klare Einflüsse bewirken und welcher Art diese Einflüsse sind.
4.1. Klasseneinteilung und Substrukturen
A priori erfolgt eine Gruppierung der Schüler durch die Klassenzugehörigkeit. Es ist auch sehr plausibel
und sogar empirisch belegt, dass die Zugehörigkeit zu einer bestimmten Klassensituation starken
Einfluss auf die Schülerantworten haben kann. Als Gründe dafür wird man unschwer einen Effekt des
Lehrers und der Klassengemeinschaft vermuten. In Verbindung mit Abbildung 4 (Mittel-SD-Diagramm)
wurde bereits auf kohärente Substrukturen – wozu natürlich auch ganze Klassen zählen – hingewiesen.
Auch in der zentralen Darstellung Abbildung 16 (Unterschiede nach Klassensatz) war die Rolle
von Klassensatz als Einflussfaktor auf die Beurteilung im Spiegel der Skalen deutlich zu erkennen.
Noch deutlicher wird diese Rolle durch den folgenden vergleichenden Boxplot:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
Abbildung 17 Klassensatzplot
Klassensatz

Hintergrund: Boxplot und vergleichende Boxplots
Ein Boxplot (Kastenzeichnung) ist eine übersichtliche horizontale oder vertikale Darstellung
eines Datensatzes. Er geht auf Tukey (1977) zurück und stellt eine zeichnerische Umsetzung
einer 5-number-summary dar.
Daten
30
20
10
0
Q3
Q1
In der obigen Darstellung ist ein (vertikaler) Boxplot für die Daten
5, 5, 6, 7, 8, 9, 10, 11, 12, 15, 16, 20, 30
wiedergegeben. Der Boxplot ergibt sich in drei Schritten:
.
1. Im ersten Schritt berechnet man zunächst den Median (10), das untere Quartil (Q1 = 7)
und das obere Quartil (Q3 = 15), trägt diese in die Graphik ein und bildet daraus einen
Kasten. Dieser Kasten umfasst die zentralen 50 % der Daten. Der eingetragene Median
zeigt, inwieweit im zentralen Bereich der Daten Symmetrie vorliegt.
2. Im zweiten Schritt berechnet man den Quartilsabstand, hier QA = 15 – 7 = 8. Das
1.5- fache des Quartilsabstandes, also 1.5·8=12 legt man in Gedanken an das obere
Quartil nach oben und vom unteren Quartil nach unten an. (Diese gedachten Bereiche
reichen also von 7 bis 7 – 12 = -5 bzw. von 15 bis 15 + 12 = 27.) Man zeichnet nun (vertikale)
Striche (whisker) bis zu dem kleinsten bzw. größten tatsächlich im Datensatz auftretenden
Werten in diesen Bereichen, hier also bis 5 bzw. bis 20. Diese Striche beschreiben
die Verteilung in den mittleren Bereichen.
3. Im dritten Schritt trägt man alle Werte unterhalb von Q1 – 1.5·QA bzw. oberhalb von
Q3 + 1.5·QA als potentielle Ausreißer einzeln durch (horizontale) Striche ein.
Ein Boxplot lässt auf einen Blick Lokation, Streuung, Symmetrie und Ausreißer(kandidaten)
eines Datensatzes erkennen. Zudem zeigt er die numerischen Werte von Minimum, unterem
Quartil, Median, oberen Quartil und Maximum.
Mehrere Boxplots nebeneinander eignen sich daher sehr gut zum Vergleich von Datensätzen
und Verteilungen. Man spricht dann auch von vergleichenden Boxplots.
39

40
Man erkennt hier auch wieder direkt die Klassensätze, bei denen weniger zufrieden stellende Resultate
erzielt wurden (11, 12, 16, 21, 22). Bei vier davon (11, 16, 21, 22) fallen auch die großen Quartilsabstände
ins Auge, mit anderen Worten es handelt sich hier neben einem höheren Median um recht
inhomogene, ziemlich weit differierende Ansichten der Schüler in diesen Klassensätzen.
Man wird fragen, ob es außer dieser offenkundigen – schon a priori zu vermutenden – Gruppierung
noch weitere relevante – eher datenbasierte – Substrukturen gibt. Aus Abbildung 4 (Mittel-SD-
Diagramm) kann man erkennen, dass durchaus Teilgruppen innerhalb eines Klassensatzes zusammen
hängen. Es ließen sich zwar keine „Cliquen“ mit verabredeten unsinnigen Antworten ausmachen,
aber Abhängigkeiten im Sinne von Meinungsbeeinflussung scheinen schon vorzuliegen. Untermauern
lässt sich dieser Eindruck auch durch eine Analyse der freien Kommentare, in denen ähnliche und in
Einzelfällen verbatim übereinstimmende Formulierungen benutzt wurden. Das soll hier nicht überinterpretiert
werden, aber es illustriert doch das nahe liegende Faktum, dass die Meinungsbildung der
Schüler nicht gänzlich unabhängig von Bezugsgruppen erfolgen dürfte. Zugleich ist es eine Mahnung,
die Schülerantworten eben nicht als unabhängige Realisationen identisch verteilter Zufallsvariabler
(das heißt als „Zufallsstichprobe“ im eigentlichen Sinn) anzusehen und auszuwerten.
Unabhängigkeit dürfte am ehesten noch auf der Ebene der Klassensätze selbst herrschen. Aber auch
hier zeigen sich Phänomene, die zur Vorsicht mahnen. Betrachtet man etwa die Parallelklassen, die
im folgenden vergleichenden Boxplot als Päckchen nebeneinander geplottet sind, so zeigt sich, dass
zwischen den Schulen deutliche, aber zwischen den Parallelklassen eher geringere Unterschiede
bestehen. Parallelklassen scheinen „miteinander verbunden“ zu sein. Dabei wurde folgende Kodierung
gewählt:
Klassensatz Kodierung
21 21
22 22
17 24
9 25
16 27
11 28
15 30
6 31
Tabelle 15 Kodierung der Parallelklassen

Gesamtmittel
3.0
2.5
2.0
1.5
1.0
21 22 23 24 25 26 27 28 29 30 31
Abbildung 18 Klassensatzplot der Parallelklassen
Klassensatz für Parallelklassen
Über die Gründe lässt sich (auch mangels Daten) nichts Endgültiges sagen. Das Thema allein scheint
nicht zur Erklärung auszureichen, da gerade in den Klassensätzen 21 und 22 verschiedene Themen
behandelt wurden, während umgekehrt das Thema Thales in Klassensatz 20 mit sehr gutem Erfolg
durchgenommen wurde. Es ist denkbar, dass es auch einen nivellierenden Schuleffekt bei Parallelklassen
gibt, der schon allein aufgrund von klassenübergreifenden Kontakten bei den Schülern, allgemeinen
Absprachen bei den Lehrern sowie des Einzugsgebiets der Schule und des sozialen Hintergrunds
ihrer Schüler plausibel wäre.
Es gibt also sowohl Mikro- wie auch Makrostrukturen über den Klassensatz hinaus, die eine Behandlung
der Schüler oder der Klassen als „i.i.d.-Zufallsstichprobe“ in Frage stellen. Andererseits erscheint
Klassensatz nach wie vor als geeignete und einflussreiche Kovariable. Denn es spricht nichts dagegen,
„Schuleffekte“ mit durch den Klassensatz zu modellieren, zumal meist ohnehin nur eine Klasse
pro Schule teilnehmen wird. Überdies zeigt gerade der Parallelklassenplot, dass selbst bei sehr homogenen
Verhältnissen ein deutlicher Klassensatzeffekt bleibt. Die Unterschiede zwischen Parallelklassen
dürften nivellierte Klassensatzeffekte – und insofern „untere Schranken“ dafür – sein.
4.2. Einfluss der Kovariablen
In diesem Abschnitt soll erneut eine Betrachtung der Kovariablen vorgenommen werden. Diesmal soll
allerdings das Gesamtmittel über alle 38 Items und nicht die Mittel auf den einzelnen Skalen im Mittelpunkt
stehen. Direkte Vergleiche sind mit großer Vorsicht zu interpretieren, da es wieder sehr leicht
zur Vermengung von Faktoren kommen kann. In der bisherigen Untersuchung (Abschnitt 3.4. und
4.1.) stellte sich insbesondere der Klassensatz als sehr einflussreiche Kovariable heraus, was aus
empirischer Sicht auch sehr plausibel ist. Dies wird in Kapitel 5 noch einmal durch einen anderen Ansatz
bestätigt werden. Insofern erscheint es vernünftig, bei der Betrachtung der anderen Kovariablen,
den Faktor Klassensatz wieder zu kontrollieren und seinen Effekt herauszurechnen. Dabei sollen angesichts
der oben angesprochenen Substrukturen komplexe Techniken vermieden, sondern lieber
elementar vorgegangen werden. Dazu wird neben dem ursprünglichen Gesamtmittel eines Schülers
auch immer das „bereinigte Gesamtmittel“ betrachtet. Dieser Wert wird wie folgt gebildet: Zunächst
wird vom Gesamtmittel eines jeden Schülers der Mittelwert für den Klassensatz, dem er angehört,
subtrahiert. Anschließend wird der Mittelwert über alle Schüler addiert. Auf diese Weise wird also letztlich
der Unterschied (in den Mittelwerten) zwischen dem Klassensatz des Schülers und dem Gesamtdatensatz
eliminiert. Vergleiche auf der Basis dieses „bereinigten Gesamtmittels“ sind dann also wesentlich
weniger von Vermengungen verzerrt.
41

42
Allerdings ist einzuräumen, dass Klassensatz nicht der einzige vermengende Faktor sein muss. Überdies
kann im Klassensatzeffekt eben auch beispielsweise ein Teil eines Geschlechtereffektes bereits
enthalten sein. Ganz krass ist dies bei der Variable Schulart der Fall, die ja eine Vergröberung von
Klassensatz darstellt und daher (abgesehen von dem etwas Schulart übergreifenden Klassensatz 1)
vollständig darin aufgeht. Insofern dürften die verbleibenden Effekte der einzelnen Kovariablen wieder
eher „untere Schranken“ für die tatsächlichen Effekte sein. Zum Vergleich wird deshalb auch immer
die unbereinigte Version mit diskutiert. Auch fehlende Werte (KA) sind hier mit berücksichtigt.
Geschlecht
Jungen schätzen sich selbst wahrscheinlich computeraffiner ein als Mädchen. Lernprogrammen gegenüber
sind die Schüler eher kritisch eingestellt, da sie im privaten Bereich weniger davon Gebrauch
machen als mit Spielen, mailen, Internet etc. Es ist daher anzunehmen, dass Mädchen computergestützte
Mathematik positiver bewerten als Jungen. Betrachtet man allerdings die Ergebnisse dieser
Umfrage, so lässt sich unschwer erkennen, dass die Schülerinnen insgesamt etwas kritischer urteilen.
m w KA
Anzahl 176 180 9
Mittelwert 1.91 2.00 2.35
Bereinigter Mittelwert 1.95 1.98 2.03
Tabelle 16 Mittelwerte und bereinigte Mittelwerte nach Geschlecht
Allerdings ist der Unterschied (jedenfalls nach Bereinigung) nicht mehr sehr groß wie sich in einem
Boxplot sehr klar zeigt:
Bereinigtes Gesamtmittel
3.0
2.5
2.0
1.5
1.0
Abbildung 19 Geschlechterplot
KA m w
Geschlecht

Zensur
Vorauszuschicken ist, dass die Angabe der erhaltenen letzten Zeugnisnote in Selbsteinschätzung
durch die Befragten erfolgt ist und demnach sind diese Ergebnisse unter Vorbehalt zu betrachten.
Lernschwache sollten von der dynamischen Veranschaulichung profitieren und sind eventuell im
häuslichen Bereich bzw. bei Nachhilfe eher mit Lernprogrammen vertraut als erfolgreiche Lerner.
Nicht zu vergessen ist jedoch, dass nicht abgesicherte Vorkenntnisse und Misserfolgserlebnisse bei
sich als schlechter einschätzenden Schülerinnen und Schülern zu negativeren Gesamturteilen führen
können.
Note 1 Note 2 Note 3 Note 4 Note 5 Note 6 KA
Anzahl der Schüler 21 64 129 93 10 1 47
Mittelwert 1.92 1.97 1.98 2.04 2.02 2.86 1.78
Bereinigter Mittelwert 1.92 1.97 1.96 1.97 2.13 2.51 1.95
Tabelle 17 Mittelwerte und bereinigte Mittelwerte nach Zensur
Als Boxplot ergibt sich:
Bereinigtes Gesamtmittel
3.0
2.5
2.0
1.5
1.0
Abbildung 20 Zensurenplot
1 2 3 4 5 6 KA
Note
Insgesamt kann man festhalten, dass die besseren Lerner positiver als schlechtere urteilen. Die Unterschiede
sind in einigen Skalen erheblich ausgeprägt. Bei Skala 6, in der die zur Verfügung stehende
Zeit für die Bearbeitung abgefragt wird, urteilen die Einserschüler mit deutlichem Abstand besser
als die schlechteren. Etwas abgeschwächt ist dies auch bei der Beurteilung des Themas zu sehen.
Das heißt, dass die besseren Schüler eher mit der Aufgabenstellung und der Zeitvorgabe zu Recht
kommen als die schlechteren Schüler. Zieht man die negativeren Urteile zur Vorerfahrung mit Lernsoftware
und Beurteilung der Computernutzung im Allgemeinen der Lernschwachen hinzu, so zeigt
sich auch hier ein erwartungswidriges Ergebnis. Zusammengenommen weisen diese Ergebnisse auf
die Bedeutsamkeit der Vermittlung in einer angemessenen didaktisch-methodischen Lernumgebung
gerade für die Lernschwächeren hin.
43

44
Schulart
Aufgrund ihres Sprachvermögens, ihrer Fähigkeit zur Selbstreflexion und ihrer Kritikfähigkeit urteilen
Gymnasiasten vermutlich differenzierter und kritischer als die anderen Befragten. In der vorliegenden
Stichprobe wird die Realschule nur durch eine Klasse repräsentiert, die zweimalig an der Erhebung
teilgenommen hat. Aus der Tabelle lässt sich ablesen, dass die Gymnasiasten erwartungsgemäß am
kritischsten antworten, während die Hauptschülerinnen und -schüler eine Mittelposition einnehmen.
Die Realschüler antworten am positivsten.
Gymnasium Realschule Hauptschule
Anzahl der Schüler 241 48 76
Mittelwert 2.07 1.69 1.82
Bereinigter Mittelwert 1.97 1.97 1.97
Tabelle 18 Mittelwerte und bereinigte Mittelwerte nach Schulart
Bei den bereinigten Mittelwerten zeigt sich kein Unterschied, da etwaige Unterschiede bereits durch
die umfassenderen Klassensatzeffekte (abgesehen von einer Realschülerin in Klassensatz 1) herausgerechnet
wurden. Der Boxplot ist gleichwohl von Interesse, da er die Verteilungen und insbesondere
die Spreizung der Werte zeigt.
Bereinigtes Gesamtmittel
3.0
2.5
2.0
1.5
1.0
Abbildung 21 Schulartenplot
Anzahl der bearbeiteten dynamischen Arbeitsblätter
GY HS RS
Schulart
Als Hauptproblem ihres Schulalltags geben Schülerinnen und Schüler vorherrschende Langeweile an.
Deshalb kann man davon ausgehen, dass neue Arbeitsmethoden, abwechslungsreiche Inhalte oder
spezieller Medieneinsatz eine willkommene Abwechslung bieten und entsprechend positiv gewertet
werden. Bei den Anfängern kann dieser „Reiz des Neuen“ aber schnell verblassen, wenn erste
Schwierigkeiten auftauchen oder erneut langweilige Routine auftritt. Allerdings können diese Probleme
mit zunehmender Kompetenz bewältigt und gelöst werden. Man kann also von einer kontinuierlichen
Entwicklung der Einstellungen ausgehen.

Bereinigtes Gesamtmittel
Anfänger
Fortgeschrittene
Profis KA
Anzahl der Schüler 195 99 49 22
Mittelwerte 1.97 2.10 1.74 1.81
Bereinigte Mittelwerte 1.97 1.99 1.93 1.93
Tabelle 19 Mittelwerte und bereinigte Mittelwerte nach Vorkenntnissen
Die Profis (mehr als 3 bearbeitete dynamische Arbeitsblätter) urteilen am positivsten, während die
Anfänger eine Mittelposition einnehmen. Somit ist keine kontinuierliche Entwicklung festzustellen. Der
Mittelwert der Anfänger (ohne Vorkenntnisse) liegt relativ niedrig, verschlechtert sich aber zunächst.
Diese Entwicklung ließe sich mit dem „Reiz des Neuen“ erklären. Würde man diesem Erklärungsmuster
weiter folgen, so müssten die Profis noch negativer als die Fortgeschrittenen antworten, da die
Motivation durch wiederholte Bearbeitung abnehmen würde. Dies spiegelt sich jedoch nicht in den
Mittelwerten wider. Zwischen den Fortgeschrittenen und den Profis ist eine deutliche Verbesserung
der (unbereinigten) Mittelwerte festzustellen. Das Erklärungsmuster, dass wer als Fortgeschrittener zu
kritisch ist, nicht zum Profi wird, greift hier nicht. Denn eine Weiterarbeit ist im Unterricht verpflichtend.
Aus diesem Grunde sind Unterschiede auch weitgehend bereits durch den Klassensatz erklärt; der
Boxplot zeigt aber wieder die gesamte Verteilung:
3.0
2.5
2.0
1.5
1.0
Abbildung 22 Vorkenntnisplot
Klassenstufe
AN FO PR KA
Anzahl der bearbeiteten dynamischen Arbeitsblätter
Der Altersvergleich findet nach Jahrgangsstufen statt, wobei das Lebensalter innerhalb der untersuchten
Schulklassen bis zu vier Jahren streut. Jüngere Schülerinnen und Schüler verfügen über ein weniger
ausgeprägtes Abstraktionsvermögen und sind eher auf (dynamische) Veranschaulichung angewiesen
als Ältere. Ebenso entwicklungsbedingt prägt sich eine Antihaltung gegenüber Schule und
Unterricht erst im Verlauf einer längeren Schulbesuchsdauer aus. Den älteren Schülerinnen und
45

46
Schülern kommen aber größere Vorkenntnisse und Erfahrungen zugute, die ihre Urteile positiv beeinflussen
können.
Jgst. 6 Jgst. 7 Jgst. 8 Jgst. 9 Jgst. 10 Jgst.12
Anzahl der Schüler 34 179 48 47 55 2
Anzahl der Klassen 2 8 2 2 2 2 Teilnehmer
Mittelwert 1.80 2.16 1.69 1.80 1.85 1.68
Bereinigte Mittelwerte 1.97 1.97 1.97 1.97 1.97 1.87
Tabelle 20 Mittelwerte und bereinigte Mittelwerte nach Klassenstufe
Aus der Tabelle lässt sich keine kontinuierliche Entwicklung der Mittelwerte in den einzelnen Jahrgangsstufen
feststellen. Die Werte in den sechsten, neunten und zehnten Klassen sind ähnlich ausgeprägt,
während die der siebten Klassen negativ und die der achten Klasse, die zweimal an der Befragung
teilnahm, positiv herausstechen. Schon von daher scheint es problematisch, dies der Jahrgangsstufe
8 als solcher zuzuschreiben. Nach Bereinigung ergeben sich wieder keine Unterschiede in
den Mittelwerten, da die Kovariable Jahrgangsstufe gänzlich durch Klassensatz erklärt werden kann
(abgesehen von Klassensatz 1). Der Boxplot zeigt aber wieder die Verteilungen (wobei Klassenstufe
11 nicht auftritt und Klassenstufe 12 nur zwei Schülerinnen umfasst).
Bereinigtes Gesamtmittel
3.0
2.5
2.0
1.5
1.0
Abbildung 23 Klassenstufenplot
6 7 8 9 10 11 12
Klassenstufe
Interessant in diesem Zusammenhang ist noch die Analyse der Skalen Vorerfahrung mit Computern
(Skala 1) und Vorerfahrung mit Lernsoftware (Skala 2). In den unteren Jahrgangsstufen scheint eine
kontinuierliche Zunahme der Vorkenntnisse stattzufinden, die sich aber ab der neunten Jahrgangsstufe
gegenteilig entwickelt.

4.3. Fazit
Es lassen sich deutliche Anhaltspunkte für Substrukturen in dem Datensatz dokumentieren. Vor der
unkritischen Nutzung von Unabhängigkeitsannahmen etwa der einzelnen Schüler oder der einzelnen
Klassen muss daher gewarnt werden.
Bei der Betrachtung von Kovariablen ist angesichts der extrem homogenen Ausgangssituation bei
Parallelklassen und der dennoch sichtbaren Unterschiede wohl einigermaßen sicher von einem deutlichen
Klassensatzeffekt auszugehen. Nicht zuletzt auch wegen der Substrukturen ist nicht völlig klar,
inwieweit dieser herausgerechnet werden sollte. In der obigen Darstellung wurden daher mit den unbereinigten
und den vollständig bereinigten Gesamtmitteln die beiden Extremsituationen diskutiert. Für
die bereinigten Gesamtmittel nivellieren sich die Unterschiede stark und fallen aus prinzipiellen Gründen
für Schulart, Anzahl der berarbeiteten dynamischen Arbeitsblätter sowie Klassenstufen (abgesehen
von Klassensatz 1) fort. Mädchen und Jungen urteilen (nach Bereinigung) nicht sehr unterschiedlich,
sehr schwache Schüler (Note 5 und 6) etwas kritischer.
47

48
5. Integrative Analyse und Diskussion
In diesem Kapitel soll die Gesamtstruktur des Datensatzes detailliert betrachtet werden. Angesichts
der etwas unscharfen Abgrenzung einzelner Skalen erscheint es für diese zusammenfassende Diskussion
zweckmäßig, die Größe Gesamtmittel als Hauptzielgröße zu wählen. Bereits in den vorangehenden
Kapiteln wurden hierzu erste Schritte unternommen. Abbildung 4 (Mittel-SD-Diagramm) zeigt
die Verteilung der Größen Gesamtmittel und Gesamtsd und die darin auftretenden Substrukturen
nach Klassensatz. Der vergleichende Boxplot in Abbildung 17 (Klassensatzplot) gibt einen Eindruck
von der Stärke des Einflusses der Klasse. Es musste aber bisher weitgehend offen bleiben, welche
der Kovariablen als entscheidende Einflussgrößen auf die Hauptzielvariable Gesamtmittel angesehen
werden können. Folgende Größen kommen in Frage:
Variable Typ Mögliche Ausprägungen
Klassensatz Factor 1,3,4,5,6,7,8,9,11,12,14,15,16,17,20,21,22
Klasse Factor 6,7,8,9,10,12
Schulart Factor GY, RS, HS
Geschlecht Factor m w, KA
Alter Double 11,12,13,14,15,16,17,18,KA
Anzahl Double 0,1,2,3,4,5,6,7,8,9,10,11,14,15,KA
Note Double 1,2,3,4,5,6,KA
Tabelle 21 Klassifikation der Variablen
Klasse wurde hier also als Faktor behandelt, dafür wurde Alter als quantitative Variable mit betrachtet.
5.1. Multivariate Aspekte
Von der Ausgangsfrage her liegt zunächst die Anwendung multivariater statistischer Techniken wie
Regression oder Faktorenanalyse nahe. Die bereits festgestellten Substrukturen mahnen jedoch zur
Vorsicht. Weder die Unabhängigkeit der einzelnen Versuchspersonen noch plausible Verteilungsannahmen
noch akzeptable Festlegungen über die Kovarianzstruktur scheinen unproblematisch. Unter
solchen Umständen liefern die genannten Ansätze häufig eher Artefakte als wirkliche Erklärungen. Ein
sehr datennahes Vorgehen erscheint solider. Die folgenden Techniken sind ausschließlich in diesem
Sinne zu verstehen, auch wenn sie ihrerseits ebenfalls zum Teil willkürliche Modellannahmen und
Festlegungen erfordern.
Von besonderem Interesse scheinen uns Darstellungen, die die „innere Struktur“ und die Hierarchie
der Kovariablen visualisieren. In natürlicher Weise führt dies zu Klassifikations- und Regressionsbäumen,
die den Klassifikationsschemata der Lebenswissenschaften oder der Medizin nachempfunden
sind. Bei der Bestimmung von Pflanzenarten oder Krankheiten geht der Biologe oder Mediziner seit
jeher durch eine hierarchische Abfolge von Fragen vor. Die Baumstruktur des Fragenkataloges zeigt
dann zugleich die Hierarchie der einzelnen Unterscheidungsmerkmale auf. In der Statistik wurden
solche „baumbasierten Methoden“ vor allem durch Breiman e. a. (1984) propagiert.
Die folgende Darstellung ist ein Beispiel für einen Regressionsbaum mit 7 Endknoten:

1.7
Abbildung 24 Regressionsbaum mit 7 Endknoten
Die entsprechenden Knotengrößen sind:
77
Klassensatz:abeo
1.9
Klassensatz:abeo
Klassensatz:dfkl
Abbildung 25 Knotengrößen bei 7 Endknoten
80
Klassensatz:dfkl
7 Endpunkte, Antwortwert
Klassensatz:abdefhklno
|
Anzahl

50
Die genaue Beschreibung ergibt sich aus folgender Datei:
Regression tree:
*** Tree Model ***
snip.tree(tree = tree(formula = Gesamtmean ~ Geschlecht + Alter + Anzahlum +
Noteum + Schulartkopie + Klassefak + Klassensatzfak, data =
gepruefteEndtabelle27kurz, na.action = na.exclude, mincut = 3, minsize
= 6, mindev = 0), nodes = c (12, 22, 23, 7, 4, 13, 10))
Variables actually used in tree construction:
[1] "Klassensatzfak" "Anzahlum" "Noteum" "Geschlecht"
Number of terminal nodes: 7
Residual mean deviance: 0.111 = 34.5 / 311
Distribution of residuals:
Min. 1st Qu. Median Mean 3rd Qu. Max.
-0.987 -0.20 -0.00567 -2.17e-016 0.22 0.905
node), split, n, deviance, yval
* denotes terminal node
1) root 318 53.00 2.0
2) Klassensatzfak:1,3,5,6,7,9,14,15,17,20 199 19.00 1.8
4) Klassensatzfak:1,3,6,20 77 4.00 1.7 *
5) Klassensatzfak:5,7,9,14,15,17 122 13.00 1.9
10) Klassensatzfak:5,7,14,15 80 6.50 1.9 *
11) Klassensatzfak:9,17 42 6.10 2.0
22) Anzahlum3.5 10 0.96 1.7 *
3) Klassensatzfak:11,12,16,21,22 119 20.00 2.3
6) Noteum2.5 92 16.00 2.3 *
Abbildung 26 Output für den Regressionsbaum
Die Graphiken sind weitgehend selbsterklärend. Man sieht, dass Klassensatz, Note, Geschlecht und
Anzahl als Kriterien fungieren, um einen Regressionsbaum für die Variable Gesamtmittel zu erstellen.
Für einen Schüler mit Klassensatz = a (bzw. 1) wird als Gesamtmittel 1.7 vorhergesagt usw. Klassensatz
= a in der Graphik steht dabei für Klassensatz = 1, da für faktorielle Variablen dort eine Buchstabenkodierung
vorgenommen wird, um auch höhere Werte als 10 einstellig zu kodieren. Entsprechend
bezeichnet Klassensatz aber den ersten, zweiten, fünften und fünfzehnten Ausprägungswert des Faktors
Klassensatz, mithin die Klassensätze 1, 3, 6 und 20. In der Datei-Beschreibung des Regressionsbaumes
ist aber die ursprüngliche Bezeichnung gewählt. Der gerade angesprochene Fall Klassensatz:
abeo (bzw. 1, 3, 6, 20) findet sich dort unter „4“. Der damit bezeichnete Knoten ist ein Endknoten
mit 77 Mitgliedern und einem Durchschnittswert von 1,7 für das Gesamtmittel. Bei der Addition der
Endknotengrößen ergibt sich nur 318, weil Fälle mit fehlenden Werten in einer der Variablen ausgeschlossen
werden müssen.
Insgesamt ist der Baum und seine Knotenpunkte so gewählt worden, dass er die Daten möglichst
genau und sparsam beschreibt. Als Vorteile hat man neben einer einfachen Beschreibung dann auch
eine durchsichtige Darstellung der Struktur der Daten. Allerdings sind derartige Bäume im hohen Maße
instabil, das heißt sie hängen stark von den gewählten Verfahren und Parametern für die zugrunde
liegende Optimierung ab. Um nicht Artefakte zu produzieren, ist daher ein methodisch vorsichtiges
Vorgehen gefordert. Im obigen Fall wurde ausgehend von den Variablen aus der Tabelle zunächst ein
großer Baum erzeugt, der dann durch so genanntes „Pruning“ zurechtgestutzt wurde. Es ergab sich
eine Sequenz von Bäumen mit zunehmender bzw. abnehmender Anzahl von Endknoten. Die so genannte
„Deviance“ (als Maß für die Ungenauigkeit des Baumes) ist in folgender Graphik skizziert:

deviance
30 35 40 45 50
Devianzabnahme
14.00000 0.20000 0.15000 0.08300 0.03300 0.01300 0.00300
1 20 40 60
Abbildung 27 Devianzabnahme für einige Regressoinsbäume
Grob gesprochen sind nun die Anzahlen von Knoten besonders interessant, bei denen man eine möglichst
kleine Devianz erreicht. Das Augenmerk richtet sich daher auf solche Knotenanzahlen, die zu
großen Abstiegen („hohen Treppenstufen“) gehören. Es lohnt sich gewissermaßen solche Knoten mit
einzubeziehen, da man für diesen Aufwand relativ viel Ertrag – gemessen als Abnahme der Devianz –
erhält. Im vorliegenden Fall legt diese Überlegung nahe einerseits mindestens 7 (wie im obigen Beispiel)
und andererseits höchstens 15 oder 21 Endknoten zu wählen. Der „volle“ Baum (unter Beachtung
einiger voreingestellter Parameter) mit 71 Endknoten wäre:
Klassensatz:b
Klassensatz:abeo
Abbildung 28 Vollständiger Regressionsbaum mit 71 Endknoten
size
Klassensatz:abdefhklno
|
Klassensatz:dfkl
Geschlecht:b
Note

52
Auch hier sieht man die dominierende Rolle von Klassensatz. Wir dokumentieren noch den Baum mit
15 Endknoten
Klassensatz:b
Note

Die voreingestellten Parameter wurden wie folgt gewählt:
Min. No. Of Obs. Before Split: 3
Min. Node Size: 6
Min. Node Deviance: 0.00.
Es soll in keiner Weise behauptet werden, dass die obigen Bäume optimal oder die einzig möglichen
sind. Ihre Rechtfertigung ergibt sich vielmehr daraus, dass sie ex post leicht verifizierbar sind und
durch verschiedene Parametersätze und Optimierungen sehr beharrlich in ähnlicher Weise herauskommen.
Welche „innere Struktur“ deutet sich durch diesen Ansatz an? Man kann wohl – bei allen Vorbehalten
– folgende Beobachtungen und darauf fußende Kommentare festhalten:
1. Auf der obersten Hierarchieebene wird bei binären Bäumen nach Klassensatz unterteilt. Dies ist in
gewisser Weise nicht überraschend, da Klassensatz auch die meisten möglichen Ausprägungen besitzt
und somit bei gleich starkem Einfluss eine bessere Regressionsvorhersage ermöglichen würde
als Variablen mit geringerem Ausprägungsvorrat. Andererseits sollten sich aber wirklich deutliche
Effekte (z. B. etwa durch Geschlecht oder Alter) – soweit vorhanden – auch entsprechend deutlich
manifestieren – und würden dies auch tun, wenn man ein eindeutig geschlechtsbezogenes oder altersbezogenes
Merkmal untersucht hätte.
(Kommentar: Dies suggeriert – oder steht zum mindesten nicht im Widerspruch zu – einem sehr starken
Einfluss der „Klassensituation“, den man wohl unschwer auf Lehrer und Klassengemeinschaft
zurückführen kann. Das würde auch implizieren, dass an diesem Punkt für eine möglichst ertragreichen
Einsatz von GEONExT angesetzt werden sollte (Lehrerschulung, „Klimaverbesserung“). Der
Einfluss des Lehrpersonals ist auch hier nicht zu unterschätzen.)
2. Bei den Klassensätzen, bei denen GEONExT „gut“ ankommt, spielt Klassensatz auch auf der
nächsten Stufe eine entscheidende Rolle. Bei den Klassensätzen, bei denen GEONExT nicht so „gut“
ankommt, schieben sich dann in zweiter Linie andere Distinktionen (Note, Geschlecht) nach vorne –
hier greift dann übrigens das Argument vom größeren Wertevorrat eben nicht mehr
(Kommentar: Auch das ist an sich leicht interpretierbar: Ist die „Klassensituation“ nicht mehr „überragend“,
muss der Enthusiasmus vom einzelnen Schüler herkommen. Das gelingt „besseren“ (Note)
und „trainierteren“ (Anzahl) Schülern besser. Zudem sind Jungen eher aufgeschlossen für GEONExT
als Mädchen. Gerade hier sind aber Vermengungen von Effekten leicht möglich.)
Die obigen Kommentare sind ausdrücklich als letztlich etwas subjektive Lesart der beobachteten –
und insofern kaum bestreitbaren – Sachverhalte gedacht. Sie werden unseres Erachtens aber nicht
dadurch wertlos, dass es sich um im Grunde wohlbekannte didaktisch Erkenntnisse handelt (Bedeutung
des Lehrers bzw. der Lerngruppe für das „Lernen“). Eine wichtige Konsequenz: Computereinsatz
sollte nicht automatisch mit einer Individualisierung des Lernens identifiziert werden.
5.2. Längsschnittbetrachtung
Die Befragung war nicht explizit als Längsschnittstudie angelegt. Die zweimalige Teilnahme einer
Realschulklasse bietet allerdings die Chance eine zumindest rudimentäre längsschnittliche Betrachtung
anzustellen. Allerdings ist dies wegen fehlender und nicht wieder herstellbarer Zuordnungen nur
in sehr begrenztem Umfang möglich.
Die erste Erhebung fand im Herbst 2004 nach der Bearbeitung des dritten dynamischen Arbeitsblattes
– in diesem Fall zum Thema Thales – und die zweite nach der Bearbeitung des zehnten Arbeitsblattes
– zum Thema Brüche – im Frühjahr 2005 statt. Von Interesse ist primär, inwiefern sich die Beurteilung
der dynamischen Arbeitsblätter im Laufe der Zeit verändert hat. Des Weiteren soll analysiert werden,
ob sich die längere Benutzung von GEONExT auf die Haltung zum Medium Computer und auf allgemeine
Einstellungen zum Themengebiet auswirkt– insbesondere ob es Gewöhnungs- bzw. sogar
Abnutzungseffekte gibt.
Die Werte aus der Herbstbefragung liegen bereits recht nahe an der Bestnote 1,0, so dass eine deutliche
Verbesserung gar nicht mehr möglich ist. Trotzdem zeigt sich für den Gesamtmittelwert im
Herbst und Frühjahr noch eine leichte positive Veränderung. Dies gilt ebenso für die Mittelwerte der
einzelnen Skalen. Die folgende Tabelle zeigt die Ergebnisse im Zusammenhang (angegeben sind
jeweils die Mittelwerte und – in Klammern – die Standardabweichungen):
53

54
Skala
1 Vorerfahrungen mit Computern
2 Vorerfahrungen mit Lernsoftware
3 Beurteilung von Computernutzung
4 Aufbau der dynamischen
Arbeitsblätter
Tabelle 22 Mittelwerte der Längsschnittbetrachtung
Es zeigt sich also eine Verschlechterung in zwei Skalen (2 und 6) und eine Verbesserung in sieben
Skalen (1, 3, 4, 5, 7, 8, 9). Geht man von der Nullhypothese aus, dass Verschlechterungen und Verbesserungen
gleich wahrscheinlich sind, ergäbe ein einseitiger Zeichentest einen p-Wert von 0.09.
Über die Verbesserung im Gesamtmittel selbst hinaus ist es gerade die Multiplizität in den Skalen, die
für einen genuinen Verbesserungseffekt spricht.
Hintergrund: Zeichentest
Der Zeichentest testet im einfachsten Fall, ob sich ein Zufallsprozess wie das Werfen einer fairen
Münze verhält. Bei den neun Versuchen (Skalen) kann jeweils eine Verbesserung (+) oder eine Verschlechterung
(-) eintreten. Wir haben sieben Verbesserungen erzielt. Rein aus Zufall würde man mit
einer fairen Münze aber nur mit einer Wahrscheinlichkeit von
9
∑
i=
7
ein so extremes Resultat wie 7, 8 oder 9 Köpfe erzielen.
Graphisch stellt sich das so dar:
Klassensatz 20
(24 Schüler, Herbst)
Klassensatz 3
(23 Schüler, Frühjahr)
9
⎛ 9!
⎞ ⎛ 1 ⎞
⎜ ⎟⋅
⎜ ⎟ = 0.0898 ≈ 0.09
⎝ i!
( 9 − i)!
⎠ ⎝ 2 ⎠
Veränderung
1.24 (0.17) 1.22 (0.32) +
2.24 (0.51) 2.24 (0.38)
–
(in vierter Nachkommastelle)
1.20 (0.36) 1.15 (0.33) +
1.71 (0.32) 1.68 (0.39) +
5 Beurteilung des Themas 1.77 (0.37) 1.55 (0.39) +
6 Zeitrahmen 1.70 (0.36) 1.77 (0.42) –
7 Beurteilung selbständigen
Arbeitens
8 Weiterer Einsatz von Lernsoftware
9 Generelle Einstellung zum
Themengebiet
2.01 (0.39) 1.85 (0.47) +
1.59 (0.67) 1.46 (0.49) +
1.80 (0.45) 1.71 (0.43) +
Gesamtmittel 1.72 (0.21) 1.64 (0.24) +

2.4
1.9
1.4
0.9
0.4
-0.1
0 1 2 3 4 5 6 7 8 9
Abbildung 31 Veränderung der Antworten nach Skalen beim Längsschnittvergleich
Es lohnt sich, noch die extremen Veränderungen zu betrachten. Skala 2 bleibt nahezu gleich, aber
Skala 6 verschlechtert sich deutlich. Betrachtet man die einzelnen Items zur Skala 6, so zeigt sich in
den Mittelwerten sogar eine gleichmäßige Verschlechterung. Hier spiegelt sich offensichtlich eine
schärfere Zeitknappheit wieder.
Items von Skala 6 Klassensatz 20 Klassensatz 3
(9) Ich bin unter Zeitdruck geraten.* 1.48 1.54
(16) Ich denke, dass ich zügig gearbeitet habe. 1.91 2.00
Skala 6 insgesamt 1.70 1.77
Tabelle 23 Items von Skala 6
Klassensatz3
Klassensatz20
Differenz
Null
Skalen
Die stärksten positiven Veränderungen zeigen die Skalen 5 und 7. Sie sind insbesondere auch in Anbetracht
der Standardfehler der Mittel auffällig, auch wenn die Voraussetzungen für einen formalen
Signifikanztest problematisch sind. Auf der Ebene der Items ist die Veränderung in den Mittelwerten
bei Skala 5 wiederum sehr gleichmäßig. Das Thema „Brüche“ scheint besser beurteilt zu werden. Der
starke Unterschied deutet auch an, dass die Themenstellung beachtlichen Einfluss haben könnte. Es
wäre interessant, einen Längsschnitt in umgekehrter Reihenfolge zu sehen.
55

56
Items von Skala 5 Klassensatz 20 Klassensatz 3
(15) Ich habe den Eindruck, dass ich das Thema verstanden habe.
(18) Ich meine, dass mir die dynamischen Arbeitsblätter geholfen
haben, das Unterrichtsthema zu verstehen.
1.87 1.67
1.87 1.58
(20) Ich fand das Thema verständlich aufbereitet 1.78 1.67
(23) Ich meine, dass es überflüssig war, mit diesen dynamischen
Arbeitsblättern zu arbeiten.*
1.43 1.21
(25) Ich denke, dass ich mir das Ergebnis gut merken kann. 1.91 1.63
Skala 5 insgesamt 1.77 1.55
Tabelle 24 Items von Skala 5
Bei Skala 7 fällt die fast gleich bleibende Beurteilung hinsichtlich Item 28 auf.
Items von Skala 7 Klassensatz 20 Klassensatz 3
(5) Ich habe keine zusätzliche Hilfe vom Lehrer gebraucht. 2.43 2.38
(10) Ich hatte keine Schwierigkeiten, selbständig zu arbeiten. 2.09 1.75
(14) Ich habe auch mit anderen zusammengearbeitet. 1.73 1.50
(28) Ich finde es nicht gut, im Unterricht selbständig zu arbeiten.* 1.78 1.79
Skala 7 insgesamt 2.01 1.85
Tabelle 25 Items von Skala 7
Es ist denkbar, dass dieses widersprüchliche Resultat an der negativen Formulierung liegt, so dass
Verständnisschwierigkeiten hier eine Rolle spielen.
Anders als für die Skalen soll für die einzelnen Items aus Platzgründen nur die
Graphik angegeben werden:

3
2
1
0
0 10 20 30 40
Items
Klassensatz3
Klassensatz20
Differenz
Null
Abbildung 32 Veränderung der Antworten nach Items beim Längsschnittvergleich
Man erkennt, dass sich die stärksten Verbesserungen für die Items 27 (mit 0.43) und 36 (mit 0.40)
sowie 10 (mit 0.34) und 4 (mit 0.34) ergeben. Die stärksten Verschlechterungen ergeben
sich bei den Items 3 (mit -0.26) und 21 (mit -0.24).
Grundsätzlich liegen sogar gepaarte Daten vor, da ja die Klasse zweimal befragt wurde. Allerdings
ergeben sich dabei zwei Schwierigkeiten:
1. Die Klasse umfasste ursprünglich 28 Schüler. Es ist nicht klar (und nicht rekonstruierbar), welche
23 bzw. 24 davon im Herbst bzw. Frühjahr befragt wurden
2. Selbst für Schüler, die an beiden Befragungen teilnahmen, lässt sich eine Zuordnung der beiden
Antwortbogen nicht mehr erreichen.
Als Ausweg könnte man so vorgehen:
1. Man geht davon aus, dass zu beiden Zeitpunkten die gleichen Schüler teilnahmen – nur dass
einer davon im Frühjahr fehlte. Um jedenfalls nicht zugunsten von GEONExT zu rechnen, wird daher
derjenige der 24 Schüler aus Klassensatz 20 mit den positivstem Gesamtmittel weggelassen (Schüler
21 mit dem Gesamtmittel 1.35).
2. Die übrigen Daten werden entsprechend ihrer Rangfolge nach dem Gesamtmittel als gepaarte
Daten zusammengefasst. Dies beruht auf dem Gedanken, dass die Schüler in ihrer Rangfolge unverändert
bleiben, auch wenn sich im Niveau Veränderungen ergeben können.
Beide Annahmen sind durchaus problematisch und alles andere als gesichert. In Reuschlein (2006)
wurde versucht, anhand supplementärer personenbezogener Informationen (Alter, Note, Geschlecht)
diese Zuordnung zu bestätigen oder zu widerlegen. Es ergab sich jedoch kein eindeutiges Ergebnis.
Legt man trotzdem diese Zuordnung zugrunde, ergeben sich aufgrund des dann stärker homogenen
Datenmaterials natürlich wesentlich schärfere Aussagen. Ein t-Test auf der Basis der gepaarten Differenzen
der Gesamtmittel (Klassensatz 20 – Klassensatz 3) wäre etwa hochgradig signifikant (t =
6.01, df = 22, P-Wert = 0.0); als 95%-Konfidenzintervall für die mittlere Differenz der Gesamtmittel
erhält man [0.048, 0.098] (Verzichtet man auf die Paarung und nimmt man den dafür gestrichenen
Wert 1.35 für Schüler 21 wieder mit hinzu, so liefert Welchs modifizierter Zwei-Stichproben-t-Test einen
zweiseitigen P-Wert von 0.1984.).
Inhaltlich ergäben sich weder auf der Basis der Skalen noch der Items andere Aspekte als oben beschrieben.
Gleichwohl ist festzuhalten, dass sich die tatsächlichen Verhältnisse zwischen den weiter
oben extrem vorsichtig deskriptiv und unter Vernachlässigung jeder Paarung dokumentierten Verän-
57

Mittelwert
4,0
3,5
3,0
2,5
2,0
1,5
1,0
58
derungen und den hier unter zwar plausiblen, aber nicht gesicherten Annahmen kurz angesprochenen
inferentiellen Resultaten (Signifikanztests, Konfidenzintervalle) bewegen dürften.
Als Resultat ergibt sich also:
In der hier aufgrund der Datenlage nur sehr rudimentär möglichen Längsschnittbetrachtung ergibt sich
eine absolut gesehen leichte, aber nicht als Zufallsschwankung erklärbare Verbesserung der Beurteilungen.
Insbesondere kann man keine „Abnutzungseffekte“ erkennen. Dies ist umso bemerkenswerter,
als bereits das Ausgangsniveau sehr positiv ausfiel.
5.3. Vergleich von Schulalltag und Universitätsbedingungen
Bereits in Abschnitt 2.1. wurde darauf hingewiesen, dass nur ein Teil der Bogen unter realen Unterrichtsbedingungen
erhoben wurde. Der andere Teil wurde im Rahmen von Schulungen durch Lehrstuhlmitarbeiter
an der Universität Bayreuth ausgefüllt. Dies wirft die Frage auf, inwieweit beide Rahmenbedingungen
vergleichbar und die Daten überhaupt kombinierbar sind. Das Problem kann ähnlich
wie die Untersuchungen hinsichtlich der „klassischen“ Kovariablen erfolgen, indem man als weitere
Kovariable die Variable Ort mit den Ausprägungen „U“ (für Universität) und „S“ (für Schule) bildet.
Analog zu den Skalenplots in Abschnitt 3.4. erhält man dann für die Unterschiede nach Ort folgendes
Resultat:
Abbildung 33 Unterschiede nach Ort
Unterschiede nach Ort
1 2 3 4 5
Skala
6 7 8 9
Schule
Universität

Hier zeigt sich in keiner Skala ein nennenswerter Unterschied. Auch in Hinblick auf analoge Vergleiche
auf der Basis des Gesamtmittels bzw. des bereinigten Gesamtmittels zeigen sich keine Unterschiede.
Die numerischen Werte lauten:
Schule Universität
Anzahl der Schüler 210 155
Mittelwert 1.96 1.97
Bereinigter Mittelwert 1.97 1.97
Tabelle 26 Mittelwerte und bereinigte Mittelwerte nach Ort
Für den Boxplot erhält man:
Bereinigtes Gesamtmittel
3.0
2.5
2.0
1.5
1.0
Abbildung 34 Ortplot
U S
Auch in der Verteilung selbst zeigt sich also kein nennenswerter Unterschied. Insbesondere kann
keine Rede davon sein, dass die Universitätsbedingungen zu einer positiven Verzerrung oder zu Unvergleichbarkeit
führen. Die hier aus dem Gesamtdatensatz gezogenen Schlussfolgerungen erscheinen
für die reale Schulpraxis valide.
5.4 Fazit
Hauptziel dieses Kapitels war eine Gesamtbetrachtung des Datensatzes, also nicht eine speziell auf
die Items oder die Schüler konzentrierte Sichtweise. Ein wichtiges Strukturmerkmal ist in diesem Zusammenhang,
dass ein Teil der Daten an der Universität, das heißt quasi unter Laborbedingungen,
erhoben wurde. Es zeigt sich jedoch, dass die dort erzielten Resultate nicht von denen im Schulalltag
abweichen. Die Daten können daher auch zusammengelegt und analysiert werden.
Fragt man dann nach den Haupteinflussgrößen auf die Hauptvariable (Gesamtmittel), so ist die Anwendung
klassischer multivariater Verfahren wegen der Substrukturen in den Daten sehr problematisch.
Als Alternative wurde hier ein Ansatz über Regressionsbäume gewählt (CART). Dieser Ansatz
ist hier bewusst deskriptiv zu verstehen. Er bietet aber die Möglichkeit, die innere Struktur der Daten –
oder wenigstens eine Beschreibung davon – transparent darzustellen. Zu den Vorteilen dieses Ansatzes
zählt sicher, dass das Endresultat im allgemeinen ex post leicht verständlich und leicht kommuni-
Ort
59

60
zierbar ist. Als Nachteil ist in vielen Fällen die Instabilität zu nennen. Im vorliegenden Fall scheinen die
Resultate aber recht stabil und decken sich inhaltlich mit den schon in Kapitel 3 und 4 erzielten Ergebnissen.
Ein etwas periphäres Strukturmerkmal des Datensatzes ist schließlich die zweimalige Teilnahme
der Realschulklasse. Hier bietet sich – allerdings aus verschiedenen Gründen nur sehr begrenzt
– die Möglichkeit zu Längsschnittbetrachtungen. Als Hauptergebnis zeigt sich, dass ein „Abnutzungseffekt“
nicht feststellbar war.

6. Schlussfolgerungen
In diesem Kapitel sollen die Resultate der vorangegangenen Überlegungen zusammengefasst und
darauf fußend einige Empfehlungen gegeben werden. Wir beginnen mit einigen grundsätzlichen Anmerkungen
zur Methodologie.
6.1. Bemerkungen zur statistischen Methodologie
Statistische Untersuchungen bewegen sich in der Regel zwischen zwei Polen: Einerseits explorativen
Untersuchungen, bei denen in erster Linie Neues herausgefunden werden soll, andererseits konfirmatorische
Analysen, bei denen in streng kodifizierter Weise bereits vorformulierte Hypothesen einem
genauem Test unterzogen werden. Schon von den Ausgangsfragen her ist in diesem Fall eher das
erste Vorgehen geboten. Denn mit vielen Fragestellungen wird Neuland betreten, und es liegen nur
wenige gesicherte Vorkenntnisse oder selbst Vermutungen vor. Es kommt hinzu, dass auch von methodischer
Seite Bedenken gegen allzu spezifische Modelle angebracht sind: Die dazu nötigen Annahmen
sind problematisch und keineswegs plausiblerweise eo ipso gegeben. Viele unserer Untersuchungen
deuten sogar eher das Gegenteil an und von einem standardisiertem Vorgehen wie etwa bei
klinischen Studien ist man bei Unterrichtsversuchen des vorliegenden Typs gegenwärtig weit entfernt,
womit übrigens nicht gesagt werden soll, dass solches unbedingt wünschenswert wäre.
Es ist also ein eher deskriptives, datennahes Vorgehen angezeigt. Als Hauptziel der statistischen Behandlung
kann eine möglichst transparente Aufbereitung und Auswertung der vorliegenden Daten
gelten. Dementsprechend wurde bei der Auswahl stets solchen Verfahren der Vorzug eingeräumt, die
leicht nachvollziehbar und durchschaubar sind. Dies ist einer der Gründe, warum wir so oft zu Graphiken
und einfachen summarischen Zusammenfassungen greifen. Den Autoren ist durchaus bewusst,
dass vielfach ein größerer technisch-statistischer Aufwand getrieben werden könnte. Wir glauben
aber, in der vorliegenden Analyse darauf verzichten zu können und auch zu sollen, sofern lediglich
„mehr“ und nicht „bessere“ Aussagen gemacht werden.
In einer anderen Hinsicht sind wir aber statistisch anspruchsvoller. Wir sehen Evaluation eher als einen
Prozess zur Qualitätssicherung und weniger als eine abschließende statische Qualitätsbeurteilung
zu einem festen Zeitpunkt an. Dies beinhaltet auch eine recht große Flexibilität und Dynamik in
der Datenanalyse, die mit der herkömmlichen Papierform kaum erreichbar ist. Idealerweise sollte die
Analyse der Daten am besten im interaktiven Dialog am Computer erfolgen. In der Tat haben moderne
Ansätze zur explorativen Datenanalyse und moderne Statistikpakete wie R und S-PLUS genau
diese Zielrichtung. Man kann dann schnell und in der Regel durch Visualisierung verschiedenste Fragestellungen
klären. Dieser „Lernprozess“ ist nicht zufälligerweise, sondern wie jeder Lernprozess
notwendigerweise „dynamisch“ – und wie GEONExT die Geometrie „dynamisch“ macht, gibt es auch
eine dynamische Graphik und eben exploratives Lernen aus den Daten auf der statistischen Ebene.
Durch einen solchen Ansatz ergeben sich auch stetig Hinweise auf mögliche interessante neue Gesichtspunkte,
die dann weiter verfolgt werden sollten. Ein wenig kann der Leser einen ähnlichen Effekt
durch weiteres „Stöbern“ in einigen ergänzenden Dokumenten in Teil II dieser Evaluierung erzielen.
In dieser Hinsicht verfolgen diese Notizen auch das Ziel, für eine stärkere statistische Begleitung von
Evaluationsprozessen zu werben. Diese sollte aber umgekehrt nicht aufgesetzt ex post erfolgen, sondern
sich den jeweils vorhandenen Sachverstand bzw. die Fachkenntnisse zu Nutze machen. In gewisser
Weise ist dies vielleicht sogar der entscheidende Grund für transparente Verfahren. Zwei Beispiele
mögen diese Sichtweise erläutern: Es ist sicher jedem Lehrer geläufig, dass es Cliquenbildungen
und dynamische (natürlich!) Gruppenprozesse innerhalb von Klassen gibt, die sich eben auch auf
Beurteilungen und `Ankommen’ einer Unterrichtserie auswirken. In eine detachiert erfolgte statistische
Modellierung fließt das selten ein: Man geht zumeist einfach von i.i.d. Beobachtungen aus. Oder ein
noch naiveres Beispiel: Es erscheint vernünftig, die größere Nähe junger Studenten zur Altergruppe
der Befragten zu nutzen, wenn es darum geht, Jugendjargon in freien Kommentaren richtig zu interpretieren.
Nicht jedem ist ja klar, ob es gut oder schlecht ist, wenn etwas „rockt“. Wir haben durchaus
das Ziel, mit diesen Notizen auch Handreichungen zu bieten, wie solche zwar elementaren, aber andererseits
maßgeschneiderten und eben deshalb ertragreichen Auswertungen angegangen werden
können. Es ist andererseits auch klar, dass hierfür immer die kritische Distanz und Objektivität der
Statistik gefordert ist, da sich ansonsten die Gefahr von Wunschdenken und Bestätigung von Vorurteilen
vervielfacht. Eine mehr qualitative Analyse und Interpretation wird ebenfalls in Teil II vorgenommen.
61

62
6.2. Anregungen, Vorschläge und Empfehlungen methodischer Art für weitere
Untersuchungen
Auch die Auswertung von Evaluationsdaten ist ein Lernprozess. Deswegen sollen in diesem Abschnitt
einige Anregungen gegeben werden, wie – aus der Rückperspektive – eine derartige Evaluation noch
effizienter gestaltet werden kann. Vieles davon war im Vorfeld keineswegs absehbar, sondern beruht
eben erst auf den gemachten Erfahrungen.
Zunächst ist als technischer Punkt die direkte Eingabe am Computer verbunden mit der obligatorischen
Beantwortung aller Fragen vor dem Abschicken einer Druckversion eindeutig vorzuziehen. Dies
vermindert einerseits die Anzahl fehlender Werte und verhindert andererseits Übertragungsfehler bei
der Eingabe schriftlich ausgefüllter Bögen.
Zweitens ist es zu empfehlen, durchgängig der Kontrolle der Datenqualität mehr Aufmerksamkeit zu
widmen als üblich. Im Kontext unserer – durchaus nicht etwa ungewöhnlich oberflächlich betriebenen
– Untersuchung aufgetretene Schwierigkeiten (z. B. bei der Eingabe der Printbogen, bei der Behandlung
fehlender Werte, bei der Koordination von Berechnungen und bei der Programmierung ) sind
notorisch und sicher eher die Regel als die Ausnahme. Insbesondere bei ersten Auswertungsversuchen
werden diese Probleme fast immer unterschätzt – vielleicht auch, weil sie so selten thematisiert
und zumeist aus falsch verstandenem Perfektionsstreben verschwiegen werden. Hier ist jedoch Realismus
und nicht „Optimismus“ gefragt.
Eine unbedingt nötige Ergänzung sollte ein Vorabfragebogen sein, der vor Beginn der Arbeit mit dynamischen
Arbeitsblättern ausgefüllt wird. Dadurch wird ein Standard festgestellt, gegen den dann die
Veränderungen durch die Unterrichtsserie reliefartig hervortreten. Zugleich liefert dies auch nützliche
Hinweise über die Erwartungen der Teilnehmer und wie weit diese im Rückblick erfüllt wurden. Darüber
hinaus eröffnet sich dadurch bei falscher Kalibrierung noch die Möglichkeit des Eingriffs. Liefert
etwa eine Frage nur Extremkategorieantworten (inklusive „KA“), ist sie falsch formuliert und kann im
Hauptfragebogen entweder modifiziert oder ergänzt werden.
Eine gute Idee in diesem Zusammenhang ist es natürlich, die Vorab- und Nachbefragungsbögen mit
einer ID-Nummer zu versehen, so dass die Bögen leicht pro Teilnehmer einander zugeordnet werden
können. Praktisch erreicht man auf diese Weise eine Art `Mikrolängsschnittstudie` für einen besseren
Vorher-Nachher-Vergleich. Auf jeden Fall sollte eine solche Zuordnung bei echten Längsschnittuntersuchungen
Pflicht sein. Echte Längsschnittstudien würden zudem eine wichtige Bereicherung des
Untersuchungsspektrums darstellen und könnten neue Aspekte eröffnen.
In Querschnittrichtung ergeben sich neue Aspekte durch die Kombination von Lehrer- und Schülerfragebögen.
Im vorliegenden Fall wurden solche Fragebögen mit ins Auge gefasst, führten aber nur zu
wenigen Rückläufen. Hier wäre anzuregen, im Vorfeld die Kooperationsbereitschaft der Lehrer zu
stärken.
Konkret für das benutzte Erhebungsinstrument sollte die Skalenbildung in folgender Hinsicht optimiert
werden:
1. Die Anzahl der Items pro Skala sollte äquilibriert werden. (Dies verbessert die Vergleichsmöglichkeiten
der Skalen aus statistischer Sicht.)
2. Die Items einer Skala sollten im vorliegenden Fall gebündelt und mit einer passenden Überschrift
versehen werden. (Dies widerspricht zwar der oft empfohlenen randomisierten Reihenfolge, vermindert
aber gerade bei Jugendlichen durch zusätzliche Kontextinformation Missverständnisse und unscharfe
Abgrenzungen. Bei Schülerbefragungen überwiegt diese zusätzliche Klarheit nach unseren
Erfahrungen potentielle Nachteile.)
3. Konkret sollten die Skalen wie in Kapitel 3 diskutiert neu gefasst werden.
Eine weitere – eigentlich notwendige – Dimension der Evaluation sollte zudem die Messung des objektiven
Leistungsfortschritts sein. Zwar kann dies derzeit in den meisten Untersuchungen nicht thematisiert
werden, doch darf nicht vergessen werden, dass Beurteilungen aus Schüler- bzw. Lehrersicht
und objektiver Leistungsfortschritt nicht unbedingt identisch sein müssen.

6.3. Antworten auf die Ausgangsfragen
Die statistischen Folgerungen haben wir bereits jeweils am Ende eines Kapitels in einem Fazit zusammengestellt.
Sie sollen nunmehr in Bezug zu den am Ende von Kapitel 1 genannten Ausgangsfragen
gesetzt werden:
1. Sind die dynamischen Arbeitsblätter nutzergerecht konzipiert?
Das wird man auf der Basis der vorliegenden Daten klar bejahen können. Schon ein Blick auf Abbildung
1 aus Abschnitt 2.2. und auf die Skalenmittel in Anschnitt 3.4 lehrt, dass in dem möglichen Bereich
von 1.0 bis 4.0 Werte über 3.0 weder für Skalenmittel noch für das Gesamtmittel überhaupt auftreten.
Für das Gesamtmittel seien abschließend noch die folgenden summarischen Kennzahlen und
ein Boxplot angeführt:
Minimum 1.21
Unteres Quartil 1.68
Mittelwert 1.97
Median 1.89
Oberes Quartil 2.19
Maximum 3.00
Standardabweichung 0.40
Anzahl 365
KA 0
Abbildung 35 Summarische Kennzahlen und Boxplot des Gesamtmittels
Gesamtmittel
4.0
3.0
2.0
1.0
In Kapitel 1 wurde betont, dass es aufgrund der Auswahl eine positive Verzerrung vorliegen könnte.
Es scheint aber wenig plausibel, dass die erkennbar positive Bewertung ausschließlich auf diese –
noch nicht einmal erwiesene – Ursache zurückzuführen ist. Denn die positive Selbstselektion dürfte
ohnehin vorwiegend auf Ebene der teilnehmenden Klassen, nicht aber der einzelnen 365 Schüler
greifen.
2. Gibt es besonders günstige Kontextbedingungen bzw. wichtige Einflussvariablen beim Einsatz
dynamischer Arbeitsblätter im Unterricht zu beachten?
Hierzu wurden in Kapiteln 3-5 detaillierte Analysen angestellt. Es zeigt sich dabei überall und einheitlich,
dass die Variable Klassensatz am einflussreichsten zu sein scheint. Selbst bei Parallelklassen
zeigt sich der Effekt nach wie vor deutlich, wenn auch abgemildert, das heißt. um einen Schuleffekt
nivelliert. Dies deutet darauf hin, dass der „Lernsituation“ des Schülers entscheidende Bedeutung für
die Beurteilung zukommt. Alle anderen Kovariablen treten dahinter weit zurück (vgl. die bereinigten
Werte in Kapitel 4). Der Leser mag in diesem Zusammenhang nochmals die sehr aufschlussreiche
Abbildung 16 (Unterschiede nach Klassensatz) betrachten. In diesem Sinne ist auch GEONExT trotz
der positiven Bewertung eben kein „Selbstläufer“ und sollte auch nicht (nur) als „Selbstlernumgebung“
(miss-) verstanden werden. Damit ist insbesondere klar, dass der günstigen Gestaltung des didaktisch-methodischen
Umfeldes große Bedeutung zukommt, um das Potential von GEONExT voll auszuschöpfen.
Hieran knüpfen sich einige Empfehlungen inhaltlicher Art für den Unterricht, die aber
nicht an dieser Stelle, sondern günstigerweise im Rahmen einer eher qualitativen Analyse mit zusätzlichen
Anmerkungen aus den konkreten Unterrichtsbeobachtungen in Teil II diskutiert werden.
Zwei Punkte seien aber noch kurz angesprochen: Zum einen scheint das Umfeld der Erhebung (an
der Universität oder in der Schulpraxis) keine Auswirkungen zu haben. Es scheint daher gerechtfertigt,
die an der Universität erhobenen Bögen voll in die Betrachtung einzubeziehen. Zum anderen erbrachte
die Untersuchung der Leistung im Mathematikunterricht als Einflussvariable auf die subjektiven
Einstellungen der Befragten, ein vielleicht überraschendes Ergebnis. Sucht man nach Unterschieden
in den Antworten der guten und schwachen Schülerinnen und Schüler, so sind liegen diese nahe beieinander.
Die nahe liegende und oft vertretene Vermutung, dass Leistungsschwächere stärker von der
dynamischen Veranschaulichung profitieren, lässt sich aus den Daten nicht stützen.
63

64
3. Lassen sich besondere Wirkungen auf die subjektiven Einstellungen der Lernenden feststellen?
Um Einflüsse der Unterrichtsreihen selbst festzustellen, wären grundsätzlich Längsschnittstudien oder
wenigstens Voraberhebungen (vgl. oben in Abschnitt 6.2.) nötig. Aber auch die Variabilität bzw. Stabilität
in Querschnittvergleichen gibt deutliche Hinweise darauf, welche Größen beeinflussbar bzw. festgefügt
sind. Die Untersuchungen in Abschnitt 3.4. zeigen beispielsweise, dass sich in den Skalen 1, 2,
3 und 7, die allgemeine Haltungen und Bedingungen betreffen, kaum Unterschiede zeigen. Im Allgemeinen
werden Computer geschätzt und benutzt, aber eben weniger zum Lernen. Solche generellen
Einstellungen und Tatbestände sind längerfristig und kaum durch (kurzfristige) Unterrichtserfahrungen
beeinflussbar. Anders sieht es mit den spezielleren Skalen 4, 5, 6, 8 und 9 aus. Hier sind die Erfahrungen
eben durchaus unterschiedlich und führen dann offensichtlich auch zu entsprechenden Einstellungen
für die Zukunft (z. B. Skala 8).

7. Abbildungsverzeichnis
Abbildung 1 Dynamische Arbeitsblätter und Schüleranzahl ....................................... 5
Abbildung 2 Überblick über Schulstufe, Klassenzusammensetzung, bearbeitetes
Thema .................................................................................................................. 9
Abbildung 3 Antwortschema....................................................................................... 9
Abbildung 4 Mittel-SD-Diagramm ............................................................................. 13
Abbildung 5 Anzahl „keine Angabe“ ......................................................................... 14
Abbildung 6 Anzahl „stimmt vollständig“................................................................... 14
Abbildung 7 Anzahl „stimmt gar nicht“ ...................................................................... 14
Abbildung 8 Verteilung der Antworten bei den Items................................................ 25
Abbildung 9 χ²-Abstände zum Optimum und Antioptimum ....................................... 27
Abbildung 10 Scatterplotmatrix für die neun Skalen ................................................. 30
Abbildung 11 Unterschiede nach Geschlecht........................................................... 31
Abbildung 12 Unterschiede nach Zensur.................................................................. 32
Abbildung 13 Unterschiede nach Schulart................................................................ 33
Abbildung 14 Unterschiede nach Anzahl der bearbeiteten Arbeitsblätter................. 34
Abbildung 15 Unterschiede nach Klassenstufe ........................................................ 35
Abbildung 16 Unterschiede nach Klassensatz.......................................................... 36
Abbildung 17 Klassensatzplot................................................................................... 38
Abbildung 18 Klassensatzplot der Parallelklassen ................................................... 41
Abbildung 19 Geschlechterplot................................................................................. 42
Abbildung 20 Zensurenplot....................................................................................... 43
Abbildung 21 Schulartenplot..................................................................................... 44
Abbildung 22 Vorkenntnisplot ................................................................................... 45
Abbildung 23 Klassenstufenplot ............................................................................... 46
Abbildung 24 Regressionsbaum mit 7 Endknoten .................................................... 49
Abbildung 25 Knotengrößen bei 7 Endknoten .......................................................... 49
Abbildung 26 Output für den Regressionsbaum....................................................... 50
Abbildung 27 Devianzabnahme für einige Regressoinsbäume ................................ 51
Abbildung 28 Vollständiger Regressionsbaum mit 71 Endknoten ............................ 51
Abbildung 29 Regressionsbaum mit 15 Endknoten und Antwortwert ...................... 52
Abbildung 30 Regressionsbaum mit 15 Endknoten und Knotengröße ..................... 52
Abbildung 31 Veränderung der Antworten nach Skalen beim Längsschnittvergleich55
Abbildung 32 Veränderung der Antworten nach Items beim Längsschnittvergleich . 57
Abbildung 33 Unterschiede nach Ort........................................................................ 58
Abbildung 34 Ortplot................................................................................................. 59
Abbildung 35 Summarische Kennzahlen und Boxplot des Gesamtmittels ............... 63
65

66
8. Tabellenverzeichnis
Tabelle 1 Ausrichtung der Items............................................................................... 10
Tabelle 2 Angegebene Zensuren ............................................................................. 12
Tabelle 3 Verteilung der Antworten .......................................................................... 15
Tabelle 4 Antworten von Schüler RowNr 5............................................................... 15
Tabelle 5 Antworten von Schüler RowNr 66............................................................. 15
Tabelle 6 Antwortverhalten der Schüler.................................................................... 16
Tabelle 7 Anzahl auffälliger Schüler bei den Skalen................................................. 16
Tabelle 8 Auffällige Schüler...................................................................................... 17
Tabelle 9 Überprüfung der Zuordnung der Items zu den Skalen .............................. 23
Tabelle 10 Kennzahlen und Reliabilität der Skalen ( n=365) .................................... 28
Tabelle 11 Korrelationsmatrix für Skala 1................................................................. 29
Tabelle 12 Korrelationsmatrix für Skala 2................................................................. 29
Tabelle 13 Korrelationsmatrix für Skala 7................................................................. 29
Tabelle 14 Korrelationen der Skalen ........................................................................ 30
Tabelle 15 Kodierung der Parallelklassen ................................................................ 40
Tabelle 16 Mittelwerte und bereinigte Mittelwerte nach Geschlecht ......................... 42
Tabelle 17 Mittelwerte und bereinigte Mittelwerte nach Zensur................................ 43
Tabelle 18 Mittelwerte und bereinigte Mittelwerte nach Schulart.............................. 44
Tabelle 19 Mittelwerte und bereinigte Mittelwerte nach Vorkenntnissen .................. 45
Tabelle 20 Mittelwerte und bereinigte Mittelwerte nach Klassenstufe ...................... 46
Tabelle 21 Klassifikation der Variablen..................................................................... 48
Tabelle 22 Mittelwerte der Längsschnittbetrachtung ................................................ 54
Tabelle 23 Items von Skala 6 ................................................................................... 55
Tabelle 24 Items von Skala 5 ................................................................................... 56
Tabelle 25 Items von Skala 7 ................................................................................... 56
Tabelle 26 Mittelwerte und bereinigte Mittelwerte nach Ort...................................... 59

9. Literatur
Baptist, Peter (Hrsg.) (2004): Lernen und Lehren mit dynamischen Arbeitsblättern. Mathematik Klasse
7/8. Seelze
Bocka, Doris (2003): „...guter Unterricht ist schwer zu halten.“ – Eine explorative Studie über Unterrichtsqualität
unter besonderer Berücksichtigung der Schülersicht in der Sekundarstufe I. Hamburg
Bocka, Doris & Olbricht, Walter (2007): Evaluierung von GEONExT – Teil II: Qualitative Diskussion
und Datendokumentation. mαth-kit Heft 19. Bayreuth
Breiman, Leo (1985): Nail Finders, Edifices, and Oz. In: Proceedings of the Berkeley Conference in
Honor of Jerzy Neyman and Jack Kiefer. Volume I. Belmont (Ca.)
Breiman, Leo & Friedman, Jerome H. & Olshen, Richard A. & Stone, Charles J. (1984): Classification
and Regression Trees. Belmont (Ca.)
Czerwenka, Kurt & Nölle, Karin & Pause, Gerhard & Schlotthaus, Werner & Schmidt, Hans Jochim &
Tessloff, Janina (1990): Schülerurteile über die Schule. Bericht über eine internationale Untersuchung.
Frankfurt am Main
Ehmann, Matthias (2004): GEONExT: Integration algebraischer Objekte und Internationalisierung.
München
Hartung, Joachim & Elpelt, Bärbel & Klösener, Karl-Heinz (2005): Statistik. Lehr- und Handbuch der
angewandternStatistik. 14. Auflage. München/Wien
Helmke, Andreas (2002). Das Projekt MARKUS. Mathematik-Gesamterhebung Rheinland-Pfalz:
Kompetenzen, Unterrichtsmerkmale, Schulkontext. Landau
Helmke, Andreas (2003): Unterrichtsqualität erfassen, bewerten, verbessern. Seelze
Helmke, Andreas & Weinert, Franz E. (1997): Bedingungsfaktoren Schulischer Leistungen. In: Weinert,
Franz E.: Psychologie des Unterrichts und der Schule. Göttingen/Bern/Toronto
Miller, Carsten (2004): Entwicklung dynamischer Arbeitsblätter und ihre Realisierung für den Mathematikunterricht.
München
Miller, Carsten & Ulm, Volker (2006): Experimentieren und Entdecken mit dynamischen Arbeitsblättern.
Mathematik in der Sekundarstufe I. Seelze
PISA-Konsortium Deutschland (Hrsg.) (2004): PISA 2003. Der Bildungsstand der Jugendlichen in
Deutschland - Ergebnisse des zweiten internationalen Vergleichs. Münster/München/u. a.
Ruf, Urs & Gallin, Peter (1998): Dialogisches Lernen in Sprache und Mathematik. Seelze
Ruf, Urs & Gallin, Peter (1998): Sprache und Mathematik in der Schule. Seelze
Tukey, John W. (1977): Exploratory Data Analysis. Reading (Mass.)
Ulm Volker (2004): Mathematikunterricht für individuelle Lernwege öffnen. Sekundarstufe. Seelze
Weinert, Franz E. (1997): Psychologie des Unterrichts und der Schule. Göttingen/Bern/Toronto
Weinert, Franz E. (2001): Disparate Unterrichtsziele: Empirische Befunde und theoretische Probleme
multikriterialer Zielerreichung. In: Bayerische Schule Heft 2 2001
67

68
Zulassungsarbeiten
Meixner, Elke (2006): Überprüfung der Items der GEONExT-Erhebung. Bayreuth
Reisnecker, Sarah (2006): Evaluierung von GEONExT – Untersuchung der Schülerantworten. Bayreuth
Reuschlein, Nina (2006): Untersuchung der Datenbasis innerhalb des Projekts zur Evaluierung von
GEONExT. Bayreuth

Den Themenschwerpunkt der Bayreuther Schriftenreihe mαth-kit bildet Multimedia im
Prozess des Lernens und Lehrens – in Schule und Hochschule, in Präsenzlehre,
Selbststudium und Fernlehre. Die Beiträge sind sowohl wissenschaftlicher Natur wie
auch Berichte aus der Praxis. Besondere Berücksichtigung findet der Aspekt dynamische
Mathematik.
Der besseren Orientierung halber wird jedes Heft einer der folgenden Sektionen zugeordnet:
• Konzepte (und Theorie)
• Technik (Theorie und Praxis)
• Evaluation (Praxis)
Weitere Informationen sind im Internet erhältlich unter:
http://did.mat.uni-bayreuth.de/math-kit
The focus of the Bayreuther Schriftenreihe mαth-kit lies on multimedia in the process
of learning and teaching – at school and university, in face-to-face teaching, self
study and distance education. Contributions comprise of scientific articles as well as
reports from practise. Particular attention is paid to the aspect of dynamic mathematics.
For better orientation, each issue belongs to one of the sections
• Concepts (and Theory)
• Technology (Theory and Practise)
• Evaluation (Practise)
For further information, please visit the World Wide Web:
http://did.mat.uni-bayreuth.de/math-kit
69