Die 5. e-Learning Fachtagung Informatik - Universität Siegen

Messgrößen: Für jede Gruppe betrachteten wir die Qualität der Brainstorming-
Ergebnisse definiert als Anzahl gefundener sinnvoller Konzepte, die Qualität der Clustering-Ergebnisse
definiert als Anzahl sinnvoller Konzepte in richtigen Clustern, die Korrektheit
des Essay definiert als Anzahl korrekter Aussagen über Konzepte und deren
Relationen sowie die Verständlichkeit des Essays und die Nachvollziehbarkeit des Essays
auf einer Nominalskala von 1..5 (sehr gut bis mangelhaft). Für Individuen betrachteten
wir die Anzahl richtiger Aussagen im MC Post-Wissenstest.
Coding: Die Bewertung jeder Übung wurde durch zwei unabhängige wissenschaftliche
Betreuer des Kurses (Hochschullehrer, wissenschaftliche Mitarbeiter) durchgeführt.
Referenzrahmen für die Bewertung aller Messgrößen außer Verständlichkeit und
Nachvollziehbarkeit war eine Musterlösung. Unterschiede in der Bewertung wurden
diskutiert und eine einheitliche Bewertung herbeigeführt.
4.3 Ergebnisse
Qualität der Brainstorming-Ergebnisse: Die Bedingungen (IS, FS) unterscheiden
sich nicht. Die Gruppen nannten im Mittel 40% der möglichen relevanten Konzepte.
Qualität der Clustering-Ergebnisse: Die Bedingungen (IS, FS) unterscheiden sich
nicht. Die von den Gruppen konstruierten Cluster wiesen im Mittel 32% der möglichen
korrekten Zuordnungen von korrekten Konzepten zu den vorgegebenen Clustertiteln auf.
Allerdings basiert dieses Ergebnis auch auf den unvollständigen Konzeptsammlungen
aus der Brainstormingphase. Die Gruppen mit dem informalen Skript schneiden von der
Richtung her mit M=0.336 eher etwas besser ab als die Gruppen mit formalem Skript
mit M=0.309.
Korrektheit des Essays: Die Bedingungen (IS, FS) unterscheiden sich nicht. Im
Durchschnitt werden ca. 60% der für die Lösung der Querschnittsaufgaben wichtigen
Konzepte und Beziehungen korrekt dargestellt. Auch muss berücksichtigt werden, dass
die Ergebnisse der vorherigen Phasen die Anzahl der von der jeweiligen Gruppe berücksichtigten
Konzepte beeinflusst haben kann.
Verständlichkeit des Essays: Die Verständlichkeitswerte müssen mit Vorbehalt
interpretiert werden: Die allermeisten Essays wurden mit „sehr gut“ (61 %) oder mit
„gut“ (24 %) bewertet, d.h. dass es kaum Varianz gibt und natürlich auch keine annähernde
Normalverteilung. Die Bedingungen (IS, FS) unterscheiden sich nicht.
Nachvollziehbarkeit des Essays: Die Interpretation ist auch hier nur unter Vorbehalt
möglich, da die meisten Nachvollziehbarkeitsratings bei „gut“ (37%) oder bei „sehr gut“
(42%) liegen. Es zeigt sich, dass hier die Gruppen mit formalem Skript (FS) eine bessere
Bewertung erhalten als die Gruppen mit informalem Skript.
Anzahl richtiger Aussagen im MC-Postwissenstest: Die Bedingungen (IS, FS) unterscheiden
sich nicht. Die Teilnehmer erreichen im Durchschnitt etwa 70-75% der möglichen
Punkte.
17