Heft 2 + 3 / 2011 - UniversitätsVerlagWebler

P-OE
R. Kordts-Freudinger & E. Geithner • Online- versus Papier-Evaluation
Robert Kordts-Freudinger, Eva Geithner
Online- versus Papier-Evaluation in der
Hochschuldidaktik. Ein Erfahrungsbericht.
Robert
Kordts-Freudinger
Eva Geithner
Viele hochschuldidaktische Einrichtungen evaluieren ihre
Weiterbildungen, indem sie die Teilnehmer an ihren Veranstaltungen
befragen. Diese Art der summativen (Abschluss-)
Evaluation kann sehr sinnvoll sein: Sie gibt Auskunft über
den Blickwinkel der Teilnehmer, den wir als hochschuldidaktische
Koordinatoren üblicherweise nicht einnehmen.
Der Artikel befasst sich schwerpunktmäßig mit den Methoden
der Evaluation und soll Orientierung geben bei der
Methodenwahl. Es stellt sich nämlich spätestens bei der
Planung einer Evaluation die Frage: Wie evaluiert man gut?
Das heißt, wie evaluiert man so, dass die Qualitätskriterien
von Befragungen eingehalten werden (Objektivität, Reliabilität,
Validität, Normierung, Ökonomie und Nützlichkeit,
z.B. Lienert und Raatz 1994, Reischmann 2006) und dass
man bei der Evaluation sinnvolle Ergebnisse erhält?
Zu einem guten Teil hängt die Gestaltung der Evaluation
von den mit ihr verfolgten Zwecken ab. Grundsätzlich kann
Evaluation primär der Legitimation bzw. Vergewisserung
über einen bestimmten Gegenstand dienen (wenn Sie z.B.
nach außen zeigen wollen, dass Ihre Seminare gut angenommen
werden). Diese Prozessoptimierungs-Zwecke
werden in der Regel über formative, lehrveranstaltungsbegleitende,
Evaluationen realisiert. Besondere neuere Formen
dieses Evaluationszweckes sind die Evaluation des Lernens
Studierender (z.B. Webler 2005) oder der Kompetenzen
der Studierenden (Braun 2007).
Evaluation kann aber auch primär der Verbesserung bzw.
Innovation dienen (wenn Sie als Trainer oder Koordinator
z.B. kritisches Feedback über Ihre Seminare erhalten möchten;
zur Unterscheidung der verschiedenen Funktionen
siehe z.B. Gutknecht-Gmeiner 2009). Diese Zwecke werden
in der Regel über summative Evaluationen realisiert,
die auf ein abschließendes Urteil abzielen.
Bei der Erstellung, Durchführung und Auswertung von Fragebögen
hilft eine Reihe neuerer theoretisch fundierter
Praxisratgeber. Exemplarisch hierfür sei Reischmann (2006)
erwähnt.
Online- oder Papier-Evaluation?
Neben der Entscheidung für eine summative oder formative
Evaluation bleibt eine weitere Grundsatzfrage: Über welches
Medium sollen die Teilnehmer befragt werden? Da die
mündliche Befragung oft zu aufwändig erscheint, wird in
der Regel die Evaluation mit Papierfragebögen gewählt. Die
Entwicklung des Internets bietet uns aber eine Alternative:
Online-Befragungen (siehe Kuckartz und Kollegen 2009).
Die Entscheidung zwischen traditioneller Papier- und
neuartiger Online-Befragung wird jedoch oft intuitiv, „aus
dem Bauch heraus“ gefällt.
Doch gibt es eigentlich gute, wissenschaftlich fundierte,
Gründe für die Wahl zwischen Papier- und Online-Befragung?
Fischer (2005) nennt in ihrer Untersuchung der Online-Befragung
Zeitvorteile (die Befragung kann schneller
durchgeführt werden), die höhere Ökonomie (weniger Unterstützung
bei der Durchführung und Auswertung ist
nötig), eine höhere Reichweite, technische Vorteile und die
Möglichkeit zur kontinuierlichen Feldstatistik (man erhält
vorläufige Auswertungen schon während der Datenerhebung;
für ein Beispiel des E-Mail-unterstützten Lerntransfers
siehe Flender 2003).
Vergleichbarkeit Online-Papier
Trotz der Argumente, die für die Online-Methode sprechen,
können Fragen und Probleme auftauchen, die gegen
diese Methode sprechen: Mit welchen Unterschieden ist
bei der Online-Methode zu rechnen? Ist es so, dass die die
Online-Methode zu anderen Ergebnissen führt als die traditionelle
Papier-Methode?
Naheliegend wäre zum Beispiel, dass sich an Online-Evaluationen
weniger Seminarteilnehmer beteiligen, das heißt,
dass der Rücklauf niedriger ist als bei der Papier-Evaluation
im Seminar. Dies wurde für studentische Lehrveranstaltungsevaluationen
bereits mehrfach gezeigt (z.B. Fuchs und
Brunner, 2005, Meinefeld 2010, Soucek und Göritz 2006).
Ferner könnte es sein, dass dieser geringere Rücklauf zu anderen
Ergebnissen führt. Speziell für geschlossene Fragen,
Ratingfragen mit vorgegebenen Antwortoptionen, könnten
Online-Evaluationen zu negativeren Beurteilungen führen,
wenn sich gerade die „kritischen Teilnehmer“ an der Evaluation
beteiligen (Belege für die studentische Lehrveranstaltungsevaluation
z.B. bei Dresel und Tinsner 2008).
Damit hängt die Frage der Selbstselektion der Befragten zusammen.
Evtl. könnte es sein, dass sich gerade die Studierenden
an der Befragung beteiligen, die eine kritische Einstellung
haben und Studierende, die eher eine neutrale Einstellung
haben, nicht teilnehmen. Damit würde das Ergebnis
insgesamt natürlich negativer ausfallen.
Ferner könnte es sein, dass Online-Evaluationen bei offenen
Fragen (bei denen keine Antwortoptionen vorgegeben
sind) zu längeren Antworten führen (z.B. Soucek und Göritz
2006): Auch Hochschuldozenten sind es heutzutage viel
eher gewohnt, am PC zu schreiben als auf Papier. Ein eher
statistisches Thema betrifft die Frage, ob die Zuverlässigkeit
der Daten (sog. Reliabilität) bei Online-Evaluationen ge-
P-OE 2+3/2011
73