Die fünf Ws der Evaluation von E-Learning

Heike Schaumburg
Die fünf Ws der Evaluation von E-Learning
Qualitätskontrolle und Qualitätssicherung sollten zu festen Bestandteilen der
Entwicklung und Durchführung internetbasierter Lernmaßnahmen zählen – gilt
doch die Qualität einer solchen Maßnahme als wesentliche Voraussetzung für
ihre erfolgreiche Implementierung. Tatsächlich ist in den vergangenen Jahren ein
großer Teil der Pilotprojekte und Modellversuche zum E-Learning von Evaluationsmaßnahmen
begleitet worden. 1
Diese reichen von hoch kontrollierten experimentellen
Laborstudien bis zu wenig strukturierten Aufzeichnungen von Erfahrungen
und Feldbeobachtungen. Nicht immer jedoch hat man den Eindruck,
dass Evaluationen tatsächlich zielführend im Sinne einer Qualitätskontrolle oder
-verbesserung des Lernangebots sind. Das Anliegen des vorliegenden Artikels ist
es, dem Leser einen Überblick über verschiedene Ansätze und Methoden der
Evaluation internetgestützter Bildungsmaßnahmen zu geben und deren spezifische
Vor- und Nachteile herauszuarbeiten. Anhand von fünf Leitfragen wird
dargestellt, welche Überlegungen bei der Evaluation internetbasierter Lernmaßnahmen
anzustellen sind, um diejenige Vorgehensweise zu ermitteln, die im
Kontext der zu bewertenden Maßnahme aussagekräftige Ergebnisse verspricht.
1 Erste Frage: Warum soll das Bildungsangebot überhaupt evaluiert
werden?
Evaluation fängt mit einer Zielsetzung an. Dabei lassen sich zwei grundsätzliche
Anliegen von Evaluation unterscheiden, nämlich die entwicklungsbegleitende
Optimierung eines Lernangebots (formative Evaluation) und seine im Anschluss
an die Implementierung durchgeführte abschließende Bewertung (summative
Evaluation). Die Festlegung auf ein formatives oder summatives Vorgehen ist
z. B. wesentlich für die Auswahl der zu untersuchenden Aspekte und deren
Granularität. So bietet es sich an, Einzelheiten zu Schwierigkeiten beim technischen
Umgang mit einer Lernplattform zu ermitteln, solange noch technische
Verbesserungen hieran vorgenommen werden können, während z. B. die Lerneffektivität
und insbesondere der Lerntransfer einer Maßnahme sinnvoll erst
nach Abschluss derselben beurteilt werden können.
1
Z. B. Daun & Hauske 2003; Glowalla, Glowalla & Kohnert 2000; Kopp, Balk & Mandl 2002; Reinmann-Rothmeier
et al. 2001; Stark & Mandl 2003; Unger 2003.

Heike Schaumburg
In der Diskussion um die Evaluation von Bildungsmaßnahmen hat die entwicklungsbegleitende
Evaluation zunehmend an Stellenwert gewonnen. 2
Grund
dafür ist, dass Erkenntnisse einer Evaluation nach Abschluss einer Bildungsmaßnahme
häufig geringen praktischen Nutzen haben. Aufgedeckte Mängel und
Probleme können zu diesem Zeitpunkt nur noch konstatiert, nicht jedoch beseitigt
werden. Vor diesem Hintergrund erscheint es sinnvoll, bereits in der Entwicklungsphase
evaluative Maßnahmen durchzuführen. Für internetbasierte Lernmaßnahmen
gilt dies in besonderem Maße, denn häufig handelt es sich um
Pilotprojekte. Bei Entwicklern/innen, Lehrenden und Lernenden liegen also noch
wenige oder keine Erfahrungen zu diesem Format vor. Fehlentwicklungen können
deshalb nur durch frühzeitige Erprobung entdeckt werden.
2 Zweite Frage: Was soll evaluiert werden?
So trivial dies klingt, scheint es doch keine Selbstverständlichkeit zu sein, dass
auf die Festlegung des Evaluationsgegenstands besondere Sorgfalt zu verwenden
ist. Mangelt es einer Evaluationsstudie an präzisen Formulierungen ihres
Gegenstands, sind entsprechend schwammige und letztlich unbrauchbare Ergebnisse
zu erwarten.
Die Festlegung des Evaluationsgegenstands sollte zunächst an den Zielen der
Maßnahme orientiert werden. Besteht das Ziel eines E-Learning-Angebots in
einer Veränderung von Lernstrategien und der Förderung der Selbstständigkeit
der Lernenden, reicht es nicht aus, die Akzeptanz der Lernenden abzufragen. Ist
das Ziel eine Steigerung der Lerneffektivität im Vergleich zu klassischen Unterrichtsformaten,
sollte die Maßnahme auch im Hinblick auf ihren Lernerfolg mit
diesen verglichen werden.
Nun ist es in vielen Projekten leider so, dass die Entwicklungsziele selbst unpräzise
oder überhaupt nicht expliziert werden. Den Evaluatoren obliegt es in diesem
Fall, Evaluationsgegenstände festzulegen. Dabei kann die Akzeptanz für die
Ergebnisse der Evaluation erheblich gesteigert werden, wenn in diesen Prozess
die an der Entwicklung und Durchführung beteiligten Gruppen (z. B. Entscheider/innen,
Entwickler/innen, Lehrende, Lernende) einbezogen werden und
gemeinsam vereinbart wird, worauf sich der Blick der Evaluation richten sollte.
Ein zentraler Evaluationsgegenstand bei der Evaluation von Bildungsmaßnahmen
ist traditionell ihre Lerneffektivität. Dies gilt auch für internetbasierte Lernangebote,
da hier häufig der Nachweis zu führen ist, dass Lernende in diesem For-
2
Molenda, Pershing & Reigeluth 1996.
76

Die fünf Ws der Evaluation von E-Learning
mat, wenn nicht bessere, so doch zumindest die gleichen Lernerfolge erzielen
wie in herkömmlichen Unterrichtsformaten. In der Evaluationsforschung ist
schon früh darauf hingewiesen worden, dass die Betrachtung des Lernerfolgs
ganzheitlich erfolgen sollte, um informative Ergebnisse zu liefern. So formuliert
Stufflebeam 3
in seinem CIPP-Modell (Context, Input, Process, Product), dass
neben dem eigentlichen Lernergebnis („Product“) drei weitere Felder zu betrachten
sind:
• Der Kontext des Lernangebots, d. h. Rahmenbedingungen der Integration
des Angebots in bestehende Bildungsstrukturen, die Abstimmung
der Inhalte auf Wünsche und Bedürfnisse der Teilnehmer
usw. Bei internetbasierten Lernangeboten interessiert in diesem Bereich
u. a., welchen Stellenwert internetbasierte Angebote im Studium
haben oder ob Studienleistungen, die in einem Online-Seminar
erbracht werden, in gleicher Weise anerkannt werden wie die aus
herkömmlichen Seminaren. Eine weitere wichtige Frage im Kontext
des Lernangebots ist, ob das Angebot allein über das Internet vermittelt
wird oder E-Learning in Kombination mit Präsenzphasen eingesetzt
wird. Bezogen auf die Teilnehmer/innen sind bei der Evaluation
von internetbasierten Lernangeboten besonders deren
computer-technische Vorkenntnisse und Bedürfnisse zu berücksichtigen,
da sich immer wieder zeigt, dass technische Probleme eine der
größten Hürden für das erfolgreiche Lernen in einem Online-Seminar
darstellen. 4
• Der Input, d. h. die Ressourcen, die für die Entwicklung und Implementierung
zur Verfügung stehen. Internetbasierte Lernangebote
stellen hier besondere Anforderung an die technischen Ressourcen,
da ein ausreichender Zugang zu den internetbasierten Lernmaterialien
die unabdingbare Voraussetzung für das erfolgreiche Lernen in
einem Online-Seminar ist. Die technische Ausstattung der Teilnehmer/innen,
bzw. die Zugangsmöglichkeiten, die ihnen durch die Universität
(bzw. Bildungsinstitution) gegeben werden, ist also eine
wichtige Input-Variable, die bei der Evaluation von internetbasierten
Lernangeboten erhoben werden sollte. Auch die personellen Ressourcen
sind bei der Evaluation von Online-Seminaren von großer
Bedeutung, da der Lernerfolg entscheidend von der Unterstützung
durch entsprechend geschulte Tutoren/innen abhängt.
3
Stufflebeam 1972, 2003.
4
Jonas, Boos & Walther 1999.
77

Heike Schaumburg
• Der Prozess der Entwicklung und Implementierung. Die Prozessevaluation
ist bei internetbasierten Lernmaßnahmen von besonderer
Bedeutung, weil bisher noch wenig darüber bekannt ist, wie Lernende
und Lehrende sich in einer virtuellen Lernumgebung verhalten.
Umfangreiche Analysen der Interaktions- und Lernprozesse in
einem Online-Seminar können deshalb wichtige Informationen darüber
liefern, warum die Lernergebnisse so ausfallen wie sie ausfallen.
Im Rahmen der Prozessevaluation kann z. B. betrachtet werden,
welche technischen Funktionen der virtuellen Lernumgebung und
welche der angebotenen Lernmaterialien und -werkzeuge die Lernenden
nutzen und ob es dabei Probleme gibt; wie die Lernenden
miteinander und mit den Tutoren/innen interagieren, wie sie das
Angebot beurteilen, usw.
Für die Evaluation gilt also, dass die Untersuchung dieser unterschiedlichen Evaluationsfelder
sowohl für die entwicklungsbegleitende Verbesserung wie auch
für die abschließende Bewertung wesentlich aussagekräftigere Ergebnisse erwarten
lässt als die einseitige Betrachtung des Lernerfolgs.
Die Analyse des Lernerfolgs, bzw. des Produkts der Maßnahme kann darüber
hinaus unterschiedlich weit gefasst sein. Kirkpatrick 5
unterscheidet diesbezüglich
vier Ebenen der Evaluation, die in der Form einer Pyramide angeordnet sind
(Abb. 1).
Abb. 1: Evaluationsmodell von Kirkpatrick (1975, 1994).
5
Kirkpatrick 1975, 1994.
78

Die fünf Ws der Evaluation von E-Learning
Besonders gern und häufig werden Evaluationen von internetbasierten Lernangeboten
auf der Reaktionsebene durchgeführt. Diese Ebene erfasst, wie die
Lernenden die Maßnahme, bzw. die Materialien beurteilen. So werden beispielsweise
subjektive Einschätzungen zur Akzeptanz, Lernwirksamkeit, Problemen
usw. erhoben. Zwar haben Evaluationen auf dieser Ebene einen gewissen
Informationswert, da die Akzeptanz der Lernenden ausschlaggebend dafür ist,
dass sich diese überhaupt mit dem Lernmaterial auseinandersetzen und damit
eine Grundlage für erfolgreiches Lernen darstellt. Auch sind subjektive Aussagen
zu Problemen und Schwierigkeiten sicherlich dienlich, um Hinweise für die Optimierung
des Lernangebots zu erhalten. Kirkpatrick weist jedoch darauf hin, dass
der Wert von Evaluationen der Lernerreaktion als alleiniger Analyseebene begrenzt
ist, da sie z. B. keine Informationen darüber liefern, was tatsächlich gelernt
wurde oder ob es einen Lerntransfer in den Alltagskontext der Lernenden
gibt.
Evaluationen auf der Reaktionsebene sollten deshalb zumindest um Tests ergänzt
werden, mit denen der tatsächliche Lernerfolg gemessen wird (Ebene 2).
Auch dies gehört, wenn auch seltener als die Evaluation auf der Reaktionsebene,
noch zur gängigen Praxis bei der Evaluation internetbasierter Lernmaßnahmen.
Kirkpatrick zeigt auf, dass über der Ebene der Lernerfolgsmessung noch zwei
weitere Ebenen liegen, die für die Beurteilung des Erfolgs einer Bildungsmaßnahme
eigentlich noch bedeutsamer sind, nämlich zum einen die Frage, ob es zu
einem Transfer des gelernten Wissens in die Anwendungspraxis der Lernenden
kommt (Verhaltensebene) und ob sich durch eine veränderte Anwendungspraxis
gar die Organisationen und Systeme, in denen die Lernenden ihr neues Wissen
anwenden, insgesamt verändern (Ergebnisebene). Evaluationen auf den Ebenen
3 und 4 sind meist nur im Zusammenhang einer summativen Evaluation sinnvoll,
da Informationen über Lerntransfer und Ergebnisse auf organisationaler Ebene
erst gewonnen werden können, nachdem die Maßnahme im Feld implementiert
wurde. Der Evaluationsprozess wird von Ebene 1 bis 4 zunehmend schwieriger
und zeitaufwändiger. Gleichzeitig liefert die Evaluation jedoch auf den höheren
Ebenen häufig bedeutsamere Information, um den Erfolg einer Bildungsmaßnahme
zu beurteilen. Kirkpatrick empfiehlt, alle Ebenen in die Evaluation einzubeziehen,
um ein vollständiges Bild des Erfolgs einer Bildungsmaßnahme zu
erhalten.
3 Dritte Frage: Wann soll evaluiert werden?
Schon bei der Frage nach dem Warum der Evaluation wurde darauf hingewiesen,
dass zunächst die Entscheidung zu treffen ist, ob formativ oder summativ
zu evaluieren ist und dass bei der Evaluation internetbasierter Lernangebote die
79

Heike Schaumburg
noch sehr lückenhaften Erfahrungen mit diesem Format für ein formatives Vorgehen
sprechen. Innerhalb eines formativen Ansatzes muss nun noch entschieden
werden, zu welchen Zeitpunkten Evaluationsdurchgänge durchgeführt
werden. Von Vertretern des Instruktionsdesigns wird dabei zunehmend die
Auffassung vertreten, mit der Evaluation eines Lernangebots möglichst frühzeitig
im Entwicklungsprozess zu beginnen. 6
Aus der Software-Entwicklung wurde
der Ansatz des „Rapid Prototyping“ übernommen, bei dem zunächst mit möglichst
geringem Aufwand ein erster Entwurf des Lernmaterials gestaltet wird,
der dann einigen Testlernern oder Evaluatoren vorgelegt und auf der Grundlage
von deren Feedback weiterentwickelt wird. Die Lernmaßnahme durchläuft zahlreiche
Feedbackschleifen, von denen man sich verspricht, eine optimale Passung
der Bildungsmaßnahme mit den Bedürfnissen der Zielgruppe zu erreichen. 7
Auch während der Implementierungsphase sind Evaluationen sinnvoll, um
Rückmeldungen über aktuelle Probleme und Bedürfnisse der Lernenden zu erhalten.
Durch entsprechende Anpassungen und Veränderungen kann mitunter
verhindert werden, dass Teilnehmer/innen den Kurs abbrechen. 8
Auch hinsichtlich
der Validität der Ergebnisse sind Evaluationen in der Durchführungsphase
sinnvoll, denn wartet man damit bis zum Abschluss eines Kurses, können häufig
nur noch die Teilnehmer befragt werden, die den Kurs erfolgreich zu Ende geführt
haben. Den Evaluatoren entgeht damit die Perspektive der Abbrecher, die
in Hinblick auf Probleme und Optimierungspotenzial besonders wertvoll ist.
4 Vierte Frage: Wer soll evaluieren?
Schließlich stellt sich die Frage nach den Protagonisten der Evaluation. Zu unterscheiden
ist hier die externe Evaluation von der internen Evaluation. Bei der
externen Vorgehensweise führen Personen die Evaluation durch, die weder an
der Entwicklung noch an der Implementierung der Maßnahme beteiligt sind.
Externen Evaluatoren wird eine größere Neutralität bei der Bewertung der Maßnahme
zugesprochen. Bei der Befragung der Beteiligten erhalten sie mitunter
offenere Antworten insbesondere, wenn es um kritische Aspekte der Maßnahme
geht. Die interne Evaluation wird dagegen von den Beteiligten selbst durchgeführt.
Sie hat den Vorteil, dass die Beteiligten häufig ein besseres Verständnis
des gesamten Entwicklungs- und Implementierungsprozesses haben, so dass sie
Ergebnisse, Potenziale und Probleme der Maßnahme besser bewerten können.
6
Molenda, Pershing & Reigeluth 1996; Tripp & Bichelmeyer 1990.
7
Tripp & Bichelmeyer 1990.
8
Jonas, Boos & Walther 1999.
80

Die fünf Ws der Evaluation von E-Learning
Weiterhin wird zwischen experten- und nutzerbasierten Evaluationsansätzen
unterschieden. Experten beurteilen die Maßnahme auf der Basis ihres Fachwissens
im Bereich des dargebotenen Lerninhalts, bzw. auf der Grundlage medienoder
fachdidaktischer Expertisen. Sie versetzen sich in die Situation der Lernenden
und prüfen die Qualität des Lernangebots auf unterschiedlichen Ebenen
(inhaltliche, technische, didaktische Aspekte). Dabei fallen die Ergebnisse genauer
aus, wenn die Experten/innen gleichzeitig auf verschiedenen Ebenen über
Erfahrung und Wissen verfügen (sowohl auf inhaltlicher als auch auf fach- und
mediendidaktischer Ebene). 9
Die Bewertung ist dabei in der Regel durch Heuristiken,
Checklisten, Bewertungsleitfäden oder Kriterienkataloge strukturiert.
Nielsen nennt im Kontext der von ihm entwickelten heuristischen Evaluationsmethode
eine Zahl von drei bis fünf Experten als ausreichend, um zu aussagekräftigen
Evaluationsergebnissen zu gelangen. Expertenevaluationen gelten als
vergleichsweise wenig aufwändig und damit als eine kostengünstige Form der
Evaluation. Sie werden in frühen Phasen des Entwicklungsprozesses besonders
empfohlen, da sie auch an sehr einfachen Prototypen durchgeführt werden
können und schnell Ergebnisse liefern. 10
Grundsätzlich können sie jedoch in allen
Phasen des Entwicklungsprozesses und auch summativ eingesetzt werden.
Unter nutzerbasierten Evaluationsansätzen werden dagegen Verfahren zusammengefasst,
bei denen die Ergebnisse in irgendeiner Form durch die Befragung
bzw. Beobachtung der Lernenden gewonnen werden (z. B. Nutzertest, Nutzerbefragung,
Logfile-Analyse). Sie haben den Vorteil, dass sie auf der tatsächlichen
Interaktion der Lernenden mit dem Material beruhen. Deshalb wird ihren Ergebnissen
eine größere Validität zugeschrieben als denen expertenbasierter Verfahren,
wo sich die Evaluatoren lediglich vorstellen, wie sich die Lernenden vermutlich
verhalten werden. 11
Die meisten nutzerbasierten Verfahren sind jedoch aufwändiger
in der Durchführung als Expertenbeurteilungen, besonders, wenn
Lernende bei der Interaktion mit dem Lernmaterial beobachtet werden sollen.
Auch erfordern nutzerbasierte Verfahren das Vorliegen eines zumindest in Teilen
funktionsfähigen Prototypen, so dass sie im Entwicklungsprozess weniger gut
unmittelbar zu Beginn eingesetzt werden können als expertenbasierte Verfahren.
9
Nielsen 1993.
10
Sweeney, Maguire & Shackel 1993.
11
Tergan 2001.
81

Heike Schaumburg
5 Fünfte Frage: Wie soll evaluiert werden?
Kommen wir zur letzten Frage nach der Methode der Evaluation. Hier steht ein
breites Repertoire von Untersuchungsmethoden der empirischen Sozialwissenschaften
zur Verfügung. Am häufigsten angewandt wird sicherlich die Befragung
von Lernenden und Lehrenden. Bei Online-Lernangeboten wird diese häufig
internetgestützt mithilfe von HTML-Formularen durchgeführt, wodurch der
Auswertungsaufwand reduziert werden kann. Befragungen sind geeignet, um
die subjektiven Eindrücke der Teilnehmer/innen einer internetbasierten Bildungsmaßnahme
zu erheben. Für die Erfassung objektiver Daten, z. B. des Lernerfolgs
oder der Nutzungshäufigkeit bestimmter Systemfunktionen empfiehlt
sich jedoch die Kombination mit objektiveren Verfahren, z. B. Tests oder Logfile-
Analysen. Auch sollte man sich darüber im Klaren sein, dass Befragungen durch
Antworttendenzen verzerrt sein können, so z. B. durch sozial erwünschtes Antwortverhalten.
Aus der Software-Evaluation übernommen werden kann das Verfahren des
Nutzertests, bei dem vorab einige typische Aufgaben und Interaktionen mit dem
System festgelegt werden und einige Testnutzer oder Testlerner bei deren Ausführung
beobachtet werden. In einem Beobachtungslabor kann die Interaktion
zusätzlich auf Video für die Analyse aufgezeichnet werden. Solche Nutzertests
können interessante Einsichten in die Bedienungsfreundlichkeit des Systems
geben und sind deshalb besonders in der Entwicklungsphase sinnvoll. 12
Ein weiteres Verfahren, das sich speziell für die Evaluation von E-Learning-
Angeboten eignet, ist die Analyse von System-Logfiles. 13
Damit können echte
Verhaltensdaten der Nutzer von diesen unbemerkt erhoben werden. Der Vorteil
von Logfile-Analysen ist, dass die Interaktion der Nutzer mit dem System nicht
durch eine künstliche Beobachtungssituation verzerrt wird. Allerdings ist es zur
angemessenen Interpretation von System-Logfiles hilfreich, zusätzlich qualitative
Daten zu erheben, indem die Nutzer z. B. in einem Interview oder Fragebogen
gebeten werden, zu erläutern, warum und wann sie welche Systemfunktionen
genutzt, bzw. nicht genutzt haben. Außerdem ist es unter versuchsethischen
Gesichtspunkten erforderlich, die Lernenden, bevor sie an einer E-Learning-
Maßnahme teilnehmen, darüber aufzuklären, dass die Logfiles zu Forschungszwecken
analysiert werden sollen.
12
Reeves & Hedberg 2003.
13
Z. B. Shuyler & Maddox 2002.
82

Die fünf Ws der Evaluation von E-Learning
Speziell auf die Evaluation von E-Learning-Angeboten zugeschnitten sind schließlich
Kriterienkataloge, mit denen die Bildungsmaßnahme anhand allgemein gültiger
Gütekriterien für gutes Instruktionsdesign bewertet wird. Solche Kataloge
umfassen zumeist Dimensionen wie technische, fachliche und mediendidaktische
Aspekte. Kriterienkataloge sind beliebt, weil sie als Evaluationswerkzeuge „von der
Stange“ kaum Entwicklungsaufwand bedeuten. Genau darin liegt jedoch auch ein
entscheidender Mangel: Sie lassen sich nur unzureichend auf die Besonderheiten
der jeweils evaluierten Maßnahme anpassen. Oft treffen ganze Teile des Katalogs
auf die vorliegende Maßnahme nicht zu, dafür werden andere, eventuell entscheidende
Gestaltungs- oder Durchführungsaspekte nicht durch den Kriterienkatalog
abgefragt. Ein weiterer Kritikpunkt an Kriterienkatalogen ist ihre Unhandlichkeit,
da im Bestreben, eine möglichst umfassende Beurteilung des Angebots zu
ermöglichen, in einigen Katalogen Hunderte von Bewertungsaspekten zu beurteilen
sind. Auch wird Kriterienkatalogen zum Teil Techniklastigkeit vorgeworfen. Es
wird deshalb empfohlen, Kriterienkataloge ebenfalls nur in Verbindung mit anderen,
nutzerorientierten Verfahren einzusetzen. 14
6 Resümee
Fassen wir zusammen: Der Gehalt einer Evaluation kann erheblich gesteigert
werden, wenn sie
• bereits früh im Entwicklungsprozess einsetzt, um Fehlentwicklungen
vorzubeugen,
• klare, an den Entwicklungszielen der Maßnahme orientierte Fragen
stellt,
• den Erfolg der betrachteten Maßnahme ganzheitlich auf verschiedenen
Ebenen und in ihrem Kontext beurteilt,
• verschiedene Perspektiven berücksichtigt: die von Entscheidern und
Entwicklern, von Lehrenden und Lernenden, von direkt Beteiligten
und externen Experten,
• verschiedene Methoden miteinander trianguliert.
Evaluationen können so entscheidend zur Qualität von E-Learning-Maßnahmen
beitragen. Doch müssen sich die Evaluatoren darüber im Klaren sind, dass ihr
Erfolg von einem komplexen Bedingungsgefüge von Faktoren abhängt, die in
einer gelungenen Evaluation angemessene Berücksichtigung finden müssen.
14
Vgl. zusammenfassende Diskussionen bei Fricke 2000 oder Tergan 2001.
83