Evaluationsmethoden im E-Government - ifib

Evaluationsmethoden im E-Government
Ralf Cimander, Viktoria Taimanova
Institut für Informationsmanagement Bremen GmbH
Am Fallturm 1
28359 Bremen
cimander@ifib.de
taim@ifib.de
Abstract:
Anbieter von öffentlichen wie auch von privatwirtschaftlichen Internet-Angeboten versuchen, das Vertrauen
und die Akzeptanz der potenziellen Nutzer zu gewinnen. Seit langem wird über die Qualität von diesen
Angeboten diskutiert. Wettbewerbe oder Benchmarkstudien werden durchgeführt, um vorbildliche Angebote
herauszufiltern. Was bedeutet dies aber konkret? Im nachfolgenden Beitrag werden gängige
Evaluationsverfahren 1 am Beispiel von Online-Angeboten der öffentlichen Verwaltung diskutiert. Darauf
aufbauend wird ein eigener Ansatz vorgestellt, der die Nützlichkeit solcher Angebote in den Mittelpunkt
stellt.
1. Einführung
Neben der reinen Informationsdarbietung, die das WWW in seinen Anfängen dominierte, tritt zunehmend die
Abwicklung kompletter Transaktionen mit unterschiedlichem Komplexitätsniveau in den Vordergrund. Eine
größere Bedeutung erlangen daher Reputationen 2 , die das Vertrauen der Nutzer in Online-Transaktionen sichern
sollen. Inzwischen existieren mehrere Institutionen, die durch ihre Evaluationsverfahren (Testmethoden) diese
Reputation „erteilen“. Was aber macht die Qualität von Internet-Angeboten eigentlich aus?
Die Qualität von Internet-Angeboten kann aus zwei Sichten betrachtet werden: Aus der Sicht der Nutzer und der
Anbieter. Die Nutzer müssen sich entscheiden, welchen Anbieter sie wählen (im Falle des E-Commerce) und
über welchen Kanal (Amt, Call-Center, WWW) sie Verwaltungsleistungen in Anspruch nehmen (im Falle des E-
Government). Die Anbieter möchten einschätzen können, ob ihr Angebot wettbewerbsfähig ist und der
Nachfrage entspricht (E-Commerce) und ob sich die Investitionen auf diesem Kanal rentieren (E-Government).
Lange Zeit wurde die Frage der Qualität überwiegend mit dem Hinweis auf die Einhaltung von Gütekriterien aus
der Software-Ergonomie beantwortet. Diese zielen primär auf die verbesserte Nutzbarkeit von Software bzw.
Online-Angeboten. Die Überprüfung der Nutzbarkeit will klären, ob
„… eine Person mit durchschnittlichen (oder auch unterdurchschnittlichen) Fähigkeiten und Erfahrungen das
Ding – sei es eine Webseite, ein Kampfjet oder eine Drehtür – in der beabsichtigten Weise benutzen kann, ohne
hoffnungslos frustriert zu werden.“[Kr02]
Untersuchungen zur Nutzbarkeit oder Benutzbarkeit von Online-Angeboten beschäftigen sich daher mit Fragen
des Designs der Web-Seiten, Textgestaltung und der Navigation. Sie beschreiben im weiteren Sinne die
Bedienungsfreundlichkeit der Internet-Anwendung.
Mindestens ebenso wichtig wie die Nutzbarkeit, ist die Nützlichkeit von Internet-Angeboten. Diese bestimmt
sich darüber hinaus aus dem direkten Vorteil, den der Anwender durch die Online-Bereitstellung der
Dienstleistung gegenüber dem herkömmlichen „Offline-Weg“ erhält. Zudem ist die Qualität von Internet-
Angeboten aus Sicht der Anbieter und Nachfrager zu betrachten.
1 Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen, zeitlich beschränkten Projekten
(z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a. [ILMES]
2 Reputation ist ein Vertrauenssignal. „Reputation kann als Ruf eines Systems oder einer Person angesehen werden, inwieweit Dritte in der
Vergangenheit ein vertrauenswürdiges Verhalten feststellten“. [Pe03]

Während sich eine Überprüfung aus Sicht der Software-Ergonomie an definierten Kriterien orientieren kann,
muss für die Nützlichkeit von Online-Angeboten erst noch geklärt werden, an welchen Faktoren sich diese
festmacht und wie dies methodisch erhoben werden soll.
Die Frage der Qualität bei E-Commerce-Angeboten ist überlebenswichtig, weil die Kunden sich für hoch
qualitative Angebote entscheiden und bleiben auch bei diesen, falls ihr Vertrauen nicht missbraucht worden ist
und der Umgang mit dem Angebot keine Schwierigkeiten bereitete. Im E-Government dagegen stellt sich diese
Frage der „Existenz“ nicht, weil die Angebote unabhängig von der Nachfrage existieren. Daher stellt der
nachfolgende Beitrag E-Government-Anwendungen in den Mittelpunkt der Betrachtung und nimmt als
Untersuchungsgegenstand die Nützlichkeit der Online-Angebote aus der Nachfragersicht.
Zunächst werden in Kap. 2 die häufig angewandten Methoden der Qualitätsvergleiche vorgestellt. Anschließend
werden diese bewertet, um daraus in Kap. 3 ein eigenes Modell (Instrumentarium) zur Bewertung der
Nützlichkeit herzuleiten. Dieses wird in seinen Ausprägungen erläutert und abschließend in Kap. 4 bezüglich
seiner Einsatzmöglichkeiten im Verbund mit weiteren Methoden beurteilt. 3
2. Existierende Qualitätsvergleiche
2.1 Varianten des Qualitätsvergleichs
Mit der Menge unterschiedlicher Qualitätsvergleiche wächst auch die Zahl der Methoden, mit denen die Qualität
von Online-Angeboten gemessen werden soll. Die Art der eingesetzten Methode unterscheidet sich in erster
Linie nach dem verfolgten Zweck des Qualitätsvergleichs und der jeweilig untersuchten Branche der Online-
Angebote. Gemein ist diesen Methoden, dass sie einen Kriterien- bzw. Fragenkatalog als instrumentelle
Grundlage besitzen, dessen jeweilige Zusammensetzung maßgeblich zur Qualitätsermittlung beiträgt. Je nach
Intention der Untersuchung wird dieses Instrument von Experten, Laien oder entsprechend differenzierten
Untergruppen (z.B. regelmäßige Nutzer, Gelegenheitsnutzer) angewendet.
Die regelmäßig zur Anwendung kommenden unterschiedlichen Formen der Qualitätsvergleiche von Online-
Präsenzen der öffentlichen Verwaltung sind Benchmarkings, Best-Practice-/Good-Practice–Studien,
Wettbewerbe, Gütesiegelvergaben, Umfragen und Reviews. Diese Formen nutzen wiederum unterschiedliche
Methoden und werden von unterschiedlichen Personengruppen zur Anwendung gebracht.
Benchmarking:
Benchmarking bezeichnet die systematische Gegenüberstellung von Produkten, Dienstleistungen und Prozessen
des eigenen Unternehmens und denen von Konkurrenz-Unternehmen. Aus den gewonnen Ergebnissen können
Vergleichsmaßstäbe abgeleitet werden, die den Unternehmen zur Orientierung dienen sollen. Anschließend
werden aufgrund der Ergebnisse Maßnahmen zur Steigerung der Effizienz und Verbesserung der Produkte oder
Dienstleistungen entwickelt. [Schi03]
Geht man nach der Anzahl der Qualitätsvergleiche im E-Government, so scheint die Form des Benchmarking die
üblichste Herangehensweise zur Qualitätsbestimmung in diesem Bereich zu sein. Etliche solcher Studien wurden
gerade in den letzten Jahren angefertigt, um die Leistungen verschiedener öffentlicher Verwaltungen
gegenüberzustellen und zu bewerten. Die Auswahl der am Benchmarking teilnehmenden Kandidaten erfolgt im
Idealfall anhand einer klar definierten Grundgesamtheit, um die Repräsentativität der Ergebnisse zu sichern. In
diesem Rahmen werden mehrere Kandidaten an einem Kriterienkatalog gemessen. Diese Kriterien orientieren
sich i.d.R. an Anforderungen an die Benutzbarkeit des Systems (Usability), der Vollständigkeit des Inhalts und
den Transaktionsleistungen des Online-Angebots. Ein Ranking der untersuchten Kandidaten aufgrund der
erreichten Punktzahlen bildet den Abschluss und diejenige Kandidatin mit der höchsten Übereinstimmung wird
nicht selten zur regionalen oder gar nationalen E-Government-Metropole erhoben. Diese Form des sog.
Benchmarking, kann neben einem Ranking der untersuchten Teilnehmer, aber auch in einem eher neutralen
Vergleich ohne Ranking münden. Ergebnis ist dann eine Vorstellung von guten Praxisbeispielen, die auf eine
wertende Darstellung der Kandidaten verzichtet.
3 Die Nutzbarkeit und Nützlichkeit von Online-Angeboten waren Thema eines Projektes des Technologie-Zentrums Informatik (TZI)
gefördert durch das ISP des Landes Bremen. Die Autoren haben am Teilprojekt zur Nützlichkeit von Online-Angeboten mitgewirkt.

Die Methodik des Benchmarking kommt ursprünglich aus der Wirtschaft: Das Benchmarking soll eigene
Spitzenleistungen hervorbringen, indem die Produkte und Dienstleistungen sowie Methoden und Arbeitsprozesse
führender Unternehmen analysiert und dem eigenen Unternehmen gegenübergestellt werden. Dadurch werden
Lerneffekte erzielt, die dazu beitragen sollen, Wettbewerbsvorteile hinsichtlich Zeit, Qualität und Produktivität
zu erzielen [Me96]. Die Teilnehmer eines Benchmarking werden i.d.R. ungefragt in eine Bewertung einbezogen
und sind somit an der Entwicklung der Bewertungskriterien nicht beteiligt.
Benchmarking im Electronic Government wird häufig von Beratungsunternehmen, wissenschaftlichen
Einrichtungen oder als Kooperation von beiden durchgeführt. Aber auch Initiativen aus Wirtschaft und
Verwaltung (wie z.B. die Initiative D21) und weitere öffentliche wie private Einrichtungen (z.B. die Fraunhofer-
Gesellschaft) nehmen sich dieses Themas an. Die diversen Benchmarking-Studien weisen zum Teil gravierende
Unterschiede bezüglich Transparenz und Methodik auf. Beispielsweise unterscheiden sich in vielen Fällen die
Bewertungskriterien (z.B. welche angestellt/ausgewählt werden), die Testdurchführung oder die
Ergebnissinterpretation (z.B. wie sie dargestellt und analysiert werden).
Best-Practice - / Good-Pracitice - Studien
Best Practice bezeichnet die beste realisierte Lösung des Systems, des Produktes oder der Dienstleistung. Hierzu
werden auf dem Markt verfügbare Systeme, Produkte/Dienstleistungen nach einheitlichen Kriterien miteinander
verglichen.
Gegenüber Benchmarkings, liefern Best- oder Good-Practice-Studien keine Hitliste mit „Siegern“ und
„Verlierern“, sondern zielen auf die Identifizierung vorbildlich gelöster Online-Angebote. Die Darstellung von
Einzelbeispielen mit Vorbildcharakter erhebt nicht unbedingt den Anspruch, repräsentative Aussagen für eine
bestimmte Grundgesamtheit zu treffen. Dennoch darf auf eine breite Betrachtung des Untersuchungsgebiets
nicht verzichtet werden, um tatsächlich die interessantesten Beispiele und Entwicklungen auswählen zu können.
Im Unterschied zu Best-Practice–Studien erheben Good-Practice–Untersuchungen nicht den Anspruch das beste
Beispiel zu finden, sondern mehrere gut realisierte Lösungen vorzustellen. Good-Pracitce–Studien gehen darüber
hinaus von einem erweiterten Verständnis der Vielfältigkeit von Online-Lösungen aus. Implizier der Begriff
„Best-Practice“ doch, dass es sich hierbei um das beste Beispiel überhaupt handelt, was auf dem Markt
verfügbar ist. Dies setzt allerdings einen umfassenden Marktüberblick voraus, der aufgrund der Fülle an
Angeboten i.d.R. nicht erreichbar ist. Hinzu kommt, dass „Good-Practice“ zu erkennen gibt, dass es gleichwohl
mehrere Lösungen für einen einzelnen Anwendungsfall gibt, wobei einzelne darunter als besonders „gut“
klassifiziert werden können und wert sind, hervorgehoben zu werden. Auf die individuelle Situation des
Anwenders kann dieses Beispiel dann durchaus die beste Lösung für den eigenen Anwendungsfall sein.
Wettbewerbe
Wettbewerb ist ein Verfahren der Auslese und der Motivation zur Leistungssteigerung, das entweder eine
Preisvergabe, eine Auszeichnung oder den Gewinn von Kunden zum Ziel hat. Für die Wirtschaft ist er damit ein
wichtiges Verfahren zur Schaffung bestmöglicher Problemlösungen.
Ein weiterer gängiger Qualitätsvergleich vollzieht sich durch die Durchführung klassischer Wettbewerbe. Im
Unterschied zu den zuvor beschriebenen Qualitätsvergleichen, können sich die Teilnehmer bei Wettbewerben
selbst anmelden. Am Ende steht die Prämierung eines oder mehrerer Kandidaten, die häufig mehrere
Bewertungs-/Auswahlrunden überstanden haben.
Auch Wettbewerbe verfolgen das Ziel, die Aufmerksamkeit auf gute Beispiele aus der Praxis zu lenken. Da die
Auswahl der Kandidaten nicht von einer Jury oder anderen Dritten getroffen wird, können auch eher
„unbekannte“ Lösungen die im Rahmen von Best- oder Good-Practice–Studien oder Benchmarkings
möglicherweise durch ein Auswahlraster gefallen wären, eine Chance zur Auszeichnung erhalten. Dies v.a., da
sich Wettbewerbe häufig auf einen Teilbereich im Online-Sektor - wie beispielsweise auf gute Lösungen im
Public Private Partnership oder bezüglich barrierefreier Nutzungsmöglichkeiten - beziehen. Selbst Experten in
diesen Bereichen können hier nicht immer die aktuellsten auf dem Markt befindlichen Online-Anwendungen
kennen.
Überdies sind Wettbewerbe gut geeignet, Entwickler von Web-Angeboten zu innovativen Lösungen
anzuspornen bzw. initiierend auf Anbieter von Online-Präsenzen zu wirken. Für den Wettbewerb entwickelte
Bewertungskriterien können zudem an Anwendungsentwickler bzw. Website-Betreiber weitergereicht werden,
um dort nachhaltig in verbesserte Anwendungen einzufließen.

Gütesiegel
Gütesiegel ist eine Auszeichnung, die an ein Produkt/Dienstleistung oder System vergeben wird, wenn dieses die
einheitlichen Kriterien der Gütesiegelvergabe erfüllen.
Gütesiegelvergaben werden von unabhängigen Organisationen oder Firmen betrieben, die sich mit der
Qualitätssicherung und Verbraucherschutz beschäftigen. Sie finden vorwiegend bei kommerziellen Web-
Angeboten Anwendung. Im Unterschied zu den übrigen Qualitätsvergleichen basiert die Teilnahme an einer
Gütesiegelvergabe auf freiem Entschluss und Initiative des Anbieters selbst. In die Vergabe sind keine weiteren
Kandidaten als Vergleichsobjekte involviert. Die Bewertung der Online-Präsenz erfolgt streng nach bestimmten
zugrunde gelegten Kriterien, die für andere Web-Präsenzen gleichermaßen gelten. Erfüllt das zu bewertende
Angebot die Mindestanforderungen, ist es berechtigt das entsprechende Siegel auf den Webseiten zu platzieren.
Sinn und Zweck solcher Siegel liegen in der Stärkung des Kunden-Vertrauens in getestete und mit einem
Gütesiegel ausgezeichnete Internetseiten. Der Schwerpunkt dieser Methoden liegt daher vorwiegend in der
Überprüfung von verbraucherschützenden Bestimmungen. Darunter fallen beispielsweise Gesetze wie das
Fernabsatzgesetz, AGB-Gesetz, Verbraucherkreditgesetz, Datenschutzgesetze und weitere Normen des
Verfahrensrechts 4 . Viele Großunternehmen mit einem Online-Shop legen mittlerweile großen Wert auf ein
Gütesiegel, somit weiß der Kunde jederzeit, dass er sicher und zuverlässig in diesem Online-Shop einkaufen
kann.
Ziel der Gütesiegel ist die bewusste Aufklärung und Verminderung der Skepsis bei Kunden, die häufig
Vorbehalte gegenüber Online-Transaktionen hegen. Es entsteht ein unabhängiges Beschwerdemanagement, da
die Kunden sich mit der Siegelvergabestelle in Verbindung setzen können.
Die Betreiber solcher Vergabestellen sind Verbraucher-Zentralen, unabhängige Firmen und Initiativen.
Um ein Gütesiegel zu erhalten muss das Web-Angebot nachhaltig den Mindestanforderungen genügen. So wird
das zu zertifizierende Web-Angebot im Rahmen des Vergabeverfahrens wiederholt geprüft. Die bereits
vergebenen Gütesiegel können vom Anbieter wieder aberkannt werden, wenn offensichtlich ist, dass die
Mindestanforderungen regelmäßig unterschritten werden.
Umfragen
Umfragen sind Verfahren, in denen anhand eines Fragenkatalogs Personengruppen bezüglich des untersuchten
Gegenstands (Produkte/Dienstleistungen etc.) mündlich oder schriftlich befragt werden.
Der Begriff „Umfragen“ steht hier zusammenfassend für sämtliche Formen der Befragung, wie sie zum
Qualitätsvergleich im Online-Sektor herangezogen werden. So fallen hierunter die vollkommen offene /
vollkommen normierte Befragung, mündliche / schriftliche Befragung, persönliche Interviewerbefragung /
Telefoninterview / postalische Befragung, Einzel- / Gruppenbefragung.
Gegenüber den vorgenannten Qualitätsvergleichen die vorwiegend auf der Evaluation von Webseiten basieren,
sind Umfragen stark von den Erfahrungen der Befragten und der Befragungssituation selbst beeinflusst.
Umfragen reproduzieren demnach eher ein Stimmungsbild innerhalb der Nutzerschaft, zu einer oder mehreren
Fragestellungen. Dennoch basieren die Umfragen auf einem einheitlichen Fragebogen, der für alle Befragten
gleich ist.
Die Auswahl der Umfrageteilnehmer sollte entsprechend der Fragestellung als repräsentativ gelten, um die
Aussagekraft der Untersuchung zu belegen. Leser solcher Umfragen müssten daher Erfahrungen mit statistischen
Verfahren gesammelt haben, um die Aussagekraft beurteilen zu können.
Umfragen werden meist von in der Marktforschung tätigen Unternehmen durchgeführt, die eine entsprechende
Infrastruktur für solche breit angelegten Interviews vorhalten und entsprechende Erfahrung und Seriosität auf
diesem Gebiet aufweisen können. Meist handeln sie im Auftrag von öffentlichen Institutionen oder anderen
Unternehmen.
4 Vgl. hierzu Höltgen, Birgit / Zander-Huyat, Helga 2002: Gütesiegel und Verbraucherschutz. In: Kröger, Nöcker, Nöcker (Hrsg.) 2002.
Sicherheit und Internet. Zertifizierungen im e-commerce. C.F. Müller Verlag, Heidelberg: 105-111

Reviews
Ein Review ist die neutrale Überprüfung einer Anwendung im Rahmen der Qualitätssicherung.
Reviews sind in ihrer methodischen Herangehensweise den Gütesiegeln am ähnlichsten. Die Qualitätsmessung
einer Online-Präsenz erfolgt auch hier unabhängig von Vergleichskandidaten und orientiert sich allein an den
Anforderungen des zugrunde liegenden Messinstrumentariums (Kriterienkatalog / Checklisten). Anhand dieses
vordefinierten Anforderungskatalogs werden Reviews nach einer ebenfalls vordefinierten Vorgehensweise
durchgeführt. Der Testvorgang und seine Ergebnisse werden dabei dokumentiert, anschließend ausgewertet und
evt. interpretiert.
Je nach Anwendungszweck des Reviews wird das entsprechende Internet-Angebot von einer oder mehreren
Personen getestet. Grundsätzlich lassen sich aber Reviews in zwei Klassen einteilen: Reviews durch Experten-
Evaluation und durch Evaluation durch Testnutzer. Als expertenzentrierte Methode ist die heuristische
Evaluation weit verbreitet. Heuristiken sind Richtlinien für die benutzerfreundliche Gestaltung von
Informationssystemen, die auf der Grundlage empirischer Erkenntnisse von Experten entwickelt werden. Sie
(Heuristiken) „beschreiben die grundlegenden Eigenschaften, die eine Anwendung besitzen sollte, damit der
Nutzer in einem bestimmten Kontext die Anwendung effektiv, effizient und zufrieden stellend nutzen kann“
[Yom01].
Bei der Evaluation durch die Testnutzer wird mit potenziellen Nutzern getestet, ob ein bestimmtes Produkt die
vorher festgelegten Kriterien hinsichtlich der Benutzbarkeit tatsächlich erfüllt.
Reviews werden von wissenschaftlichen oder wissenschaftsnahen Institutionen durchgeführt, da sie über die
entsprechende technische und personelle Infrastruktur verfügen. Gerade bei der Evaluation mit Testnutzern sind
entsprechende Testlabors Voraussetzung, um eine hinreichende Untersuchung durchführen zu können.

2.2 Bewertung der Qualitätsvergleiche
Die (vorgenannten) zur Anwendung kommenden Methoden der Qualitätsvergleiche charakterisieren sich jeweils
durch unterschiedliche Zielsetzungen, Bewertungskriterien und Durchführungspraktiken. Stellt man diese
verschiedenen Methoden einander gegenüber, werden einzelne Vor- und Nachteile mit Blickrichtung auf das
Ziel - Qualitätsmessung eines Internet-Angebots - deutlich:
Benchmarking
Best/Good-
Practice
Wettbewerbe Gütesiegel Umfragen Reviews
Ziel
Von den besten zu
lernen
Das beste Beispiel
aus einer Menge
zu finden
Schaffung/
Findung
bestmöglicher
Lösungen.
Stärkung des
Kundenvertrauens
in die
Produkte/Dienstlei
stungen
Produktion eines
Stimmungsbildes
innerhalb der
Nutzerschaft
Grad der
Benutzbarkeit
der
Anwendung
feststellen
Kernmethode,
Instrument
Mehrere
Kandidaten
werden an einem
Kriterienkatalog
gemessen. Aufgr.
der erreichten
Punktsumme
entsteht eine
Ranking-Liste v.
Mitbewerbern.
Marktübergreifende
Studie
anhand eines
einheitlichen
Kriterienkataloges
aus der ein
oder mehrere
Sieger
hervorgehen.
Die
Teilnehmenden
werden anhand
einheitlicher
Bewertungskrite
rien beurteilt.
Die Online-
Angebote werden
mit einem Siegel
ausgezeichnet,
wenn sie die
entsprechenden
Anforderungen
erfüllen.
Die Nutzer werden
anhand eines
Fragebogens zur
Anwendung
befragt.
Expertenund/oder
Nutzertests
Teilnehmer und
deren Mitwirkung
Die Teilnehmer
werden nicht
gefragt und sind an
der Kriterienentwicklung
nicht
beteiligt.
s. Benchmarking Freiwillige
Teilnahme
Freiwillige
Teilnahme
Freiwillige und
unfreiwillige
Teilnahme
Freiwillige und
unfreiwillige
Teilnahme
(wobei
meistens nach
dem
Einverständnis
der Teilnehmer
gefragt wird)
+ Stärken
- Schwächen
+ Beispiele aus der
Praxis für eine
gute Realisierung
- Eine einheitliche
Untersuchungsmet
hode fehlt. Alle
Marktteilnehmer
miteinbeziehen ist
unmöglich.
s. Benchmarking + Unbekannte
Lösungen
kommen hervor
- Das Niveau
der
Untersuchung
hängt direkt von
den
Teilnehmenden
ab.
+ Stärkung des
Kundenvertrauens
in die Online-
Transaktionen
- Sehr viele
untersch. Anbieter
v. Gütesiegeln.
Kein Überblick für
Kunden.
+ Ein unabhängiges
Stimmungsbild
- Starke
Beeinflussung
durch subjektive
Meinungen der
Benutzer.
+
wissenschaftlic
he
Herangehensweise
- Beschränkte
Zahl der
Testnutzer
Probleme tauchen auf, wenn Verfahren zum Einsatz kommen, die mehrere Kandidaten in die Untersuchung
einbeziehen. Um gültige Aussagen treffen zu können ist hierbei eine repräsentative Auswahl der Kandidaten
erforderlich, und darüber hinaus ein Bewertungsinstrumentarium, das diesen unterschiedlichen Kandidaten in
gleicher Weise gerecht wird. Repräsentativ sind die Ergebnisse dieser Studien zudem nur, wenn sie nach einem
gültigen statistischen Verfahren aus einer klar definierten Grundgesamtheit ermittelt wurden. Selbst wenn die
Vorgehensweise eindeutig dokumentiert ist, muss der Leser ein Grundverständnis für statistische Verfahren
besitzen, um die Repräsentativität der Ergebnisse beurteilen zu können. Tauchen Rankings in den Studien auf,
laufen diese wie oben bereits erwähnt (s. Kap. 2.1 Benchmarking) Gefahr, fehlinterpretiert, bzw. je nach Bedarf
unterschiedlich ausgelegt zu werden.

Im Unterschied zu Benchmarkings oder meist auch Best-/ Good-Practice–Studien, konzentrieren sich
Wettbewerbe und Umfragen häufig auf einen Teilbereich innerhalb des Online-Sektors. Bestimmte Themen
stehen im Vordergrund, die bevorzugt bewertet werden sollen. Anforderungen an die Bewertung des
Gesamtspektrums einer Online-Präsenz, finden sich bei diesen Methoden kaum. Ähnlich verhält es sich bei
Gütesiegelvergaben. Der Schwerpunkt der Vergabekriterien liegt hier vorrangig auf der Erfüllung von
Anforderungen an den Datenschutz und die Datensicherheit sowie der Einhaltung von Normen zum
Verbraucherschutz. Anforderungen an die Nützlichkeit der Internet-Angebote werden im Rahmen dieser
Verfahren nur selten gestellt.
3 Bildung und Beschreibung des Instrumentariums
3.1 Anforderungen an ein Instrumentarium zur Bewertung von Online-Angeboten
Das Anforderungsprofil an ein Instrumentarium zur Messung der Qualität von Online-Angeboten kann aus der
Bewertung der Qualitätsvergleiche abgeleitet werden. Dieses Instrumentarium soll eine umfassende, allgemein
gültige und übertragbare Prüfung von Internet-Angeboten zulassen. D.h., das Prüfverfahren soll nicht nur
Teilbereiche im Online-Sektor abprüfen, sondern den Anspruch erheben, die Qualität des Gesamt-Angebots
bewerten zu können. Die Kriterien müssen so gewählt sein, dass sie den Ansprüchen verschiedenartiger Online-
Präsenzen genügen 5 und an diese jeweils anwendbar sind. Darüber hinaus soll unter Einbezug einer Relevanz-
Funktion, ein zusätzlicher Versuch unternommen werden, die Nützlichkeit des Internet-Angebots aus Sicht von
Nutzern und Anbietern differenzierter betrachten zu können.
Auf Vergleiche zweier oder mehrerer Kandidaten innerhalb eines Prüfverfahrens, die Aussagen zu einem
„besser“ oder „schlechter“ provozieren würden, muss verzichtet werden. Jede Online-Präsenz ist in ihrer
Entstehung und ihrer Einbettung in die Struktur des Anbieters und dessen Zielsetzung verschieden. Absolute
Aussagen, welches Internet-Angebot qualitätsvoller ist als das andere, können hier den einzelnen Angeboten
nicht immer gerecht werden. Eine Interpretation des Testergebnisses ist vor diesem Hintergrund notwendig.
Dadurch können auch Rankings ausgeschlossen werden, die aufgrund einer reinen Gesamtpunktzahl u.U.
Ergebnisse vorspiegeln, deren Gültigkeit aber nur in Relation zum angewendeten Bewertungsverfahren erklärt
werden kann. Um dennoch Vergleiche zu anderen Angeboten ziehen zu können, die mit dem gleichen
Instrumentarium bewertet werden, soll eine Auswertung nach Teilbereichen (Dimensionen) möglich sein. Diese
Teilbereiche sollen sich aus logisch zusammengehörenden Kriterien definieren. Dies erlaubt in erster Linie auch
eine differenziertere Bewertung der Internet-Angebote an sich, in dem Aussagen zu einzelnen Teilbereichen der
Online-Präsenz gemacht werden können.
3.2 Bildung und Anwendung des Instrumentariums
Im Rahmen verschiedener Vorarbeiten wurden durch Literatur- und Internetrecherchen die am Markt
verfügbaren und öffentlich zugänglichen Qualitätsvergleiche unterschiedlichster Anbieter untersucht. Ziel war
und ist es, ein eigenes Instrumentarium zu entwickeln, mit dem möglichst vollständig die Evaluation eines
Online-Angebots auf dessen Nützlichkeit aus Nachfragersicht durchführbar ist 6 . Dieses Instrumentarium soll
sowohl zur Selbstevaluation als auch zur Fremdevaluation genutzt werden.
5 Die Bildung der Kriterien soll sich auf die Angebote aus möglichst vielen Online-Angebotsformen erstrecken.
6 Die Teilbereiche Softwareergonomie, Barrierefreiheit und Datenschutz / Datensicherheit bilden Spezialgebiete ab, die ein aufwändiges
fachbezogenes Prüfverfahren erfordern. Die Gestaltung des Instrumentariums prüft die grundsätzlichen Anforderungen an diese
Spezialgebiete ab. Das ifib GmbH (Institut für Informationsmanagement Bremen) unterhält Kooperationen zu Einrichtungen die bei Bedarf
detaillierte Tests in diesen Bereichen anschließen können, bzw. führt sie im Bereich der Barrierefreiheit selbst durch.

Von bedeutenden nationalen wie internationalen Benchmark-Studien der letzten Jahre im E-Government (>20),
sämtlichen überwiegend am deutschen Markt verfügbaren Gütesiegeln (13 Gütesiegel), diversen Umfragen und
regionalen wie nationalen Wettbewerben wurden die dort eingesetzten Qualitätskriterien entnommen und
überprüft. Zusätzlich wurden Richtlinien und Empfehlungen einschlägiger Literatur aufgenommen und mit den
Kriterien in einem sog. Kriterienpool vereinigt. Redundante und nicht anwendbare Kriterien zur Bewertung von
Online-Angeboten aus den Bereichen E-Government und E-Commerce wurden anschließend aussortiert. Die im
Pool verbliebenen Kriterien wurden zunächst nach ihren Anwendungsbereichen in Kriterien zur Information,
Transaktion, Kommunikation und in Querschnittskriterien der drei Bereiche (ITK) unterteilt (s. Kap. 3.3).
Ähnliche Kriterien wurden zu einem neuen Kriterium zusammengefasst. Im Laufe der weiteren Projektarbeit ist
die Notwendigkeit entstanden, diese Kriterien weiter zu strukturieren und nach Themen in sog. Dimensionen
zusammenzufassen. Diese Dimensionen entsprechen der Definition der Nützlichkeit aus Nutzersicht und sind:
Vollständigkeit, Erschließung, Verständlichkeit, Aktualität/Korrektheit, Vertrauenswürdigkeit, Zusatznutzen/
Mehrwert. Diese Dimensionen gelten für E-Government – und E-Commerce–Angebote gleichermaßen.
Dimensionen
Die Gestaltungsrichtlinien und Qualitätsmaßstäbe für Web-Angebote werden in Form von sechs einheitlichen
Dimensionen für die unterschiedlichen Online-Bereiche erstellt. Die Dimensionen sind 7 :
1. Vollständigkeit
Die Vollständigkeit eines Web-Angebots ergibt sich zum Einen aus den erforderlichen Angaben, die aus
rechtlichen, technischen und inhaltlichen Anforderungen zur Inanspruchnahme des Web-Angebots resultieren
(z.B. Impressum, Browsereinstellungen, Webseiteninhalt), sowie zum Anderen aus der Verfügbarkeit der
erforderlichen Informationen, technischen Funktionalitäten und notwendigen Kontaktmöglichkeiten um das
Web-Angebot zum persönlichen Vorteil in Anspruch nehmen zu können.
2. Erschließung
Die Erschließung eines Web-Angebots wird durch die inhaltliche Aufbereitung und die technische Realisierung
wie Navigation, technische Anforderungen an das System der Anwender u.ä. bestimmt. Verschiedene Elemente
wie Sitemap, Suchmaschine, Supportleistungen und barrierefreie Gestaltung, sowie die Integration und Qualität
dieser Elemente unterstützen die Nutzer bei der Inanspruchnahme des Web-Angebots.
3. Verständlichkeit
Die Verständlichkeit der Informationsinhalte bedeutet unter anderem Klassifizierung nach Benutzergruppen und
Themenbereichen, Aufbereitung der Texte und Supportleistungen. Unter Verständlichkeit der
Kommunikationsinhalte fällt die Implementierung der Kommunikationsangebote wie Forum, Chat oder
Antworten auf Email-Anfragen. Im Gegensatz zur Verständlichkeit von Informations- und
Kommunikationsangeboten geht die Verständlichkeit des Transaktionsteils in den Dimensionen „Erschließung“
und „Vollständigkeit“ auf.
4. Aktualität und Korrektheit
Die Aktualität und Korrektheit eines Web-Angebots muss in allen ihren Teilbereichen (Information,
Transaktion, Kommunikation) dem aktuellen Anspruch an die Informationsqualität und Webtechnik
entsprechen. Veraltete Informationen und Aktionen sowie fehlende Aktualitäts- und Herkunftsdaten sind zu
vermeiden.
5. Vertrauenswürdigkeit
Die Vertrauenswürdigkeit eines Web-Angebots definiert sich überwiegend über die Transparenz der
Informationen (Herkunft, Aktualität) und Arbeitsabläufe (Transaktion, Kommunikation), die einwandfreie
Funktion des Gesamtsystems, den Umgang mit personenbezogenen Daten (Datenschutz) und die sichere
Übermittlung sensibler Daten (Datensicherheit). Darüber hinaus spielen weitere Merkmale, wie bspw. die
Gestaltung (Werbung, Stil) oder der Bekanntheitsgrad des Web-Angebots eine Rolle.
7 Auszüge aus dem Kriterienkatalog sind in Abb. 2.1 und 2.2 dargestellt.

6. Zusatznutzen/Mehrwert
Der Zusatznutzen oder Mehrwert eines Internet-Angebots ergibt sich aus den Vorzügen die aus der Online-
Bereitstellung des Angebots gegenüber der herkömmlichen Verfügbarkeit des gleichen Angebots resultieren.
Neben einem modernen Kunden-/Bürgerverständnis sind dies beispielsweise eingesparte Aufwendungen
hinsichtlich notwendiger Wege, Zeiten, Kosten oder Gewinne an Bearbeitungsqualität und Service. Die
Möglichkeit, das Angebot nur im Internet nutzen zu können oder zielorientierter Vorzugehen zählen ebenso zu
einem gewonnenen Mehrwert.
3.3 Bereiche, Kriterien, Indikatoren
Die Dimensionen werden durch Kriterien näher bestimmt. Zudem sind die Dimensionen entsprechend der
Teilbereiche eines Web-Angebots in Bereiche zur Information, Transaktion und Kommunikation unterteilt.
Kriterien, die alle Teilbereiche zugleich betreffen, werden im Querschnittsbereich ITK
(Information/Transaktion/Kommunikation) zusammengefasst. Die einzelnen Teilbereiche werden somit über
Kriterien definiert und darüber hinaus mittels Indikatoren operationalisiert. Die Kriterien gelten generell für E-
Commerce– und E-Government–Angebote und unterscheiden sich erst wesentlich auf der Ebene der Indikatoren.
Die Kriterien sind überwiegend von qualitativer Natur. D.h. die Nützlichkeit wird durch qualitative
Anforderungen definiert; quantitative Verfahren werden nur in Ausnahmefällen zur Unterstützung herangezogen
(bspw. die Ermittlung des Readability-Index bei Anforderungen an die Lesbarkeit). Je nach Art des Online-
Angebots kann es notwenig sein, weitere Kriterien zu entwickeln, wie beispielsweise im E-Commerce Bereich -
spezielle Kriterien zur Bewertung von Online-Reise-Anbietern.
Die Indikatoren wurden so gewählt, dass die Bewertung intersubjektiv nachvollziehbar ist. D.h. Wertungen in
„gut“ oder „schlecht“, und somit zu einem bestimmten Grad die persönliche Meinung des Nutzers wiedergeben,
sind nicht möglich. Einige Kriterien sind direkt überprüfbar (z.B. Rechtskonformität des Impressums) und
andere werden über Indikatoren überprüft. Um ein einheitliches Bewertungsraster zu erhalten, sind die
Indikatoren dahingehend formuliert, dass das Vorhandensein einer positiven Eigenschaft immer mit „ja“
beantwortet wird. Indikatoren, die für das einzelne Web-Angebot irrelevant erscheinen, können aus dem Raster
ganz gestrichen werden. Die Bewertung enthält somit nur die erfüllten Indikatoren im Verhältnis zu den
relevanten Indikatoren. Gewichtungen zwischen Indikatoren, Kriterien und Dimensionen untereinander sind
notwendig und für die Dimensionen je nach Präferenz anpassbar. Die letztendliche Bewertung des jeweiligen
Online-Angebots bedarf neben der erreichten Punktzahl nach Dimensionen darüber hinaus noch einer
Interpretation, die auf die verschiedenen Rahmenbedingungen des Online-Angebots (z.B. verfügbare
Ressourcen, Technikeinsatz) Rücksicht nimmt.
3.4 Das Würfel-Modell
Aus der Entwicklung des Instrumentariums ist ein Modell zur umfassenden Beurteilung der Nützlichkeit einer
Online-Präsenz entstanden: der „Würfel“ (s. Abb. 1). Jeder der einzelnen Würfelbausteine steht für ein Kriterium
und trägt durch sein Vorhandensein und in der entsprechenden Kombination zur Nützlichkeit des gesamten
(Internet-) Angebots bei. Das Modell basiert auf der Annahme, dass ein Internet-Angebot dann die höchste Form
der Nützlichkeit erreicht, wenn alle Anforderungen die im Kriterienkatalog aufgeführt sind, erfüllt werden.
Exemplarisch wird im Folgenden der Würfel aus Sicht der Nutzer von E-Government–Angeboten herangezogen.
Für die übrigen Sichtweisen gelten teils die gleichen Aussagen oder aber die Aussagen müssen entsprechend der
Thematik angepasst werden.

Die erste räumliche Dimension des Würfels bildet ein Kriterienkatalog der sich in sechs Dimensionen zur
Bewertung der Nützlichkeit von Internet-Präsenzen einteilt 8 . Diese Dimensionen strukturieren sämtliche
Kriterien, die zur Bewertung von Internet-Präsenzen wichtig sind. Im Vordergrund der ersten (räumlichen)
Würfeldimension steht somit der Anspruch, dass ein Internet-Angebot allen sechs Dimensionen gleichermaßen
gerecht wird. Unter der zweiten räumlichen Würfeldimension sind die Kriterien entsprechend der verschiedenen
Interaktionsgrade / Bestandteile eines Internet-Angebots strukturiert: Kriterien zur Information, zur Transaktion
und zur Kommunikation 9 . Im Vordergrund der zweiten (räumlichen) Würfeldimension steht somit der Anspruch,
dass ein Internet-Angebot ein adäquates Verhältnis von Informations-, Transaktions- und
Kommunikationsanteilen beinhaltet.
Die dritte räumliche Dimension des Würfels spiegelt die
Relevanz des Online-Angebots wieder; Relevanz bezüglich
der angebotenen Dienstleistungen innerhalb der Online-
Präsenz. Die Relevanz eines E-Government - Angebots steigt
aus Nutzersicht mit dem Vorhandensein derjenigen
Dienstleistungen, die von den Bürgern und Unternehmen am
häufigsten nachgefragt werden. Im Vordergrund der dritten
(räumlichen) Würfeldimension steht somit der Anspruch,
dass ein Internet-Angebot die am häufigsten nachgefragten
Dienstleistungen anbietet.
Abb.1: Würfel-Modell im E-Government
Das Würfel-Modell ist noch nicht abschließend entwickelt und bedarf noch einiger Anpassungen und
Überprüfungen am praktischen Anwendungsfall. Die Relevanz des Angebots, modellhaft dargestellt in der
dritten Würfeldimension, bildet neben der einfachen Bewertung eines Internet-Angebots eine Art Multiplikator
zur Bewertung der Nützlichkeit des Gesamtangebots. Damit soll dem Anspruch Rechnung getragen werden, dass
Internet-Angebote, die zwar sämtlichen Anforderungen (definiert in den sechs genannten Dimensionen) an eine
Online-Präsenz gerecht werden, nur als begrenzt nützlich eingestuft werden, wenn sie nicht oder nur kaum in
Anspruch genommen werden, da sie für Nutzer kaum relevant sind.
3.5 Untersuchter Gegenstand oder die Anwendung des Instrumentariums
Die Anwendung des Instrumentariums verfolgt zwei Ziele: Internetangebote zu evaluieren und das
Instrumentarium selbst weiter zu entwickeln. Die Weiterentwicklung ist notwendig, weil mit der Veränderung
der Angebote im Laufe der Zeit, sich auch die Kriterien der Nützlichkeit für die Nutzer verändern.
Das Instrumentarium wird von mehreren Personen (mind. 2) an mehreren Angeboten (2 bis 4) aus einem
Bereich (wie Reise-Shops oder Städte-Online) durchgeführt, protokolliert und verglichen. So entstandene
inhaltliche Differenzen bezüglich des Instrumentariums können vermieden bzw. korrigiert werden. Für die
Bewertung der Nützlichkeit eines Online-Angebots werden außerdem unterschiedliche Akteure und deren
Standpunkte miteinbezogen. So werden zusätzlich zu einem Review, Interviews mit den Betreibern des
Angebots durchgeführt und unterschiedliche Benutzergruppen des Angebots berücksichtigt (bspw. Privatkunden,
Geschäftskunden, Behinderte, Jugendliche), um die Anforderungen aller Beteiligten an das Angebot zu
schildern.
Mit dem neu entwickeltem Instrumentarium wurden 4 Anwendungen getestet: 2 Reiseshops für den E-
Commerce Bereich und 2 Städte-online für den E-Government Bereich. Der Test bestand im Durchführen von
mehreren bestimmten Transaktionen (z.B. Pauschalreise buchen, Geburtsurkunde bestellen) und deren
Protokollierung. Die Testvorgänge wurden mit entsprechenden Screenshots dokumentiert. Danach wurde die
Checkliste des Instrumentariums ausgefüllt. Die neu festgestellten Unstimmigkeiten im Kriterienkatalog wurden
beseitigt und gleichzeitig wurden Reviews von den untersuchten Anwendungen erstellt.
8 Die sechs Dimensionen: Vollständigkeit, Erschließung, Verständlichkeit, Aktualität & Korrektheit, Vertrauenswürdigkeit, Zusatznutzen /
Mehrwert; s.a. Kap 3.2
9 Die Kriterien der zweiten räumlichen Dimension des Würfels sind die gleichen wie die der ersten räumlichen Dimension des Würfels.

4. Ausblick (Stärken, Schwächen, Fragen)
Für die aussagekräftige Bewertung eines Online-Angebots kann die Kombination mehrerer empirischer
Methoden von Vorteil sein. Das im Rahmen des Würfel-Modells vorgestellte Instrumentarium gibt die
Sichtweise der Nutzer eines Online-Angebots wieder. Um diese bewerten zu können, kann es durchaus
Voraussetzung sein, dass sowohl Nutzer als auch Experten in Kombination das Angebot evaluieren. So können
Laien beispielsweise selten die Vollständigkeit des Internet-Angebots beurteilen, da sie dieses nicht kennen.
Hierzu sind Experten auf Anbieterseite erforderlich. Andererseits ist die Erschließung des Angebots eher aus
Sicht der Laien zu beurteilen, da deren Navigationsvermögen als eigentliche Adressaten des Angebots,
maßgebend ist. Bei speziellen Angeboten kann es darüber hinaus notwendig sein, die Nutzerinteressen zusätzlich
zu erheben, was beispielsweise über Befragungen erfolgen kann. Zur Gesamtbewertung müsste überdies
zumindest die Sicht der Anbieter - für die sich die Nützlichkeit aus weiteren Kriterien zusammensetzt - mit
einbezogen werden.
Weiterentwicklungsbedarf des Instrumentariums besteht in erster Linie in der Ausarbeitung des Würfel -Modells
(Abbildung 1) und ebenso in der Ausarbeitung der dritten Würfel-Dimension - der Relevanz der Angebote. Die
Relevanz bemisst sich im Modell daran, inwieweit Produkte oder Dienstleistungen angeboten werden, die als
Referenzwert in einem bestimmten „Warenkorb“ (Eine Sammlung von regelmäßig durchzuführenden
Transaktionen im Anwendungsbereich) aufgeführt sind. Für die einzelnen Bereiche ist es daher notwendig
entsprechende Warenkörbe zu bilden. Internet-Auftritte mit Produkten oder Dienstleistungen, die dann im
jeweiligen Warenkorb präsent sind, sind laut Modell nützlicher einzustufen, als andere Online-Angebote. Im Fall
des E-Commerce muss das Modell allerdings noch weiterentwickelt werden. An dieser Stelle treten noch weitere
Faktoren auf, die die Relevanz direkt beeinflussen können. Bei E-Government-Angeboten fällt die
Relevanzbetrachtung einfacher. Der Warenkorb entspricht hier einem Dienstleistungskorb. Dieser Korb enthält
sämtliche Dienstleistungen der Verwaltung für Bürger und Unternehmen, gewichtet nach der Häufigkeit ihrer
Inanspruchnahme. Je mehr der häufig nachgefragten Dienstleistungen eine Verwaltungs-Website enthält, desto
höher ist der Relevanzfaktor einzustufen.
Abb.2.1: Das Instrumentarium (Dimension
Vollständigkeit)

Abb.2.2: Das Instrumentarium (Dimension
Vertrauenswürdigkeit)
Quellenverzeichnis
Literaturverzeichnis
[Hö02] Höltgen, Birgit / Zander-Huyat, Helga 2002: Gütesiegel und Verbraucherschutz. In: Kröger, Nöcker,
Nöcker (Hrsg.) 2002. Sicherheit und Internet. Zertifizierungen im E-Commerce. C.F. Müller Verlag, Heidelberg.
[ILMES] ILMES - Internet-Lexikon der Methoden der empirischen Sozialforschung. R. Jacob - W. H. Eirmbter
W. Ludwig-Mayerhofer, http://www.lrz-muenchen.de/%7Ewlm/ein_voll.htm
[Kr02] Krug, Steve 2002: Don“t Make Me Think! Web Usability – Das intuitive Web. Deutsche Ausgabe mitp-
Verlag/Bonn.
[Me96] Meyer, Jürgen (Hrsg.) 1996: Benchmarking: Spitzenleistungen durch Lernen von den Besten. Stuttgart:
Schäffler-Poeschel
[NFO03] NFO Infratest GmbH & Co. KG 2003: Monitoring Informationswirtschaft. 6. Faktenbericht 2003.
Eine Studie im Auftrag des Bundesministeriums für Wirtschaft und Arbeit: Website:
http://www.bmwi.de/Redaktion/Inhalte/Downloads/6-faktenbericht-vollversion,templateId=download.pdf.
Aufruf am 23.07.2003.
[Pe03] Petrovic, Otto et.al., 2003: Vertrauen in digitale Transaktionen. In: Wirtschaftsinformatik 45 (2003) 1, S.53-66,
Fachzeitschrift.
[Schi03] Schildhauer, Thomas, Dr. Dr., hrsg., 2003: Lexikon Electronic Business. R. Oldenbourg Verlag München Wien.

[Schweib03] Schweibenz, Werner, Thissen, Frank, Prof. Dr., 2003: Qualität im Web. Benutzerfreundliche Webseiten
durch Usability Evaluation. Springer-Verlag Berlin Heidelberg.
[Yom01] Yom, Miriam 2001: Quick, aber nicht dirty - Klassische und neue Ansätze bei der Usability-Evaluation
von Websites durch Experten. eResult GmbH Göttingen Website:
http://www.eresult.de/Texte/usability_erpervaluation.pdf. Aufruf am 28.07.2003
Online-Quellen
Website accenture: http://www.accenture.de/index2.html?/6presser/index.jsp?link=/6presser/pi_pps_E-
Government_0603.jsp.
Aufruf am 31.07.2003
Website cgey: http://www.cgey.com/news/2003/0206egov.shtml. Aufruf am 31.07.2003
Website destatis: http://www.destatis.de/basis/d/preis/vpinfo4.htm. Aufruf am 30.07.2003.
Website: Initiative D21:
http://www.initiatived21.de/wettbewerb/wettbewerb_weitere/pages/show.prl?params=recent%3D1%26type%3D
8%26all%3Dall%26keyword%3D%26laufzeit%3D&id=18&currPage=1 bzw. http://www.internetguetesiegel.de/.
Aufruf am 24.07.2003.
Website: Trusted shops: http://www.trustedshops.de/de/shops/index.html. Aufruf am 24.07.2003