Evaluationsmethoden im E-Government - ifib

Weitere Magazine

Empfehlungen

Info

2.2 Bewertung der Qualitätsvergleiche Die (vorgenannten) zur Anwendung kommenden Methoden der Qualitätsvergleiche charakterisieren sich jeweils durch unterschiedliche Zielsetzungen, Bewertungskriterien und Durchführungspraktiken. Stellt man diese verschiedenen Methoden einander gegenüber, werden einzelne Vor- und Nachteile mit Blickrichtung auf das Ziel - Qualitätsmessung eines Internet-Angebots - deutlich: Benchmarking Best/Good- Practice Wettbewerbe Gütesiegel Umfragen Reviews Ziel Von den besten zu lernen Das beste Beispiel aus einer Menge zu finden Schaffung/ Findung bestmöglicher Lösungen. Stärkung des Kundenvertrauens in die Produkte/Dienstlei stungen Produktion eines Stimmungsbildes innerhalb der Nutzerschaft Grad der Benutzbarkeit der Anwendung feststellen Kernmethode, Instrument Mehrere Kandidaten werden an einem Kriterienkatalog gemessen. Aufgr. der erreichten Punktsumme entsteht eine Ranking-Liste v. Mitbewerbern. Marktübergreifende Studie anhand eines einheitlichen Kriterienkataloges aus der ein oder mehrere Sieger hervorgehen. Die Teilnehmenden werden anhand einheitlicher Bewertungskrite rien beurteilt. Die Online- Angebote werden mit einem Siegel ausgezeichnet, wenn sie die entsprechenden Anforderungen erfüllen. Die Nutzer werden anhand eines Fragebogens zur Anwendung befragt. Expertenund/oder Nutzertests Teilnehmer und deren Mitwirkung Die Teilnehmer werden nicht gefragt und sind an der Kriterienentwicklung nicht beteiligt. s. Benchmarking Freiwillige Teilnahme Freiwillige Teilnahme Freiwillige und unfreiwillige Teilnahme Freiwillige und unfreiwillige Teilnahme (wobei meistens nach dem Einverständnis der Teilnehmer gefragt wird) + Stärken - Schwächen + Beispiele aus der Praxis für eine gute Realisierung - Eine einheitliche Untersuchungsmet hode fehlt. Alle Marktteilnehmer miteinbeziehen ist unmöglich. s. Benchmarking + Unbekannte Lösungen kommen hervor - Das Niveau der Untersuchung hängt direkt von den Teilnehmenden ab. + Stärkung des Kundenvertrauens in die Online- Transaktionen - Sehr viele untersch. Anbieter v. Gütesiegeln. Kein Überblick für Kunden. + Ein unabhängiges Stimmungsbild - Starke Beeinflussung durch subjektive Meinungen der Benutzer. + wissenschaftlic he Herangehensweise - Beschränkte Zahl der Testnutzer Probleme tauchen auf, wenn Verfahren zum Einsatz kommen, die mehrere Kandidaten in die Untersuchung einbeziehen. Um gültige Aussagen treffen zu können ist hierbei eine repräsentative Auswahl der Kandidaten erforderlich, und darüber hinaus ein Bewertungsinstrumentarium, das diesen unterschiedlichen Kandidaten in gleicher Weise gerecht wird. Repräsentativ sind die Ergebnisse dieser Studien zudem nur, wenn sie nach einem gültigen statistischen Verfahren aus einer klar definierten Grundgesamtheit ermittelt wurden. Selbst wenn die Vorgehensweise eindeutig dokumentiert ist, muss der Leser ein Grundverständnis für statistische Verfahren besitzen, um die Repräsentativität der Ergebnisse beurteilen zu können. Tauchen Rankings in den Studien auf, laufen diese wie oben bereits erwähnt (s. Kap. 2.1 Benchmarking) Gefahr, fehlinterpretiert, bzw. je nach Bedarf unterschiedlich ausgelegt zu werden.
Im Unterschied zu Benchmarkings oder meist auch Best-/ Good-Practice–Studien, konzentrieren sich Wettbewerbe und Umfragen häufig auf einen Teilbereich innerhalb des Online-Sektors. Bestimmte Themen stehen im Vordergrund, die bevorzugt bewertet werden sollen. Anforderungen an die Bewertung des Gesamtspektrums einer Online-Präsenz, finden sich bei diesen Methoden kaum. Ähnlich verhält es sich bei Gütesiegelvergaben. Der Schwerpunkt der Vergabekriterien liegt hier vorrangig auf der Erfüllung von Anforderungen an den Datenschutz und die Datensicherheit sowie der Einhaltung von Normen zum Verbraucherschutz. Anforderungen an die Nützlichkeit der Internet-Angebote werden im Rahmen dieser Verfahren nur selten gestellt. 3 Bildung und Beschreibung des Instrumentariums 3.1 Anforderungen an ein Instrumentarium zur Bewertung von Online-Angeboten Das Anforderungsprofil an ein Instrumentarium zur Messung der Qualität von Online-Angeboten kann aus der Bewertung der Qualitätsvergleiche abgeleitet werden. Dieses Instrumentarium soll eine umfassende, allgemein gültige und übertragbare Prüfung von Internet-Angeboten zulassen. D.h., das Prüfverfahren soll nicht nur Teilbereiche im Online-Sektor abprüfen, sondern den Anspruch erheben, die Qualität des Gesamt-Angebots bewerten zu können. Die Kriterien müssen so gewählt sein, dass sie den Ansprüchen verschiedenartiger Online- Präsenzen genügen 5 und an diese jeweils anwendbar sind. Darüber hinaus soll unter Einbezug einer Relevanz- Funktion, ein zusätzlicher Versuch unternommen werden, die Nützlichkeit des Internet-Angebots aus Sicht von Nutzern und Anbietern differenzierter betrachten zu können. Auf Vergleiche zweier oder mehrerer Kandidaten innerhalb eines Prüfverfahrens, die Aussagen zu einem „besser“ oder „schlechter“ provozieren würden, muss verzichtet werden. Jede Online-Präsenz ist in ihrer Entstehung und ihrer Einbettung in die Struktur des Anbieters und dessen Zielsetzung verschieden. Absolute Aussagen, welches Internet-Angebot qualitätsvoller ist als das andere, können hier den einzelnen Angeboten nicht immer gerecht werden. Eine Interpretation des Testergebnisses ist vor diesem Hintergrund notwendig. Dadurch können auch Rankings ausgeschlossen werden, die aufgrund einer reinen Gesamtpunktzahl u.U. Ergebnisse vorspiegeln, deren Gültigkeit aber nur in Relation zum angewendeten Bewertungsverfahren erklärt werden kann. Um dennoch Vergleiche zu anderen Angeboten ziehen zu können, die mit dem gleichen Instrumentarium bewertet werden, soll eine Auswertung nach Teilbereichen (Dimensionen) möglich sein. Diese Teilbereiche sollen sich aus logisch zusammengehörenden Kriterien definieren. Dies erlaubt in erster Linie auch eine differenziertere Bewertung der Internet-Angebote an sich, in dem Aussagen zu einzelnen Teilbereichen der Online-Präsenz gemacht werden können. 3.2 Bildung und Anwendung des Instrumentariums Im Rahmen verschiedener Vorarbeiten wurden durch Literatur- und Internetrecherchen die am Markt verfügbaren und öffentlich zugänglichen Qualitätsvergleiche unterschiedlichster Anbieter untersucht. Ziel war und ist es, ein eigenes Instrumentarium zu entwickeln, mit dem möglichst vollständig die Evaluation eines Online-Angebots auf dessen Nützlichkeit aus Nachfragersicht durchführbar ist 6 . Dieses Instrumentarium soll sowohl zur Selbstevaluation als auch zur Fremdevaluation genutzt werden. 5 Die Bildung der Kriterien soll sich auf die Angebote aus möglichst vielen Online-Angebotsformen erstrecken. 6 Die Teilbereiche Softwareergonomie, Barrierefreiheit und Datenschutz / Datensicherheit bilden Spezialgebiete ab, die ein aufwändiges fachbezogenes Prüfverfahren erfordern. Die Gestaltung des Instrumentariums prüft die grundsätzlichen Anforderungen an diese Spezialgebiete ab. Das ifib GmbH (Institut für Informationsmanagement Bremen) unterhält Kooperationen zu Einrichtungen die bei Bedarf detaillierte Tests in diesen Bereichen anschließen können, bzw. führt sie im Bereich der Barrierefreiheit selbst durch.
Seite 1 und 2: Evaluationsmethoden im E-Government
Seite 3 und 4: Die Methodik des Benchmarking kommt
Seite 5: Reviews Ein Review ist die neutrale
Seite 9 und 10: 6. Zusatznutzen/Mehrwert Der Zusatz
Seite 11 und 12: 4. Ausblick (Stärken, Schwächen,
Seite 13: [Schweib03] Schweibenz, Werner, Thi

Evaluationsmethoden im E-Government - ifib

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?