Testbericht VOICE Award 2009 - VOICE Days plus

TESTBERICHT 2009 VERS. 1.0 © MIND | STRATECO | DFKI
Serviceangebote
Nimmt man nun den Standpunkt der Anrufer ein, geht es um neuartige Dienstleistungen. Die
meisten der Fortschritte bezüglich des Betriebskonzeptes, die gerade genannt wurden, können
auch als Fortschritte für die Kunden betrachtet werden, die nun eine zusätzliche – und in einigen
Situationen besonders vorteilhafte – Möglichkeit haben, ein bestimmtes Ziel zu erreichen.
Als neue – wenn auch recht spezifische – Serviceangebote können die Möglichkeiten gelten,
einen Telefontermin mit der Post zu vereinbaren (Deutsche Post: Servicecard oder die Zeit in
einer Warteschleife auf angenehme Weise zu überbrücken (Deutsche Telekom: Showquiz).
C.4 Kritische Würdigung der Testergebnisse
In diesem Jahr dienten 12 Personen als Laientester, um zu erkennen, wie unterschiedlich
verschiedene Personen auf Aspekte eines Dialogsystems reagieren. Allerdings muss man kritisch
feststellen, dass die Einschätzungen dieser Laientester für gewisse Typen von Systemen mit
großer Vorsicht interpretiert werden müssen:
1. Bei einem System, das auf eine bestimmte Zielgruppe gerichtet ist, die über bestimmte
Fachkenntnisse und Terminologie verfügt, hatten unsere Laientester Schwierigkeiten, die man bei
echten Benutzern dieses Systems nicht erwarten würde (siehe Abschnitt C.2). Die Ergebnisse der
Laientester können in diesen Fällen deshalb allenfalls als Hinweise auf Probleme dienen, die neue
Benutzer solcher Systeme haben würden.
2. Einige Systeme scheinen eher auf regelmäßige Anrufer gerichtet zu sein, die das System
effizient und effektiv benutzen wollen, nachdem sie sich damit vertraut gemacht haben. Die
Einschätzungen der Laientester spiegeln dagegen die Erfahrungen neuer Benutzer wider. Sie sind
bei solchen Systemen immerhin insofern interessant, als jeder Benutzer am Anfang ein neuer
Benutzer ist, der die Phase der Gewöhnung an das System “überleben” muss, wenn er in den
Genuss der Vorteile für regelmäßige Benutzer kommen will.
Es gibt aber noch einen weiteren Grund, warum man die quantitativen Ergebnisse, die in den
Grafiken in den einzelnen Systembeschreibungen dargestellt werden, immer zusammen mit der
dazugehörigen Systembeschreibung interpretieren muss und nicht als absolute Aussagen über die
Qualität der Systeme ansehen sollte: Die Herausforderungen, denen sich die Systeme stellen,
weisen enorme Unterschiede auf. So muss das eine System tausende von Orts- oder
Produktnamen erkennen können, während ein anderes System lediglich “ja”, “nein” und Zahlen
verstehen muss. Es gibt keine Möglichkeit, diese unterschiedlichen Herausforderungen
rechnerisch zu berücksichtigen, ohne andere Verzerrungen einzuführen, die man bei der
Interpretation der Ergebnisse weniger gut berücksichtigen könnte.
Die Mitglieder der Voice-Award-Jury waren sich dieser Komplikationen bewusst, und sie haben sie
bei der vergleichenden Beurteilung der Systeme berücksichtigt. Auch die Leser dieses
Testberichts werden aufgefordert, beim Lesen der Beschreibungen der einzelnen Systeme jeweils
die Art des Systems im Auge zu behalten und ihre Fachkenntnisse und ihren gesunden
Menschenverstand einzusetzen!
Testbericht VOICE Award 2009.doc Seite 31 von 66 Nr. 1005301