Testbericht VOICE Award 2009 - VOICE Days plus

TESTBERICHT 2009 VERS. 1.0 © MIND | STRATECO | DFKI
Im Folgenden werden die einzelnen Leistungstestkriterien vorgestellt:
Leistungsmerkmale und Wirtschaftlichkeit – das Betreiberinterview
Für ein strukturiertes Benchmarking ist es entscheidend, nachvollziehbare Key Performance
Indikatoren aufzustellen. Letztlich geht es darum, Auskunft über den wirtschaftlichen Erfolg und
die dafür eingesetzte Technik zu erhalten. Dabei kann man grundsätzlich davon ausgehen, dass
mit steigendem Nutzungsgrad auch die technischen Anforderungen wachsen. Im Folgenden
werden die Benchmark-Kriterien anhand der Fragestellungen kurz vorgestellt.
Technische Leistungsmerkmale
Die mögliche Performance einer Sprachanwendung wird von technischen Gegebenheiten wie der
Anzahl der Ports, der Integrationstiefe und der verwendeten Technologie zur Spracherkennung
mit definiert. Für den Leistungstest wurden daher die folgenden technischen Merkmale erfasst:
» Anzahl Ports: Auf wie vielen Ports bzw. Leitungen wird das Sprachdialogsystem betrieben?
» Anrufe pro Tag: Wie hoch ist das aktuelle durchschnittliche Anrufaufkommen pro Tag?
» Anzahl Unique User: Wie hoch ist die Anzahl der Nutzer, die den Dienst zumindest einmal
benutzt haben?
» Spracherkenner: Welche Art von Spracherkenner kommt zum Einsatz?
» Integrationstiefe: Welche Schnittstellen zu anderen Systemen sind vorhanden?
Wirtschaftlichkeit
Da Sprachanwendungen entweder der Automatisierung von Prozessen oder der Generierung von
Mehrwerten dienen, werden zur Beurteilung ihrer Performance die folgenden wirtschaftlichen
Indikatoren erhoben:
» Kosten je Anruf: Welche Kosten entstehen Ihrem Unternehmen je Anruf auf dem
Sprachdialogsystem?
» Fallabschlussrate: Wie hoch ist die „Fallabschlussrate“ (Task Completion Rate), d.h. wie viel
Prozent aller Transaktionen werden vom Sprachdialogsystem fallabschließend abgewickelt?
» Realisierungsdauer: Wie lange dauerte die Realisierung des Sprachdialogsystems in Monaten,
d.h. wie viel Zeit vergeht zwischen Beauftragung und Betriebsstart?
» Amortisationsdauer: In wie vielen Monaten soll bzw. hat sich das Sprachdialogsystem
amortisiert?
Die technischen und wirtschaftlichen Daten werden durch Interviews mit dem jeweiligen
Betreiber erhoben. Sie werden einerseits für die Errechnung des Scoring-Wertes verwendet,
anderseits liefern die Betreiberinterviews wichtige Zusatzinformationen für die Durchführung der
Anwendungstests und der Innovationswertung.
Voice User Interface – der Anwendungstest
Der Anwendungstest ist das Kernstück des Testverfahrens. Er liefert Auskunft über besondere
Stärken ebenso wie über die Optimierungspotenziale jeder Anwendung. Jede Anwendung wird
einem telefonischen Anwendungstest unterzogen. Der Testleiter legt die Aufgabenstellung
anhand der Betreiberinterviews fest. Das System wird zudem durch 12 Laien-Benutzer getestet.
Diese Tests werden am DFKI unter Aufsicht durchgeführt und alle Telefonate der Laien werden
aufgezeichnet. Bei Unklarheiten oder aufgetretenen Problemen wird direkt nachgefragt und ein
entsprechender Vermerk gemacht.
Testbericht VOICE Award 2009.doc Seite 6 von 66 Nr. 1005301