Entwicklung einer Automatenbedienung mit einer leistungsfähigen ...

3.1.3. Multimodal
Ein multimodales Dialogsystem ist eine Kombination aus beiden oben beschriebenen
Dialogsystemen, dabei können auch die Gesten- und Mimik- Erkennung hinzukommen.
Multimodal bedeutet, dass für die Kommunikation mehr als eine Modalität (Sehen,
Hören, Fühlen) eingesetzt werden kann oder muss. Man unterscheidet zwischen den
komplementären (ergänzenden) und den redundanten (alternativen) multimodalen
Dialogsystemen.
Bei komplementären Dialogsystemen kriegen oder liefern alle verwendeten Modalitäten
ihre eigene Information und ergänzen einander, die können nicht einzeln sinnvoll
eingesetzt werden. Man könnte zum Beispiel in einer Zeichnungssoftware den Befehl
„Zeichne einen Kreis hier“ in den Mikrofon diktieren, den Mauszeiger auf die
gewünschte Stelle ziehen und Maustaste betätigen. Dabei braucht man keine genauere
Position zu nennen. Die Software bekommt die Aufgabe über zwei verschiedene
Informationsquellen (Mikrofon und Maus), die jeweils nur einen Teil dieser Aufgabe
liefern.
Bei redundanten multimodalen Dialogsystemen haben alle Informationsquellen
denselben Informationsgehalt. Das kann man am Beispiel von einem Fahrkartenautomat
deutlich sehen. Die Frage „Wann möchten Sie fahren?“ wird auf dem Bildschirm
angezeigt und gleichzeitig über die Lautsprecher ausgegeben. Der Benutzer hat
seinerseits freie Wahl, die Frage per Sprache zu beantworten oder die Schaltfläche mit
dem gewünschten Datum auf dem Bildschirm mit der Maus zu wählen. Die
Informationen in beiden Fällen sind vollständig und unabhängig voneinander und
dienen demselben Zweck. Eine weitere Anwendungsmöglichkeit von redundanten
multimodalen Dialogsystemen ist bei im vorherigen Kapitel erwähnten Telefondiensten
sehr beliebt. Dem Anrufer wird es angeboten, die gewünschten Menüpunkte per
Sprache auszuwählen oder alternativ die Eingabe über die Telefontastatur per Tonwahl
zu machen. Allerdings wird die zweite Möglichkeit nur dann funktionieren, wenn das
Telefongerät die Tastenwahlfunktion unterstützt.
Im Rahmen dieser Arbeit sollte ein redundantes multimodales Dialogsystem entwickelt
werden, das neben der Spracherkennung eine graphische Oberfläche mit der Maus- und
Tastatur- Steuerung zur Bedienung von Automaten anbieten soll.
Seite 5