Multimodale Interaktion in Augmented Reality Umgebungen am ...

KURZZUSAMMENFASSUNGKurzzusammenfassungVergleicht man Computerspiele aus den Anfangszeiten mit denen, die heutzutage den aktuellenStand der Technik repräsentieren, zeigt sich, dass innerhalb der letzten 30 Jahre eineimmense Entwicklung statt gefunden hat. Sowohl die grafische Darstellung als auch die Komplexitätder Interaktion hat sich enorm erhöht. Interaktion mit Computerspielen, unterteilt inEingabe und Ausgabe, beschränkt sich nicht mehr auf die reine Darstellung einfacher Inhalte,die mit simplen Bedienelementen, wie etwa einem Joystick, gesteuert werden können. Interaktionhat sich von einer reinen Ein-/Ausgabe zu einem immersiven Erlebnis gewandelt, mitMöglichkeiten, die sich immer weiter in die bisherigen Interaktionsgewohnheiten des Menscheneinfügen.Daher fokusiert diese Arbeit die Weiterentwicklung aktueller Interaktionsmöglichkeitenhinsichtlich der Eingabe und auch der Ausgabe. Gegenstand der Arbeit ist also die Entwicklungund Untersuchung neuartiger Möglichkeiten der Interaktion, speziell in der Spieledomäne.Auf der Eingabeseite werden drei verschiedene Ansätze zur Gestenerkennung des Nutzersumgesetzt. Dabei stützt sich ein Ansatz auf die Verwendung von Trackingdaten, die mittelseines Infrarot-Trackingsystems gewonnen werden. Bei zwei Ansätzen erhält man die Daten,die Rückschlüsse auf Gesten des Nutzers ziehen lassen, durch die Verwendung von NeigungsundGyrosensoren.Auf der Ausgabeseite wird die Visualisierung von einer rein virtuellen Darstellung auf dieDarstellung mittels Augmented Reality erweitert, die eine nahtlose Einbindung der Spieleumgebungin die reale Umgebung des Nutzers ermöglicht. Ebenfalls wird die akustische Ausgabevon einer Stereodarbietung auf die Verwendung von virtueller Akustik erweitert. Diese Veränderungender Ausgabe ermöglichen eine Integration des Spieles in die reale Umgebung desNutzers und resultieren in einer höheren Immersion des Spielers in das Spielgeschehen.Diese Ausgabemöglichkeiten werden ebenso wie die Eingabemöglichkeiten in einer eigensdafür entwickelten Systemarchitektur integriert, die mittels Netzwerkkommunikation eine modulareund somit performance-orientierte Umsetzung von (Spiele-)Applikationen ermöglicht.Um die Interaktion nicht rein auf den Austausch zwischen Mensch und Maschine zu begrenzen,wird in dieser Arbeit ebenfalls der Aspekt der Mensch-Mensch Interaktion sowie dieInteraktion zwischen der realen und der virtuellen Umgebung des Nutzers berücksichtigt.Dazu wird ein Videokonferenzsystem entwickelt, das es einer beliebigen Anzahl von Teilnehmernermöglicht, audiovisuell in Interaktion zu treten, und in die Spieleapplikation eingebettetwerden kann.iii