Dernière édition Attention: Le pdf pèse environ 17 - BFH-TI - Berner ...

BIBEBUVABSc in InformatikKinect Integration in den BFH CAVEComputer Perception and Virtual Reality / Betreuer: Prof. Urs KünzlerExperte: Jean-Jacques JaquierDer von Microsoft in Zusammenarbeit mit Primesense entwickelte Kinect Game Controller ermöglicht durchseinen Tiefensensor die Erfassung von Körperhaltung und Bewegungen eines Benutzers.Ziel der Arbeit war es, die Grundlagen zur Nutzung eines solchen Gerätes innerhalb des CAVE, der VirtualReality-Umgebung des Forschungslabors für «Computer Perception and Virtual Reality», zu schaffen. Dazuwurde die dafür verwendete Software-Umgebung um eine Programmschnittstelle zur Übertragung dererfassten Daten und Analyse von Bewegungsabläufen erweitert.Manuel Frischknechtmanuel.frischknecht@gmail.comApplikationssteuerungmit KinectKinect ist ein multifunktionalesEingabegerät, das eine Kamera,einen Tiefensensor und ein 3D-Mikrofon beinhaltet. Die dazu vonMicrosoft zur Verfügung gestellteSoftware-Umgebung erlaubt einerseitsden Zugriff auf alle vomGerät gelieferten Rohdaten undermöglicht andererseits die Erkennungvon Sprachbefehlen unddie Berechnung eines virtuellen«Skeletts», mit dem die Körperpositioneiner vor der Kamera stehendenPerson im dreidimensionalenRaum beschrieben wird.Anhand dieser Informationen könnenApplikationen bestimmteBewegungsabläufe erkennen undentsprechend auf sie reagieren,was eine Steuerung rein durchGesten ermöglicht.Integration in den CAVEDa die Kinect-Software von Microsoftvergleichsweise hoheLeistungsanforderungen hat, wirddie Berechnung des Benutzerskelettsim CAVE auf einem dediziertenRechner durchgeführt.Hierfür mussten Client- und Serverkomponentenentwickelt werden,die das Übertragen der erfasstenDaten über das lokaleNetzwerk ermöglichen. Das Versendender Kinect-Informationenwurde mit Hilfe von VRPN («VirtualReality Peripheral Network»)erreicht, einer Software-Bibliothek,die speziell für das Weiterleitenvon Eingabedaten an Vir tualReality-Applikationen entwickeltwurde.Nach der Datenübertragung mussder zentrale Applikationsserverdas virtuelle Skelett des Benutzersverarbeiten, damit dessen Bewegungenanalysiert und zur Steuerungeiner Applikation verwendetwerden können. Dazu wurde eineneue Software-Bibliothek geschrieben,die das Erkennen verschiedenerGesten ermöglicht.Diese ist modular aufgebaut underweiterbar gestaltet, um das Erstellenund Nutzen neuer Gestenfür zukünftige Projekte möglichsteinfach zu gestalten.Umsetzung und ResultateDie neuen Software-Komponentenwurden in C++ erstellt unddirekt in das Framework I3D(«Immersive 3D») integriert, daseigens für den BFH CAVE entwickeltwurde. Während der Entwicklungwurde auf einen effizientenEinsatz der vorhandenenBibliotheken und die Möglichkeitzur einfachen und zentralen Konfigurationder einzelnen Modulegeachtet.Die erweiterte Version von I3D ermöglichtnun den praktischen Einsatzeiner Gestensteuerung inCAVE-Applikationen, was mit Hilfeeiner simplen Applikation gezeigtwerden konnte, die eigens zur Demonstrationder neu eingeführtenInteraktionsmöglichkeiten erstelltwurde.Durch die Analyse der von Kinect erzeugten Tiefenbilder ist die Erkennungvon Bewegungsabläufen möglich. Die Abbildung stellt drei Momentaufnahmeneiner horizontalen Wischgeste dar.162 ti.bfh.ch