Haptik Heute Motivation Interaktion - HTW Berlin

Haptik 

Thomas Jung 

t.jung@htw-berlin.de 

Motivation 

Desktop-Metapher hat sich für heutige 

Systeme bewährt 

Zukünftige Informationssysteme werden 

neue Benutzerschnittstellen besitzen 

Eingabegeräte bilden Basis für zukünfige 

Informationssysteme 

© Thomas Jung, t.jung@htw-berlin.de 

Aufgaben der Wahrnehmung 

(nach Goldstein) 

Aufbau eines Basisbezugssystems 

Raumwahrnehmung und räumliche Orientierung, 

einschließlich des Aufbaus kognitiver Landkarten 

Locomotion Interfaces 

Erkennen von Gegenständen, Orten, Ereignissen, 

Oberflächen, Substanzen und Nahrungsmitteln in 

ihrer Bedeutung für das Handeln 

Steuerung und Kontr. der ausführenden Motorik 

Eingabegeräte allgemein, Force Feedback 

Wahrnehmung von Zeitdauer und zeitl. Abfolgen 

Wahrnehmung in der sozialen Kommunikation, 

einschließlich Sprache 

Wahrnehmung bei fakultativen sozialen und 

arbeitsbezogenen Fertigkeiten 


Heute 

Mensch-Maschine-Schnittstelle 

Force Feedback / Haptisches Rendern 

Locomotion Interfaces 

Neuronale Interfaces 


Interaktion 

Sehen und Hören nur zur Aufnahme 

von Informationen 

abgesehen von Sprachsteuerung 

Haptisch-Somatisches System 

angesprochen bei Eingabe 

Manipulation mit Händen 

Bewegung im Raum 


Mouse-Nachfolger 

nDOF-Geräte (z. B. 3D-Mäuse) 

unterstützen Plazierung von Objekten 

Drucksensitive Tablette 

Verändern Strichstärke oder 

DDeckkraft kk f beim b i Zeichnen Z i h 

Multi-Touce-Interfaces 

Nehmen mehrere Positionsinformationen 

gleichzeitig auf: „Gesten“ 

Force-Feedback-Geräte 

© Thomas Jung, t.jung@htw-berlin.de

Beispiele für nDOF-Geräte 

3D-Mouse 

6 Freiheitsgrade 

Logitech-Mouse 


Ultraschall 

Wiimote 


Infrarot / Inertial 


(Bildquellen: www.logitech.com bzw. 

Logitech-Prospekt und wikipedia) 

MTC Express (Tactex) 

200 Hz 

Serielle Schnittstelle 

5,75 * 3,75 inch 

< 100 Sensorpunkte 

Preis: 500 US-$ 

Interpolierte Werte 


Messwerte (Taxel) 

( Bildquellen www.tactex.com ) 

Haptisch-somatisches System 

Hautsinne (Taktile Wahrnehmung) 

Wahrnehmung von Temperatur 

Wahrnehmung von Verletzungen 

Wahrnehmung von Berührungen 

Haltungssinne (Kinästhetische Wahrnehmung) 

Wahrnehmung von Orientierung und Position 

des Körpers und des Kopfs im Raum 

Wahrnehmung der Gelenkstellungen 

Wahrnehmung von (Gelenk-) Kräften 

Tiefenschmerz (Muskeln, Organe) 


Multi-Touch Interfaces 

Touchpads mit Druckmessung 

Z. B.: MTC Express 

Optisch p ( (Beamer, , IR-Kamera) ) 

Nortd: CubeIt 

Microsoft Surface 

Multitouch-Touchpads 

MacBook Pro-Touchpad 

iPod, iPhone 


( Bildquellen: http://nortd.com/cubit/ ) 

Was nehmen wir wahr 

mit dem haptischsomatischen 

System ? 

(was außer Sehen, Hören, Riechen und Schmecken ?) 


Rezeptoren in der Haut 

Merkel-Zelle 

Druck ⇒ Wahrnehmung: Druck 

Erkennen von Details 

Meisner-Körperchen 

leichtes Antippen ⇒ Wahrnehmung: Zittern 

Ruffini-Körperchen 

Dehnung der Haut ⇒ Wahrnehmung: „Summen“ 

Pacini-Körperchen 

schnelle Vibration ⇒ Wahrnehmung: Vibration 

Thermorezeptoren, Nozirezeptoren (Schmerz) 


Sind alle Hautregionen 

gleich empfindlich empfindlich ? 

? 


Sensorischer Homunculus 


Force Feedback 

(Bildquelle: Goldstein, Wahrnehmungspsychologie, 

Spektrum Akademischer Verlag) 

Reize für das Haptisch-Somatische System 

Sensor: Messung von aufgewendeter Kraft 

Actuator: Generierung von Gegenkraft 

Bildschirm 

CPU 

Auge Hand 


Eingabegerät 

Prozessor 

20-50 Hz 500-1000 Hz 

Wahrnehmung von 

Berührungen 

Die Haut ist unterschiedlich aufgelöst 

Finger, Gesicht sehr fein, Rumpf, Extremitäten viel gröber 

Somatosensorischer Kortex hat entsprechend 

dimensionierte Regionen 

Neuronale Schaltmuster zur Bewegungswahrnehmung 

Aktives Berühren 

liefert mehr Informationen als passives Berühren 

Verknüpfung mit Wahrnehmung der Gelenkstellungen 

„spüre spitzen Gegenstand“ statt „Pieken auf der Haut“ 

ermöglicht Wahrnehmung von 3D-Formen 


Sensorischer und 

Motorischer Homunculus 

( Natural History Museum, London Bildquelle: http://en.wikipedia.org/wiki/Homunculus ) 


Geräte mit Force-Feedback 

MIST-VR 

Virtuelles Operationsbesteck 

Phantom 

Virtuelles Berühren 

hydraulisch 

“Haptic Rendering” 

Datenhandschuhe 

FF für Spiele 


(Bildquellen: Prospekte der Hersteller)

Datenhandschuhe 

1 Sensor 

pro Finger 

( Bildquellen: http://www.mindflux.com.au ) 

CyberForce 

Cyberglove, 

2 Sensoren 

pro Finger, 

Auflösung 1° 


CyberTouch 

(FF über 

Vibrationen) 

CyberGrasp: FF über Exoskelett 

Force Feedback: unbeeinflußt 

Konstante 

Kraft 

Kraft, die 

mit der Zeit 

die Richtung 

wechselt 


Vibration 

( Bildquellen www.immersion.com ) 

Zusammenfassung FF 

Druckwahrnehmung durch 

Merkelzellen 

Haut unterschiedlich aufgelöst 

Haptisches Rendering 20 mal 

schneller als optischer Rendering 

Phantom: 3D-Gegenkräfte über 

Hydraulik 

Mäuse mit 2D-Forcefeedback 


Force Feedback für Spiele 

WingMan 

(Logitech) 


iFeel-Mouse 

(Logitech) 

Immersion Touch Sense 

Force Feedback für Logitech-Geräte 

Programmierbare Elektromagneten mit eigenem 

Prozessor 

Effekte besitzen: Stärke (0-10000), Dauer in ms, 

Richtung (3D) 

müssen durch mathematische Formel beschreibbar sein 

Steuerung auch über Microsoft DirectInput ! 

(Bildquellen: www.microsoft.com 

bzw.www.logitech.com) 

FF durch Benutzer ausgelöst 

Reibung, wenn Geschwindigkeit 

überschritten (Coulomb-Reibung) 

Viskose Reibung, geschwindigkeitsabhängig: 

a) 

Trägheit, Gegenkraft abhängig von 

der Beschleunigung: b) 

Feder: Gegenkraft abhängig 

von Entfernung zu Referenzpunkt 

Raster: mehrere Referenzpunkte 

( Bildquellen www.immersion.com ) 


Kraft 

Kraftt 

Kraft 

Geschwindigkeit 

a) Geschwindigkeit 

b) Beschleunigung 

Abstand 

Wie nehmen wir 

unsere eigenen 

g 

Bewegungen wahr ? 


Bewegungswahrnehmung 

Visuelles System 

Relativbewegungen zu sichtbaren Objekten 

Auditives System 

Relativbewegung zu Tonquellen 

Haptisch-somatisches System 

Wahrnehmung von Kollisionen (Haut) 

Wahrnehmung von Kräften, Positionen 

und Gelenkstellungen 


Wahrnehmung und 

Orientierung 

Oben-/Unten-Erkennung 

Schwerkraft, Horizont 

Landmarken 

Wiedererkennung von signifikanten Gebäuden 

Verknüpfung der Landmarken zu Pfaden 

Pfadintegration 

Ermöglicht Heimkehr 

Kognitive Karte 

Anordnung der Landmarken in einer 2D-Karte 

Ermöglicht die Planung von Wegen 


Menschliche Fortbewegung 

in virtuellen Umgebungen 

Einfache Metaphern 

Pfeil-Tasten, Mouse-Pointer, Joystick, etc. 

Nachbildung realer Fortbewegungsgeräte 

z. B. Flugzeug- Flugzeug / Fahrzeugcockpit 

Menschliches Gehen/Laufen 

Sufficient-motion Interfaces 

Metaphern, die körperliche Bewegung erfordern 

(ähnlich der realen) 

Full-motion Interfaces 

Steuerung durch reale Bewegung (Gehen/Laufen) 


Rezeptoren für die 

Bewegungswahrnehmung 

Rezeptoren in den Gelenken signalisieren ... 

Gelenkstellung (langsam adaptierend) 

Bewegungen (schnell adaptierend) 

das Halten einer Gelenkstellung 

Muskelspindelrezeptoren signalisieren ... 

Veränderung der Muskellänge 

ebenfalls Gelenkstellung (indirekt) 

jeweils langsam adaptierend 


Orientierung: Pfadintegration 

Aktualisierung der momentanen Position und 

Lage 

durch visuelle Reize (Geschwindigkeit) 

durch Wahrnehmung der Beschleunigung 

Testpersonen werden d mit verbundenen b d Augen bbewegt 

... können anschließend Bewegungsbahn rekonstruieren! 

Bewegungswahrnehmung kann in 

Virtuellen Umgebungen durch Reizung 

der Haltungssinne verbessert werden ! 


Nachbildung realer 

Fortbewegungsgeräte 

Mensch wird durch Gerät bewegt 

Simulation der Kräfte, die das Gerät auf den 

Menschen ausübt 

Darstellung des sichtbaren Bereich 

Bildschirme ersetzen den Blick durchs Fenster 

Beispiel Daimler-Benz-Fahrsimulator 

Ziel: Mensch kann zwischen Simulation und 

Realität nicht unterscheiden 

Anwendung: Training, Beobachtung des 

Verhaltens 


Daimler-Benz- 

Fahrsimulator 

Seit 1985 in Berlin-Marienfelde 

Kuppel mit realem Fahrzeug 

Bewegungssystem mit 6 Freiheitsgraden 

für Beschleunigen/Bremsen 

18 Tonnen, 4 m/s Querbewegung 

für Spurwechsel 

180° Panorama (5 Projektoren) 

1 Projektor für rückwärtige Sicht 

Sound-System 

Dynamisches Modell in 6ms 

( Bildquellen Daimler Benz ) 


Full-motion Interfaces 

Begrenzt durch Realen Raum 

Motion Tracking 

Exoskelette 

computergenerierte Kräfte 

Unbegrenzte Fortbewegung 

Plattformen 

Cybersphere 

Gleitgeräte 

Foot follower 

SARCOS 


Motion Tracking: 

Magnetisch 

Auflösung 1,5cm bzw. 2° pro 

Empfänger 

Aktualisierung: 120 Hz 

Bis zu 20/32 Empfänger 

Burdea & Coffet, 1994 

Polhemus: Star Trak Wireless Ascension: MotionStar Wireless 


Sufficient-Motion 

Interfaces 

Metapher „Surfbrett“: 

Virtual Motion Controller (HITL) 

Virtual Balance (GMD-IMK) 

Fahrrad: 

VRBike, MPI-Tübingen 

( Bildquellen: 

www.sarcos.com, 

www.tuebingen.mpg.de, 

www.hitl.washington.edu, 

www.imk.fhg.de ) 

MPI 

Tübingen 


GMD-IMK 

HITL 

Washington 

Motion Tracking: Optisch 

UniPort, 

SARCOS 

Kameras verfolgen mehrere Marken 

Visualeyez: 32 Aktive IR-Marker, 90°, 2400 3D-Koord/Sek. 

Vicon 8:bis zu 24 Kameras 


Plattformen 

Natürliche Fortbewegung 

Omni-Directional Treadmill 

erlaubt Richtungsänderungen 

durch zwei senkrecht aufein- 

ander befindlichen Laufbändern 

Geschwindigkeit bis zu 2m/sec. 

„System centring actions“ lassen 

Benutzer stolpern 

(wenn er stehen bleibt) 

Erlernen schwierig, 

Voraussetzung für Benutzung 


Darken, Cockayne, Carmein 97,

Treadmills: Beispiele 

Sarcos Treadport, 

University of Utah, 

Hollerbach et al. 98 

Variable Steigung 

Force Feedback 


Sarcos Treadmill, Iwata 

Omnidirektionale Treadmill 

Walkthrough Simulator 

Iwata, Tsukuba University, 

1999 

Omnidirektional Gleitgerät 

Bremse Bremse an der der Fußspitze 

generiert Reibung, während 

Benutzer vorwärts geht 

Festhalten (oder zumindest 

Abstützen) ist notwendig 


Foot follower 

LocoSym, Systran 

Corporation 

SARCOS Individual 

Soldier Mobility Simulator 


The Cybersphere 

J. Eyre 1998, VR Systems UK 

Kugel, 3.5m Durchmesser, 6mm dick 

Zwei Schichten von jeweils 30 

Polycarbonatsegmenten 

Bewegung des Benutzers bringt Kugel in`s Rollen 

Messung durch weitere Kugel 

Kugel wiegt 270kg (ca. doppeltes 

Trägheitsmoment eines Menschen, 

der startet oder stoppt) 

Zukünftige Versionen sollen 

Motorantrieb beinhalten 


Ausrichtbare Plattform 

(Iwata) 

Kombinierbar mit Walkthrough 

Simulator für Force Feedback ? 


Virtual Walker 

(GMD-FIRST) 

Unterstützt schnelle Bewegungs- und 

Richtungsänderungen 

Einfach zu benutzen, Festhalten nicht erforderlich 

Änderung der Bewegungsrichtung über Metapher 

Walker I 

Keine Rückwärtsbewegung 

wg. Bewegungssymmetrie 

Kopf 

Gerät 

Orientieren im 

Stillstand 

Bewegen in 

Blickrichtung 


Walker II 

Trägheitskräfte 

des Schwungrads

Locomotion devices 

Motion-Tracking-Ansätze und Exoskelette 

begrenzen Bewegungsraum 

Computer-kontrollierter Grund (Cybersphere, 

Plattformen) 

Gefahr des Stolperns 

Eigener Impuls ist nicht vorhanden 

Langsame Geschwindigkeiten, vorsichtige Änderungen 

Geräte mit Festhalten (Walkthrough Simulator) 

unrealistisch, weniger immersiv 

Foot follower 

Technisch sehr aufwendig 

Virtual Walker 

Metapher zur Richtungsänderung nötig 


Nasa - Ames Research Center 

(Jorgensen, Wheeler, Stepniewski, 2000) 

Landung einer simulierten 757 durch Muskelsteuerung 

Kombination mit Lernsoftware für autom. Landungen 


Zusammenfassung 

Force Feedback über Hydraulik oder 

Vibrationen (Merkel-Zellen) 

Bewegungswahrnehmung (Orientierung) 

Haptische p Reize zur Verbesserung g 

Nachbildung realer Fortbewegungsgeräte 

Sufficient- und Full-Motion-Interfaces 

Neuronale Interfaces (Mustererkennung, 

Steuerung von Prothesen) 


Neuronale Interfaces 

Elektroden messen Nervenimpulse 

Neuronale Netzwerke für Mustererkennung 

Steuerung eines Systems durch erkannte Muster 

Unterarm: Nasa 

Herz: Fluglotsenüberwachung, Müdigkeit erkennen 

Steuerung von Prothesen 

Interaktionshilfen 

Produktion von Sinneseindrücken 

Retinaimplantate für Blinde 

Neurostimulatoren in Herzschrittmachern 

Hörimplantate 


Neuroprothetik - Implantate 

(Fhg - IBMT) 

10 Mikrometer, 4 mg 

(Bildquellen: www.ibmt.fhg.de) 


Anbindung an 

Nerv zur 

Steuerung von 

Prothesen 

Implatation in den Nerv

Haptik Heute Motivation Interaktion - HTW Berlin

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?