Neue Konzepte für - Lehrstuhl für Informatik VII

www7.informatik.uni.wuerzburg.de

Neue Konzepte für - Lehrstuhl für Informatik VII

Seminar: Mensch Roboter Interaktion

Lehrstuhl VII SS07

Professor Schilling

Seminararbeit

Neue Konzepte für

Benutzerschnittstellen zum Steuern von

mobilen Robotern

Von Stephan Toth

Betreuer: Frauke Driewer, Markus Sauer


Gliederung

1.Einleitung

1.1.Allgemein 3

1.2.Begriffsklärung 3

2.Hauptteil

2.1.Haptic Teleoperation of mobile Robot [1]

2.1.1.Einleitung 4

2.1.2.Problematik 4

2.1.3.Lösungsansatz 4

2.1.4.Umsetzung 4-7

2.1.5.Tests 7-9

2.1.6.Zusammenfassung 9

2.2. Comparing the usefulness of Video and Map Information in Navigation Tasks [2]

2.2.1.Einleitung 10

2.2.2.Experiment in virtueller Umgebung 10

2.2.3.Experiment in realer Umgebung 11

2.2.4.Zusammenfassung 12

2.3. Time Follower‘s Vision [3]

2.3.1.Einleitung und Problematik 13

2.3.2.Lösungsansatz und Umsetzung 14

2.3.3.Tests und Ergebnisse 15

2.3.4.Zusammenfassung 16

3.Fazit/Überblick 16

4.Quellenangabe 17

2


1.Einleitung

1.1.Allgemeines

Bei diesem Seminar geht es um verschiedene neue Konzepte für Benutzerschnittstellen zum

Steuern von mobilen Robotern. Es werden verschiedene Ansätze vorgestellt. Eines haben alle

Ansätze gemeinsam: Sie befassen sich mit der Navigation eines mobilen Roboters in

unbekannter Umgebung. Hauptsächlich wird untersucht auf welche Art und Weise man die

verschiedenen Performanzkriterien verbessern kann.

Entscheidend für die Güte der Steuerung sind folgende Kriterien:

• Kollisionsanzahl

• Zeit

• Intuitivität der Steuerung

• Erlernbarkeit der Steuerung

• Präzision

• Situational awareness

Die verschiedenen Konzepte für Benutzerschnittstellen versuchen ausgehend von

vorhandenen Standartansätzen, die oben genannten Kriterien zu optimieren. Hierzu wird

jeweils immer auf die Problematik des zugrunde liegenden Standartansatzes hingewiesen,

kurz theoretisch behandelt und dann anschließend eine Verbesserungsidee umgesetzt und in

zahlreichen Tests der Verbesserungseffekt gemessen.

1.2.Begriffsklärungen

1.2.1.Virtual Reality:

Virtual Reality ist die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer

physikalischen Eigenschaften in einer in Echtzeit computergenerierten interaktiven virtuellen

Umgebung.

1.2.2.Mixed Reality:

Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert).

Interaktivität findet in Echtzeit statt. Die Realen und virtuellen Objekte stehen 3-Dimensional

zueinander in Bezug.

1.2.3.Augmented Reality (Erweiterte Realität):

Teilweise Synonym verwendet zu Mixed Reality. Die Bedeutung geht aber noch mehr

Richtung Realität.

3


2.1.Haptic Teleoperation of a mobile Robot: A user Study [1]

2.1.1.Einleitung

Die Teleoperation dient hauptsächlich zur Navigation eines Roboters in unbekannten

Gebieten. Da dies kein einfaches Problem ist, versucht man den Benutzer hierbei zu

unterstützen. Ein grundlegender Ansatz hierfür ist die sensorbasierte Hindernisvermeidung,

die vor allem bei dynamischen Umgebungen oder hohen Geschwindigkeiten eine wichtige

Rolle spielt. Hierbei werden durch die Sensorik des Roboters Umgebungsdaten

aufgenommen. Diese werden weiterverarbeitet und Hindernisse erkannt. Der Roboter wird

nun so programmiert, dass er Kollisionen vermeidet.

2.1.2.Problematik

Hierdurch kann ein Konflikt zwischen Benutzersteuerung und Hindernisvermeidung des

Roboters entstehen. Z.B. wenn der Benutzer auf ein Hindernis zusteuert, das er selbst nicht

wahrnehmen kann, da es sich außerhalb des Blickwinkels der Kamera befindet. Die Sensorik

des Roboters jedoch nimmt das Hindernis wahr und veranlasst den Roboter zu stoppen, -

greift also in den Befehl des Benutzers ein. Der Benutzer hingegen kann nur schwer verstehen

warum der Roboter anhält, da seine optischen Informationen nicht ausreichend sind.

2.1.3.Lösungsansatz

Als ein Lösungsansatz für dieses Problem dient eine Force-Feedback Steuerung. Force-

Feedback ist die Möglichkeit dem Benutzer haptische Rückmeldung über die Situation, in der

sich das zu steuernde Fahrzeug befindet, zu geben. Typische Einsatzbereiche für Force-

Feedback sind neben der Telerobotik auch noch Virtual Reality, andere Gebiete der Robotik,

Entertainment, sowie in der Luftfahrt und viele andere. Bekannte kommerzielle Force-

Feedback-Geräte sind das Phantom [5] (ein in 6 Achsen beweglicher Stift) und der

CyberGrasp [4] (Cyber-Handschuh).

2.1.4.Umsetzung

A) Theoretische Umsetzung

Das Kernelement der Umsetzung ist die Kraftberechnung. Der Prozess läuft Kreislaufartig ab

(vgl. Skizze 2.1.4.1).

Skizze 2.1.4.1 : Kraftberechnungsprozess nach [1]

4


Im Wesentlichen treten zwei Arten von Kräften auf:

1) Die von der Umgebung erzeugte Kraft F e

, F ) ;

(

, x e,

z

2) Die Kollisions-vorbeugende Kraft F c

, F ) ;

(

, x c,

z

Hieraus resultiert die Gesamtkraft F , F ) = (max{ F , F },max{ F , F }) ;

(

x z

e, x c,

x

e,

z c,

z

Zu 1) Die von der Umgebung erzeugte Kraft

Die von der Umgebung erzeugte Kraft dient zur Vermeidung von Kollisionen. Sie ist sehr

ähnlich zur „traditionellen“ Potentialfeldmethode. Die Hauptunterschiede sind jedoch:

1) Es existiert keine anziehende Kraft.

2) Nur Hindernisse im relevanten Bereich werden mit einberechnet.

3) Nicht der Durchschnitt oder Summe der Kräfte zählt, sondern das Maximum.

Die Kraft tritt ab einem Mindestabstand auf und ist indirekt proportional zum tatsächlichen

Abstand vom Hindernis. Ein Problem bei der Kraftberechnung ist, dass der Roboter

punktförmig modelliert ist. Dieses Problem kann umgangen werden, indem die Hindernisse

um eine halbe Roboterbreite vergrößert werden.

Die genaue Berechnung funktioniert wie folgt [1]:

d i

: Abstand zwischen i-tem Hindernis und

Roboter.

θ : Winkel zum i-ten Hindernisses.

i

r max

: Der Maximal Abstand den ein

Hindernis haben darf, damit es berücksichtigt

wird.

k i

: Konstanten zur Kalibrierung

5


Anschaulich bedeutet das, dass die Maximalkomponenten der Kräfte relevant sind. (vgl.

Skizze 2.1.4.2.)

Skizze 2.1.4.2.: Kraftberechnung nach [1]

Zu 2) Die Kollisions-vorbeugende Kraft

Die Kollisions-vorbeugende Kraft berechnet sich aus den erlaubten (ohne das eine Kollision

entsteht) Drehwinkeln und den Abständen zu den Hindernissen vor und hinter dem Roboter.

Sie sorgt dafür, dass der Roboter, wenn er sich in Engpässen befindet, möglichst weit von den

Hindernissen entfernt bleibt. Der linksmögliche und rechtsmögliche Drehwinkel werden zum

Durchschnittsdrehwinkel gemittelt, und der Roboter Richtung dieses Winkels gedrückt.

Die Z-Komponente (Vorwärts/Rückwerts) der Kraft ist indirekt proportional zum Abstand des

Hindernisses. Die X-Komponente (Rechts/Links) der Kraft berechnet sich aus dem relativen

Unterschied zwischen rechts möglichen und links möglichen Drehwinkel.

Die genaue Berechnung funktioniert wie folgt [1]:

k

i

: Konstanten;

δ

ccw

: links möglicher Drehwinkel;

δ

cw

: recht möglicher Drehwinkel;

δ

avg

δ

=

ccw

+ δ

2

cw

: Durchschnittwinkel;

6


B) Praktische Umsetzung

Das Testsystem für den vorgestellten Ansatz wurde aus folgenden Hardwarekomponenten

zusammengestellt. Die Systemarchitektur wird im rechten Teil der Skizze erläutert. (vgl.

Skizze 2.1.4.1)

• Activemedia

Pioneer 2-DX

Roboter

• SLICK LMS-200

Laser Scanner

(vorne)

• 8 Ultraschall

Sensoren (hinten)

• Sony EVID-30

Kamera

• Phantom

Skizze 2.1.4.1 : Das Testsystem nach [1] und [6]

2.1.5.Tests

Versuchsaufbau

Das oben erklärte System wurde anschließend durch ca. 30 Testpersonen getestet. Die Tests

wurden sowohl in einer virtuellen Umgebung als auch in einer realen Umgebung

durchgeführt. Es wurden pro Person jeweils 3 Durchläufe gemacht, so dass ein eventuelles

Lernverhalten der Testpersonen mit aufgezeichnet werden konnte.

Es wurde jeweils in drei verschiedenen Testmodi getestet:

1) NF: Kein Force-Feedback, d.h. es wirkt keine Kraft am Eingabegerät.

(No-Force)

2) EF only: Nur die von der Umgebung erzeugte Kraft wirkt.

(Environmental-Force only)

3) EF&CF: Von der Umgebung erzeugte Kraft + Kollisions-vorbeugende Kraft.

(Environmental-Force + Collisions-preventing-force)

7


Es wurde in zwei verschiedenen Testumgebungen getestet. (vgl. Skizze 2.1.5.1 und 2.1.5.2)

Skizze 2.1.5.1.:Virtuelle Testumgebung nach

[1]

Skizze 2.1.5.2.: Reale Testumgebung nach

[1]

Ergebnisse

Zu 1) Virtuelle Testumgebung

a) Die Anzahl der Kollisionen sinkt sehr stark ab, wenn beide Kräfte hinzugenommen werden.

Bei EF-only ist die Kollisionsanzahl zwar vorher leicht (nicht signifikant) höher, jedoch wird

das Lernvermögen der Probanten gesteigert. Diese können sich stärker verbessern in den

Folgedurchgängen. (vgl. Skizze 2.1.5.3.)

b) Die Geschwindigkeit wird je mehr Kräfte wirken etwas langsamer. Das kommt daher, dass

sich das Force-Feedback-Gerät nicht mehr ohne Gegenkraft in alle Richtungen lenken lässt.

Auffallend ist jedoch, dass bei einem Geschwindigkeitsverlust von ca. 10% die Kollisionen

um ca. 500% reduziert werden (bei EF&CF). (vgl. Skizze 2.1.5.4.)

c) Minimaler Abstand zum Hindernis wird vergrößert je mehr Kräfte wirken.

d) Kollisionsgeschwindigkeit wird geringer, je mehr Kräfte wirken.

30

0,4

25

20

15

10

5

NF

EF

EF&CF

0,35

0,3

0,25

0,2

0,15

0,1

0,05

NF

EF

EF&CF

0

Run 1 Run 2 Run 3

0

Run1 Run 2 Run 3

Skizze 2.1.5.3.: Kollisionszahlen nach [1] Skizze 2.1.5.4.: Geschwindigkeit in m/s nach [1]

8


Zu 2) Reale Testumgebung

Ergebnisse in der realen Umgebung. (vgl. Skizze 2.1.5.4.)

8

490

6

4

2

0

Kollsionen

NF

EF

EF&CF

440

390

340

290

240

Time

NF

EF

EF&CF

Skizze 2.1.5.4.: Testergebnisse in der realen Umgebung nach [1]

a)

Diese Ergebnisse sind ähnlich zu denen in der virtuellen Umgebung, allerdings ist „EF-only“

von Anfang an besser als ohne Force-Feedback. Auch bei den Navigationszeiten schneiden

nun die Verfahren mit ein oder zwei Kräften besser ab. Das Force-Feedback-System

funktioniert also in der realen Testumgebung noch besser als in der virtuellen.

b)

Neben diesen rein objektiven Daten wurde auch noch das subjektive Empfinden der 30

Testpersonen per Fragebogen ermittelt. Hierbei stellte sich heraus, dass das „EF-only“ in allen

Kategorien ca. 15% besser bewertet wurde und das „EF&CF“ ca. 20-25% besser als das

„NF“.

2.1.6.Zusammenfassung

Abschließend lässt sich sagen, dass sich die Steuerung durch die Verwendung von Force-

Feedback subjektiv gesehen besser anfühlt. Die Testpersonen fühlen sich enger an der echten

Umgebung. Somit wird die situational awareness verbessert. Die Performance wird gesteigert,

d.h. es gibt vor allem viel weniger Kollisionen. Die Sicherheit wird erhöht und die Steuerung

wesentlich erleichtert. Testsieger war Force-Feedback mit der von der Umgebung erzeugten

Kraft und der Kollisions-vorbeugenden Kraft, denn hier wurde von Anfang an am sichersten

und zuverlässigsten navigiert.

9


2.2.Comparing the Usefulness of Video and Map Information [2]

2.2.1.Einleitung

Bei der Teleoperation werden meist Video- oder Abstandsinformationen benutzt um die

Navigation zu ermöglichen. Beide haben Vor- und Nachteile. In diesem Paper [2] wird

untersucht, wie nützlich die Video- oder Abstandsinforationen bei einem 2D oder 3D

augmented-virtuality Interface sind.

2.2.2.Experiment 1 : Virtuelle Testumgebung

Das erste Experiment findet in einer virtuellen Testumgebung in Form eines Labyrinths statt.

Um ein Kamerabild zu erzeugen wurde hier die Unreal Tournament Engine verwendet. (vgl.

Skizze 2.2.2.1.)

Skizze 2.2.2.1.: Testumgebung nach [2]

Wichtig ist, dass dieses Labyrinth frei von Sackgassen ist, da Sackgassen der 2 dimensionalen

Kartendarstellung einen Vorteil verschaffen würden, was wiederum das Ergebnis der Studie

verfälschen würde.

Es wurden folgende Benutzerschnittstellen verwendet. (vgl. Skizze 2.2.2.1.)

Skizze 2.2.2.1: Benutzerschnittstellen 2D und 3D nach [2]

10


Auffällig ist hier das bei der 2D-Schnittstelle die Karten und Videoinformationen

nebeneinander angeordnet sind. Problem hierbei ist, dass es dem Benutzer sehr schwer fällt

zwei parallele Informationen zu verarbeiten. Dies führt dazu, dass die Informationen

konkurrieren.

Bei der 3D-Schnittstelle konnten die Videoinformationen ins Bild integriert werden, wodurch

das Interface für den Benutzer übersichtlich bleibt.

Kurzzusammenfassung der Ergebnisse:

400

25

300

200

10 0

0

Zeit

2D video

2D map+video

2D map

3D video

3D map video

3D map

20

15

10

5

0

Kollisionen

2D video

2D map+video

2D map

3D video

3D map video

3D map

Skizze 2.2.2.2: Ergebnisse nach [2]

Die 3D Map-only zu Map+Video Unterschiede in Geschwindigkeit und Kollisionsanzahl

waren nicht signifikant.

Allerdings gab es einen signifikanten Lernratenanstieg bei den Benutzern bei Map+Video.

Die Benutzer mussten also erst lernen die Videoinformationen richtig zu verarbeiten, ohne

dabei abgelenkt zu werden.

2.2.3.Experiment 2 : Reale Testumgebung

Das zweite Experiment wurde in einer realen Testumgebung durchgeführt.(vgl.Skizze 2.2.3.1)

Skizze 2.2.3.1: Der Versuchsaufbau nach [2]

11


Die Benutzerschnittstellen sahen wie folgt aus. (vgl.Skizze 2.2.3.2)

Skizze 2.2.3.2 : Die Benutzerschnittstellen bei realem Versuchsaufbau nach [2]

Kurzzusammenfassung der Ergebnisse:

350

300

250

200

15 0

10 0

50

0

Zeit

Video

2D map+video

2D map

3D map video

3D map

50

40

30

20

10

0

Kollisionen

Video

2D map+video

2D map

3D map video

3D map

Skizze 2.2.3.2: Ergebnisse nach [2]

Auf realer Karte hatten die Video-Informationen einen besseren Effekt. Das liegt daran, dass

man nun keine ideal virtuell modellierte Karte mehr besitzt, sondern die Karte aus den

verrauschten Sensordaten erstellt wird. Hierdurch wird die Videoinformation wichtiger.

Die 3D-Map mit integriertem Video lieferte die besten Performancewerte.

2.2.4.Zusammenfassung

Zusammenfassend lässt sich sagen, dass zusätzliche Videoinformationen nicht immer auf

Anhieb einen positiven Effekt mit sich bringen. Der Benutzer muss erst lernen die

zusätzlichen Informationen (vor allem beim 2D-Interface) richtig zu verwenden. Optimal

erwies sich, die Videoinformationen direkt in die Karte einzubinden, was nur beim 3D-

Interface möglich war. Denn dadurch werden konkurrierende Informationssysteme

vermieden.

Testsieger in dieser Arbeit war das Interface mit 3D-Kartierung und integriertem Video.

12


2.3.Time Follower’s Vision [3]

2.3.1.Einleitung und Problematik:

In diesem Paper wird die Kameraführung bei der Teleoperation untersucht. Die aktuell meist

verwendete Ansicht ist die egozentrische. Diese ist nicht optimal, denn bei dieser Ansicht sind

oft Größenverhältnisse, sowie die Position des Fahrzeugs in seiner Umgebung nur sehr

schwer und nur vom geübten Benutzer zu interpretieren.

Skizze 2.3.1.1.: Hier im Bild(rechts) erkennt man gut, dass das egozentrische Kamerabild

nicht sehr aussagekräftig ist. [3]

Eine Lösung um die Probleme zu verbessern stellt die Installation einer exozentrischen

Kamera dar. Hierdurch lässt sich das Fahrzeug wesentlich intuitiver und besser durch seine

Umgebung steuern. Das liegt daran, dass die Größenverhältnisse der Gegenstände sowie die

Position des Fahrzeugs im Raum klarer aus dieser Perspektive hervorgehen.

Der entscheidende Nachteil hiervon ist jedoch, dass das verwendete Fahrzeug wesentlich

größer wird, wodurch die Navigationsfähigkeit, vor allem in engen Räumen stark

abnimmt.(vgl.Skizze 2.3.1.2)

Skizze 2.3.1.2.:Hier im Bild wird der ca. 30 cm lange Panzer auf 80 cm verlängert. [3]

13


2.3.2.Lösungsansatz und Umsetzung:

Um eine Vergrößerung des Fahrzeuges zu vermeiden, aber dennoch eine übersichtliche

Kameraführung zu haben, wird eine virtuelle exozentrische Kameraansicht aus zuvor

aufgenommenen Kamerabildern erzeugt. (vgl. Skizze 2.3.2.1)

Skizze 2.3.2.1: Virtuelle Ansicht nach [3]

Die Systemarchitektur lässt sich schematisch wie folgt darstellen. (vgl. Skizze 2.3.2.2)

Skizze 2.3.2.2 : Systemarchitektur nach [3]

Die virtuelle exozentrische Ansicht wird generiert, indem die vom Roboter aufgenommenen

Bilder in einer Datenbank mit Zeit – und Orts-Stempel archiviert werden. Aus diesen Daten

wird dann anhand einer Selektionsmethode ein Bild ausgewählt, in welches das Fahrzeug

hinein gerendert wird, wodurch dann die virtuelle exozentrische Ansicht entsteht.

Es gibt drei verschiedene Methoden zur Bilderselektion:

1) Konstante Zeitverzögerung.

2) Berechnung einer Position in einem bestimmten Abstand hinter dem Fahrzeug.

3) Selektiert das Bild, bei dem Position und Richtung des Fahrzeugs am ähnlichsten

waren mittels Evaluationsfunktion und passt den Blickwinkel an.

14


2.3.3.Test und Ergebnisse

Es wurde folgender Parcours von 30 Testpersonen abgefahren. (vgl. Skizze 2.3.3.1)

Skizze 2.3.3.1: Die Testumgebung [3]

Kurzzusammenfassung der Ergebnisse:

Skizze 2.3.3.2.:Ergebnisse [3]

Die Real-Time-Egocentric-Kamera ermöglicht die mit Abstand am ungenauesten

funktionierende Steuerung. Die höchste Präzision erreicht man mit einer physikalisch

installierten exozentrischen Kamera. Allerdings ist hierdurch das Fahrzeug viel zu groß. Die

virtuelle exozentrische Ansicht kommt von der Präzision her sehr nahe an die physikalische

heran. D.h. man erreicht bei einem Fahrzeug mit kleinem Ausmaß durch diese Verfahren sehr

gute Ergebnisse.

15


2.3.4.Zusammenfassung

Zusammenfassend lässt sich sagen: Alle drei Methoden zur Bildergenerierung stellen echte

Alternativen zur echten exozentrischen Ansicht dar. Sie erzielen annähernd so gute

Ergebnisse in den Tests, wie bei physikalisch installierter Kamera. Die Steuerung wirkt sehr

intuitiv.

Der Große Vorteil gegenüber einer physikalischen Kamera ist, dass das Fahrzeug klein und

somit wendig bleibt.

3.Zusammenfassung / Fazit

Abschließend lässt sich sagen, dass alle Ansätze nachweislich Verbesserungen in der

Steuerung gebracht haben. Verbesserungen der Durchschnittsgeschwindigkeit waren kaum zu

erkennen. Allerdings, während sich die Kollisionsraten drastisch verringerten, sowie die

Präzision erhöht wurde, war nur ein geringer Geschwindigkeitsverlust zu erkennen. In allen

drei unterschiedlichen Ansätzen waren diese signifikanten Verbesserungen in Präzision und

Sicherheit festzustellen. Interessant wäre es, die Kombination oder Synthese der verschieden

Ansätze zu untersuchen. Z.B. würde sich die Force-Feedback Steuerung problemlos mit dem

3D-Interface mit integriertem Video kombinieren lassen. Generell wird hier in Zukunft noch

viel Handlungsbedarf sein, die vorhandenen Benutzerschnittstellen zu erweitern oder zu

verbessern. Tendenziell wird dies zu einer immer engeren Verschmelzung der virtuellen und

der realen Welt führen.

16


Quellenangabe:

[1 Sangyoon Lee,Gaurav S. Sukhatme, Gerard Jounghyun Kim,Chan-Mo Park

Haptic Teleoperation of a Mobile Robot: A User Study

] .

[2]

[3]

Nielsen, C. W. and Goodrich, M. A. 2006. Comparing the usefulness of

video and map information in navigation tasks. (Salt Lake City, Utah, USA, March

02.03. 2006)

Sugimoto, M. Kagotani, G. Nii, H. Shiroma, N. Matsuno, F. Inami,

M. 2005. Time Follower's Vision: a teleoperation interface with past

images.

[4] Immersion. Cybergrasp and Impulse Engine 2000. http://www. immersion.com.

[5] Sensable Technologies Inc. PHANToMTM hardware devices.

http://www.sensable.com.

[ 6] ActivMedia Robotics. P2-DXE. http://www.activmedia.com.

17

Weitere Magazine dieses Users
Ähnliche Magazine