Präsentation - Deutsche Gesellschaft für Luft- und Raumfahrt ...

GNC für die Koordination von teilautonomen
Robotergruppen aus Land- und Luftfahrzeugen
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 1

Anwendungsbereiche
Raumfahrt Industrie Ausbildung
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 2

Mobile Systeme aus Würzburg …
…im Weltraum: der erste
deutsche Pico-Satellit
UWE-1 (Masse < 1kg)
…in der Luft: Steuerung
von Quadrukoptern
und Helikoptern
Robotikhalle und
Robotertestgelände
der Uni Würzburg
…im Internet: Tele-
Experimente mit
mobilen Robotern
(Virtuelle Hochschule
Bayern)
Forschungsschwerpunkte:
- Systemkonzepte
- Sensorsysteme
- Regelung und Steuerung
- Tele-Robotik
Zentrum für Telematik e.V.
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 3

Das Robotik-Testfeld der Universität Würzburg
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 4

EU-Project PeLoTe : Teams of Firefighters and
Robots
PeLoTe (Building Presence through
Localisation for Hybrid Telematic
Systems) addressed the development of
advanced technology for the cooperation
of teams of humans and robots by means
of telepresence methods in combination
with navigation.
Applications emphasis is in search and
rescue activities for emergencies or
catastrophes.
This project was supported by the
“Future and Emerging Technologies”-
Program PRESENCE of the European
Union and was performed 2001 - 2005.
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 5

Communications in Networked Robot Systems
‣ Transported data:
• Sensor Data
• Video
• Voice
‣ User teleoperates
mobile robots;
‣ In case of unstable links,
autonomous reaction capabilities
of mobile robots provide control
for safe operation;
‣ Often WLAN is used:
• Easy to setup
• Availability of devices
• Compatibility of devices
• Possibilities to support
multihop communication
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 6

Suche nach Verletzten; Aufbau einer
Verbindung zur Leitzentrale
Führen der
Feuerwehrleute zu
Verletzten
PeLoTe Test im Feuerwehr-Trainingszentrum
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 7

Kommunikation in einem interaktiven Telematik-
System
Major research areas concern
interactions of digital, packet oriented,
event driven communication with
controls, based on continuous or fixed
sampling background
(as addressed by DFG SPP 1305)
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 8

SiNafaR: Sichere Navigation für
• Integrierter Ansatz:
– Sensorik-Komponenten
– Borddatenverarbeitung / Algorithmen
– Kommunikationswege
– Leitzentrale / Menschen
‣ Aufwändige Integration
autonome Robotikplattformen
• Autonome Reaktionen
• Menschen-Maschine-Schnittstelle
Leitzentrale
• Navigation als Koordinationsbasis
‣ Signifikante Fehlerquellen
‣ Aufwändige Tests
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 9

SiNafaR: Video
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 10

1. Schwerpunkt: Kommunikation
TCP / Gamebot :: 3000
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 11

Kommunikationsframework
Grundlage jeder Leitzentrale
Modul 1
Modul …
Modul n
Client-Modul
Client-Modul
Client-Modul
Server
• Server: Datenhaltung und Synchronisation zwischen den Clients
• Client-Module: Bibliothek für die Anbindung der Module
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 12

Kommunikationsframework
Umsetzung
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 13

Kommunikationsframework
Benchmark
• Testszenario: 32 Roboter, verteilt auf 8 virtuelle Welten, welche autonom Patrouillen
und Verfolgungen durchführen
• >100 Nachrichten pro Sekunde
• CPU-Auslastung (Core i7 der 1. Generation mit 2 Kernen / 4 Threads):
– Server: < 10% eines Kerns
– GUI:

2. Schwerpunkt: Simulation
Reale Tests
• Viele Komponenten zum Testen nötig,
spezielle Szenarios schwer exakt zu
realisieren
Simulation
• Ein Computer, aber idealisierte
Arbeitsumgebung.;Realistische
Störungen schwer einzubauen
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 15

Herausforderungen integrativer Simulatoren
• Hohe Rechenleistung für die Simulation vieler Komponenten nötig
• Modellierung der Einsatzumgebung notwendig
• Möglichst realitätsnahe Simulation der Sensoren (Auflösung, Abweichungen,
Rauschen, Latenzen, Abfragerate etc.)
• Rückkopplung Roboter / Einsatzumgebung
• Ausbaufähigkeit für Hardware-in-the-loop
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 16

Ansatz: USARSim
• Simulation kompletter virtuellen Welten mit großer Anzahl an Robotern möglich
• Basiert auf der Unreal-Engine (UDK)
• Erweiterungen durch USARSim:
– Viele Robotertypen (UAV, UGV), beliebige weitere integrierbar
– Viele Sensortypen (Odometrie, Laser, GPS, Kameras) mit Fehlermodellen
– Simulation von Funkverbindungen
Leistungsfähigkeit
• Problemlose Simulation von bis zu 9 Flugrobotern
• Datenausgabe mit 10 Hz
• Größter Engpaqß: Videoausgabe – aber: skalierbar, d.h. jede Videoausgabe auf
jeweils einen Rechner verteilbar
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 17

USARSim: Architektur & Demo
Video
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 18

USARSim: Einsatzmöglichkeiten
• Szenarien Planung
– Test der prinzipiellen Machbarkeit
– Planen von Mengengerüste
• Test von Kameraansichten
• Entwicklung von Algorithmen
• Testdaten für den Aufbau & Test von Kommandostationen
• Evaluation von Strategien z.B. bei Rettungs- und Aufklärungsmissionen
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 19

Verwendung von USARSim in SiNafaR
• Szenarien Planung (Patrouillen, Fahrwege etc.)
• Hilfsmittel zum Test der MMI
– Wirkung der Videos auf den Menschen
– Abschätzung der Informationsdichte
• Tests der höheren Roboterkomponenten (Navigation, Lokalisierung etc.)
(darüberhinaus sind reale Tests wichtig!)
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 20

3. Schwerpunkt: Leitzentrale
Gestaltungsrichtlinien
• Allgemeine Richtlinien
– DIN EN ISO 9241 (Ergonomie der Mensch-Systeminteraktion), Teil 110
– DIN EN ISO 14915 (Softwareergonomie für Multimedia-Benutzungsschnittstellen), Teil 1
– Ben Shneiderman: User Interface Design (Buch, Standardwerk zur MMI)
• Studien zu Latenzzeiten
– >100ms: fallen auf
– >1s: Feedback nötig
– >10s: Gefahr der Ablenkung
• Studien zur Aufbereitung von Informationen
– Informationsebenen
– Verhinderung von Aufmerksamkeitstunneln
– Entlastung des Kurzzeitgedächtnisses
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 21

Leitzentrale
Aufgaben
• Intuitive, auf die aktuelle Situation fokussierte Informationsaufbereitung
• Hervorheben der Änderungen
• Zuverlässige Übertragung der Kommandos
• Dateninfrastruktur aktualisieren
MMI
Videos
Situation
Awareness
Mobil
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 22

Leitzentrale
Design
• Wichtig: fortwährende Erkenntnis und Verständnis, was passiert (Situation Awareness)
• Drei große Bereiche:
– Kartenaktualisierung und
Lokalisierung der Roboter
– Datenerfassung
• zyklische
• eventbasierte
• manuelle
– Ereignissprotokollierung
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 23

Überblick über SiNafaR
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 24

2. Beispiel einer Leitzentrale: EFRE
Umweltmonitoring
• Abdeckung großer Bereiche
• Benutzung von Bienen als
Sensoren
• Mobile Roboter als Sensorplattformträger
• Automatische Analyse der
Daten
• Einfache Handhabung des
Gesamtsystems
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 25

EFRE: Leitzentrale
• Einfache und effektive Bedienung
• Weltweit von jedem Standort aus
• Ansicht beliebig skalierbar
– Übersicht aller Bienenstöcke
– Einzelne Messpunkte
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 26

EFRE: Mobile Datenerfassungseinheit
• Basis: mobiler Roboter Outdoor Merlins des Lehrstuhls
– Fahrassistenzfunktionen
– Laufzeit: ~1h
– Gewicht 15 kg
– Zuladung: ca. 5 kg
• Träger für mobile Sensoreinheit
• Steueralgorithmus: auf Basis künstlicher Potentialfelder und Sliding-Window-Methoden
1400
1200
1000
800
600
400
200
20
0
15
10
5
0
15
20
-5
10
5
-10
0
-15
-10
-5
Y
-20
-20
-15
X
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 27

Networks of Pico-Satellites for
Communication and Earth Observation
Anwendungen: Vernetzte Pico-Satelliten
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 28

Ground station networks for efficient operation of
distributed satellite systems
• Redundantes Scheduling der Bodenstationen & Kombination der empfangenen
Datenströme mehrerer Bodenstationen, um Übertragungsfehler zu korrigieren.
(Quelle: Dissertation; S. 40)
(Quelle: Dissertation; S. 95)
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 29

Zusammenfassung
Navigation eröffnet interessante Potenziale für mobile verteilte Systeme durch
• Integration von mehreren Robotern auf Land, in der Luft und im Weltraum auf Basis
der Lokalisierung
• Koordination der Kontrolle heterogener Mehr-Robotersysteme
• Sensordatenfusion der Nutzlastinformationen
10.10.2013 GNC für die Koordination von teilautonomen Robotergruppen aus Land- und Luftfahrzeugen 30