Thesis - RWTH Aachen University

4.2 Hindernisvermeidung 91
H
1
ρ ρ
2 T
Abbildung 4.16: Fusion der Ausweichvektoren bei der Hindernisvermeidung des Greifers.
stochastischen Teach-In in 45 unterschiedlichen Lernszenarien trainiert. In jedem Lernszenario muss
sich der Greifer von einer zufällig generierten Startposition kollisionsfrei nach vorne bewegen. Dabei
soll eine Ausgangssituation mit einem Hindernis 19 bewältigt werden. Nach jeder Bewegung des Manipulators
berechnet ein Bewerter aus den aktuellen Aufnahmen der Greiferkamera und der bekannten
Position des Greifers zum Hindernis eine Bewertung der Konstellation. Anhand der vergebenen Bewertung
wird dann die Steuerungskomponente angepasst. Unterschreitet der minimale Abstand des
Objektes von der Kamera einen gesetzten Schwellenwert, wird dies als Kollision interpretiert und der
Schritt wird abgebrochen. Das Szenario wird so oft wiederholt, bis der Manipulator am Hindernis
kollisionsfrei vorbeikommt.
Der Bewerter implementiert die Belohnungsfunktion des Reinforcement Learning (Abbildung 4.17).
Er ist hier mit einem Fuzzy System implementiert, das Bewertungen des aktuellen Umgebungszustands
in Bezug auf eine Kollisionsgefahr erstellt, und wird nach der Trainingsphase vom System
abgekoppelt. Als Eingabe erhält er den minimalen Abstand dHKmin des Hindernisses von der Kamera
und den minimalen Abstand des Hindernisses dHSAmin von der Kamerasichtachse (Abbildung 4.18).
Jedem Eingang des Bewerters wird eine linguistische Variable mit drei Termen zugeordnet. Die Zugehörigkeitsfunktionen
sowie die Regelbasis des Bewerters wurden nicht trainiert, sondern sind vorgegeben;
sie sind in Anhang D dargestellt. Die Regelbasis ist auf Basis zweier empirischer Aussagen
erstellt worden. Einerseits erhöht eine Annäherung des Greifers an das Hindernis die Kollisionsgefahr;
in diesem Fall sollte das Verhalten eine negative Bewertung erhalten. Andererseits gibt es mehr
Raum für eine Vorwärtsbewegung, je größer der Abstand des Hindernisses von der Sichtachse wird;
deshalb sollte für solche Konstellationen eine positive Bewertung erteilt werden. Somit bestraft der
Bewerter Bewegungen, die dem Manipulator in Kollisionsgefahr mit dem Hindernis bringen, belohnt
jedoch Bewegungen, die den Greifer möglichst schnell voran führen.
Das eigentliche Training setzt den Q-learning Algorithmus [Wat89] ein, der von einem gegebenen
Zustand Zi nach der Aktion �ρ sucht, die die akkumulierte zukünftige Belohnung und somit die Ak-
19 Die Dimensionen des Hindernisses variieren pro Lernszenario.
T
ρ HG
ρ 1
H 2