Thesis - RWTH Aachen University

120 5.4 Erlernen der Verhaltenskoordination
Im Allgemeinen ist die optimale Gewichtung der Verhalten in jeder Situation nicht vorab bekannt,
so dass ein überwachtes Lernverfahren nicht einsetzbar ist. Man kann jedoch das Ergebnis der Anwendung
eines Verhaltens in einer Situation, ob sich also der Zustand des Aktuators in Hinblick auf
das Aufgabenziel verbessert oder verschlechtert hat, leicht bewerten. Deswegen gehört nach Mataric
[Mat94] das Erlernen der Verhaltenskoordinierung zur Kategorie des Lernens mit Bewerter (Reinforcement
Learning, RL) (siehe auch Abschnitt 3.3.2). Beim RL wird nach der Ausführung eines
Verhaltens eine Belohnung für einen Erfolg vergeben und damit die Handlungsstrategie so geändert,
dass in einer vergleichbaren Situation ähnlich verfahren wird. Erhält der Roboter jedoch im Fall eines
Misserfolges eine Bestrafung, wird der Entscheidungsalgorithmus derart angepasst, dass das Verhalten
in ähnlichen Situationen nicht mehr aktiviert wird. In diesem Rahmen beschreiben die BBNs die
zu erlernende Handlungsstrategie, welche eine Abbildung aus dem Zustandsraum, also dem Raum der
Merkmale S ′ , in den Aktionsraum, d.h. die Aufstellung der Gewichtungsmatrix G, darstellt. Dafür
werden die cpts der Knoten anhand der vergebenen Belohnung angepasst.
Die Belohnungsfunktion bewertet, ob das jeweilige Verhalten innerhalb des Betrachtungszeitraums
erfolgreich war. Sie ist verhaltensspezifisch und kann entweder eine Event-driven 9 oder eine Progressestimator
Funktion 10 sein. Ihr Wert hängt von der Situation ab, die sich nach der Ausführung eines
Verhaltens ergibt.
Das Credit Assignment Problem wird gelöst, indem bei jedem Lernvorgang immer nur die Anwendbarkeit
eines einzelnen Verhaltens erlernt wird. Dies bedeutet, dass man bei jedem Lernschritt nur
das BBN, das die zu erlernende Anwendbarkeit des betreffenden Verhaltens modelliert, angepasst.
Andere Verhalten können gleichzeitig aktiv sein, sie dürfen jedoch nicht eine ähnliche Zielsetzung
wie das zu erlernende Verhalten haben. Damit kann eine verhaltensspezifische Belohnung vergeben
werden, die nur den Erfolg des Verhaltens, dessen Anwendbarkeit erlernt wird, bewertet.
Als Beispiel wird hier der Trainingsvorgang bei der Hindernisvermeidung des Greifers in der virtuellen
Umgebung vorgestellt. Dabei sind alle zum Greifen notwendigen Verhalten, also das Planungsverhalten,
die Zielführung, das Zielfolgen und die Hindernisvermeidung des Greifers aktiv. Die
Trainingsdaten, also die Merkmals- und Positionsvektoren sowie die Bewertung des zu trainierenden
Verhaltens, werden mit dem stochastischen Teach-In in der virtuellen Umgebung generiert und
akquiriert (s.a. Abschnitt 3.3.4).
Die Bewertung für die Anwendbarkeit der Hindernisvermeidung zum Zeitpunkt t wird mit einer
Event-driven Belohnungsfunktion gebildet:
⎧
⎨ −rkol dGH,t+1 < kRLKG1 ∨ dGT,t+1 < kRLKG1
RevKG,t = −rdist
⎩
0
dGH,t+1 > kRLKG2 ∧ dGT,t+1 > kRLKG2
sonst.
(5.16)
Fällt nach der Ausführung die Distanz zu einem Hindernis dGH,t+1 oder zur Auflageebene dGT,t+1
unter einen festen Mindestabstand kRLKG1, dann wird dies als Kollisionsgefahr interpretiert und eine
entsprechende negative Bewertung −rkol erzeugt. Ist die Distanz größer als ein fester, maximal nötiger
Abstand kRLKG2, dann produziert der Bewerter erneut ein negatives Reinforcement Signal −rdist,
da in diesem Fall das Verhalten die Gesamtbewegung des Manipulators zuviel beeinflusst und den
Greifvorgang behindert. Dabei ist die Bewertung der Kollisionsgefahr betragsmäßig höher als die für
einen zu großen Abstand. Auf diese Weise wird die Priorität, welche die Kollisionsfreiheit gegenüber
einem kurzen Pfad zum Ziel hat, ausgedrückt.
9 Beispielsweise bei der Hindernisvermeidung.
10 Dies ist z.B. bei der Zielführung der Fall.