Thesis - RWTH Aachen University

3.3 Teach-In in virtuellen Umgebungen 71
Zufallszahlengenerator eine beliebige Konfiguration in der virtuellen Umgebung von n Hindernissen
mit variabler Größe und dem Zielobjekt auf einer Auflagefläche. Nachdem der Manipulator in eine
Ausgangsposition gebracht wird, wird ein Greifvorgang initiiert. Bei jedem Schleifendurchlauf wird
der jeweils aktuelle Merkmalsvektor �st der aktuellen Aufnahmen, der Positionsvektor des Manipulators
� Pt und die Aktion �ρt, die der Roboterarm ausführen wird, gespeichert. Weiterhin wird jedes Mal
der Bewerter 16 aufgerufen, der aufgrund der gegebenen Situation eine Belohnung rt erzeugt.
rt = R( � Pt, �st, �ρt) (3.27)
Unterschreitet der minimale Abstand des Greifers bzw der Manipulatorsegmente von einem der Objekte
einen Schwellwert dKol, wird dies als Kollision interpretiert und der Schritt wird abgebrochen.
Erst dann werden die Parameter der Steuerungsalgorithmen, die im internen Zustand It zusammengefasst
sind, anhand der vergebenen Belohnungen für jeden Schritt angepasst, so dass keine Kollisionen
mit Hindernissen stattfinden. Dabei können auch in anderen Schritten vergebene Belohnungen in Betracht
gezogen werden, um das Lernen effizienter zu gestalten:
It = U(It, � Pt, �st, rt, ..., rt−n, �ρt) (3.28)
Danach wird der Vorgang aus derselben Position und derselben Konfiguration wiederholt, bis die
Ausgangssituation bewältigt ist (Abbildung 3.17).
Durch das stochastische Teach-In kann der Manipulator mit beliebigen Konstellationen von Hindernissen
und Zielobjekt konfrontiert werden und seine Steuerung entsprechend anpassen, ohne dass
eine direkte Vorgabe der richtigen Aktion notwendig ist 17 . Da besonders zu Beginn des Trainings
viele Kollisionen auftreten können, hat das stochastische Teach-In den Vorteil, gefahrlos abzulaufen.
Der Lernvorgang lässt sich automatisieren, so dass wesentlich mehr Durchgänge als bei einem realen
Training möglich sind. Außerdem besteht die Möglichkeit, bei Bedarf die exakt gleiche Situation,
Objekt- und Roboterpositionen zum mehrmaligen Training des Greifvorgangs herzustellen.
16 Der Bewerter ist anwendungsspezifisch und die genaue Implementierung hängt von den zu lernenden Algorithmen
ab. 17Der Ansatz besitzt eine Ähnlichkeit zu Piagets’ Circular Motion [YKD97], [WT98], [BG97]. Beide Verfahren produzieren
eine Bewegung des Roboterarmes, die für das Erlernen der bildgestützten Steuerung des Roboterarmes eingesetzt
wird. Jedoch gibt es einen grundlegenden Unterschied. Piagets’ Circular Motion ist ein Verfahren zur Unterstützung von
überwachten Lernverfahren, da der Roboter nach seiner Bewegung die neue Ist-Position mit dem Merkmalsvektor als
Trainingspaar verwendet. Beim stochastischen Teach-In dagegen findet eine Bewertung der Aktion des Manipulators statt
und anhand dieser wird die Robotersteuerung angepasst.