Thesis - RWTH Aachen University

66 3.3 Teach-In in virtuellen Umgebungen
Wertfunktion anhand der gegebenen Belohnung geschätzt wird. Verfahren, die dies ermöglichen, sind
beispielsweise der Monte Carlo Algorithmus und der TD-Ansatz, der im Anhang C beschrieben ist.
Sei π die Funktion der Handlungsstrategie und W das Weltmodell. Dann ist die generelle Form des
RL Algorithmus:
1. Initialisiere den internen Zustand des lernenden Agenten zu I0.
2. Erfasse den Zustand der Umgebung Zi.
3. Wähle Aktion �ρ = πI(Zi).
4. Führe Aktion �ρ durch.
5. Berechne das Reinforcement Signal r = R(Zi+1, �ρ)
6. Aktualisiere den internen Zustand und die Handlungsstrategie πI mit Ii+1 = U(W, Ii, Zi, r, �ρ).
7. Gehe zu Schritt 2.
Die Funktion U (Update Function) passt den internen Zustand des Agenten und daher die entsprechende
Handlungsstrategie an die erhaltene Belohnung an. Ihre genaue Form ist vom eingesetzten
Agenten abhängig.
Zur Bewertung der erzielten Lernergebnisse kann die erzielte Belohnung über die Anzahl der Lerndurchgänge
benutzt werden [SB98]. Hierbei wird in den meisten Fällen eine über alle k Lerndurchgänge
akkumulierte gemittelte Belohnung benutzt.
Rakk(k) = 1
k
k�
i=1
Ri = 1
k
k�
i=1
ni
1 �
rj
ni
j=1
(3.19)
Dabei stellt ni die Anzahl der Lernschritte pro Durchgang dar. Diese Kurve konvergiert idealerweise
gegen die maximal mögliche Belohnung, je näher die erlernte Policy sich der optimalen Handlungsstrategie
nähert. In der Praxis gibt man sich jedoch mit einem gewissen prozentuellen Anteil hiervon
zufrieden 12 .
Nach Arkin [Ark98] kann das Lernen mit Bewerter auf intelligenten Robotern mit der Struktur aus
Abbildung 3.12 implementiert werden. Der Controller stellt die eigentliche Robotersteuerung dar und
enthält die zu erlernende Handlungsstrategie. Der Roboter führt die gewählte Aktion aus, deren Ergebnis
wiederum eine Reaktion der Welt erzeugt. Diese Reaktion evaluiert der Bewerter (Critic) und
gibt eine Belohnung an die Robotersteuerung zurück. Diese Struktur ist jedoch nicht ohne weiteres
anwendbar, wenn die Robotersteuerung die Ausgaben von mehreren untergeordneten Komponenten
kombinieren muss, um die ausführende Aktion zu bilden. Dies ist beispielsweise der Fall, wenn mehrere
Verhalten gleichzeitig an der Bildung der Gesamtreaktion des Systems beteiligt sind. Dann ist es
nicht einfach, einer individuellen Komponente eine Belohnung zu zuweisen, da der Bewerter nur eine
Gesamtbelohnung für die Gesamtaktion verteilen kann, aber nicht weiß, wie diese berechnet wurde.
Dieses Problem ist als Credit Assignment Problem bekannt und muss beim Entwurf eines RL-Systems
beachtet werden [Ark98]. In dieser Arbeit wird dieses Problem bei der Verhaltenskoordinierung dadurch
gelöst, dass für jedes Verhalten eine entsprechende Belohnungsfunktion definiert und bei jedem
Lernszenario nur der Beitrag einer einzelne Fertigkeit angepasst wird 13 .
12 Alternativ kann man im Fall einer bekannten optimalen Handlungsstrategie die erlernte hiermit vergleichen. Dafür
wird der prozentuelle Anteil der optimal getroffenen Entscheidungen aus allen Entscheidungen der erlernten Policy über
die Anzahl der Lerndurchgänge aufgetragen.
13 Andere Verhalten können gleichzeitig aktiv sein, sie dürfen jedoch nicht eine ähnliche Zielsetzung wie das zu erler-
nende Verhalten haben.