Thesis - RWTH Aachen University

3.3 Teach-In in virtuellen Umgebungen 65
Die Handlungsstrategie entspricht der steuernden Komponente des Agenten. Sie bestimmt, welche
Aktion der Agent in welcher Situation wählen soll und realisiert eine Abbildung von dem Zustandsraum
9 Z der Umgebung in den Aktionsraum 10 A zu: Z ↦→ A.
Die Belohnungsfunktion bewertet die Reaktion der Umgebung zu den Aktionen des Agenten und
demnach die ausgeführte Aktion der Handlungsstrategie. Mataric [Mat94] teilt die Belohnungsfunktionen
in ereignisgesteuerte (event-driven) und fortschrittschätzende (progress-estimator) Funktionen
ein. Immer wenn ein für die Lösung der Aufgabe wichtiges Ereignis eintritt, gibt die ereignisgesteuerte
Belohnungsfunktion als Antwort eine entsprechende, festgelegte Belohnung zurück. Tritt kein
vorher definiertes Ereignis ein, wird der Wert Null zugewiesen:
Revent−driven(Z) =
⎧
⎪⎨
⎪⎩
rE1 wenn Ereignis E1 eintritt,
rE2 wenn Ereignis E2 eintritt,
.
.
0 sonst.
(3.17)
Im Gegensatz dazu messen fortschrittschätzende Belohnungsfunktionen zu jedem Zeitpunkt den Grad
des Fortschrittes des Agenten bezüglich seines festgelegten Ziels. Diese Funktion ist nicht von bestimmten
Ereignissen abhängig, sondern gibt jederzeit eine bestimmte Belohnung aus einer kontinuierlichen
Wertemenge 11 . Sie kann positiv oder negativ sein, je nachdem, ob sich die Situation verbes-
sert oder verschlechtert hat.
Rprogress−estimator(Z) =
⎧
⎨
⎩
i wenn ein Fortschritt vom Grad i gemacht wurde,
−j wenn ein Rückschritt vom Grad j gemacht wurde,
0 sonst.
(3.18)
Der Grad i bzw. j ist ein Maß des Fortschrittes bzw. Rückschrittes und seine genaue Definition und
Wertebereich hängen von dem spezifischen Problem ab.
Im Gegensatz zur Belohnungsfunktion schätzt die Wertfunktion, wie vorteilhaft es für den Agenten
ist, in einem gegebenen Zustand zu sein (State Value Function) bzw. wie vorteilhaft eine Aktion
in einem gegebenen Zustand ist (Action Value Function). Diese Schätzung berücksichtigt nicht nur
die aktuelle sondern auch die erwartete zukünftige Belohnung, die der Agent aus dem gegebenen
Zustand mit der Handlungsstrategie bis zum Ziel erhalten kann. Die beste Handlungsstrategie, die
beim RL gesucht bzw. zu erlernen ist, ist diejenige, die die erhaltene Gesamtbelohnung über die Zeit
maximiert; dadurch entspricht der besten Handlungsstrategie, auch als optimale Policy bezeichnet,
die höchst mögliche Wertfunktion (Optimal Value Function). Ist diese bekannt, dann ist es einfach
die optimale Handlungsstrategie zu bestimmen: Die Aktion, die von einem Zustand Zi zu einem
anderen Zustand Zi+1 mit dem höchsten Wert Vmax der Wertfunktion führt, ist die Aktion, die eine
optimale Handlungsstrategie ergibt.
Das Weltmodell dient der Vorhersage einer Situation, die sich aus der Anwendung einer oder mehrerer
Aktionen in der Zukunft ergeben wird (Prediction). Demnach ermöglicht das Weltmodell die
Berechnung der Abbildung Zt × A ↦→ Zt+n und dadurch die Berechnung der Werte der Wertfunktion.
Dennoch kann auch ohne Weltmodell ein optimales Verhalten erlernt werden, indem die optimale
9 Der Zustandsraum umfasst alle möglichen Zustände, die die Umgebung annehmen kann.
10 Der Aktionsraum beinhaltet alle Aktionen, die der Roboter ausführen kann, um den Zustand der Umgebung zu ändern.
11 Dabei ist für die Berechnung der Belohnung die geeignete Soll-Ausgabe des Systems nicht bekannt; dies unterschei-
det sie vom überwachten Lernen.