Neuronale Netze - D. Kriesel

Verhaltensweisen den Return des Roboters optimal erfüllen, aber leider nicht von uns
intendiert waren.
Man kann weiterhin zeigen, dass insbesondere kleine Aufgaben mit negativen Rewards
besser gelöst werden können während man bei großen, komplizierten Aufgaben mit
positiven, differenzierteren Rewards weiter kommt.
In Bezug auf unsere Gridworld wollen wir den Pure Negative Reward als Strategie
wählen: Der Roboter soll möglichst schnell zum Ausgang finden.
C.2.2 Die State-Value-Funktion
Im Gegensatz zu unserem Agenten haben wir eine gottgleiche Sicht auf unsere Gridworld,
so dass wir schnell bestimmen können, welche Roboterstartposition welchen
optimalen Return erreichen kann.
In Abbildung C.3 auf der rechten Seite sind diese optimalen Returns pro Feld aufgetragen.
In der Gridworld: Die State-Value-Funktion für unsere Gridworld stellt genau eine
solche Funktion pro Situation (= Ort) dar, mit dem Unterschied, dass sie nicht bekannt
ist, sondern gelernt werden muss.
Wir sehen also, dass es für den Roboter praktisch wäre, die aktuellen wie zukünftigen
Situationen einer Bewertung unterziehen zu können. Betrachten wir also ein weiteres
Systemelement des Reinforcement Learning, die State-Value-Funktion V (s), welche
mit Bezug auf eine Policy Π auch oft als VΠ(s) bezeichnet wird: Denn ob eine Situation
schlecht ist, hängt ja auch davon ab, was der Agent für ein Allgemeinverhalten Π an
den Tag legt.
Eine Situation, die unter einer risikosuchenden, Grenzen austestenden Policy schlecht
ist, wäre beispielsweise, wenn einem Agent auf einem Fahrrad das Vorderrad in der
Kurve anfängt wegzurutschen und er in dieser Situation aufgrund seiner Draufgänger-
Policy nicht bremst. Mit einer risikobewussten Policy sähe dieselbe Situation schon viel
besser aus, würde also von einer guten State-Value-Funktion höher bewertet werden.
VΠ(s) gibt einfach den Wert zurück, den die aktuelle Situation s unter der Policy Π für
den Agenten gerade hat. Abstrakt nach den obigen Definitionen gesagt, entspricht der
Wert der State-Value-Funktion dem Return Rt (dem erwarteten Wert) einer Situation
st. EΠ bezeichnet hierbei die Menge der erwarteten Returns unter Π und der aktuellen
Situation st.
VΠ(s) = EΠ{Rt|s = st}