Neuronale Netze - D. Kriesel

Der Reward ist ein reeller oder diskreter Skalar, welcher uns wie oben beschrieben
angibt, wie gut wir unser Ziel erreichen, jedoch keine Anleitung vermittelt, wie wir es
erreichen können. Ziel ist immer, langfristig eine möglichst hohe Summe von Rewards
zu erwirtschaften.
C.1.1 Die Gridworld
Als Lernbeispiel für Reinforcement Learning möchte ich gerne die sogenannte Gridworld
verwenden. Wir werden sehen, dass sie sehr einfach aufgebaut und durchschaubar
ist und daher eigentlich gar kein Reinforcement Learning notwendig ist – trotzdem
eignet sie sich sehr gut, die Vorgehensweisen des Reinforcement Learning an ihr darzustellen.
Definieren wir nun die einzelnen Bestandteile des Reinforcement Systems
beispielhaft durch die Gridworld. Wir werden jedes dieser Bestandteile später noch
genauer beleuchten.
Umwelt: Die Gridworld (Abb. C.1 auf der folgenden Seite) ist eine einfache, diskrete
Welt in zwei Dimensionen, die wir im Folgenden als Umweltsystem verwenden
wollen.
Agent: Als Agent nehmen wir einen einfachen Roboter, der sich in unserer Gridworld
befindet.
Zustandsraum: Wie wir sehen, hat unsere Gridworld 5 × 7 Felder, von denen 6 nicht
begehbar sind. Unser Agent kann also 29 Positionen in der Gridworld besetzen.
Diese Positionen nehmen wir für den Agenten als Zustände.
Aktionsraum: Fehlen noch die Aktionen. Definieren wir einfach, der Roboter könnte
jeweils ein Feld nach oben, unten, rechts oder links gehen (solange dort kein
Hindernis oder der Rand unserer Gridworld ist).
Aufgabe: Die Aufgabe unseres Agenten ist es, aus der Gridworld hinauszufinden. Der
Ausgang befindet sich rechts von dem hell ausgefüllten Feld.
Nichtdeterminismus: Die beiden Hindernisse können durch eine „Tür“ verbunden werden.
Wenn die Tür geschlossen ist (unterer Teil der Abbildung), ist das entsprechende
Feld nicht begehbar. Die Tür kann sich nicht während eines Durchlaufs
verändern, sondern nur zwischen den Durchläufen.
Wir haben nun eine kleine Welt geschaffen, die uns über die nachfolgenden Lernstrategien
begleiten und sie uns anschaulich machen wird.