Neuronale Netze - D. Kriesel

Genau wie wir durch Erfahrung lernen, in verschiedenen Situationen auf bestimmte
Weise zu reagieren, macht es die Temporal Difference Lernmethode (kurz: TD-
Learning), indem VΠ(s) trainiert wird (der Agent lernt also einschätzen, welche Situationen
viel wert sind und welche nicht). Wir bezeichnen wieder die aktuelle Situation
mit st, die nachfolgende Situation mit st+1 und so weiter. Die Lernformel für die
State-Value-Funktion VΠ(st) ergibt sich also zu
V (st) neu =V (st)
+ α(rt+1 + γV (st+1) − V (st))
Veränderung des alten Wertes
Wir sehen, dass die zur Lernrate α proportionale Veränderung des Wertes der aktuellen
Situation st beeinflusst wird von
⊲ dem empfangenen Reward rt+1,
⊲ dem mit einem Faktor γ gewichteten bisherigen Return der Nachfolgesituation
V (st+1),
⊲ dem alten Wert der Situation V (st).
Definition C.11 (Temporal Difference Learning). Im Unterschied zur Montecarlo-
Methodik schaut TD-Learning etwas in die Zukunft, indem die Nachfolgesituation st+1
betrachtet wird. Die Lernregel ist definiert zu
C.2.5 Die Action-Value-Funktion
V (st) neu =V (st) (C.14)
+ α(rt+1 + γV (st+1) − V (st)) .
Veränderung des alten Wertes
Analog zur State-Value-Funktion VΠ(s) ist ein weiterer Systembestandteil des Reinforcement
Learning die Action-Value-Funktion QΠ(s, a), welche eine bestimmte
Aktion a unter einer bestimmten Situation s und der Policy Π bewertet.
In der Gridworld: In der Gridworld sagt uns die Action-Value-Funktion, wie gut es ist,
von einem bestimmten Feld in eine bestimmte Richtung zu gehen (Abb. C.8 auf der
rechten Seite).
Definition C.12 (Action-Value-Funktion). Analog zur State-Value-Funktion bewertet
die Action-Value-Funktion QΠ(st, a) bestimmte Aktionen ausgehend von bestimmten
Situationen unter einer Policy. Die optimale Action-Value-Funktion benennen wir
mit Q ∗ Π (st, a).