Neuronale Netze - D. Kriesel

Definition C.5 (Aktion). Aktionen at können vom Agenten ausgeführt werden (wobei
es sein kann, dass je nach Situation ein anderer Aktionsraum A(S) besteht) und
bewirken Zustandsübergänge und damit eine neue Situation aus Sicht des Agenten.
C.1.4 Reward und Return
Wie im wirklichen Leben ist unser Ziel, eine möglichst hohe Belohnung zu erhalten, also
die Summe der erwarteten Rewards r, genannt Return R, langfristig zu maximieren.
Bei endlich vielen Zeitschritten 1 kann man die Rewards einfach aufsummieren:
Rt = rt+1 + rt+2 + . . . (C.3)
∞
=
(C.4)
x=1
rt+x
Der Return wird hierbei natürlich nur abgeschätzt (Würden wir alle Rewards und
damit den Return komplett kennen, bräuchten wir ja nicht mehr lernen).
Definition C.6 (Reward). Ein Reward rt ist eine skalare, reelle oder diskrete (manchmal
sogar nur binäre) Belohnungs- oder Bestrafungsgröße, welche dem Agenten vom
Umweltsystem als Reaktion auf eine Aktion gegeben wird.
Definition C.7 (Return). Der Return Rt ist die Aufkumulierung aller erhaltenen
Rewards bis zum Zeitpunkt t.
C.1.4.1 Umgang mit großen Zeiträumen
Nicht alle Problemstellungen haben aber ein explizites Ziel und damit eine endliche
Summe (unser Agent kann zum Beispiel ein Roboter sein, der die Aufgabe hat, einfach
immer weiter herumzufahren und Hindernissen auszuweichen).
Um im Falle einer unendlichen Reihe von Reward-Abschätzungen keine divergierende
Summe zu erhalten, wird ein abschwächender Faktor 0 < γ < 1 verwendet, der den
Einfluss ferner erwarteter Rewards abschwächt: Das ist nicht nur dann sinnvoll, wenn
kein Ziel an sich existiert, sondern auch, wenn das Ziel sehr weit entfernt ist:
Rt = rt+1 + γ 1 rt+2 + γ 2 rt+3 + . . . (C.5)
∞
= γ
x=1
x−1 rt+x
(C.6)
1 Soviel sind in der Praxis ja nur möglich, auch wenn die Formeln prinzipiell mit unendlichen Summen
arbeiten