Neuronale Netze - D. Kriesel

Es ist für den Agenten aber nicht immer möglich, alle Informationen seines aktuellen
Zustandes zu erfassen, weswegen wir den Begriff der Situation einführen müssen.
Eine Situation ist ein Zustand aus Agentensicht, also nur eine mehr oder weniger gute
Approximation eines Zustandes.
Situationen lassen es daher nicht im Allgemeinen zu, Folgesituationen eindeutig „vorherzusagen“
– selbst bei einem vollständig deterministischen System haben wir das
vielleicht nicht gegeben. Wenn wir alle Zustände und die Übergänge dazwischen exakt
kennen würden (also das gesamte System), wäre eine optimale Planung möglich
und auch eine optimale Policy einfach findbar – (Methoden liefert z.B. die dynamische
Programmierung).
Wir wissen nun, dass das Reinforcement Learning eine Interaktion zwischen Agent
und System mit Aktionen at und Situationen st ist. Der Agent kann nun nicht selbst
feststellen, ob die aktuelle Situation gut oder schlecht ist: Genau dies ist der Grund,
warum er wie eingangs bereits beschrieben von der Umwelt einen Reward erhält.
In der Gridworld: Zustände sind die Orte, an denen der Agent sich befinden kann.
Situationen kommen den Zuständen in der Gridworld vereinfachend gleich. Mögliche
Aktionen sind nach Norden, Süden, Osten oder Westen zu gehen.
Situation und Aktion können vektoriell sein, der Reward jedoch ist immer ein Skalar
(im Extremfall sogar nur ein Binärwert), da das Ziel von Reinforcement Learning ist,
mit sehr wenig Feedback auszukommen – ein komplizierter vektorieller Reward käme
ja einem richtigen Teaching Input gleich.
Im Übrigen soll ja eine Kostenfunktion minimiert werden, was aber mit einem vektoriellen
Reward so nicht möglich wäre, da wir keine intuitiven Ordnungsrelationen im
Mehrdimensionalen besitzen – also nicht direkt wissen, was jetzt besser oder schlechter
ist.
Definition C.3 (Zustand). In einem Zustand befindet sich der Agent innerhalb seiner
Umwelt. Zustände enthalten jede Information über den Agent im Umweltsystem.
Es ist also theoretisch möglich, aus diesem gottähnlichen Zustandswissen einen Folgezustand
auf eine ausgeführte Aktion in einem deterministischen System eindeutig
vorherzusagen.
Definition C.4 (Situation). Situationen st (hier zum Zeitpunkt t) aus einem Situationsraum
S sind das eingeschränkte, approximative Wissen des Agenten über seinen
Zustand. Die Approximation (von der der Agent nicht einmal wissen kann, wie gut sie
ist) macht eindeutige Vorhersagen unmöglich.