Können Lernalgorithmen interagieren wie im Gehirn? - Intelligent ...

2. Das Kleinhirn enthält ein internes Modell der Umgebung (Supervised Learning) und dient somit der
Repräsentation der Umgebung mit zusätzlicher Fehlerminimierung.
3. Die Basalganglien werden zur Evaluierung eines gegebenen Zustands benutzt um auf der resultierenden
Evaluierung basierend eine Aktion auszusuchen (Reinforcement Learning). Sie dienen somit der Aktionsselektion.
Dieser Aufbau der Prinzipien entsteht aus ihren Aufgabenbereichen und lässt sich wie folgt auf das Beispiel Schwimmen
übertragen.
1. Der Körper nimmt wahr das er sich im Wasser befindet und leitet diese Informationen weiter (Mapping von
Umgebung → internes Modell).
2. Die weitergereichten Informationen rufen die im Kleinhirn abgespeicherten Bewegungsabläufe ab (repräsentiert
den Status „Im Wasser” mit „Schwimmbewegung”).
3. Die Großhirnrinde leitet diese Informationen an die Basalganglien weiter, welche die nun geforderten Aktionen
ausführt und unter Umständen andere fürs Schwimmen irrelevante Aktionen hemmt.
Anhand dieser drei Konstruktionsprinzipien wurden folgende Architekturen zusammengefasst, welche versuchen die
gegenseitige Unterstützung der zuvor behandelten Gehirnareale abzubilden. Sie wurden zuvor bereits in [10]
beschrieben und seien hier erneut benannt, um als Basis des Experiments zu fungieren.
Aktionsselektion
Die Aktionsselektion wird, wie zuvor in Abschnitt 2.3 beschrieben, von den Basalganglien übernommen. Welche
möglichen Strategien und somit Architekturen daraus zu schließen sind lassen sich in 2 Kategorien untergliedern. Zum
einen in die reaktive Aktionsselektion (engl. Reactive action selection) sowie zum anderen in die vorhersehenden
Aktionsselektion (engl. Predictive action selection).
Reaktive Aktionsselektion
Die reaktive Aktionsselektion stellt eine einfache actor-critic Architektur dar. Hierbei nimmt die Vorgehensweise π die
Rolle des actors ein, da sie die Aktionen auswählt, und die Value-Function V (x) die des Kritikers, da sie die
Vorgehensweise π anhand des zu erwartenden Erfolgs „kritisiert”.
Somit führt der Agent zunächst immer die Aktion aus mit der höchsten Gewinnerwartung und evaluiert anhand des
erhaltenen Feedbacks (Belohnung r und veränderte Umgebung) seine Verhaltensweise wenn nötig. Diese
Aktionsselektion heißt reaktiv, da erst durch den Anstoß einer ausgeführten Aktion eine Evaluierung (und somit
Verbesserung) stattfindet.
Zustand s
Aktion a
wählt Aktion anhand
Vorgehensweise
(agiert)
Veränderte
Umgebung
Value Function V
Belohnung r
Schätzt Wert der
Vorgehensweise
(kritisiert)
Policy π
Auswirkung
auf Umgebung
Umgebung
Abbildung 2.5: Actor-critic Architektur.
13