Können Lernalgorithmen interagieren wie im Gehirn? - Intelligent ...

4.1 Verwendete Architekturen
Im Rahmen des 3. Kapitels wurden die drei Lernparadigmen Reinforcement, Unsupervised sowie Supervised Learning vorgestellt,
doch es bleibt die Frage offen, wie diese Ideen miteinander verknüpft werden können. Dieser Abschnitt widmet
sich den in diesem Experiment verwendeten Architekturen und erläutert die Intention und Vorgehensweise. Sei zunächst
mit der Basis, dem Reinforcement Learning, begonnen.
Reinforcement Learning
Als Basis des Experiments dient das Reinforcement Learning ohne Erweiterungen, dessen Resultate im weiteren Verlauf
des Experiments als Referenzwerte fungieren. Wie zuvor in Abschnitt 2.1 beschrieben beinhaltet dieses Lernparadigma
einen Agenten, welcher auf Zuständen s mittels Aktionen a der jeweiligen Aktionsmenge A s agiert und dabei Belohnungen
r erhält. Die daraus resultierende Architektur ist im Grunde eine actor-critic-Architektur wie sie zuvor bereits in Abbildung
2.5 zu sehen war.
Zustandswechsel
durch Aktion a
Umgebung
Führe Aktion a aus
Belohnung
Zustand s
r
updated
Aktion a
wählt
updated
Q-Werte-Tabelle
beeinflusst
Policy π
wähle Aktion a in Zustand s
Abbildung 4.2: Verwendete Architektur des Reinforcement Learnings.
Anhand dieser Architektur wählt der Agent somit zu einem gegebenen Zustand s t gemäß der Vorgehensweise (Policy) π
basierend auf den gegebenen Q-Werten eine Aktion a t , führt diese Aktion a t aus und verändert anschließend mittels
dieses Tripels (s t , a t , r t ) den dazugehörigen Q-Wert Q(s t , a t ) gemäß der gegebenen Update-Regel aus Gleichung 3.1.
Reinforcement Learning erweitert mit Unsupervised Learning
Die erste Erweiterungen stellt das Unsupervised Learning dar. Mittels des vorgestellten Verfahrens in Abschnitt 3.3 wird jedes
(s, a)-Paar an das Verfahren übergeben und anschließend geclustert sobald die Explorationsphase vorüber ist. Anhand
dieses Clusterings wird anschließend die Aktionsmenge des Zustands durch Makro-Aktionen erhöht und das Makro-Q-
Learning agiert analog zu der zuvor vorgestellten Architektur des reinen Reinforcement Learnings. In dieser Abbildung
und den folgenden Abbildungen ist die Beeinflussung der Vorgehensweise durch die Q-Werte-Tabelle (welche nun sowohl
(Zustand, Aktion)-Paaren als auch (Zustand, Makro-Aktion)-Paaren Werte zuweist) weggelassen worden, um die Übersicht
zu erhöhen.
37