Können Lernalgorithmen interagieren wie im Gehirn? - Intelligent ...

4 Experimentelles Setup
Nachdem nun das Problemszenario in Abschnitt 1.2 beschrieben wurde und in Kapitel 3 alle verwendeten Algorithmen
samt ihrer zu Grunde liegenden Ideen erläutert wurden, beschäftigt sich dieser Abschnitt mit den möglichen Kombinationen
dieser Algorithmen, welche im weiteren Rahmen des Experiments verwendet werden.
Hierbei wurde das Problemszenario in 4 allgemeine Arten von Labyrinthe eingegliedert:
1. klassische Labyrinthe. Diese Labyrinthe weisen eine Vielzahl an Sackgassen auf und sind von ihrer Art der Gänge
sehr eng (1 Zustand weit). Hierbei gibt es oftmals nur einen korrekten Weg zum Ziel.
2. offene Labyrinthe. Diese Art der Labyrinthe dient der Betrachtung des worst-case-Szenarios, da sich kaum Optimierungsmöglichkeiten
anbieten. In ihnen gibt es nur eine niedrige Anzahl an Mauern und der Weg von Start nach
Ziel ist relativ frei wählbar.
3. freie Labyrinthe. Labyrinthe welche in diese Klasse fallen haben einen breiteren Gang und stellen somit ein Problem
bei der trivialen Auffindung von Sackgassen dar. Außerdem gibt es mehrere Wege zum Ziel.
4. knifflige Labyrinthe. Diese Labyrinthe stellen eine Vereinigung der drei obigen Labyrinth-Arten dar. In ihnen gibt es
mehrere Wege zum Ziel welche nahezu gleich in ihrer Länge sind und außerdem breitere Gänge aufweisen. Auch
können freie Areale im Labyrinth enthalten sein.
Anhand dieser vier Arten von Labyrinthen sollten die meisten herkömmlichen Labyrinthe abgedeckt und verschiedene
Hürden vorhanden sein, sodass sich die erzielten Resultate der verschiedenen Kombinationen der Lernalgorithmen
entsprechend verändern sollte. Den Ausgangspunkt eines jeden Experiments bildet das Reinforcement Learning (ohne
Erweiterungen) und wird mit den jeweils beschriebenen Verfahren Schrittweite erweitert. Hierbei wurden auf allen Labyrinthen,
mit der jeweils zu untersuchenden Kombination von Lernverfahren, 32 Durchläufe mit je 1.000, oder im Falle des
freien 4.000 und des kniffligen Labyrinths 10.000, Episoden ausgeführt und anschließend der Durchschnitt dieser Daten
berechnet. Die verwendeten Parameter in allen Berechnungen waren: α = 0.1, γ = 0.98 sowie ε = 0.1. Die Parameter
des vorgestellten Verfahrens Verkapseln erlernten Wissens werden an der nötigen Stelle beschrieben und unterscheiden
sich in den verwendeten Labyrinthen.
Folgende Abbildung liefert zu jeder Art ein Labyrinth dieser Klasse und zeigt zeitgleich die für die kommenden
Untersuchungen verwendeten Labyrinthe. Diese Labyrinthe werden in den kommenden Abschnitten anhand ihrer Arten
benannt, sodass wenn vom klassischen Labyrinth die Rede ist, das Labyrinth links in Abbildung 5.1 gemeint ist, beim
kniffligen Labyrinth hingegen vom rechten Labyrinth die Rede ist.
Abbildung 4.1: Veranschaulichung der einzelnen Labyrinth-Arten der Reihe nach von links nach rechts.
36