Können Lernalgorithmen interagieren wie im Gehirn? - Intelligent ...

3.3 Unsupervised Learning
Wie zuvor in der Einleitung erwähnt behandelt das Unsupervised Learning das Problem, versteckte Strukturen in Eingabedaten
wiederzufinden oder die mit den Daten verbundene Problemdimension zu verringern. Dabei findet keine
Fehlerkorrektur statt sondern es werden Kriterien festgelegt anhand dessen die Daten einer Struktur zugeordnet oder
reduziert werden.
Die Intention des Unsupervised Learnings im Rahmen des gegebenen Problemszenarios besteht darin, die Komplexität
des Labyrinths auf markante (Zustand, Aktion)-Paare zu reduzieren und somit potenzielle Fehlentscheidungen zu verhindern
was den Lernprozess beschleunigt. Hierzu wurde die folgende Methode entworfen um das Clustering von Gängen
innerhalb des Labyrinths zu ermöglichen.
3.3.1 Herleitung der Idee
Begeht man ein Labyrinth so ist intuitiv klar, wann es in Frage kommt die Richtung zu wechseln – nämlich genau dann,
wenn man an einer Kreuzung oder Ecke vorbei kommt, denn erst dann besteht überhapt die Möglichkeit von gehe nach
Norden zu gehe nach Süden, gehe nach Westen oder gehe nach Osten zu wechseln. Befindet man sich inmitten eines Ganges,
in dem es nur vor oder zurück geht, so sollte man in der Regel nicht auf den Gedanken kommen gegen eine Wand laufen
zu wollen und der einzige Richtungswechsel welcher in Frage kommt ist das Inverse zur jetzigen, das zurück gehen.
Für einen Reinforcement Learning Agenten ist das hingegen nicht so leicht, schließlich ist er ja gewillt das Labyrinth zu
erkunden und hat zu Beginn keine Ahnung wohin ihn ein (Status, Aktion)-Paar bringen wird und versucht entsprechend
öfters mit dem Kopf durch die Wand zu gehen.
Betrachtet man ein Labyrinth hingegen von oben so wird man sich deren möglicherweise vorhandenen Gänge und dessen
Kreuzungen und Ecken bewusst und kann schnell entscheiden an welchen Ecken eine Entscheidung möglich ist, denn
abstrakt betrachtet stellt ein Labyrinth einen gerichteten Graphen dar, wobei die Zustände die Knoten und die Aktionen
die Kanten zu den Folgeknoten darstellen. Betrachten wir nun also Abbildung 3.4 welches oben ein Labyrinth samt Übergänge
darstellt sowie darunter den dazugehörigen Zustandsübergangsgraph des Labyrinths aufweist.
Hinweis: Hierbei sei allerdings angemerkt das Aktionen, welche in einem nicht definierten Zustand oder einer Mauer landen,
zur besseren Lesbarkeit nicht eingezeichnet wurden – sie sind aber nichts desto trotz vorhanden und stellen eine Schleife zum
jeweiligen Zustand dar. So ergäbe zum Beispiel (S 0 , ↑) als Folgezustand wieder S 0 .
S0 S1 S2
S3
S4 S5 S6
S7
S8 S9 S10
S11
S0 S1 S2 S3
S4 S5 S6 S7
S8 S9 S10 S11
Abbildung 3.4: Labyrinth und dazu gehöriger Zustandsübergangsgraph. Spieler in, Ziel in lila.
Um also von Grün zu Lila zu gelangen ist die Menge der Aktionen der Reihe nach: {→, →, →, ↓, ↓, ←, ←, ←}. Eine
wichtige Beobachtung hierbei ist das wir in Zustand S 3 und Zustand S 11 einen Richtungswechsel vornehmen können
und in diesem Fall sogar müssen. Diese besonderen Knoten sind im Folgenden als Transit(-knoten) bezeichnet. Ein
Transitknoten ist hierbei als ein Knoten definiert, bei dem ein Richtungswechsel von horizontal zu vertikal (oder
umgedreht) im Verlauf des Spielverlaufs stattgefunden hat. Des Weiteren wird der Start- sowie Endknoten auch als
Transit definiert. Die Intuition besagt nun, dass in der obigen Aktionsmenge die Aktionsfolge {→, →, →} zu einer
einzelnen Aktion → zusammengefasst werden kann, da die Aktion → genau so lange Sinn macht, bis wir einen
22