Diplomarbeit von Michael Schindler

92 4. Neuigkeitsorientiertes Lernen
x/σS
1
0
−1
(a)
σ/σS =1 0.8 0.6 0.4 0.2
t = 0 t −→ t = 10 8
t = 0 t −→ t = 10 7
1
0
−1
�
1
0
−1
(b)
α=1
a
�
σ/σS =1
ε=0.02
0.8
0.015
0.6
0.01
0.4
0.005
0.2
0.0
(c)
α=0.5
tL = 0 tL −→ tL = 10 7
Abbildung 50: Die Codebuchentwicklungen (M =6) während drei verschiedener Lernprozesse des Systems
aus Abb. 49. In (a) wurde eine randomisierte Datenfolge nach der univar-Methode gelernt. Die
Phasenübergänge sind hier das Ergebnis der Raumskalendetektion, wobei nicht sofort die ” eigentliche“
dreiteilige Struktur des Datensatzes entdeckt, sondern zunächst ein Zustand mit zwei Clusterzentren
angenommen wurde. In (b) wurde bei dem gleichen σ-Annealing auch ε linear abgekühlt (die
σ/σS- und ε-Skalen gelten für (b) und für (c) gleichermaßen). Dadurch kommt es sukzessive zu Phasenübergängen,
die aus dem dynamisch gekoppelten Bereich heraus geschehen. Das Aufbrechen des
Codebuch findet aufgrund der unterschiedlich starken Dynamikkopplung an die unterschiedlichen Lebensdauern
TS,γ bei unterschiedlichen ε-Werten statt, was die Codebuchentwicklung unsymmetrisch
werden lässt, obwohl die zugrundeliegende statische Verteilungsdichte aus Abb. 49 symmetrisch ist.
Bei dem ersten Phasenübergang zerbricht das Codebuch in zwei Teile mit 2 und 4 Neuronen, wie es
die Load-balance verlangt. Der obere Ast bildet ein lokales Modell für die Zustände b und c, also
einen schnellen und einen langlebigen (TS,b = 10, TS,c = 1000). In (c) ist ein mit α = 0.5 gelerntes
Ergebnis zu sehen. Hier wird die Unsymmetrie wieder aufgehoben, wie in (a) finden hintereinander
mehrere symmetrische Phasenübergänge statt. Da hier die abgeschnittene Verteilungsdichte gelernt
wird, entdeckt der Lerner bei keinen σ/σS weitere Strukturen in den einzelnen Stümpfen (Abb. 49).
In (b) war die Unsymmetrie im Codebuch auf die stark unterschiedlichen Lebensdauern im System
zurückzuführen. Hier wurde diese Unsymmetrie vom ANTS behoben.
c
b
a
c
b
c
b
a