Diplomarbeit von Michael Schindler

2.1 Die Kopplung von Lern- und Systemdynamik 47
von lokalen Momenten statt. Auch hier lässt sich eine ähnliche Gleichheit von zweitem
lokalem Moment σ2 S des Systems und σ2krit vermuten, die den nächsten Phasenübergang
verursacht. Insgesamt ist der univar-Algorithmus auf randomisierten Daten also ein
Raumskalendetektor.
Randomisierte Daten
Bereits bei trivialer Systemdynamik, etwa bei randomisierten Daten (TS ≤2), treten bei
σ = σS nichttriviale Effekte auf. Das kritische Langsamwerden dort ist eine bekannte
Eigenschaft von Phasenübergängen zweiter Ordnung. Wird in einem univar-Training
σ relativ schnell abgekühlt, so kommt es aufgrund des kritischen Langsamwerdens zu
einer Verzögerung der Phasentrennung. Abbildung 21 zeigt diese Retardierung anhand
des randomisierten Datensatzes aus Abb. 6a. Sie wird zusätzlich noch durch die Wahl
des Lernparameters ε in der Lernregel (1-41) verstärkt, der bei kleinen Werten dazu
führt, dass sich mit dem gesamten Lernverhalten des MVNN auch die Phasentrennung
verzögert.
Man sieht, wie sich durch die verrauschten Daten ein leichtes Schwanken auf die Codebuchzentren
überträgt und wie der Aufspaltungsprozess verzögert wird. Das optimale
Aufspaltungsverhalten ist zum Vergleich gepunktet eingezeichnet. Der Parameter ε,
der invers in die Relaxationszeit des Codebuchs nach den Gleichungen (2-6) bis (2-8)
eingeht, ist mit dem Wert ε = 0.05 auf der einen Seite zu groß, das Rauschen verhindern
zu können, auf der anderen Seite ist er jedoch zu klein, das Codebuch schnell
genug aufspalten zu lassen. Um solche Retardierungseffekte zu vermeiden, muss der
Abkühlprozess am Phasenübergang so langsam durchgeführt werden, dass das MVNN
auch bei kleinem ε die Möglichkeit hat, das kritische Langsamwerden zu überwinden
und in den Optimalzustand zu relaxieren. Die gepunktete optimale Kurve wurde auf
diese Weise bestimmt.
x/σS
1
−1
σ/σS =1 0.9 0.8 0.7
c ∗ 1 (σ)
c ∗ 2 (σ)
t = 0 t −→ t = 10 3 TS
Abbildung 21: Rasches σ-Annealing bei randomisiertem Lernen (TS =2). Das Codebuch besteht aus
zwei Zentren univariater Normalverteilungen. Bei relativ kurzem Lernprozess (T =2000=10 3 TS, TL=
40=20TS, schwarze Linien) und dementsprechend schnellem Abkühlen wird die Quasi-Entartung der
beiden Codebuchzentren zwar am erwarteten Punkt bei σ=σS aufgehoben (Pfeil), die Relaxationszeit
ist jedoch in der Nähe des Phasenübergangs zu groß, als dass die Codebuchzentren cr bei der schnellen
Kühlung ihre Gleichgewichtslagen c ∗ r finden könnten. Das jeweils optimale Codebuch (c ∗ r, gepunktete
Line), das genau bei der Standardabweichung σS aufbricht, wurde durch extrem langsames Annealing
bestimmt.
c1(t)
c2(t)