Diplomarbeit von Michael Schindler

2.1 Die Kopplung von Lern- und Systemdynamik 51
schen Aufspaltungsprozess an, der als Raumskalendetektor fungiert. Wenn sich schon
die erste Aufspaltung stark ” verspätet“ hat, kann auch die hierarchisch nachgeordnete
nächste Aufspaltung nicht stattfinden. Das Ergebnis ist dann ein teilweise entartetes,
teilweise verteiltes Codebuch, für das keine vernünftige Eigenschaft im Sinne einer
stationären Statistik (wie z.B. die Load-balance) mehr garantiert werden kann.
Zusammenfassend kann also festgestellt werden, dass das mögliche Auftreten einer
dynamischen Kopplung von Lern- und Systemdynamik das zentrale Problem des online
Lernens für den behandelten univar-Algorithmus ist. Nach den bisher diskutierten
Beispielen ist die Kopplung dann zu erwarten, wenn Tr �TS. Somit tritt sie bei on-line
Lernen zwangsläufig auf, denn dort
sind die im System enthaltenen Zeitskalen TS a-priori unbekannt, und außerdem
muss die Relaxationszeit des Lerners zunächst sehr kurz gewählt werden, um Retardierungseffekte
bei der hierarchischen Analyse von räumlichen Datenstrukturen
zu vermeiden.
Deswegen ist die dynamische Kopplung bei Tr � TS der erwartete Standardfall des
on-line lernenden univar.
2.1.4 Phasenübergänge durch ε-Annealing
Das im letzten Abschnitt verwendete σ-Annealing ist bei on-line Lernen nicht die
einzige Art, einen Phasenübergang zu provozieren. Es wurde argumentiert, dass die
Dynamik des stochastischen Prozesses im Vergleich zur Beweglichkeit des Codebuchs
zu langsam sei. In Abb. 23b wurde daraufhin die Beweglichkeit des MVNN durch einen
Tr/TS = 0.4 4.0 40.0
1
−1
t = 0 t −→ t = 10 4 TS
Abbildung 25: ε-Annealing beim on-line Lernen. Hier wurde vom Zustand der Dynamikkopplung
(Abb. 22a) ausgegangen und nicht σ, sondern ε verkleinert (exponentiell von 5 · 10 −2 bis 5 · 10 −4 ).
Dadurch wird die Lerndynamik sukzessive verlangsamt, von Relaxationszeiten Tr/TS = 0.4 bis 40,
und auf diese Weise die Kopplung aufgehoben. Der gesamte Lernprozess wurde bei σ=0.8σS durchgeführt,
bei einer Raumskala also, wo das optimale Codebuch längst aufgespalten wäre. Sobald die
Entkopplung der Dynamiken stattfindet, muss der Phasenübergang nachgeholt werden. Dies ist im
Bild deutlich zu sehen.