Diplomarbeit von Michael Schindler

2.1 Die Kopplung von Lern- und Systemdynamik 43
(a) Bei vollständig entarteten Codebüchern gilt immer ar(xt)=1/M, die Relaxationszeit
in (2-5) ist demnach zeitlich konstant
Tr = M
ε =: TL . (2-6)
Sie wird hier mit TL abgekürzt, da sie im folgenden noch mehrfach verwendet wird.
(b) Auch wenn das Codebuch nicht entartet ist, kann im Fall des univar-Lernens randomisierter
Daten trotzdem noch von
Tr = M
ε
(2-7)
ausgegangen werden, denn wegen der Eigenschaft der Load-balance (1-49) weichen
die mittleren Werte der Zuständigkeiten ar(xt) nur wenig von 1/M ab. Da die
Daten randomisiert sind, ist für diese Mittelung ein sehr kurzes Zeitfenster ausreichend,
und man bekommt effektiv wieder die konstante Relaxationszeit M/ε.
Auch der Attraktor c ∗ r der Dynamik ist, wie im Beispiel zu Abb. 11 und 12 deutlich
wurde, lediglich von σ abhängig, also zeitlich konstant.
(c) Werden dagegen on-line Daten gelernt, kann nicht mehr von Load-balance ausgegangen
werden. Es kann gut sein, dass manche Neuronen eine Weile lang nur
schwach angesprochen werden, andere dagegen stark. Bei solchen Daten ist au-
ßerdem kein zeitlich konstanter Attraktor c ∗ r
der Dynamik mehr gegeben, vielmehr
entwickelt sich dieser selbst mit der Zeit. Somit ist im Sinne einer exponentiellen
Annäherung des Codebuchzentrums cr(t) an seinen momentanen Attraktor c ∗ r (t)
durch die Differentialgleichung (2-4) nur noch die instantane Relaxationszeit gege-
ben,
Gedächtniskerne
Tr(t) =
1
. (2-8)
εar(xt)
Für den randomisierten Lerner in (b) oben ist mit Gleichung (2-5) die vollständige
zeitliche Entwicklung des dynamischen Systems (2-4) gegeben. Aus dem Anfangswert
cr(0) kann bei Kenntnis von Tr und dem stationären c∗ r das Codebuchzentrum cr(t) zu
jedem Zeitpunkt t berechnet werden. Für on-line Daten lässt sich dies, da nur instantane
Konvergenzzeiten zur Verfügung stehen, nicht so leicht aufschreiben. Dennoch gibt
es immer einen zeitlichen Propagator, der dasselbe leistet. Durch rekursives Einsetzen
der Update-Regel (2-2) in sich selbst können die aktuellen Codebuchzentren immer in
die Form
�t−1
cr(t) = kr(t) cr(0) + gr(t, t ′ ) x(t ′ ) (2-9)
gebracht werden. Der Propagator, der cr(0) auf cr(t) abbildet, ist hier formal in den
Termen kr(t), gr(t, t ′ ) und in dem gesamten bis zum Zeitpunkt t beobachteten Datenstrom
ausgedrückt. Dies ist bereits in der Einleitung für den Spezialfall eines einzelnen
t ′ =0