Diplomarbeit von Michael Schindler

2.1 Die Kopplung von Lern- und Systemdynamik 53
ponentialfunktion ähnlich wie die Momentenentwicklung in Abschnitt 1.1. Das nullte
(Normierung) und das erste Moment einer Funktion g(t−t ′ ) (auf R+) sollen denjenigen
der Exponentialfunktion gleich sein, 3
� ∞
g(s) ds
0
! � ∞
= α exp(−s/τ) ds = ατ, und (2-15)
0
� ∞
g(s) s ds ! � ∞
= α exp(−s/τ) s ds = ατ 2 . (2-16)
0
0
Deswegen sind die Parameter zur exponentiellen Approximation durch folgende Integrale
gegeben,
� ∞ � � ∞
τ = g(s) s ds g(s) ds und (2-17)
0
α =
0
1
� ∞
g(s) ds.
τ
(2-18)
0
Die Größe τ aus (2-17) ist die gesuchte effektive Länge des Gedächtniskerns gr(t, ·) und
somit die effektive Relaxationszeit T r des r-ten Codebuchzentrums. Sie umfasst die
gesamte Vergangenheit des Lerners, ist also ein besseres Maß für die effektive Dynamik
als die instantane Relaxationszeit Tr(t). Allerdings verändern sich auch die T r(t) mit
der Zeit t, denn je nach Aktivierung ar(t) bekommt ein Neuron ein langes oder ein
kurzes Gedächtnis.
Mit T r(t) kann nun demonstriert werden, wie die oben angekündigte Verlangsamung
der Lerndynamik durch das σ-Annealing verursacht wird, wenn sich das MVNN im
Zustand stark gekoppelter Dynamik befindet. Dazu soll das Beispiel oben noch weiter
vereinfacht werden. Es wird eine Datenquelle betrachtet, die nicht als Markovsystem
schaltet, sondern deterministisch nach je TS Datenpunkten. Die Zustände seien nicht
verrauscht, sondern exakt (±1). Dann ergeben sich Codebuchentwicklungen, wie sie
in Abbildung 26 in der linken Spalte gezeigt sind. Sie alle sind idealisierte Ausschnitte
aus Abb. 24, von oben nach unten für jeweils kleineres σ.
In Abb. 26a ist das Codebuch quasi entartet. Die Gedächtniskerne der beiden Neuronen
sind identisch und haben die nach (2-6) erwartete Länge, nämlich T r(t)=40. Die
Gedächtniskerne sind nur für den letzten eingezeichneten Codebuchzustand dargestellt.
Mit ihrer Länge T r(t) reichen sie nur unwesentlich über jeweils einen Systemzustand
hinaus, denn mit TS =80=2 T r(t) ist die Systemdynamik langsamer als die Lerndynamik.
Dadurch ergeben sich die starken Schwankungen der Codebuchzentren, ähnlich
wie in Abb. 22a.
Darunter, in Abb. 26b, bricht das Codebuch im Laufe seines Weges von einer Datenquelle
zur anderen immer wieder deutlich auf. Die gleiche Situation konnte bereits
an den beiden Pfeilen in Abb. 22a beobachtet werden, hier ist sie nun etwas besser
sichtbar. Das kurzfristige Aufbrechen beruht auf der – im Vergleich zu Abb. 26a –
3 Hier wird zur Vereinfachung der Notation das Argument von g umgedreht, g(t−t ′ )=gr(t, t ′ ). Durch
t ′ statt s ausgedrückt, wird gr(t, t ′ ) von −∞ bis t integriert.