Diplomarbeit von Michael Schindler

44 2. On-line Lernen mit univar
0 t ′ −→ t
Abbildung 20: Gedächtniskerne gr(t, t ′ ) eines einzelnen Neurons zum aktuellen
Zeitpunkt t. Dargestellt sind die in Appendix A auch analytisch bestimmten
Kerne für verschiedene Annealing-Schemata: für konstantes ε=ε0 (durchgezogene
Linie), zeitlich inverses ε(t)=1/t (gestrichelte Linie) und exponentiell abgekühltes
ε(t) = ε0 exp(−t/τ) (gepunktete Linie für τ = 5t, Linie aus Strichpunkten für
τ = 0.1t). Die beiden Kerne für konstantes und langsam exponentiell vermindertes
ε haben die erwartete exponentielle Form mit der Zerfallsdauer 1/ε(t). Sie gleiten
über den Datenstrom, wobei sie ihre Form kaum verändern.
Neurons vorgeführt worden. In Appendix A ist die allgemeine Herleitung zu finden, die
auch beliebige Annealing-Schemata für den Lernparameter ε(t) erlaubt, der in (2-5)
noch als konstant angenommen wurde. Dort wird auch gezeigt, dass der Term kr(t),
welcher angibt, wie sehr der Anfangswert cr(0) noch in cr(t) enthalten ist, mit fort-
schreitender Zeit immer weiter zerfällt. Die Funktion gr(t, ·), die für jeden Zeitpunkt
t ′ die Gewichtung des damals präsentierten Datenpunktes xt ′ in der Berechnung des
aktuellen cr(t) liefert, wird Gedächtniskern genannt. Die Gedächtniskerne sind Gewichtungsfunktionen
in einem Mittelungsfenster, das über den Datenstrom gleitet.“
”
Formal wird dieser Vorgang durch die Summe in (2-9) ausgedrückt, die nichts anderes
als eine diskrete Faltung des Datenstromes � x(t) �
t mit dem Faltungskern gr(t, t ′ ) ist.
Die Gedächtniskerne der in Appendix A beschriebenen Spezialfälle sind in Abbildung 20
gezeigt. Wie zu erwarten war, sind sie dort Null, wo t ′ > t. Der generische Fall mit
konstantem ε fällt zu vergangenen Zeiten hin exponentiell ab. Die Zeitskala dieses
exponentiellen Zerfalls ist identisch mit derjenigen, die in (2-5) als Zeitskala der ex-
angegeben ist. Was die Be-
ponentiellen Annäherung an den konstanten Attraktor c∗ r
stimmung einer typischen Zeitskala des lernenden MVNN betrifft, sind also in diesem
Fall die beiden Beschreibungsweisen der Codebuchentwicklung durch (2-5) und (2-9)
äquivalent. Allerdings setzt die Formulierung mit Gedächtniskern keinen stationären
Attraktor c∗ r voraus. Sie darf an dieser Stelle also als zwanglose Verallgemeinerung
der einfachen Beschreibung einer Dynamik als exponentielle Konvergenz betrachtet
werden.
Kopplung der Zeitskalen an die Raumskala
An der Definition (2-8) der instantanen Relaxationszeiten Tr(t) sieht man sofort, dass
diese sowohl einen räumlichen wie auch einen zeitlichen Anteil haben. Der Term ε ist
rein zeitlicher Natur, er beeinflusst die Bewegung aller Codebuchzentren in gleicher