Diplomarbeit von Michael Schindler

A. Gedächtniskerne 99
Eine exponentiell abnehmende Lernrate ε(t) = ε(0) exp(−t/τ), wie sie momentan
im multivar-Algorithmus implementiert ist, führt bei τ ≫ t zu einem exponentiell
zerfallenden Gedächtniskern ähnlich demjenigen in Gleichung (A-9). Denn in
diesem Fall kann von
ε(t) = ε(0) e −t/�≈ ε(0) (A-11)
ausgegangen werden. Er wird mit steigendem t langsam länger.
Wenn dagegen schnell exponentiell abgekühlt wird, werden die Lernraten nach t ≫
τ Iterationsschritten so klein, dass praktisch nichts mehr hinzugelernt wird. Man
bekommt dann eine zerfallenden Gewichtung, also einen Gedächtniskern, der dem
vorigen gerade entgegengesetzt ist. Ausgehend von einem Lernparameter
ε(t) = (1−e −1/�)e −t/�= (1−q)q t , (A-12)
wobei q := e −1/�< 1 gelten soll, bekommt man unter der Annahme t ≫ τ eine
sehr kleine Lernrate, also verändern sich die Codebuchzentren kaum noch. Dann
ist c(t+1)≈c(t) und die Lernregel für die Zentren kann wiefolgt genähert werden,
c(t) = c(t−1) + ε(t)(x(t) − c(t−1))
c(t) ≈ (1 − q t )c(t−1) + q t+1 c(t) + q t (1 − q)x(t) (A-13)
t�
= x(t ′ ��
�t
t′
t′
− −
)e e�für t ≫ τ. (A-14)
t ′ =1
t ′ =1
Es gehen also fast ausschließlich die ersten Datenpunkte in die Repräsentation ein,
da die Schrittweiten später zu klein werden.
Der generische Fall im univar-Algorithmus ist derjenige, in dem ε langsam verkleinert
wird. Dabei bekommt man Gedächtniskerne, die etwa denen mit konstantem ε
entsprechen. Wegen
(1−ε) t−t′
= exp � (t − t ′ ) ln(1−ε) � �
t −
�
t′
= exp −
τ
und (A-15)
1/τ = − ln(1−ε) ≈ ε (A-16)
ist die Länge dieses Gedächtniskernes etwa 1/ε. Er ” gleitet“ bei der Mittelung über den
Datenstrom, wobei er sich selbst auch leicht verändert und länger wird, weil er parametrisch
von t abhängt. Auf diese Weise bekommt man das erwähnte Mittelungsfenster
als den Träger des Gedächtniskerns, in den oben besprochenen Beispielen immer das
Intervall [0, t−1]. In diesem Fenster wird mit gr(t, ·) als Gewichtung der Mittelwert
aller Datenpunkte berechnet.