Diplomarbeit von Michael Schindler

42 2. On-line Lernen mit univar
Nach jedem Datenpunkt x werden sowohl alle Netzwerk-, als auch alle Lernparameter
aktualisiert.
Dem ANN ist zunächst keine der im System enthaltenen Raum- oder Zeitskalen
bekannt. Es muss jede Parameteradaption allein aufgrund seines eigenen ” Wissens“
bestimmen, also aufgrund der aktuellen Netz- und Lernparameter, des Datenpunktes
sowie der funktionalen Form der Abbildungen A und P. In praktischen
Anwendungen darf diese Forderung natürlich etwas abgeschwächt werden. So ist
eine Abschätzung der maximalen Varianz der Daten zu Zwecken der Initialisierung
von Vorteil (vgl. etwa (MV-1)). Ferner kann für jedes organische oder technische
System, das die Beobachtungsdaten detektiert, eine maximale Zeitskala in Form
seiner gesamten Lebens- und Lerndauer vorausgesetzt werden.
2.1 Die Kopplung von Lern- und Systemdynamik
2.1.1 Die Dynamik des univar-Lerners
Die Lernregel (1-41) des univar-Algorithmus macht das Codebuch C(t) = {c1(t), . . .,
cM(t)} zu einem zeitdiskreten dynamischen System, welches sich nach der Differenzengleichung
∆cr(t) = ∆cr(t)
∆t = ε ar(xt) � xt − cr(t) �
(2-2)
entwickelt. Dabei ist ∆t ≡ 1 der elementare Zeittakt, nichts anderes als die Dauer
zwischen zwei präsentierten Datenpunkten. Ersetzt man die Beweglichkeit εar(xt) des
r-ten Neurons formal durch die Lernrate
˜εr(t) := εar(xt), (2-3)
so wird am Vergleich mit Gleichung (15) aus der Einleitung deutlich, dass (2-2) nichts
anderes als die Dynamik einer gleitenden Mittelwertsbildung ist. Ist ˜εr sehr klein, dann
kann das zeitdiskrete dynamische System (2-2) durch das entsprechende kontinuierliche
ersetzt werden, das der gewöhnlichen Differentialgleichung
dcr
dt (t) = ˜εr(t) � xt − cr(t) � . (2-4)
genügt. Wenn ˜ε zusätzlich konstant ist, und wenn es für dieses System einen stationären
Attraktor c ∗ r gibt, also einen stationären stabilen Zustand, auf den es sich zubewegt,
so geschieht dies exponentiell mit der Relaxationszeit Tr =1/˜εr,
cr(t) − c ∗ r = � cr(0) − c ∗ r
� exp(−t/Tr). (2-5)
Wie bereits mehrfach angeklungen, ist die konstante Lernrate ˜εr dann eine Art Konvergenzgeschwindigkeit
und ihr Inverses die Zeitskala, auf der diese Konvergenz stattfindet.
Es müssen hier mehrere Fälle unterschieden werden: