Diplomarbeit von Michael Schindler

(a) E
E(w, x)
(b) ∇wE(w, x)
0
x ∈ X
x ∈ X
E.2 Lernende Neuronale Netze 5
Abbildung 3: Ein Fehlerfunktional E
und Fehlerwerte für sequentiell präsentierte
Reize x. In (a) sind die verschiedenen
nacheinander auftretenden Punkte
(x, E(w, x)) mit einer grauen Linie verbunden.
In (b) sieht man den Satz der
dazugehörenden Gradienten ∇wE(w, x).
Die Gradienten sind von Null verschieden,
haben im gegebenen Beispiel aber
etwa den Mittelwert Null.
alle Gradienten gleichzeitig verschwinden, in der Regel nicht gibt. Es kann aber ein
W ∗ geben, für das der Mittelwert der Gradienten verschwindet,
0 = 〈∇wrE(W ∗ ,x)〉 X ∀r. (10)
Man sieht also, dass als Lernziel des Perzeptrons nur eine statistische Größe in Frage
kommt. Statt E(W,x) aus Gleichung (7) muss nun der Mittelwert von E(W,x) auf
dem Datensatz X ={x1, . . .,xT } minimiert werden,
E(W) := 1
2T
T�
t=1
M� �
yr − w T r x(t)� 2
. (11)
r=1
Daraus ergibt sich sofort die gemittelte Lernregel
wr(t+1) = wr(t) + ε �� yr − w T r x� x �
deren stationärer Zustand durch (10) gegeben ist.
X
, (12)
Es bieten sich nun zwei Möglichkeiten für die Formulierung des Perzeptron-Algorithmus
und seiner Lernregel an. Beide sind in Abbildung 4 veranschaulicht.
Die erste Variante wurde schon in Gleichung (6) eingeführt. Jeder Punkt x wird
einzeln verarbeitet, es wird eine kleine Änderung der Parameter gemacht, und zwar
als sequentieller stochastischer Gradientenabstieg auf der Fehlerfunktion E(W)
aus (11),
wr(t+1) = wr(t) + ε
T ∇wrE(W(t),x(t+1)). (13)
Diese Version heißt sequentiell, da sie die Reize x nacheinander verarbeitet. Sie heißt
stochastisch, da die Punkte x zufällig aus dem Datensatz X gezogen werden. Daher
besteht die Bewegung der Parameter wr aus vielen kleinen Schritten, die eine mehr
oder minder zufällige Richtung haben, und deren Weite durch den Lernparameter
ε/T bestimmt ist. Die mittlere Richtung der Parameterbewegung ist aber parallel
zum Gradienten von E(W).