Diplomarbeit von Michael Schindler

6 Einleitung
In der folgenden Gleichung (14) wird nicht nach jedem x angepasst, sondern es werden
zunächst alle zum Datensatz gehörenden Gradienten bei festem Parametersatz
gemittelt,
wr(t+1) = wr(t) + ε 〈∇wrE(W(t),x)〉 X . (14)
Die T kleinen Schritte aus (13) werden hier also zu einem großen Schritt zusammengefasst.
Diese Version heißt batch-Algorithmus. Sie führt zu glatteren Gradientenabstiegskurven
auf E (vgl. Abb. 4), die dadurch aber auch leichter in lokalen
Extrema von E steckenbleiben.
In beiden Algorithmen wird eine Mittelung der Gradienten ∇wE durchgeführt. In
der batch-Version explizit, in der sequentiell-stochastischen Version durch die um 1/T
verkleinerte Schrittweite.
wrq
Abbildung 4: Gewöhnlicher und stochastischer Gradientenabstieg. Beide Trajektorien
konvergieren in das Minimum des Fehlerfunktionals E, die eine glatt, die
andere bekommt nicht nur die Schankungen der Eingabereize x mit, sondern sieht
deswegen auch Gradienten ∇wE(W,x) in der Umgebung der glatten Trajektorie.
Mittelung bei adaptiven Neuronalen Netzwerken
Die Eigenschaft, dass die gesehenen Reize, also die Aktivitäten auf der Eingabeschicht,
nur als Mittelwerte in die Adaptation der Lernparameter eingehen, ist wesentlich für
das zuverlässige Konvergieren des Lernalgorithmus. Sie ist nicht nur beim vorgestellten
Perzeptron zu finden, sondern bei allen bekannten Lernregeln für Neuronale Netze.
An (13) und (14) wird deutlich, dass sich die Argumentation leicht auf alle Lernregeln
erweitern lässt, die einen Gradientenabstieg durchführen. Sie gilt ebenfalls für diverse
Formen des Hebb’schen Lernens, das im Rest der Arbeit ausschließlich verwendet
wird. Die Mittelungseigenschaft findet sich somit insbesondere beim Hopfield-Modell
(Hopkins, 1982), dem Backpropagation-Algorithmus (Rumelhart et al. 1986), dem
Kohonen-Netz (Kohonen, 1982), diversen Assoziativspeichern (siehe Ritter et al. 1992,
auch für kurze Beschreibungen der anderen Verfahren) und verwandten Algorithmen.
wrp