Neuronale Netze

Kapitel 5 Das Perceptrondkriesel.comtanh(x)10.80.60.40.20−0.2−0.4−0.6−0.8−1Tangens Hyperbolicus−4 −2 0 2 4xf(x)10.80.60.40.20Fermi−Funktion mit Temperaturparameter−4 −2 0 2 4xAbbildung 5.13: Zur Erinnerung noch einmal die Darstellung des Tangens Hyperbolicus (links)und der Fermifunktion (rechts). Die Fermifunktion wurde um einen Temperaturparameter erweitert.Die ursprüngliche Fermifunktion ist hierbei dunkel herausgestellt, die Temperaturparameter bei denmodifizierten Fermifunktionen betragen von außen nach innen 1 2 , 1 5 , 110 und 125 .5.5.4 Backpropagation wurdevielfach erweitert und variiertauf der rechten Seite), indem jeder neuenGewichtsänderung immer ein Anteil dervorherigen Änderung hinzuaddiert wird:Backpropagation ist vielfach erweitert worden– viele dieser Erweiterungen kann maneinfach als optionale Features von Backpropagationimplementieren, um größerenTestspielraum zu haben. Ich möchte imfolgenden einige von ihnen kurz beschreiben.5.5.4.1 Momentum-TermAngenommen, wir fahren auf Skiern einensteilen Hang hinab – was hindert uns, amRande des Hangs zum Plateau sofort stehenzubleiben?Genau – der Schwung. DerMomentum-Term [RHW86b] sorgt beiBackpropagation dafür, dass der Schrittweiteeine Art Trägheitsmoment (Momentum)hinzugefügt wird (Abb. 5.14(∆ p w i,j ) jetzt = ηo p,i δ p,j + α · (∆ p w i,j ) vorherDiese Schreibweise dient natürlich nurdem besseren Verständnis; in der Regelwird, wie bereits durch den Zeitbegriff definiert,der Zeitpunkt des aktuellen Durchlaufsdurch (t) bezeichnet, der vorherigeDurchlauf wird dann durch (t − 1) gekennzeichnet,was man sukzessive fortführt.Wir kommen also zur formalen Definitiondes Momentum-Terms:Definition 5.10 (Momentum-Term): DieVariation von Backpropagation durch denMomentum-Term ist wie folgt definiert:∆w i,j (t) = ηo i δ j + α · ∆w i,j (t − 1) (5.44)Bemerkung: Wir beschleunigen also aufPlateaus (verhindert Quasi-Stillstand aufPlateaus) und bremsen auf zerklüftetenTrägheits-Moment96 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)