Darstellung und Analyse hydrologischer Topologien auf der Basis ...

2.5 Backpropagation-Netze 45
(ii) In der zweiten Phase werden die partiellen Fehler aller Neuronen ermittelt. Die Fehler der
Ausgabeneuronen werden dabei durch Vergleich mit dem Ausgabemuster bestimmt (2.5.8 für
v ∈ U n ). Diese Fehler werden anschließend über die zur Ausgabeschicht führenden Kanten
– gewichtet mit deren Kantengewichten – zur vorangegangenen inneren Schicht zurückgeleitet.
Die Neuronen dieser Schicht können nun anhand der Fehlersignale aus der nachfolgenden
Schicht ihre eigenen partiellen Fehler ermitteln (2.5.8 für v ∈ U j , 2 ≤ j < n). Der Vorgang
der Weiterleitung der Fehler an die vorangegangene Schicht (Backpropagation) und die Bestimmung
der partiellen Fehler der Neuronen dieser Schicht wiederholt sich nun, bis alle inneren
Schichten bearbeitet wurden. Anschließend werden für alle Neuronen die Gewichtsänderungen
der eingehenden Kanten in Abhängigkeit von ihrem partiellen Fehler und ihrer aktuellen Aktivierung
berechnet (2.5.7).
(iii) In der dritten Phase werden schließlich die Gewichte aller Kanten entsprechend der ermittelten
Änderungen angepasst.
Diese Schritte werden für alle Lernmuster wiederholt durchgeführt, bis eine vorgegebene Abbruchbedingung
erfüllt ist. Dabei werden dem Verfahren die Muster entweder in fester oder zufälliger Reihenfolge
präsentiert. Hierbei ist anzumerken, dass diese Form der Gewichtsanpassung nicht exakt den in
Abschnitt 2.5.3.1 beschriebenen Gradientenabstieg realisiert. Dies kann jedoch leicht durch eine häufig
angewandte Modifikation des Verfahrens erfolgen. Dazu werden die Gewichte nicht jeweils nach
der Propagierung eines einzelnes Lernmusters, sondern erst nach der Verarbeitung aller Muster angepasst.
Die Änderung eines Gewichtes W (u, v) ergibt sich dabei durch Aufsummieren der einzelnen
Gewichtsänderungen über alle Lernmuster:
∆W (u, v) = ∑ p∈ ˆL
∆ p W (u, v). (2.5.9)
Die Schritte (i) und (ii) werden also zunächst für alle Lernmuster ausgeführt und die ermittelten Gewichtsänderungen
aufsummiert, erst danach erfolgt die Aktualisierung der Gewichte in Schritt (iii).
Der Vorteil dieser Vorgehensweise liegt darin, dass Änderungen, die durch die Verarbeitung eines
Lernmusters hervorgerufen wurden, nicht durch nachfolgende Lernmuster rückgängig gemacht werden.
Auch die Berechnung der Gewichtsänderung erfolgt häufig in einer abgewandelten Form (Rumelhart
u. a. 1986, Nauck u. a. 1996, Zell 1997): Wurde die vergangene Änderung ∆ t pW (u, v) eines Gewichtes
W (u, v) zum Zeitpunkt t berechnet, dann ergibt sich die aktuelle Gewichtsänderung ∆ t+1
p W (u, v)
entsprechend
∆ t+1
p
W (u, v) := σδ v
(p) a (p)
u + β∆ t pW (u, v) (2.5.10)
bzw. für den Fall der für alle Muster einheitlichen Anpassung (2.5.9)
∆ t+1 W (u, v) := ∑ p∈ ˆL
σδ v
(p) a (p)
u + β∆ t W (u, v). (2.5.11)