Klassifikation von Mustern

4.5. NEURONALE NETZE (VA.2.2.3, 13.04.2004) 389
Satz 4.17 (Fehlerrückführungs–Algorithmus) (“error–back–propagation”) Das Training
des MLP erfolgt nach den Gleichungen:
w (l)
ij
d (L)
j
d (l−1)
j
← w(l)
ij
=
=
+ βd(l)
j
δj − f (L)
j
M (l) −1
k=0
(l−1)
f i l = L, L − 1, . . . , 1 , (4.5.20)
1 − f (L)
j f (L)
j , (4.5.21)
d (l)
k w(l)
kj
1 − f (l−1)
j
f (l−1)
j l = L, L − 1, . . . , 2 . (4.5.22)
Das Training wird iterativ durchgeführt, wobei sukzessive Muster f einer Stichprobe an
der Eingabeschicht angeboten werden. Mit (4.5.5) bzw. (4.5.9) wird die Ausgabe des Netzes
berechnet. Für die Klassifikation von Mustern wird vorausgesetzt, dass die Trainingsstichprobe
klassifiziert ist, d. h. der Wert von δκ(c) in (4.5.11) oder (4.5.12) ist bekannt. Beginnend
mit der Ausgabeschicht kann nun (4.5.21) ausgewertet werden und neue Gewichte w (L)
ij mit
(4.5.20) berechnet werden. Dann werden schrittweise neue Gewichte in den unteren Schichten
mit (4.5.22) berechnet. Der Fehler (δj − f (L)
j ) wird also von der Ausgabeschicht zur Eingabeschicht
„zurückgeführt“, und daher kommt der Name für diesen Trainingsalgorithmus, nämlich
Fehlerrückführungs–Algorithmus (bzw. “error–back–propagation algorithm”).
Das Training eines neuronalen Netzes kann sehr langwierig sein. Daher wurden verschiedene
Ansätze zur Beschleunigung des Trainings vorgeschlagen. Mit der Einführung eines Momententerms
wird die Änderung der Gewichte modifiziert zu
∆w (l)
ij,N
(l−1)
= βd(l)
j,Nf i,N
+ γ∆w(l)
ij,N−1 , (4.5.23)
wobei β und γ Parameter sind, die experimentell festgelegt werden. Weitere Varianten des Trainings
sind der zitierten Literatur zu entnehmen.
Eigenschaften
Da sich mit dem MLP beliebige Funktionen approximieren lassen, eignet es sich sowohl für
die Klassifikation von Mustern als auch z. B. für die Vorhersage, Inversion oder Glättung von
Funktionen. Einige wichtige Aussagen sind im Folgenden zusammengefasst, wobei für Beweise
auf die angegebene Literatur verwiesen wird.
Satz 4.18 Das MLP erlaubt
1. die Definition jeder logischen Funktion (zwei Schichten von Gewichten sind hinreichend,
Beweis: s. z. B. [Muroga, 1971]);
2. die Approximation jeder nichtlinearen Funktion (zwei Schichten von Gewichten sind
hinreichend, Beweis: s. z. B. [Hornik et al., 1989, White, 1990]);
3. die Definition beliebiger Klassengrenzen im R n (zwei Schichten von Gewichten sind
hinreichend, Beweis: s. z. B. [Makhoul et al., 1989]).
Die Tatsache, dass zwei Schichten für die Approximationen hinreichend sind, schließt nicht
aus, dass u. U. drei oder noch mehr Schichten eine schnellere Konvergenz des Trainings erlauben
und daher vorzuziehen sind. Insbesondere für die Klassifikation werden oft L = 3 Schichten
von Gewichten vorgeschlagen, wobei die Argumentation anschaulich darin besteht, dass