Neuronale Netze - D. Kriesel

n klassifizierbare Menge
1 Hyperebene
2 konvexes Polygon
3 jede beliebige Menge
4 auch jede beliebige Menge,
also kein weiterer Vorteil
Tabelle 5.3: Hier wird dargestellt, mit welchem Perceptron sich Mengen welcher Art klassifizieren
lassen, wobei das n die Anzahl der trainierbaren Gewichtsschichten darstellt.
Ein n-stufiges Perceptron besitzt genau n trainierbare Gewichtsschichten. Eine Zusammenfassung,
welche Perceptrons welche Art von Menge klassifizieren können, findet
sich noch einmal in Tabelle 5.3. Wir werden uns jetzt der Herausforderung widmen,
Perceptrons mit mehr als einer Gewichtsschicht zu trainieren.
5.4 Backpropagation of Error verallgemeinert die Delta-Regel
auf MLPs
Im Folgenden möchte ich die Backpropagation of Error-Lernregel (Kurz: Backpropagation,
Backprop oder auch BP) herleiten und näher erläutern, mit der man mehrstufige
Perceptrons, welche semilineare 3 Aktivierungsfunktionen besitzen, trainieren
kann. Binäre Schwellenwertfunktionen und sonstige nicht-differenzierbare Funktionen
werden nicht mehr unterstützt, das macht aber nichts: Wir haben ja gesehen, dass man
die Fermifunktion bzw. den Tangens Hyperbolicus durch einen Temperatur-Parameter
T der binären Schwellenwertfunktion beliebig annähern kann. Weitgehend werde ich
der Herleitung nach [Zel94] bzw. [MR86] folgen – ich möchte aber noch einmal darauf
hinweisen, dass das Verfahren bereits früher von Paul Werbos in [Wer74] publiziert
wurde, jedoch wesentlich weniger Leser fand als in [MR86].
Backpropagation ist ein Gradientenabstiegsverfahren (mit all den Stärken und Schwächen
des Gradientenabstiegs), wobei die Fehlerfunktion Err(W ) hier sämtliche n Gewichte
als Argument entgegennimmt (Abb. 5.5 auf Seite 98) und diese dem Ausgabefehler
zuordnet, also n-dimensional ist. Auf Err(W ) sucht man durch Gradientenabstieg
einen Punkt geringen oder gar geringsten Fehlers. Backpropagation trainiert also wie
die Delta-Regel die Gewichte des Neuronalen Netzes – und genau die Delta-Regel bzw.
3 Semilineare Funktionen sind monoton und differenzierbar – aber im Allgemeinen nicht linear.