Heuristiken

Perceptron-
Netzwerk
Adaline-
Netzwerk
7.4 Perceptron, Adaline und Backpropagation
Es gibt eine Reihe von verschiedenen Modellen Neuronaler Netze. Diese unterscheiden
sich in der zugrundeliegenden Struktur, den verwendeten Eingabe-
, Aktivierungs- und Ausgabefunktionen und den angewendeten Lernverfahren
bzw. Lernalgorithmen.
Das rückkopplungsfreiePerceptron-Netzwerk , welches 1958 von ROSEN-
BLATT [] entwickelt wurde, besteht aus drei Ebenen; es enthält also eine versteckte
Schicht.
Die Verbindung zwischen der Eingabe- und der mittleren Schicht ist aber mit
festen, nicht lernenden Gewichten versehen. Die Neuronen der mittleren
und der Ausgabeschicht stehen alle durch lernfähige Gewichte miteinander in
Verbindung.
Das Percepton lernt aus Beispielen und arbeitet mit der Hebb-Regel. Als Aktivierungsfunktion
werden die Identität und binäre Schwellwerte eingesetzt.
Einfache Klassifizierungsprobleme können relativ gut mit dem Perceptron gelöst
werden.
Das Adaline-Netzwerk (Adaptive Linear Neuron Network) wurde von WIDROW
und HOFF 1960 [] veröffentlicht. Es besteht aus zwei Schichten, ist rückkopplungsfrei,
arbeitet mit einer binären Schwellwertfunktion und verwendet die
Delta-Regel als Lernregel.
Das Adaline-Netzwerk kann wie alle Netzwerke mit zwei Schichten nur linear
separierbare Funktionen erlernen, bietet jedoch gegenüber dem Perceptron den
Vorteil der Möglichkeit zur Ausgabe reellwertiger Zahlen.
Backpropagation-Das
Backpropagation-Netzwerk (oder mehrschichtiges Perzeptron) ist das
Netzwerk wohl populärste neuronale Netz, da es auch nicht linear separierbare Problemstellungen
lösen kann. Es wurde Mitte der 80er Jahre von RUMEL-
HART, HINTON und WILLIAMS [] entwickelt und ist ein rückkopplungsfreies
Netzwerk, das neben der Ein- und der Ausgabeschicht beliebig viele weitere Zwischenschichten
haben kann. Die verdeckten Schichten und die Ausgabeschicht
sind vollständig miteinander verbunden.
Die verwendete Lernregel ist die verallgemeinerte Delta-Regel.
Als Aktivierungsfunktion wird meist eine sigmoidale Funktion eingesetzt.
Das Backpropagation-Netzwerk wird insbesondere dann eingesetzt, wenn ein
Problem mit nichtlinearen Beziehungen zwischen Ein- und Ausgabedaten
41