Cascade-Correlations-Verfahren anhand des Xor-Problems

Der Cascade-Correlation-Algorithmus
Der Cascade-Correlation-Algorithmus lässt sich durch zwei Ideen charakterisieren. Die eine
ist die Kaskaden-Architektur, in der verdeckte Neuronen einzeln zu dem Netzwerk
hinzugefügt werden und ihre Eingangsgewichte danach nicht mehr ändern. Die zweite ist der
Lernalgorithmus, der diese verdeckten Neuronen erzeugt und ihre Gewichte bestimmt.
Dieser versucht für jedes hinzugefügte Neuron den Betrag der Korrelation zwischen der
Ausgabe des Neurons und dem restlichen Fehlersignal zu maximieren und auf diese Weise
den Restfehler möglichst stark zu minimieren.
Abb. 1 Die Architektur des Cascade-Correlation Netzwerks
Die Architektur des Cascade-Correlation Netzwerks ist in Abb. 1 dargestellt. Zu Beginn des
Trainings existiert nur die durch die Problemstellung vorgegebene Anzahl von Eingabe- und
Ausgabezellen, jedoch keine verdeckten Neuronen. Jede Eingabezelle ist mit jeder
Ausgabezelle durch eine Verbindung mit trainierbarem Gewicht verbunden (helle Quadrate).
Es existiert auch ein Bias-Neuron, dessen Ausgabe immer +1 ist und das mit allen
Ausgabezellen verbunden ist.
Die Ausgabeneuronen können eine lineare oder eine nichtlineare Aktivierungsfunktion
besitzen. Die meisten Experimente mit Cascade-Correlation wurden bisher mit sigmoiden
Aktivierungsfunktionen wie tangens hyperbolicus f ( x) = tanh( x)
durchgeführt.
Das Lernverfahren fügt nun einzeln verdeckte Neuronen zu dem Netzwerk hinzu. Jedes
neue verdeckte Neuron erhält Eingaben von allen Vorgängern, d.h. von den
Eingabeneuronen und den vorher generierten verdeckten Neuronen. Die Eingabegewichte
dieser Neuronen werden eingefroren, sobald das Neuron dem Netzwerk hinzugefügt wurde.
Nur die Gewichte der Verbindungen zu den Ausgabeneuronen werden weiterhin trainiert. Auf
diese Art und Weise stellt jedes Neuron der verdeckten Schicht eine Ebene für sich dar.
Der Lernalgorithmus beginnt zuerst ohne verdeckte Neuronen. Die direkten Verbindungen
zwischen Eingabeebene und Ausgabeebene werden über die gesamte Trainingsmenge so
gut wie möglich trainiert, beispielsweise durch die Delta-Regel oder Quickprop. Letzteres
Verfahren konvergiert in der Regel schneller.
act
2