Cascade-Correlations-Verfahren anhand des Xor-Problems

Cascade-Correlations-Verfahren anhand des XOR-Problems.
Anhand des XOR-Problems sollen im Folgenden die einzelnen Teilschritte des Cascade-
Correlations-Verfahrens detailliert erläutert werden. Die zum Training des Netzes zur
Verfügung stehende Datenmenge besteht aus vier Mustern:
Nr. Muster Eingabe Ausgabe
1 1 1 -1
2 0 1 1
3 1 0 1
4 0 0 -1
Anfangsnetz
Das Verfahren für das XOR-Problem startet mit dem Anfangsnetz gemäß Abb. 2. Die
Dimension der Eingabe ist zwei. Die Eingabeschicht enthält zusätzlich das Bias-Neuron. Die
Dimension der Ausgabe ist eins. Verdeckte Neuronen sind nicht vorhanden Für die
Ausgangskonfiguration wurden die Startgewichte willkürlich gewählt.
Abb. 2 Das Anfangsnetz ({n 1 ,n 2 ,n 3 ,n 4 }, {(n 1 ,n 4 ),(n 2 ,n 4 ),(n 3 ,n 4 )}) für das XOR-Problem
Legt man als Aktivierungsfunktion für das Ausgabeneuron den tangenshyberbolicus
f act =tanh(x) zugrunde, so erhält man bei Eingabe der Trainingsmuster die folgenden
Ausgaben:
Nr. Muster O 1 O 2 O 3 O 4
1 1 1 1 -0.379949
2 0 1 1 -0.635149
3 1 0 1 -0.148885
4 0 0 1 -0.462117
o
o
o
o
14
24
34
44
= tanh(1⋅ 0.35 + 1 ⋅( − 0.25) + 1 ⋅( − 0.50)) =−0.379949
= tanh(0⋅ 0.35 + 1 ⋅( − 0.25) + 0 ⋅( − 0.50)) =−0.635149
= tanh(1⋅ 0.35 + 0 ⋅( − 0.25) + 1 ⋅( − 0.50)) =−0.148885
= tanh(0⋅ 0.35 + 0 ⋅( − 0.25) + 1 ⋅( − 0.50)) =−0.462117
6