Cascade-Correlations-Verfahren anhand des Xor-Problems

Kandidatentraining
Das Verfahren erzeugt ein neues Neuron, initialisiert zufällig dessen Gewichte und
modifiziert diese innerhalb einer Trainingsprozedur. Das Neuron erhält während seines
Trainings Eingaben von allen Neuronen der Eingabeschicht und allen verborgenen
Schichten.
Das Kandidatenneuron beeinflusst die Ausgabe des Netzes nicht, da es keinerlei
Informationen in das Netzwerk leitet. Insbesondere besteht keinerlei Verbindung des
Kandidaten zu den Neuronen der Ausgabeschicht. Ziel des Kandidatentrainings ist die
Bestimmung der Gewichte einer weiteren verborgenen Schicht, deren Einfügung sich positiv
auf die zukünftige Fehlerentwicklung auswirkt.
Um die Auswirkung des potentiellen Einfügens eines Kandidaten in das Netz zu beurteilen,
wird der Korrelationskoeffizient betrachtet.
Im Fall des XOR-Problems befindet sich das aktuelle Netz immer noch im Zustand t=0. Es
k
wird ein Neuron n mit einem dreidimensionalen Gewichtsvektor erzeugt. Als
Aktivierungsfunktion seit fact
( x ) = tanh( x ) gewählt. Die Abb. 4 demonstriert diese Situation.
Kovarianzsumme
Das Kandidatenneuron liefert folgende Ausgaben bei Anlegen der Eingabedaten an das
Netz:
Nr. Muster O 1 O 2 O 3
k
O
1 1 1 1 -0.197375
2 0 1 1 -0.996682
3 1 0 1 -0.761594
4 0 0 1 -0.999329
o
o
o
o
k
1
k
2
k
3
k
4
= tanh(1⋅ 3.00 + 1⋅ 0.80 + 1 ⋅( − 4.00)) =−0.197375
= tanh(0⋅ 3.00 + 1⋅ 0.80 + 1 ⋅( − 4.00)) =−0.996682
= tanh(1⋅ 3.00 + 0⋅ 0.80 + 1 ⋅( − 4.00)) =−0.761594
= tanh(0⋅ 3.00 + 0⋅ 0.80 + 1 ⋅( − 4.00)) =−0.999329
Anschließend verändert das Verfahren die Gewichte des Kandidatenneurons durch
k k k k
Maximierung der Kovarianzsumme S ( w , w , w ) nach Formel (3), die zur Zeit t=0
folgenden Wert annimmt:
0 1 2 3
1
S (3.00,0.80, − 4.00) = ⋅( − ) =
4
k
k
0 ∑op
δp4 δ4
p p=
1
1
= ( − 0.197375 ⋅ 1.010413 + ( − 0.996682) ⋅ ( − 1.004359) +
4
+− ( 0.761594) ⋅− ( 0.995641) + ( −0.999329) ⋅ 0.989587 =
1
= 0.570947 = 0.1427369
4
δ
4
= (1.008519 −1.006253 − 0.997535 + 0.987693) / 4 =− 0.001894
10