Cascade-Correlations-Verfahren anhand des Xor-Problems

der Algorithmus während der Fehlerminimierung für kleines t kostengünstigere
Modifikationen durch.
Sobald über eine Anzahl von Zyklen keine deutliche Änderung des Fehlers mehr zu
beobachten ist wird das Netzwerk ein letztes Mal mit der gesamten Trainingsmenge getestet
und der kumulierte Fehler gemessen. Ist dieser klein genug, terminiert das Verfahren ohne
Erzeugung verdeckter Neuronen mit einem einstufigen Netzwerk (einer Ebene trainierter
Gewichte zwischen Eingabe und Ausgabe). Im anderen Fall gibt es einen Restfehler, der
durch Einführung eines oder mehrerer verdeckter Neuronen reduziert werden muss. Es wird
ein neues verdecktes Neuron dem Netz hinzugefügt, dessen Gewichte der
Eingangsverbindungen wie nachfolgend beschrieben bestimmt werden. Sobald es
hinzugefügt ist, werden seine Gewichte eingefroren, und die Verbindungen aller Neuronen
zu den Ausgabeneuronen werden neu trainiert (ebenfalls wieder durch Quickprop). Dieser
Vorgang des Hinzufügens eines Neurons wird wiederholt, bis der Fehler klein genug ist (oder
bis die maximal tolerierbare Zeit zum Training überschritten wurde).
Zur Erzeugung einer neuen verdeckten Zelle beginnt man mit einer Kandidatenzelle j, die
trainierbare Gewichte von allen Vorgängern (Eingabezellen und vorher generierte verdeckte
Zellen) erhält, während die Ausgabe noch nicht mit dem Netzwerk verbunden ist. Nun erfolgt
eine Anzahl Durchläufe durch die gesamte Trainingsmenge, wobei die Eingabegewichte wie
folgt beschrieben geändert werden. Ziel der Änderungen ist es, die Summe der Beträge der
Korrelation (Kovarianz) zwischen der Ausgabe der Kandidatenzelle und dem Restfehler der
Ausgabezelle über alle Ausgabezellen zu maximieren.
1
S ( w ) = Cov( o , δ ) = o ⋅( δ − δ )
(3)
∑ ∑ ∑ pj j
k k k k
t j p
jn , j∈A jn , j∈A p p
k k
∂St
( w ) 1
= σ f ' ( net ) ⋅o
( δ δ )
k
j
w p
i
k
j act p pi pj
jn , j∈A p
∂
∑ ∑ − (4)
σ ( k
j
= sign ∑ o
p⋅(
δpj
−δ j
))
(5)
p
Häufig wird folgende Formel der Kovarianzsumme und ihrer Ableitung angegeben
S ( w ) = ∑∑( o −o ) ⋅( δ
j
−δ
j
)
(6)
k k k k
t p p
jn , j∈A p
k k
dSt
( w )
= σ ( δ −δ
) ⋅ f ' ( net ) o
k
pi
w
i
k
j pj j act p
jn , j∈A p
∂
∑ ∑ ⋅ (7)
k k
σ
j
= sign( ∑( op −o ) ⋅( δpj
− δ j
))
(8)
p
k
o
p
σ
j
tatsächliche Ausgabe des Kandidaten
das Vorzeichen der Korrelation zwischen der Ausgabe der Kandidatenzelle j
und dem Fehler der Ausgabezelle j für Muster p
δ
pj
der Fehler des Ausgabeneurons n
j
4