Neuronale Netze - D. Kriesel

Definition 7.3 (Elmannetz). Ein Elmannetz ist ein MLP, welches pro informationsverarbeitendem
Neuron ein Kontextneuron besitzt. Die Menge der Kontextneurone
nennen wir K. Pro informationsverarbeitender Neuronenschicht existiert also eine
Kontextschicht mit exakt gleichvielen Kontextneuronen. Jedes Neuron besitzt eine gewichtete
Verbindung zu exakt einem Kontextneuron, während die Kontextschicht in
Richtung ihrer Ursprungsschicht vollverknüpft ist.
Interessant ist nun, das Training rückgekoppelter Netze zu betrachten, da z.B. das
normale Backpropagation of Error nicht auf rückgekoppelten Netzen funktionieren
kann. Dieser Teil ist wieder etwas informeller gehalten, so dass ich dort keine formalen
Definitionen verwenden werde.
7.3 Training rückgekoppelter Netze
Um das Training so anschaulich wie möglich darzustellen, müssen wir einige Vereinfachungen
verabreden, die das Lernprinzip an sich aber nicht beeinträchtigen.
Gehen wir für das Training also davon aus, dass die Kontextneurone zu Anfang mit
einer Eingabe initiiert werden, da sie sonst eine undefinierte Eingabe haben (das ist
keine Vereinfachung, sondern wird tatsächlich gemacht).
Weiterhin verwenden wir für unsere Trainingsgehversuche ein Jordannetz, welches keine
versteckte Neuronenschicht hat, so dass die Outputneurone direkt wieder Input liefern.
Dies ist eine starke Vereinfachung, da in der Regel kompliziertere Netze verwendet
werden. Dies verändert soweit aber nichts am Lernprinzip.
7.3.1 Unfolding in Time
Erinnern wir uns an unser eigentliches Lernverfahren für MLPs, Backpropagation of
Error, das die Deltawerte rückwärts propagiert. Im Falle rückgekoppelter Netze würden
die Deltawerte also zyklisch immer wieder rückwärts durch das Netz propagiert, was
das Training schwieriger macht. Zum einen kann man nicht wissen, welche der vielen
generierten Deltawerte für ein Gewicht nun für das Training gewählt werden sollen,
also sinnvoll sind, zum anderen können wir auch nicht unbedingt wissen, wann das
lernen nun beendet werden soll. Der Vorteil von rückgekoppelten Netzen ist eine große
Zustandsdynamik innerhalb des Netzbetriebs – der Nachteil rückgekoppelter Netze ist,
dass diese Dynamik auch dem Training zuteil wird und dieses somit erschwert.