Lernverfahren von Künstlichen Neuronalen Netzwerken

Hierarchische Elman-Netze sind eine Verallgemeinerung des Prinzips des Elman-Netzes auf mehrstufige feedforward-
Netze. Neben der Eingabeschicht existieren auch bei allen verdeckten Schichten Kontextzellen, die ihren Input von
der nächsten Schicht erhalten, aber auch von sich selbst. Die Gewichte λ i können in den verschiedenen Kontextschichten
unterschiedliche Werte einnehmen und zeigen somit unterschiedliches Speicherverhalten.
3.4.2 Lernverfahren für rekurrente Netze
Auf der Suche nach geeigneten Lernverfahren für Jordan- und Elman-Netze bemerkte man, dass, wenn man die
Gewichte der rekurrenten Verbindungen, d.h. der Verbindungen zu den Kontextzellen, vor der eigentlichen Lernphase
fest wählt, das Backpropagation-Lernverfahren angewendet werden kann. Die Kontextzellen werden dann
einfach wie Eingabezellen behandelt.
Das Training eines partiell rekurrenten Netzes würde also folgendermassen ablaufen:
1. Die Gewichte der Verbindungen zu den Kontextzellen werden festgelegt. Den indirekten Verbindungen wird
meist das Gewicht 1 zugeordnet.
2. Für jedes Trainingsmuster wird dann ähnlich wie bei Backpropagation folgendes durchgeführt:
- Aus dem Eingabemuster wird ohne Beachtung der rekurrenten Verbindungen die Ausgabe berechnet.
- Berechnung der Fehlersignale für jede Ausgabezelle aus der Differenz zwischen erwünschter und tatsächlicher
Ausgabe.
- Rückwärtspropagierung der Fehlersignale von der Ausgabeschicht bis zur Eingabeschicht. Die rekurrenten
Verbindungen werden ignoriert.
- Berechnung der Gewichtsänderungen mit Hilfe der Fehlersignale und Adaption der Gewichte.
- Berechnung des Zustands der Kontextzellen für den nächsten Durchgang aus den Ausgabezellen oder
Kontextzellen selber. Dies ist der einzige Schritt, der unterschiedlich zum Backpropagation-Verfahren
ist.
3.5 Modell von Kohonen 15
Bis jetzt sind erst Lernverfahren vorgestellt worden, die mit Hilfe
eines ”Lehrers” gelernt haben, d.h. dass dem Netz zu jedem Eingabemuster
auch das dazugehörige Ausgabemuster präsentiert wurde. Wie
können aber KNN lernen, ohne dass sie wissen, wie der richtige Output
auszusehen hat? Mit dieser Frage hat sich der finnische Ingenieur Teuvo
Kohonen anfangs der 80er Jahre auseinandergesetzt und dabei die
sog. selbstorganisierenden Karten entwickelt. Diese besitzen erstaunliche
Eigenschaften.
3.5.1 Prinzip der selbstorganisierenden Karten
Abb. 16: Ein Kohonen-Netzwerk
Kohonen-Netzwerke bestehen aus zwei Schichten, einer Eingabe- und einer Kohonenschicht (entspricht der Ausgabeschicht).
Alle Neuronen der Eingabeschicht sind vollständig mit der Kohonenschicht verbunden. In der Kohonenschicht
sind zusätzlich alle Neuronen untereinander verbunden. Es existieren jedoch keine direkten Rückkopplungen.
Die selbstorganisierenden Karten lernen mit einem unüberwachten Lernverfahren, d.h. dem Netz werden nur mehrere
Eingabemuster präsentiert, die Lösung muss dieses aber selber finden. Damit steht es von allen Modellen, die
bisher vorgestellt wurden unserem Gehirn eindeutig am nächsten. Tatsächlich kann man bei ihm viele Parallelen
22