Neuronale Netze

Kapitel 7Rückgekoppelte NetzeGedanken über Netze, welche eigene interne Zustände besitzen. Ansätze desLernens mit derartigen Netzen, Skizzierung ihrer Dynamik.Kann mehrals MLPRückgekoppelte Netze im Allgemeinen bezeichnenNetze, die die Fähigkeit haben,sich durch Rückkopplungen selbst zu beeinflussen,beispielsweise indem die Ausgabedes Netzes in die folgenden Berechnungsschrittemit eingeht. Es gibt viele Artenrückgekoppelter Netze von nahezu beliebigerGestalt, fast alle überschneidendals rückgekoppelte Neuronale Netzebezeichnet – demzufolge verwende ich fürdie wenigen hier vorgestellten Paradigmenden Namen rückgekoppelte Multilayerperceptrons.Dass man mit einem rückgekoppelten Netzmehr berechnen kann als mit einem normalenMLP, ist offensichtlich: Setzt mandie Rückkopplungsgewichte auf 0, reduziertman das rückgekoppelte Netz ja aufein normales MLP. Insbesondere erzeugtdie Rückkopplung verschiedene netzinterneZustände, so dass auch auf gleiche Eingabenim Kontext des Netzzustands verschiedeneAusgaben ausgegeben werdenkönnen.Rückgekoppelte Netze an sich besitzen einegroße Dynamik, die mathematisch sehrschwer zu erfassen und äußerst umfangreichzu betrachten ist. Das Ziel dieses Kapitelswird es nur sein, kurz zu betrachten,wie Rückkopplungen aufgebaut seinkönnen und netzinterne Zustände erzeugtwerden können. So werde ich nur kurzzwei Paradigmen rückgekoppelter Netzevorstellen, und anschließend grob derenTraining umreißen.Bei einem rückgekoppelten Netz könnenfür eine zeitlich konstante Eingabe xverschiedene Dinge passieren: Zum einenkann das Netz konvergieren, sich also ineinen festen Zustand bringen und irgendwanneine feste Ausgabe y ausgeben, oderes konvergiert eben nicht bzw. nach so langerZeit, dass wir es nicht mehr mitbekommen,was eine ständige Veränderung vony zur Folge hat.Falls es nicht konvergiert, kann man beispielsweisedie Ausgabe auf Periodikaoder Attraktoren (Abb. 7.1) untersuchenZustandsdynamik121