Neuronale Netze

Kapitel 1 Einleitung, Motivation und Geschichtedkriesel.comBackpropentwickeltgab aber keine Kongresse und sonstigenVeranstaltungen und demzufolge auch wenigVeröffentlichungen. Diese Isolation dereinzelnen Forschenden sorgte für die vielenParadigmen Neuronaler Netze, welchevoneinander isoliert entstanden sind: Manforschte, redete aber nicht miteinander.Trotz der geringen Anerkennung des Gebietswurden in dieser Zeit die theoretischenGrundlagen für die noch andauerndeRenaissance gelegt:1972 stellt Teuvo Kohonen ein Modelldes linearen Assoziators, eines Assoziativspeichermodellsvor [Koh72],es wird im gleichen Jahr davon unabhängigvon James A. Andersonaus neurophysiologischer Sicht präsentiert[And72].1973 verwendet Christoph von derMalsburg ein Neuronenmodell, wasnichtlinear und biologisch besser motiviertist [vdM73].1974 entwickelt Paul Werbos für seineDissertation in Harvard das Backpropagationof Error-Lernverfahren[Wer74], das aber erst ein Jahrzehntspäter seine heutige Bedeutung erlangt.1976 – 1980 und danach werden vonStephen Grossberg viele Arbeiten(z.B. [Gro76]) vorgestellt, in denen eineVielzahl von neuronalen Modellenmathematisch genau analysiert wird.Er widmet sich weiterhin ausführlichdem Problem, ein Neuronales Netzlernfähig zu halten, ohne bereitserlernte Assoziationen wieder zuzerstören – hieraus entstanden unterMitarbeit von Gail Carpenter dieModelle der Adaptive ResonanceTheory, kurz ART.1982 beschreibt Teuvo Kohonen dienach ihm benannten selbstorganisierendenKarten (self organizingfeature maps, SOM) [Koh82, Koh98]auf der Suche nach den Mechanismender Selbstorganisation des Gehirns (erwusste, dass die Informationen überden Aufbau von Wesen im Genomgespeichert sind, das aber ganz wesentlichzu wenig Speicherplatz für eineStruktur wie das Gehirn besitzt– folglich muss sich das Gehirn zumGroßteil selbst organisieren und aufbauen).Weiterhin beschreibt John Hopfielddie nach ihm benannten Hopfieldnetze[Hop82], welche durch dieGesetze des Magnetismus in der statistischenPhysik inspiriert sind. Sieerfuhren wenig technische Anwendungen,aber das Gebiet der NeuronalenNetze kam langsam wieder ins Rollen.1983 wird von Fukushima, Miyake undIto das neuronale Modell Neocognitronzur Erkennung handgeschriebenerZeichen vorgestellt [FMI83], welcheseine Erweiterung des schon 1975entwickelten Cognitrons darstellt.1.2.4 RenaissanceDurch den Einfluss u.a. John Hopfields,der viele Forscher persönlich von der Wich-12 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)