Neuronale Netze

dkriesel.com6.3 Training von RBF-NetzenM + aufwändigund ungenautheoretisch mathematisch korrekt an derTafel die Terme für die richtige Lösungfinden (in sehr sehr langer Zeit), die Berechnungam Computer erweist sich aberoft als ungenau und sehr zeitaufwändig(Matrixinversionen haben einen großen Rechenaufwand).Weiterhin ist unsere Moore-Penrose-Pseudoinverse, trotz numerischerStabilität, noch keine Garantie dafür,dass der Outputvektor dem Teachingvektorentspricht, da bei den aufwändigenBerechnungen sehr viele Ungenauigkeitenauftreten können, obwohl die Rechenwegemathematisch natürlich korrekt sind:Unsere Computer können uns diepseudoinversen Matrizen auch nurnäherungsweise liefern (wenn auchgute Näherungen). De facto erhaltenwir also auch nur eine Näherung derrichtigen Gewichte (womöglich mit vielenaufgeschaukelten Ungenauigkeiten) unddamit auch nur eine (vielleicht sehrgrobe oder gar unerkennbare) Näherungder Outputwerte an den gewünschtenOutput.Falls wir genug Rechenpower besitzen, umeinen Gewichtsvektor analytisch zu bestimmen,sollten wir ihn also auf jedenFall nur als Startwert für unseren Lernvorgangbenutzen, womit wir zu den wirklichenTrainingsverfahren kommen – abersonst wäre es ja auch langweilig, oder?6.3 Kombinationen ausGleichungssystem undGradientenverfahren sindzum Training sinnvollAnalog zum MLP führen wir also zumFinden passender Gewichte einen Gradientenabstiegdurch, und zwar über diebereits hinlänglich bekannte Delta-Regel.Backpropagation ist hier gar nicht notwendig,da wir nur eine einzige Gewichtsschichttrainieren müssen – ein Umstand,der sehr rechenzeitfreundlich ist.Wie wir wissen, lautet die Delta-Regel ansich∆w h,Ω = η · δ Ω · o h , (6.17)wobei wir in unserem Fall nun einsetzen:∆w h,Ω = η · (t Ω − y Ω ) · f act (||p − c h ||)(6.18)Ich möchte noch einmal ausdrücklich daraufhinweisen, dass es sehr beliebt ist, dasTraining in zwei Phasen zu unterteilen,indem man zunächst einen Gewichtssatzanalytisch berechnet und diesen mit derDelta-Regel nachtrainiert.Oft wird das Training sogar in drei Phasengegliedert: Es bleibt nämlich noch dieFrage zu klären, ob man offline oder onlinelernt. Hier kann man Ähnliches sagenwie bei Multilayerperceptrons: Es wird oftzunächst online gelernt (schnellere Bewegungüber die Fehleroberfläche). Anschließend,wenn man der Meinung ist, sichder Lösung zu nähern, werden in einerNachtrainingDelta-RegelTrainingin PhasenD. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE) 113