Neuronale Netze

Kapitel 4 Gedanken zum Training Neuronaler Netze (wichtige Grundlagen)dkriesel.comAbbildung 4.3: Veranschaulichung des Gradientenabstiegs auf zweidimensionaler Fehlerfunktion.Wir gehen entgegengesetzt von g, also mit dem steilsten Abstieg einem Tiefpunktentgegen, wobei die Schrittweite proportional zu |g| ist (je steiler der Abstieg, destogrößer die Schrittweite). Links ist die Fläche in 3D gezeigt, rechts die Schritte über dieHöhenlinien in 2D. Hier wird ersichtlich, wie eine Bewegung in Gegenrichtung von g inRichtung Minimum der Funktion erfolgt und proportional zu |g| ständig langsamer wird.Quelle: http://webster.fhs-hagenberg.ac.at/staff/sdreisei/Teaching/WS2001-2002/PatternClassification/graddescent.pdfg zeigt für jeden Punkt von f in Richtungdes stärksten Anstiegs von diesem Punktaus, wobei |g| dem Grad dieser Steigungentspricht.Als Gradientenabstieg bezeichnen wir, vonbeliebigem Startpunkt unserer Funktionaus entgegen dem Gradienten g schrittweisebergab zu gehen (anschaulich gesprochenin die Richtung, in die auch eine Kugelvom Startpunkt aus rollen würde), wobeidie Schrittgröße proportional zu |g| ist.Auf flachen Plateaus bewegen wir uns alsolangsam, bei großer Steigung schnell densteilsten Weg hinab. Geraten wir in einTal, so werden wir es je nach Größe unsererSchritte überspringen oder auf demgegenüberliegenden Hang wieder ins Talumkehren, um durch hin- und hergehendem tiefsten Punkt des Tals immer näherzu kommen, ähnlich der Bewegung unsererKugel innerhalb einer runden Schüssel.Definition 4.15 (Gradientenabstieg): Seif eine n-dimensionale Funktion und s =(s 1 , s 2 , . . . , s n ) gegebener Startpunkt. AlsGradientenabstieg bezeichnen wir, vonf(s) aus entgegen der Richtung von g, alsoin Richtung von −g mit Schritten in Größevon |g| in Richtung immer kleinerer Wertevon f zu gehen.Wir werden nun sehen, dass Gradientenabstiegsverfahrenzwar nicht fehlerfrei (Ab-Wir gehenGradient entgegen62 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)