Neuronale Netze

Kapitel 4 Gedanken zum Training Neuronaler Netze (wichtige Grundlagen)dkriesel.comErrc)b)a)d)Globales MinimumWAbbildung 4.4: Mögliche Fehler während eines Gradientenabstiegs: a) Finden schlechter Minima,b) Quasi-Stillstand bei kleinem Gradienten, c) Oszillation in Schluchten, d) Verlassen guter Minima.4.6.1 Boolesche FunktionenFür Ausgaben nahe 1 oder -1, also naheden Grenzwerten des Tangens Hyperbolicus(bzw. im Falle der Fermifunktion0 oder 1), benötigt das Netz sehr großeNetzeingaben. Die einzige Chance, dieseNetzeingaben zu erreichen, ist durch großeGewichte, die erlernt werden müssen: DerLernvorgang wird sehr verlängert. Es ist alsoklüger, als gewünschte Ausgaben in dieTeaching Inputs 0.9 bzw. −0.9 einzugebenoder aber zufrieden zu sein, wenn das Netzdiese anstatt 1 und −1 ausgibt.Gerne wird als Beispiel das genommen,was in den 1960er Jahren nicht ging: DieXOR-Funktion (B 2 → B 1 ), welches wirnoch ausführlich besprechen werden. Trivialerwarten wir hier die Ausgaben 1.0 bzw.−1.0 je nachdem , ob die Funktion XOR1 oder 0 ausgibt – und genau hier liegtder erste Anfängerfehler, den man machen 4.6.2 Die Paritätsfunktionkann.Beliebt als Beispiel für Singlelayerperceptronssind auch die Booleschen FunktionenAND und OR.Die Paritätsfunktion bildet eine Mengevon Bits auf 1 oder 0 ab, je nachdem,ob eine gerade Anzahl Inputbits auf 1 gesetztist oder nicht – es handelt sich alsogrundsätzlich um eine Funktion B n →B 1 . Sie ist durch leichte Lernbarkeit bisca. n = 3 gekennzeichnet (dargestellt inTab. 4.1 auf der rechten Seite), der Lernaufwandsteigt aber ab n = 4 rapide an.64 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)