Neuronale Netze

Kapitel 5 Das Perceptrondkriesel.comEs kann, wie schon gesagt, mathematischbewiesen werden, dass dieses MLP miteiner versteckten Neuronenschicht bereitsbeliebige Funktionen beliebig genau approximierenkann 5 – doch müssen wir nichtnur die Repräsentierbarkeit eines Problemsdurch ein Perceptron betrachten,sondern auch die Lernbarkeit. Repräsentierbarkeitbedeutet, dass ein Perceptroneine Abbildung grundsätzlich realisierenkann – Lernbarkeit bezeichnet aber, dasswir sie ihm auch beibringen können.Insofern zeigt uns die Erfahrung, dasszwei versteckte Neuronenschichten bzw.zwei trainierbare Gewichtsschichten fürdie Realisierung eines Problems sehr nützlichsein können, da viele Probleme zwardurchaus von einer versteckten Schicht repräsentiertwerden können, jedoch leidernur schwer lernbar sind.Zwei versteckte Schichten sind weiterhinein guter Wert, da man drei versteckteSchichten nur extrem selten benötigt –zudem erzeugt jede weitere Schicht auchweitere Nebenminima der Fehlerfunktion,in denen wir hängenbleiben können. Einerfolgversprechender Weg ist also zusammenfassend,es erst mit einer verstecktenSchicht zu probieren und wenn das nichtklappt, mit zweien.5 Achtung: Wir haben keine Aussage über die Neuronenanzahlin der versteckten Schicht gemacht,nur über die theoretische Möglichkeit.5.5.3.2 Anzahl der Neurone solltegetestet werdenDie Zahl der Neurone (abseits vonEingabe- und Ausgabeschicht, die Anzahlder Eingabe- und Ausgabeneurone ist jadurch die Problemstellung bereits fest definiert)entspricht grundsätzlich der Zahlder freien Parameter des zu repräsentierendenProblems.Da wir ja schon die Netzkapazität in Bezugauf Auswendiglernen oder eine zuungenaue Problemrepräsentation erforschthaben, ist klar, dass unser Ziel so wenigwie möglich, aber so viel wie nötig freieParameter sind.Wie wir aber auch wissen, gibt es keine Patentformel,wie viele Neurone zu verwendensind – die sinnvollste Herangehensweisebesteht also darin, zunächst mit wenigenNeuronen zu trainieren und so langeneue Netze mit mehr Neuronen zu trainieren,wie das Ergebnis noch signifikant verbessertund vor allem die Generalisierungsleistungnicht beeinträchtigt wird (Bottom-Up-Ansatz).5.5.3.3 Wahl der AktivierungsfunktionEin weiterer sehr wichtiger Parameter fürdie Informationsverarbeitungsweise einesNeuronalen Netzes ist die Wahl der Aktivierungsfunktion.Für die Inputneuronensteht die Aktivierungsfunktion jafest, da sie nicht informationsverarbeitendsind.94 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)