Neuronale Netze

Kapitel 6 Radiale Basisfunktionenwas sehr schnell passieren kann. Es ist alsosinnvoll, sich im Vorhinein eine Maximalanzahlfür Neurone |H| max zu definieren.dkriesel.com6.5 Gegenüberstellung vonRBF-Netzen undMultilayerperceptronsUnwichtigeNeurone raus6.4.3 Weniger wichtige Neuronewerden gelöschtDies bringt uns zu der Frage, ob mannoch weiterlernen kann, wenn diese Grenze|H| max erreicht ist. Auch hier ist demLernen noch kein Riegel vorgeschoben:Man sucht sich das unwichtigste“ Neuron”und löscht es. Ein Neuron ist beispielsweisefür das Netz nicht wichtig, wenn es einanderes Neuron gibt, welches fast genaudas gleiche tut: Es kommt oft vor, dasssich zwei Gaußglocken genau überlappen,an solchen Stellen würde beispielsweise eineinziges Neuron mit entsprechend größererHöhe seiner Gaußglocke genügen.Automatisierte Verfahren für das Findenvon weniger relevanten Neuronen zu entwickeln,ist aber sehr stark problemabhängigund sei an dieser Stelle dem Programmiererüberlassen.Mit RBF-Netzen und Multilayerperceptronshaben wir nun bereits zwei Netzparadigmenfür ähnliche Problemstellungenkennengelernt und ausführlich betrachtet.Wir wollen diese beiden Paradigmen dahereinander gegenüberstellen und ihre VorundNachteile vergleichen.Wir nehmen den Vergleich von Multilayerperceptronsund RBF-Netzen anhand verschiedenerAspekte vor.Eingabedimension: Bei RBF-Netzen istin hochdimensionalen Funktionsräumenetwas Vorsicht geboten, da dasNetz sehr schnell sehr speicher- undrechenaufwändig werden kann – hiermacht ein Multilayerperceptron wenigerProbleme, da dessen Neuronenanzahlnicht exponentiell mit der Eingabedimensionwächst.Wahl der Zentren: Allerdings ist dieWahl der Zentren c bei RBF-Netzen(trotz der hier vorgestellten Ansätze)nach wie vor ein großes Problem –bitte nutzen Sie bei deren Anwendungalso wirklich jedes Vorwissen,das sie haben. Solche Problemehaben wir beim MLP nicht.Ausgabedimension: Vorteil der RBF-Netze ist, dass es dem Training wenigmacht, wenn das Netz eine hoheOutput-Dimension aufweist – einLernverfahren wie Backpropagationbei einem MLP wird dabei sehr indie Länge gezogen.Extrapolation: Vorteil und Nachteil vonRBF-Netzen ist die mangelnde Extrapolationsfähigkeit:Ein RBF-Netz liefertweit weg von den Zentren derRBF-Schicht das Ergebnis 0. Dies ist118 D. Kriesel – Ein kleiner Überblick über Neuronale Netze (EPSILON-DE)