Adaptive Modellierung und Simulation - Adaptive Systemarchitektur ...

RBF-Lernverfahren 2-37
Abb. 2.19 Annäherung von Anzahl und Überdeckung von Glockenfunktionen an
die Intensitätsverteilung eines Bildes (nach [Hinton1992]).
In beiden Situationen, bei bekannten und unbekannten Daten, lässt sich die
Komplexität des Netzwerks und die Trainingszeiten deutlich verringern, wenn
man anstelle von einer festen Anzahl von Neuronen das Netzwerk durch die sukzessive
Erzeugung neuer Glockenfunktionen (Hinzufügen von Neuronen) verbessert.
Eine typische Methode ist die der sequentiellen Regression.
Überdeckung durch Fehlerminimierung
Dazu wird versucht, nur mit wenigen Neuronen anzufangen (ideal mit einem) und
dann inkrementell weitere hinzuzufügen. Kriterium für die Lage der neuen RBF-
Neuronen bei diesem Verfahren ist der Punkt, an dem der größte Fehler gemacht
wird. Vermutet man an Orten mit größerem mittleren Fehler auch mehr Information
(z.B. bei der Adaption von RBF-Bereiche an Bildkonturen, s. Abb. 2.19), so ist
die Erzeugung und damit die Konzentration neuer Neuronen gerade an diesen
Häufigkeitspunkten sinnvoll.
Bei bekannten Daten kann man nach jedem Trainingslauf mit allen Mustern den
Ort des größten Fehlers des Netzes feststellen und dort ein Neuron platzieren. Sein
Gewicht in der zweiten Schicht wird entweder so gewählt, dass es nur den Fehler
an dieser Stelle kompensiert, oder aber durch eine Minimierung des quadratischen
Fehlers mit allen Gewichten der zweiten Schicht. Das Training bricht ab, wenn der
maximale Fehler klein genug ist.
Gibt man einen festen Fehlerwert als Schranke vor, bei dessen Überschreiten jeweils
ein Neuron eingefügt wird, so kann man bei jedem Trainingslauf auch mehrere
Neuronen zum Netz hinzufügen. Dazu kann man auch die Strategie einer
Fehlerschranke mit der einer Abstandsschranke (Überschreiten des Abstands | x–
cm | der Eingabe x vom Zentrum cm des nächsten Neurons) kombinieren, um eine
einigermaßen konsistente Überdeckung des Eingaberaumes zu erreichen. Diese