Thesis - RWTH Aachen University

200 C.3 Radial Basis Function Netze
Die Bestimmung der Parameter wi findet durch die Lösung eines linearen Gleichungssystems statt,
das mit Hilfe der m Trainingsdaten (�xi, yi) aufgestellt wird.
⎛
⎜
⎝
y1
y2
.
⎞
⎟
⎠ =
⎛
⎜
⎝
φ1( �x1)
φ1( �x2)
.
φ2( �x1)
φ2( �x2)
.
· · ·
· · ·
. ..
φb( �x1)
φb( �x2)
.
⎞ ⎛
⎟ ⎜
⎟ ⎜
⎟ ⎜
⎠ ⎝
w1
w2
.
⎞
⎟
⎠
(C.60)
φ1( xm) � φ2( xm) � · · · φb( xm) �
ym
oder in Matrixform zusammengefasst:
wm
�y = Φ�w (C.61)
Um die Gewichte zu berechnen setzt man die Pseudoinverse Φ + der Matrix Φ ein:
�w = (Φ T Φ) −1 Φ T �y = Φ + �y (C.62)
Diese Beziehungen lassen sich mit einem neuronalen Netz realisieren. RBF Netze stellen einen
spezialisierten Fall solcher neuronalen Netzen dar, die für φi() radiale Basisfunktionen einsetzen
[Kra03b]. Als Basisfunktion kommt oft die nicht-normierte Gaußfunktion zur Anwendung:
x2
−
φ(x) = e 2σ2 (C.63)
Jede Basisfunktion erhält am Eingang den Abstand des Eingabevektors �x von einem der Funktion
zugehörigen Stützstellenvektor �xi, der während der Trainingsphase festgelegt wird. Somit erhält man
für die Approximation der Funktion:
�y(�x) =
b�
wiφi(��x − �xi�) (C.64)
i=1
Diese Beziehung lässt sich als ein dreischichtiges neuronales Netz interpretieren (siehe auch Abbildung
C.11). Die erste Schicht funktioniert als Eingang des Netzes und die Anzahl der Neuronen
entspricht der Anzahl der Elemente des Merkmalsvektors, der klassifiziert werden soll. Die Ausgaben
der verdeckten Schicht entsprechen den ausgewerteten radialen Basisfunktionen φi(��x − �xi�).
Die letzte Schicht gewichtet die Ausgaben mit wi, die aus Gleichung C.62 berechnet werden, und
summiert sie.
Die versteckte Neuronenebene ist verantwortlich für das Approximationsverhalten des Netzes, da sie
Gleichung C.64 umsetzt. Drei Elemente bestimmen das Verhalten eines Neurons i dieser Ebene:
• die Position der Stützstelle im Eingangsraum, d.h. der Wert von �xi,
• die Methode zur Bestimmung des Abstandes des Eingangsvektor von der Stützstelle, also ��x −
�xi�, und
• die Aktivierungsfunktion des Neurons, also φi().
Die Position der Stützstellen wird während der Trainingsphase festgelegt. Nach Haykin [Hay94] gibt
es drei Möglichkeiten:
• sie können willkürlich gesetzt werden,