Adaptive Modellierung und Simulation - Adaptive Systemarchitektur ...

Approximationsleistung neuronaler Netze 2-43
2.11 Approximationsleistung neuronaler Netze
Was können wir nun grundsätzlich von Neuronalen Netzen erwarten? Können wir
sie immer dazu verwenden, unbekannte, nichtlineare Funktionen zu approximieren,
oder haben sie Grenzen? Wie viele Schichten benötigen wir ?
Betrachten wir eine Klasse von Funktionen, genannt Sigma-Funktionen Σ n (S)
n
∑ ( S)
:= { f ˆ | f ˆ :
n
ℜ → ℜ mit ( )
wobei wj (2) aus ℜ, x aus ℜ n
m
( ( ) )
ˆf
( 2)
x =∑ w S z x }
j= 1
j j
(2.88)
Die Sigma-Funktionen sind genau die Menge von Funktionen, die mit einem
zweischichtigem, neuronalen Netz wie in Abb. 2.8 erzeugt werden. Betrachten wir
nun als Aktivitätsfunktion zi des i-ten Neurons der ersten Schicht eine affine Funktion,
d.h. sie kann Größenänderungen, Drehungen und Verschiebungen eines Vektors
x bewirken
zj ∈ z n := { z | z(x) = w (1)T x + b } affine Funktionen ℜ n →ℜ (2.89)
wobei b ∈ℜ die negative Schwelle und w (1) der Gewichtsvektor eines Neurons der
ersten Schicht ist. Die Ausgabefunktion S(x) ("Quetschfunktion") kann dabei
beliebig sein, vorausgesetzt, sie erfüllt die Bedingungen
( ) ( )
lim S x = 1, lim S x = 0 , (2.90)
x→∞ x→−∞
Die zweite Schicht hat wieder eine lineare Aktivitätsfunktion mit den Gewichten
w (2) ; die Ausgabefunktion ist die Identität ˆ f (x) = S(z (2) ): = z (2) .
Als Maß für die Abweichung zwischen der approximierenden Netzausgabe
F(x) und der zu lernenden Funktion f(x) nehmen wir die Ls(p)-Norm
||f(x) – ˆ f ( x ) || = ( ∫ |f(x) – ˆ f ( x ) | s dP(x) ) 1/s (2.91)
was z.B. für zufällige x mit der Wahrscheinlichkeitsverteilung P(x) der erwarteten
Abweichung entlang des ganzen Kurvenzuges von f(x) entspricht; im Fall s = 2 ist
dies die Wurzel aus unserem erwarteten quadratischen Fehler. Im Gegensatz dazu
entspricht der uniforme Abstand
||f(x) – ˆ f ( x ) || = supx |f(x) – ˆ f ( x ) | (2.92)
dem maximalen Fehler, der bei der Approximation überhaupt auftreten kann,
unabhängig von seiner Häufigkeit P(x).
Dann gilt: