Darstellung und Analyse hydrologischer Topologien auf der Basis ...

2.5 Backpropagation-Netze 39
1
1/(1+e**-x)
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
-10 -5 0 5 10
Abbildung 2.7: Sigmoide Aktivierungsfunktion
den sind, andere erlauben auch Kanten zwischen Neuronen nicht benachbarter Schichten (so genannte
Shortcuts). Die folgende Definition versucht, die gängigsten Anforderungen an Backpropagation-
Netze zusammenzufassen.
Definition 2.5.1 (Backpropagation-Netz)
Ein Backpropagation-Netz ist ein Tupel (U, W, A, O, NET , ex) mit:
1. U ist eine Menge von Neuronen mit
• U = U 1 ∪ · · · ∪ U n für n ≥ 3,
• U i ≠ ∅, U i ∩ U j = ∅ für i ∈ {1, . . . , n} und i ≠ j,
• U 1 heißt Eingabeschicht,
• U n heißt Ausgabeschicht,
• U i (1 < i < n) heißt innere Schicht.
2. W : U × U → IR ist die Netzwerkstruktur, wobei nur Kanten zwischen Neuronen benachbarter
Schichten ein von 0 verschiedenes Gewicht haben:
W (u, v) ≠ 0 ⇒ ∃i ∈ {1, . . . , n − 1} : (u ∈ U i ∧ v ∈ U i+1 ).
Der Wert W (u, v) wird als Gewicht der Kante zwischen den Neuronen u und v bezeichnet.
3. A ordnet jedem Neuron u ∈ U eine (meist sigmoide) Aktivierungsfunktion A u : IR → IR zu.
Die Aktivierung a u eines Neurons u berechnet sich dann wie folgt:
a u =
{
Au (ex(u)) = ex(u) für u ∈ U 1
A u (net u ) = f u (net u ) für u ∈ U 2 ∪ · · · ∪ U n ,
wobei f u eine differenzierbare Funktion ist.