Neuronale Netze - D. Kriesel

Definition 3.6 (Aktivierungsfunktion und Aktivierung). Sei j Neuron. Die Aktivierungsfunktion
ist definiert als
aj(t) = fact(netj(t), aj(t − 1), Θj) (3.3)
und verarbeitet also die Netzeingabe netj und den alten Aktivierungszustand aj(t − 1)
zu einem neuen Aktivierungszustand aj(t), wobei der Schwellenwert Θ wie oben schon
erläutert eine große Rolle spielt.
Im Unterschied zu anderen Größen innerhalb des Neuronalen Netzes (insbesondere zu
den bisher definierten) ist die Aktivierungsfunktion oft global für alle oder zumindest
eine Menge von Neuronen definiert, nur die Schwellenwerte unterscheiden sich dann
von Neuron zu Neuron. Auch sollten wir im Hinterkopf behalten, dass sich die Schwellenwerte
z.B. durch einen Lernvorgang ändern sollten, so dass es insbesondere nötig
werden kann, die Schwellenwerte auf die Zeit zu beziehen und z.B. Θj als Θj(t) zu
schreiben (das habe ich hier der Übersichtlichkeit zuliebe erst einmal unterlassen). Die
Aktivierungsfunktion wird auch oft als Transferfunktion bezeichnet.
SNIPE: Aktivierungsfunktionen sind in Snipe generalisiert zu „Neuronenverhaltensweisen“
(Neuron Behaviors). Diese können zum einen ganz normale Aktivierungsfunktionen repräsentieren,
aber auch interne Zustände besitzen. Diesbezügliche Programmbestandteile befinden sich
im Paket neuronbehavior, wo auch einige der gleich vorgestellten Aktivierungsfunktionen implementiert
sind. Das Interface NeuronBehavior erlaubt die Implementierung eigener Verhaltensweisen.
Objekte, die von diesem Interface erben, können einem NeuralNetworkDescriptor übergeben
werden; pro Neuronenschicht kann eine Neuronenverhaltensweise festgelegt werden.
3.2.6 Gängige Aktivierungsfunktionen
Die einfachste Aktivierungsfunktion ist die binäre Schwellenwertfunktion
(Abb. 3.2 auf Seite 48), welche nur zwei Werte annehmen kann (auch Heaviside-
Funktion genannt). Sie wechselt am Schwellenwert von einem Wert auf den andern,
ist aber ansonsten konstant. Dies impliziert, dass sie am Schwellenwert nicht
differenzierbar ist und die Ableitung ansonsten 0 ist. Dies macht z.B. das Lernen
mit Backpropagation unmöglich (später mehr dazu). Beliebt ist weiterhin die auch
Logistische Funktion genannte Fermifunktion (Abb. 3.2)
1
, (3.4)
1 + e−x