Geschichte und Anwendungen - Hochschule Niederrhein

Rückkehr der Neuronalen Netze (1986 - 1995)
Lernrate:
klein: langsame Änderung der Gewichte
→ viele Iterationsschritte notwendig
groß: schnelle Änderung der Gewichte
→ evtl. Oszillation um idealen Gewichtsvektor
monoton fallende Folge über alle Lernschritte
→ Problem: Bestimmung der Parameter für diese Folge.
Damit auch inaktive Zustände eine Gewichtsänderung beim
Training bewirken, verwendet man den Wertebereich [−1,+1]:
1
f(x)
0.5
0
-0.5
-1
-4 -2 0 2 4
x
f 1 (x)
f 2 (x)
f 3 (x)
f 1 (x) = tanh(x)
f 2 (x) = tanh(2x)
f 3 (x) = tanh(x −1)
Wissensbasierte Systeme Geschichte und Anwendungen Geschichte 78 / 219