Diplomarbeit von Michael Schindler

86 4. Neuigkeitsorientiertes Lernen
log 10 τS
2
0
−2
−4
0
α = 1
σS
α = 0.35
Abbildung 45: Phasendiagramm des ersten Aufbrechens in einem System, das zwischen zwei verrauschten
Zuständen deterministisch schaltet. Der Lerner besteht aus M = 20 Neuronen und wurde
nach dem ANTS sowohl mit allen (α=1), als auch mit 35 Prozent der Daten trainiert. Beim selektierenden
Lernen ist die Kurve zu größeren σ verschoben. Sie ist noch weiter verschoben als es die Breite
σ c S des Verteilungsstumpfes pc erwarten ließe, die etwa auch die Breite des gelernten Datensatzes ist.
Die gepunktete Linie nahe den (α=0.35)-Phasenübergängen ist aus der durchgezogenen Kurve links
durch Streckung um den Faktor 1.31 in σ-Richtung und Verschieben um log 10(0.45) in τS-Richtung
entstanden.
ein Datenanteil von α=0.35 gelernt wird, dann wird die Kurve zu größeren σkrit-Werten
verschoben, wie zu erwarten war.
Bemerkenswert und unerwartet an Abbildung 45 ist dagegen, dass die verschobene
Kurve nicht bei σ = σ c S , der Standardabweichung des Stumpfes pc abfällt, sondern
bei noch größeren Werten σkrit. Es führt also hier nicht nur die globale Varianz des
insgesamt gelernten Datensatzes zum Phasenübergang.
Dies kann verstanden werden, wenn man sich die gelernten Punkte aus Sicht der einzelnen
Normalkomponenten ansieht. Da die Spitzen der Mischung A(· ; θ) zur Datenselektion
führen, also gerade dort weniger gelernt wird, wo sich auch die Zentren der
Komponenten befinden, werden verstärkt Punkte an den Flanken der Normalverteilungen
gelernt. Dies bedeutet, dass der Datensatz aus Sicht der einzelnen Komponenten
eine noch größere lokale Varianz hat als es die globale vermuten ließe.
Verschiebung in τS-Richtung
Durch die Selektion der Datenpunkte findet die erwünschte Modulierung der Lernrate
statt. Beim Weitertrainieren des Lerners im quasi-stationären Zustand bekommt man
dadurch, dass bei jedem Punkt x die ursprüngliche Lernrate mit f(x) multipliziert wird,
effektiv einen um α skalierten Lernparameter. Denn dann ändern sich Codebuch und
Aktivitätswerte ar nur unwesentlich, und man kann den Mittelwert auseinanderziehen,
σ c S
ε 〈far〉 X ≈ ε 〈f〉 X 〈ar〉 X = εα 〈ar〉. (4-17)
?
σ