Diplomarbeit von Michael Schindler

82 4. Neuigkeitsorientiertes Lernen
zy-Menge Ω auffassen. Sie sind gleichzeitig die Ensemble-Mittelwerte 〈f(x)〉 ens von
f(x), wobei das Ensemble aus allen Codebüchern des stationären Zustandes besteht.
Für einen Datensatz aus zwei verrauschten Zuständen, wie er im Laufe der Arbeit
bereits des öfteren verwendet wurde, ist ωA in Abbildung 42c dargestellt. Man sieht
deutlich, dass es einen ” äußeren“ Bereich gibt, in dem immer f =1 gilt. Dort bleiben
die Aktivitätswerte A(x) immer unter ǫA. Dazwischen gibt es einen ” inneren“ Bereich,
in dem die Datenselektion wirkt. Das stationäre Codebuch besteht hier aus zwölf
Codebuchzentren. Die Funktion A, die in Abb. 42b eingezeichnet ist, ragt an acht
Stellen leicht über die Schwelle ǫA hinaus (was in der Abbildung fast nicht zu sehen ist,
da sie sich nur ganz leicht von dem Schwellwert unterscheidet). Dort werden verstärkt
Datenpunkte ignoriert, was die Senken in ωA verursacht.
Die Verteilungsdichte ˜p der tatsächlich gelernten Datenpunkte, die ebenfalls in Abb. 42b
zu sehen ist, kann im quasi-stationären Zustand durch die Multiplikation von Zuordnungswahrscheinlichkeit
ωA und ursprünglicher Dichte p ausgedrückt werden. Ihre
Normierung ist gerade der Anteil α der gelernten Daten, also
˜p(x, θ) = 1
α p(x) ωA(x, θ) ∀x ∈ M. (4-11)
In Abb. 42b sieht man bei ˜p scharfe Senken und Spitzen an den gleichen Stellen wie
bei der Zuordnungsfunktion ωA in 42c. Analog zu Gleichung (4-10), führt nun die
Lernregel (4-8) eine Maximum-likelihood-Schätzung durch, nur diesmal mit der modifizierten
Verteilungsdichte ˜p, die selbst von A, also den Netzwerkparametern θ abhängt.
Insgesamt wird statt (4-10) die Funktion
�
˜p(x, θ) ln A(x, θ) dx = 1
�
p(x) ωA(x, θ) lnA(x, θ) dx (4-12)
α
M
unter Variation der Parameter cr ∈θr maximiert.
Approximation des Stumpfes von p
M
Man sieht in Abb. 42b, dass die Funktion A ein sehr flaches Plateau bekommt, dessen
Höhe etwa der Schwellenwert ǫA ist. Sie weicht leicht von ǫA ab und verursacht dadurch
die scharfen Spitzen und Senken in ˜p und ωA. Es kann also vermutet werden, dass
die ideale Aktivierungsfunktion des stationären Codebuchs dort genau den Wert ǫA
annehmen würde. Sie wäre in diesem Fall eine Approximation des α-Stumpfes von
p. Dieser ist in Abb. 42a zu sehen, er wird als die renormierte Version des unteren
Bereiches von p definiert, der das Integral α hat, oder formal
p c �
ǫA für p(x) > αǫA,
:=
(4-13)
p(x)/α sonst.
In Appendix C.2 wird gezeigt, dass dies tatsächlich die ideale Approximationseigenschaft
des ANTS ist,
A = p c . (4-14)