Diplomarbeit von Michael Schindler

108 C. Ergebnisse der Variationsrechnung
C.2 Warum selbstreferentielles Lernen die Datenverteilungsdichte
abschneidet
Behauptung
Der ANTS, bestehend aus den Schritten (TS-1) bis (TS-6) auf Seite 80, oder kurz,
cr(t+1) = cr(t) + εf(xt) ar(xt) � xt − cr(t) � mit (C-8)
�
1 für A(xt) < ǫA
f(xt) := Θ(ǫA−A(xt)) =
(C-9)
0 sonst,
angewandt auf eine stationäre Quelle von Datenpunkten mit Verteilungsdichte p führt
im Grenzübergang beliebig guter Approximation, also M → ∞, zu einer Schätzung
des α-Stumpfes pc ,
A → p c �
ǫA für p(x) > αǫA,
:=
(C-10)
p(x)/α sonst.
Dabei soll o.E. angenommen werden, dass p glatt ist, also ˆp bis auf den Rand {p(x)=
αǫA} des Plateaus ebenfalls. Dann gilt der Grenzübergang in (C-10) sogar punktweise.
Beweisidee
Die Beweisidee soll für den stationären Fall formuliert werden. Dann ist die logische
Reihenfolge der im folgenden verwendeten Größen:
1. p und ǫA seien vorgegeben; in jedem Zeitschritt wird ein x gezogen, es werden A(x)
und f(x) berechnet.
2. Im stochastisch stationären Endzustand bewegt sich das Codebuch immer ein wenig,
und man kann für x die Wahrscheinlichkeit berechnen, gelernt zu werden. Sie ist
der (Ensemble-)Erwartungswert von f(x),
ωA(x) := 〈f(x)〉 ens . (C-11)
Da f über die Heavyside-Funktion Θ definiert ist, und da der Ensemblemittelwert
bei kleinem ε lediglich eine kleine Verschmierung bedeutet, kann man ωA als durch
ε ” aufgeweichte“ Heavyside-Funktion Θ�schreiben,
ωA(x) = 〈Θ(ǫA−A(x))〉 ens
≈ Θ�(ǫA−A(x)).
(C-12)
Die Funktion ωA ist in Abb. 42c dargestellt. Sie teilt den Merkmalsraum in zwei
Mengen ein, die als ” inneres“ und ” äußeres“ zu verstehen sind. In Γo wird jeder
Punkt gelernt, in Γi wird selektiert,
Γo Menge aller x ∈ M mit Θ(ǫA−A(x) = 1)
Γi Menge aller x ∈ M mit Θ(ǫA−A(x) < 1).