Diplomarbeit von Michael Schindler

C.2 Warum selbstreferentielles Lernen die Datenverteilungsdichte abschneidet 109
Da die Funktion Θ�sowohl in Abhängigkeit von x als auch von A aufgefasst werden
kann, benutze ich im folgenden unterschiedliche Notationen für diese beiden
Bedeutungen,
x ↦→ ωA(x) als Funktion von x, und
A(x) ↦→ Θ(ǫA−A(x)) als ” Funktion“ von A.
(C-13)
3. Der Anteil α der gelernten Datenpunkte ist
�
α := p ωA. (C-14)
4. Daraus ergibt sich wegen der Definition (C-11) die Verteilungsdichte ˜p aller gelernten
Punkte, Gleichung (4-11),
˜p =
p ωA
� p ωA
= 1
α p ωA. (C-15)
Der Algorithmus (TS-1) bis (TS-6) extremiert das Funktional
�
E[A] = ˜p[A] ln A = 1
�
p Θ�(ǫA−A) ln A (C-16)
α
unter den Nebenbedingungen
M
�
M
˜p = 1
�
α
M
�
M
M
A = 1 (C-17)
p Θ�(ǫA − A) = 1. (C-18)
Wie in (C-3) kann dieses mit Lagrange-Parametern geschrieben werden,
� �
L[A] = E[A] + λ1 A + λ2 p Θ�(ǫA−A). (C-19)
Variation dieses Funktionals und Nullsetzen liefert die Bedingung
0 ! = δL
δA
p Θ�(ǫA−A)
= −
α A
p
α Θ′�(ǫA−A)(ln A + λ2) + λ1, (C-20)
die eine Konsistenzbedingung für den stationären Zustand von A ist. Da Θ�im wesentlichen
eine Heavyside-Funktion ist, kann man ohne die genaue Form von Θ�zu kennen –
allein an der Differentialgleichung (C-20) – die gesuchten Approximationseigenschaften
des stationären A finden.
In Γo, wo Θ�(ǫA−A)=1 und Θ ′�(ǫA−A)=0 gilt, dort ist auch
p(x)
α = −λ1A(x) für alle x ∈ Γo. (C-21)