Diplomarbeit von Michael Schindler

Funktional
C.1 Warum eine ML-Schätzung die Verteilungsdichte approximiert 107
�
E [ˆp] :=
M
p ln ˆp. (C-1)
Dieses Log-likelihood-Funktional wird unter der Nebenbedingung maximiert, dass ˆp
immer auf eins normiert bleibt, �
ˆp = 1. (C-2)
M
Da diese Nebenbedingung ebenfalls eine Integralbedingung ist, handelt es sich um ein
isoperimetrisches Variationsproblem. Man kann die Maximierung von E, eingeschränkt
auf die durch (C-2) definierte Mannigfaltigkeit, durch Maximierung des Funktionals L
mit einem reellen Lagrange-Parameter λ,
� �
L[ˆp] = p ln ˆp + λ
�
�
ˆp − 1 , (C-3)
ersetzen (siehe Tapia & Thompson, 1978, Appendix I oder Klingbeil, 1988). Wenn man
nun die Definition der Variationsableitung δL/δˆp verwendet (Bishop, 1995, Appendix
D),
�
δL = L[ˆp + δˆp] − L[ˆp] =:
M
δL
δˆp δˆp dx + O(δˆp2 ), (C-4)
dann bekommt man die notwendige Bedingung für die Maximierung von L,
δL
δˆp
= p
ˆp + λ ! = 0. (C-5)
Aus p=−λ ˆp und der Normierung von p folgt sofort der Wert des Lagrange-Parameters
λ=−1 und die Behauptung der Dichteschätzung,
ˆp = p. (C-6)
Dies gilt natürlich nur, wenn man ˆp tatsächlich beliebig ” nahe“ an p bringen kann,
also wenn p ebenfalls eine endliche Mischung von Normalverteilungen ist. Ansonsten
müsste die Variation auf die Menge der Mischungen von Normalverteilungen eingeschränkt
werden, was schwieriger aufzuschreiben ist. Man bekommt dann M Lagrange-
Parameter (einen für jedes Codebuchzentrum), was letztendlich nur wieder den stationären
Zustand (1-13) der Lernregeln wiederholt. Wenn man die zweite Ableitung des
Funktionals bestimmt, so bekommt man
was als Funktion kleiner als Null ist, denn es ist auch
δ2L p
= − < 0, (C-7)
δˆp 2 ˆp 2
ˆp(x) > 0 für alle x ∈ M, und
p(x) > 0 für mindestens ein x ∈ M.
Mit Gleichung (C-7) ist also die asymptotische Stabilität des stationären Zustandes
p= ˆp von multivar bewiesen.