Diplomarbeit von Michael Schindler

16 1. Grundlagen
lichkeitsdichte jedes einzelnen Punktes x∈M gerade ˆp(x; θ). Die Wahrscheinlichkeitsdichte
des ganzen Datensatzes X wäre entsprechend
ˆp(X; θ) =
T�«=1
ˆp(x«; θ), (1-5)
vorausgesetzt, die Einzelereignisse x«seien statistisch voneinander unabhängig. Der
Wert dieser Wahrscheinlichkeitdichte sollte hoch sein, da ja genau dieser Datensatz
gemäß der Verteilungsdichte p gezogen wurde, für die ˆp eine Approximation darstellt.
Da keine weiteren Informationen über p zur Verfügung stehen, sollte sie den größten
überhaupt mit dem Modell ˆp erreichbaren Wert annehmen. Genau dies besagt das
ML-Kriterium. Die Likelihood der Parameter θ auf dem Datensatz, definiert als
L(θ�X) := ˆp(X; θ) (1-6)
muss unter Variation von θ maximiert werden. Statt L kann natürlich auch jede
streng monoton steigende Funktion von L maximiert werden. Überlegungen aus der
Informationstheorie (s. Kullback & Leibler, 1951) und der statistischen Physik (Jaynes,
1957) legen die Verwendung des Logarithmus nahe. Die sogenannte Log-likelihood der
Parameter θ auf dem Datensatz ist dann
l(θ�X) = lnL(θ�X) = ln � �
L(θ�x) �
= ln � �
x∈M
x∈X
ˆp(x; θ) h(x)� = �
h(x) ln ˆp(x; θ)
x∈M
= T �
p(x) ln ˆp(x; θ), (1-7)
x∈M
wobei h(x) die Häufigkeit eines Punktes x im Datensatz und p(x) := h(x)/T ist.
Einen noch besseren Einblick in die Bedeutung dieser Größe bekommt man, wenn
man die Informationstheoretische Entropie“
” � − �
x p(x) lnp(x)� , die ein Maß für das
Unbekannte im Datensatz ist (Jaynes, 1963), addiert. Durch die Relation
�
x∈M
p(x) ln p(x)
≥ 0 (1-8)
ˆp(x; θ)
mit Gleichheit genau dann, wenn ˆp=p, wird diese Größe zu einer Art Abstand“ der
”
beiden Verteilungsdichten p und ˆp, auch Kullback-Leibler-Distanz oder relative Entropie
genannt. Sie ist jedoch kein echtes Abstandsmaß, da sie nicht symmetrisch ist. Erst
in dieser Form wird die Übertragung des Ausdrucks (1-7) in einen kontinuierlichen
Merkmalsraum sinnvoll, da er erst hier invariant unter Koordinatentransformation wird
(Jaynes, 1963). 3 Mit der Distanz (1-8) oder mit
�
E(θ) :=
M
p(x) ln p(x)
ˆp(x; θ)
Stellen weglassen.
3 Im folgenden wird nur noch die allgemeinere Notation mit Integralen verwendet.
dx (1-9)