Klassifikation von Mustern

4.2. STATISTISCHE KLASSIFIKATOREN (VA.3.3.4, 29.09.2004) 343
hingewiesen, dass mit einer Mischung von Normalverteilungen gemäß (4.2.15) praktisch beliebige
Verteilungsdichten approximierbar sind. Die Schätzung von deren Parametern wird in
Abschnitt 4.8.2 behandelt.
4.2.4 Modelle mit maximaler Entropie
Motivation
Wir betrachten ein Zufallsexperiment mit K möglichen Ereignissen, das N mal ausgeführt wird,
sodass K N Ergebnisse möglich sind; d. h. ein Ergebnis (von N Ausführungen) besteht aus N
Ereignissen und deren Ordnung. Jedes Ergebnis liefert absolute Häufigkeiten Ni und relative
Häufigkeiten pi = Ni/N, i = 1, . . . , K der beobachteten Ereignisse. Diese haben die Entropie
H(p1, . . . , pK) = −
K
pi ln pi . (4.2.76)
i=1
Beispiele sind ein Würfel mit K Flächen, der N mal geworfen wird und die i–te Fläche Ni mal
zeigt, oder ein Bild mit Gesamthelligkeit N, die auf K Bildpunkte so verteilt ist, dass der i-te
Bildpunkt den Anteil pi = Ni/N der Gesamthelligkeit erhält.
Das Ergebnis eines Zufallsexperiments mit absoluten Häufigkeiten Ni kann auf viele Arten
realisiert werden, indem die Ordnung der Ereignisse permutiert wird. Die Vielfachheit V ist
V =
N!
N1! N2! . . . NK!
. (4.2.77)
Mit der STIRLING-Formel erhält man für sehr große Werte von N
1 Ni Ni
ln V ≈ − ln
N N N
i
, (4.2.78)
d. h. die Entropie (4.2.76) nach SHANNON. Die Bevorzugung von Verteilungen mit hoher Entropie
bedeutet die Bevorzugung von Verteilungen mit größerer Vielfachheit; sie können („von der
Natur“) auf viele verschiedene Arten realisiert werden.
Weiterhin seien m < K linear unabhängige Nebenbedingungen der Form
K
aij pi = dj , 1 ≤ j ≤ m (4.2.79)
i=1
gegeben. Diese bedeuten, dass m Messungen oder Beobachtungen gemacht wurden, wobei die
Matrix A = [aij] deren Art bestimmt und der Vektor d = (d1, . . . , dm) T die gemessenen
Daten enthält. Es sei M die Menge aller Ergebnisse des Zufallsexperiments, die kompatibel mit
den Nebenbedingungen (4.2.79) ist. Die Daten d erlauben nur den Schluss, dass das aktuelle
Ergebnis aus M ist, bestimmen aber nicht die relativen Häufigkeiten pi.
Ein bestimmter Anteil b der Ergebnisse aus M wird eine Entropie im Bereich
Hmax − ∆H ≤ H(p1, . . . , pK) ≤ Hmax
(4.2.80)
ergeben. Der Zusammenhang zwischen b und ∆H, d. h. die Konzentration der Entropie um die
obere Grenze ist durch den folgenden Satz gegeben.