Klassifikation von Mustern

344 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Satz 4.8 (Konzentration der Entropie) Die Größe 2N∆H ist asymptotisch χ2 –verteilt mit
r = K − m − 1 Freiheitsgraden, und zwar unabhängig von der Art der Nebenbedingungen.
Die χ2 –Verteilung mit r Freiheitsgraden auf dem 100s% Signifikanzniveau sei χ2 r (s). Damit
gilt
2N∆H = χ 2 r (1 − b) . (4.2.81)
Beweis: s. z. B. [Jaynes, 1982].
Die Unabhängigkeit von den Nebenbedingungen besagt, dass für alle Zufallsexperimente
mit r Freiheitsgraden z. B. auf dem 95% Signifikanzniveau gilt
Hmax − χ2r (0, 05)
≤ H ≤ Hmax . (4.2.82)
2N
Der Wert von Hmax hängt allerdings vom Experiment und den Nebenbedingungen ab. Im Allgemeinen
folgt aus dem Satz, dass die Breite des Intervalls (4.2.80) mit 1/N abnimmt.
Als Beispiel wird ein Experiment mit K = 6 (Würfel) und N = 1000 betrachtet. Es gebe
keine Nebenbedingungen (ausser pi = 1). Es ist bekannt, dass die maximale Entropie
Hmax = ln 6 = 1, 792 von der Gleichverteilung der Ereignisse erreicht wird. Eine χ2 –Verteilung
mit r = K − m − 1 = 6 − 1 = 5 Freiheitsgraden auf dem Signifikanzniveau 95% hat den Wert
χ2 5 (0, 05) = 11, 07. Der Konzentrationssatz sagt, dass 2N∆H = 11, 07 ist und damit 95% aller
möglichen Ergebnisse eine Entropie im Bereich
Hmax − ∆H = 1, 786 ≤ H ≤ 1, 792 (4.2.83)
haben, oder anders gesagt, die weit überwiegende Mehrheit der Ergebnisse wird eine Verteilung
haben, die sehr nahe an der Gleichverteilung liegt. Man braucht also nicht die „Intuition“
zu bemühen, um auf die Gleichverteilung zu schließen, sondern diese folgt aus einem Häufigkeitsargument
– man wird das annehmen, was aus kombinatorischen Gründen am häufigsten zu
erwarten ist.
Betrachten wir nun das gleiche Experiment wie im letzten Absatz und nehmen zusätzlich
an, dass die Nebenbedingung
6
i pi = 4, 5 (4.2.84)
i=1
gegeben ist, d. h. die mittlere gewürfelte Augenzahl ist nicht mehr 3, 5 wie bei einem echten
Würfel. Was kann man nun über die relativen Häufigkeiten pi sagen? Die Intuition wird hier
nicht hilfreich sein. Man bestimmt wieder die relativen Häufigkeiten, die die Entropie maximieren
mit dem MAXENT–Algorithmus (s. u. ) und findet
(p1, . . . , p6) = (0, 0543, 0, 0788, 0, 1142, 0, 1654, 0, 2398, 0, 3475) (4.2.85)
sowie Hmax = 1, 614. Eine Tabelle ergibt 2N∆H = χ 2 4 (0, 05) = 9, 48, sodass die Entropie im
Intervall 1, 609 ≤ H ≤ 1, 614 liegt. Auch hier hat also die weit überwiegende Mehrheit der
Ergebnisse eine Entropie, die recht nahe um die maximale konzentriert ist, und damit ist es sehr
selten, dass die relativen Häufigkeiten andere sind als in (4.2.85).
Stochastische Modelle mit maximaler Entropie ordnen Ereignissen also die relativen Häufigkeiten
zu, die zur weit überwiegenden Mehrheit der Ergebnisse, die kompatibel mit den gemessenen
Daten (Nebenbedingungen) sind, führen. Anders gesagt vermeidet man mit dieser