Mathematik für Physiker - Numerische Physik: Modellierung

12.3. ENTROPIE UND MAXWELL BOLTZMANN-VERTEILUNG 455
Informationsgehalt bei gleichwahrscheinlichen, unabhängigen Symbolen (Laplace-
Experiment)
§ 1697 Betrachten wir eine Signalquelle, die n gleichwahrscheinliche unabhängige Symbole
erzeugt, z.B. einen Würfel (n = 6) oder eine Münze (n = 2). Die Wahrscheinlichkeit p x für
das Auftreten eines Symbols ist p x = 1 n . Da für alle Symbole p x gleich ist, hat jedes Symbol
den gleichen Informationsgehalt I x . Der Informationsgehaltes einer Nachricht ist
I x = ld 1
p x
= −ld(p x ) (12.13)
mit ld (log dualis) als Logarithmus zur Basis 2. Die Einheit ist ‘bit’ (binary digit). Diese Definition
ist einsichtig insofern, als dass das erste Kriterium K1 die Verwendung der Kehrwerte
der Wahrscheinlichkeiten nahelegt, das zweite Kriterium K2 die Verwendung einer logarithmischen
Definition nahelegt und das dritte Kriterium K3 diese sogar erzwingt (Addition der
Informationen durch Umwandlung des Produkts der reziproken Wahrscheinlichkeiten in eine
Summe der Informationsgehalte der einzelnen Zeichen). Der so definierte Informationsgehalt,
z.B. einer Auswahl eines Zeichens aus einem Zeichensatz, ist einfach durch die Statistik, also
durch die Wahrscheinlichkeit des Auftretens eines Zeichens, bestimmt, nicht aber durch die
Semantik, d.h. die Bedeutung des Zeichens.
§ 1698 Die Verwendung des Logarithmus zur Basis 2 ist eine willkürliche Festlegung. Der Logarithmus
dualis wurde gewählt, damit für den einfachsten Fall einer symmetrischen, binären
Nachricht mit p x =0.5 (d.h. gleichviele rote und weiße Kugeln in der Urne; Münzwurf) der
Informationsgehalt eines Zeichens 1 bit wird, d.h. der Informationsgehalt eines Versuches
mit zwei gleichwahrscheinlichen Ausgängen beträgt 1 bit.
§ 1699 Die Definition lässt sich auf Versuche mit einer größeren Zahl gleichwahrscheinlicher
Ausgänge erweitern. Bei einem Versuch mit N = 2 n gleichwahrscheinlichen Ausgängen
können wir diese in zwei gleichgroße Mengen aufteilen und bestimmen in welcher der beiden
Hälften der Versuchsausgang liegt. Da beide Hälften gleichwahrscheinlich sind, erhalten wir
damit ein erstes bit an Information. Die Hälfte, in der sich der Versuchsausgang befindet,
halbieren wir wieder, und wiederholen dieses Verfahren solange, bis die letzte Halbierung
dann genau den beobachteten Ausgang ergibt. Damit haben wir
I = n = ld(N)
bit an Information erfragt. Das Verfahren lässt sich auch dann anwenden, wenn N keine
Zweierpotenz ist.
§ 1700 In Bsp. 1628 haben wir die Zahl der Möglichkeiten bestimmt, 6 Zahlen aus 49 auszuwählen.
Der Informationsgehalt einer solchen Auswahl beträgt also
( ) 49
I = ld = 23.73 bit .
6
Zum Vergleich: Ein Würfel stellt eine Quelle dar, bei der jedes Signal mit einer Wahrscheinlichkeit
von 1/6 erzeugt wird. Damit ergibt sich ein Informationsgehalt von ld 6 = 2.6 bit.
Informationsgehalt bei Symbolen unterschiedlicher Wahrscheinlichkeit
§ 1701 Die Definition (12.13) des Informationsgehalts eines Zeichens gilt allgemein, d.h. auch
wenn die Wahrscheinlichkeiten der Zeichen verschieden sind. Dann wird der Informationsgehalt
für jedes Zeichen einzeln bestimmt.
§ 1702 Beim Würfeln mit zwei Würfeln in Bsp. 1640 haben wir eine Quelle mit unabhängigen
aber nicht gleichwahrscheinlichen Symbolen betrachtet mit den Wahrscheinlichkeiten p(2) =
p(12) = 1/36; p(3) = p(11) = 2/36; ....; p(6) = p(8) = 5/36 und p(7) = 1/6. Die Informationsgehalte
der verschiedenen Versuchausgänge sind damit I(2) = I(12) = 5.2 bit,
I(3) = I(11) = 4.2 bit, I(6) = I(8) = 2.9 bit und I(7) = 2.8 bit.
c○ M.-B. Kallenrode 13. März 2007