Mathematik für Physiker - Numerische Physik: Modellierung

12.3. ENTROPIE UND MAXWELL BOLTZMANN-VERTEILUNG 457
§ 1707 Jede Abweichung von der Gleichverteilung bzw. von der statistischen Unabhängigkeit
verringert den mittleren Informationsgehalt einer Nachricht. Dies wird als Redundanz (Weitschweifigkeit)
bezeichnet. Formal ist die Redundanz die Differenz zwischen der maximal
möglichen Entropie S 0 und der in einer realen Zeichenkette steckenden Entropie S:
R = S 0 − S (12.16)
bzw. als relative Redundanz
r = S 0 − S
S 0
. (12.17)
In der deutschen Sprache beträgt die Redundanz R 3.6 bit/Zeichen bzw. die relative Redundanz
r 0.73: 73% der Sprache sind redundant oder überflüssig und nur 27% tragen Information.
Wir könnten also mit einer anderen Sprachstruktur aber dem gleichen Alphabet die
zur Übermittlung einer Nachricht notwendigen Materialien auf etwas über 1/4 reduzieren
(Bücher würden dünner, Morsebotschaften schneller, Vorlesungen könnten in gleicher Zeit
viermal soviel Stoff behandeln, etc.).
Eigenschaften der Entropie.
§ 1708 Die informationstheoretisch definierte Entropie (12.14) enthält den Logarithmus dualis
um die informationstechnisch relevante Einheit bit zu berücksichtigen. In der Physik wird
die Entropie einer Wahrscheinlichkeitsverteilung nicht über ld sondern ln definiert:
n∑
S = − p k ln p k ,
k=1
ihre Interpretation als Mittelwert der Information in der Verteilung bleibt jedoch bestehen.
Für eine kontinuierliche Verteilung wird die Summation wieder durch eine Integration ersetzt:
S = −
∫ ∞
−∞
p(x) ln p(x) dx .
§ 1709 Die Entropie S ist nicht negativ, S ≥ 0, da die Wahrscheinlichkeit nicht negativ ist.
Sie wird Null, falls genau ein p k gleich 1 ist, d.h. falls ein Ereignis das sichere Ereignis ist
und der Versuchsausgang damit vorhersagbar ist. Die maximale Entropie ergibt sich für die
Gleichverteilung, d.h. für alle anderen Verteilungen gilt S ≤ S g = S(1/n, ...., 1/n) = ln n.
Haben wir zwei Wahrscheinlichkeitsverteilungen {p 1 , ..., p n } und {˜p 1 , ..., ˜p 2 }, so gilt
n∑
p k ln p k
≥ 0 . (12.18)
˜p k
k=1
Der Ausdruck verschwindet, wenn für alle k gilt p k = ˜p k .
12.3.2 Maximale Unbestimmtheit
§ 1710 Betrachten wir jetzt ein Gas. Gesucht ist die Wahrscheinlichkeit, dass ein zufällig
heraus gegriffenes Molekül eine Geschwindigkeit im Intervall zwischen v 0 und v 0 + ∆v hat,
oder laxer formuliert sich im Zustand v 0 befindet. Die vollständige Information, d.h. die
Geschwindigkeitsverteilung der Moleküle ist uns nicht bekannt, wir kennen lediglich eine
mittlere Größe, die Temperatur des Gases. Daraus lässt sich die Verteilung mit Hilfe des
Prinzips der maximalen Unbestimmtheit bestimmen.
§ 1711 Zum Verständnis des Prinzips betrachten wir eine einfachere Situation. Ein Würfel
liefert den Erwartungswert µ = x = 3.2 statt des beim homogenen Würfel nach Bsp. 1663
erwarteten x = 3.5. Diese Abweichung kann zwei Gründe haben: (a) die Zustände k 1 , ...., k 6
treten nicht mit gleicher Wahrscheinlichkeit auf, oder (b) die Zustände sind vielleicht nicht
c○ M.-B. Kallenrode 13. März 2007