Grundlagen der Quantenmechanik und Statistik - Theoretische ...

Kapitel 7. Kinetische Gastheorie
Häufig kann (oder soll) nicht der vollständige Informationsgehalt übermittelt werden
und es ist sinnvoll den mittleren Informationsgehalt ¯σ zu definieren 8,9 :
Informationsentropie nach Shannon
Für eine Nachricht aus N Zeichen mit relativer Häufigkeit p i gilt:
¯σ =
σ i = − log 2 (p i )
↓ N∑︁
N∑︁
p i σ i = − p i log 2
(p i ). (7.3.1)
i=1
i=1
Bemerkung 7.3.1: Eine weitere Optimierung ergibt sich im Falle existierender Korrelationen
(z. B. typische Buchstabenkombinationen), die in obigem ¯σ nicht berücksichtigt
sind.
◭
7.3.2. Anwendung auf ein thermodynamisches System
Makroskopisches System
Ein makroskopisches System entspricht einem Vielteilchensystem mit sehr großer Zahl
verschieden möglicher Mikrozustände, die mit (wenigen) gegebenen (makroskopischen)
Zustandsgrößen (oder einer gegebenen Verteilungsfunktion) verträglich sind.
Hat der i-te Mikrozustand die Wahrscheinlichkeit p i , dann ist die Informationsentropie
∑︁
¯σ = − p i log 2
(p i ) (7.3.2)
i
die notwendige mittlere Zahl der Bits, um anzugeben, durch welchen der verschiedenen
Mikrozustände ein bestimmter Makrozustand realisiert ist (siehe auch Abschnitt 9.1.1).
Zum Anschluss an die physikalische Entropie definiert man
ln(x) = ln(2) log 2 (x)
↓ ∑︁
S ≔ k B ln(2)¯σ = −k p i ln(p i ). (7.3.3)
i
Bemerkung 7.3.2: Wegen der großen Zahl (∼ 10 23 ) der Mikrozustände ist die Multiplikation
mit k B = 1,38 · 10 −23 J/K praktisch. Der Übergang von log 2
auf ln ist ebenfalls rein
pragmatischer Natur.
◭
8 Claude Elwood Shannon, 1916-2001, amerik. Mathematiker
9 C. Shannon: A Mathematical Theory of Communication. In: Bell System Technical Journal 27 (1948),
S. 379-423 und S. 623-656, URL: http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.
pdf
– 86 –