Grundlagen der Quantenmechanik und Statistik - Theoretische ...

7.3. Die (Informations)Entropie
Bemerkung 7.2.2: Auch in der kinetischen Gastheorie taucht der Wahrscheinlichkeitsbegriff
auf, denn
1
n f (r,v,t) d3 v = g(r,v,t) d 3 v (7.2.4)
ist die Wahrscheinlichkeit dafür, dass die Geschwindigkeit eines beliebig ausgewählten
Teilchens im Intervall [v, v + dv] liegt. Die Geschwindigkeitsverteilung g(r,v,t) kann also
als entsprechende Wahrscheinlichkeitsdichte interpretiert werden.
◭
Zur Verbindung der skizzierten mesoskopischen Theorie und der klassischen Thermodynamik
benötigen wir die Informationsentropie, die im nachfolgenden Abschnitt behandelt
wird.
7.3. Die (Informations)Entropie
7.3.1. Allgemeine Betrachtung
Motivation: Maß für Information
Ausgangspunkt: Kodierung von Zeichen (z. B. Buchstaben) durch nicht-äquidistante
Teilintervalle der Länge p i des Einheitsintervalls [0,1]:
n∑
i=1
p i = 1 ⇔ 0 1
p 1 p 2 p 3 p n−1 p n
Erfolgt die Kodierung von häufig gebrauchten Zeichen mit großen p i entsprechend
ihrer relativen Häufigkeit, erfordert die Übertragung weniger „bits“ (bzw. „bytes“).
Frage: Wieviele bits ( ˆ= binary digits) werden zur Übermittlung eines Zeichens benötigt?
Idee: Sukzessive Halbierung des Einheitsintervalls in Teilintervalle der Länge 2 −m :
I = [0,1]
bits
# bits
I 0 = [︁ 0, 2]︁ 1 ; I1 = ]︁ 1
2 ,1]︁ 0,1 1
I 00 = [︁ 0, 4]︁ 1 ; I01 = ]︁ 1
4 , ]︁ 1
2 ; I10 = ]︁ 1
2 , ]︁ 3
4 ; I11 = ]︁ 3
4 ,1]︁ 00,01,10,11 2
usw.
Folgerung I: Wenn 2 −m ≤ p i ⇒ m ≥ − log 2
p i , so liegt ein Zeichen eindeutig fest und zu
seiner Übermittlung werden σ i = − log 2
p i bits benötigt, wobei σ i als Informationsmaß
für ein Zeichen bezeichnet wird.
Folgerung II: Der vollständige Informationsgehalt σ einer Nachricht, die aus N Zeichen
besteht, erfordert also σ = ∑︀ N
i=1 σ i.
– 85 –