Klenke Wahrscheinlichkeitstheorie

114 5 Momente und Gesetze der Großen Zahl
Die Länge dieses Codes für die ersten n Zeichen unserer zufälligen Quelle ist also
ungefähr �n k=1 log2(pXk(ω)) = log2 πn(ω), womit wir den Anknüpfungspunkt
zum Satz von Shannon haben. Dieser trifft also eine Aussage über die Länge eines
Binärcodes, der zur Übertragung einer langen Nachricht gebraucht wird.
Ist nun der oben angegebene Code optimal, oder gibt es Codes mit geringerer erwarteter
Länge? Antwort gibt der Quellenkodierungssatz, den wir hier mit einer
Definition und einem Lemma vorbereiten.
Definition 5.25 (Entropie). Sei p = (pe)e∈E eine Wahrscheinlichkeitsverteilung
auf einer höchstens abzählbaren Menge E.Für b>0 definieren wir
Hb(p) :=− �
pe logb(pe), e∈E
wobei wir 0log b(0) := 0 festlegen. Wir nennen H(p) :=He(p) (e die Euler’sche
Zahl) die Entropie und H2(p) die binäre Entropie von p.
Man beachte, dass nur für endliches E die Entropie stets endlich ist.
Lemma 5.26 (Entropie-Ungleichung). Seien b und p wie oben. Ferner sei q eine
Sub-Wahrscheinlichkeitsverteilung, also qe ≥ 0 für jedes e ∈ E und �
e∈E qe ≤ 1.
Dann gilt
Hb(p) ≤− �
pe logb(qe) (5.9)
e∈E
mit Gleichheit genau dann, wenn Hb(p) =∞ oder q = p.
Beweis. Ohne Einschränkung können wir mit b = e, also mit dem natürlichen Logarithmus
rechnen. Es gilt log(1 + x) ≤ x für x>−1 mit Gleichheit genau dann,
wenn x =0ist. Ist in (5.9) die linke oder die rechte Seite endlich, so können wir
die rechte von der linken Seite abziehen und erhalten
H(p)+ �
pe log(qe) = �
pe log(qe/pe)
e∈E
e: pe>0
= �
e: pe>0
≤ �
�
pe log 1+ qe
�
− pe
pe
qe − pe
pe
pe
e: pe>0
= �
e∈E
� �
qe − pe ≤ 0.
Ist q �= p, soistqe �= pe für ein e ∈ E mit pe > 0. Ist dies nun der Fall, so gilt
strikte Ungleichheit, falls H(p) < ∞. ✷
Satz 5.27 (Quellenkodierungssatz). Sei p =(pe)e∈E eine Wahrscheinlichkeitsverteilung
auf dem endlichen Alphabet E. Für jeden binären Präfixcode C =
(c(e), e ∈ E) gilt Lp(C) ≥ H2(p), und es gibt einen solchen Code C mit
Lp(C) ≤ H2(p)+1.