Klenke Wahrscheinlichkeitstheorie

5.3 Starkes Gesetz der Großen Zahl 113
so ähnlich eingerichtet ( e“ und t“, die im Englischen häufig vorkommen, haben
” ”
die Codes kurz“ und lang“, der seltenere Buchstabe q“ hat den Code lang-lang-
” ” ” ”
kurz-lang“), allerdings besteht der Morse-Code nicht nur aus kurzen und langen
Signalen, sondern auch noch aus Pausenzeichen, die das Ende eines Buchstabens
signalisieren. Wenn wir nur Nullen und Einsen verwenden dürfen, haben wir keine
solchen Pausenzeichen und müssen den Code so anlegen, dass der Code eines
Zeichens nicht gleichzeitig der Anfang eines Codes eines anderen Zeichens ist. Wir
dürfen also nicht etwa ein Zeichen mit 0110 kodieren und ein anderes mit 011011.
Ein Code, der diese Bedingung erfüllt, heißt ein binärer Präfixcode. Wir bezeichnen
mit c(e) ∈{0, 1} l(e) den Code von e, wobei l(e) die Länge ist. Wir können die
Codes aller Zeichen in einem Baum darstellen.
Wir wollen nun einen Code C =(c(e), e∈ E) herstellen, der effizient ist in dem
Sinne, dass die erwartete Länge des Codes (für ein zufälliges Zeichen)
Lp(C) := �
e∈E
pe l(e)
möglichst klein ist.
Wir konstruieren zunächst einen Code und zeigen dann, dass dieser fast optimal ist.
Als ersten Schritt nummerieren wir E = {e1,...,eN } so, dass pe1 ≥ pe2 ≥ ... ≥
gilt. Wir definieren ℓ(e) ∈ N für jedes e ∈ E durch
peN
2 −ℓ(e) ≤ pe < 2 −ℓ(e)+1 .
Setze ˜pe =2−ℓ(e) für jedes e ∈ E und ˜qk = �
˜pel lk, also ist
� c1(ek),...,c ℓ(ek)(ek) � �= � c1(el),...,c ℓ(ek)(el) �
für alle l ≥ k.
Daher ist C =(c(e) : e ∈ E) ein Präfixcode.
Wir schreiben für jedes b>0 und x>0logb(x) := log(x)
log(b) für den Logarithmus
von x zur Basis b. Nach Konstruktion ist − log2(pe) ≤ l(e) ≤ 1 − log2(pe). Also
ist die erwartete Länge
− �
pe log2(pe) ≤ Lp(C) ≤ 1 − �
pe log2(pe). e∈E
e∈E