Klenke Wahrscheinlichkeitstheorie

112 5 Momente und Gesetze der Großen Zahl
und
Also gilt
Fn(x) ≥ Fn(xj−1) ≥ F (xj−1) − Rn ≥ F (x) − Rn − 1
N .
lim sup
n→∞
�
sup �Fn(x) − F (x)
x∈R
� �
1
≤
N
+ lim sup Rn =
n→∞
1
N .
Indem wir N →∞gehen lassen, folgt die Behauptung. ✷
Beispiel 5.24 (Satz von Shannon). Wir betrachten eine Informationsquelle, die
zufällig (und unabhängig) hintereinander Zeichen X1,X2,... eines endlichen Alphabets
E (also einer beliebigen endlichen Menge) ausgibt. Dabei soll pe die
Wahrscheinlichkeit für das Auftreten des Zeichens e ∈ E sein. Formal sind also
X1,X2,...u.i.v. E-wertige Zufallsvariablen mit P[Xi = e] =pe für e ∈ E.
Sei für jedes ω ∈ Ω und n ∈ N
πn(ω) :=
n�
pXi(ω) die Wahrscheinlichkeit, dass die beobachtete Sequenz X1(ω),...,Xn(ω) auftritt.
Wir setzen Yn := − log(pXn(ω)). Dannist(Yn)n∈Nu.i.v. und E[Yn] = H(p),
wobei
H(p) :=− �
pe log(pe)
i=1
e∈E
die Entropie der Verteilung p =(pe)e∈E ist. Aus dem starken Gesetz der großen
Zahl folgt der Satz von Shannon:
− 1
n log πn = 1
n
n�
i=1
Yi
Entropie und Quellenkodierungssatz ∗
n→∞
−→ H(p) fast sicher. ✸
Wir wollen kurz auf die Bedeutung von πn und der Entropie eingehen. Wie groß ist
die ” Information“, die in einer Nachricht X1(ω),...,Xn(ω) steckt? Diese Information
kann man messen durch die Länge der kürzesten Folge von Nullen und Einsen,
mit der man die Nachricht kodieren kann. Wir wollen jetzt natürlich nicht für jede
Nachricht eine eigene Kodierung erfinden, und auch nicht für jede mögliche Nachrichtenlänge.
Stattdessen ordnen wir jedem einzelnen Zeichen e ∈ E eine Folge
von Nullen und Einsen zu, die dann aneinander gereiht die Nachricht ergeben. Die
Länge l(e) der Folge, die das Zeichen e kodiert, darf dabei von e abhängen. So geben
wir Zeichen, die häufiger auftreten, einen kürzeren Code als den selteneren Zeichen,
um einen möglichst effizienten Code zu bekommen. Beim Morse-Alphabet ist dies