Klenke Wahrscheinlichkeitstheorie

5.4 Konvergenzrate im starken GGZ 115
Beweis. Der zweite Teil des Satzes wurde durch die obige Konstruktion schon gezeigt.
Sei nun also ein Präfixcode gegeben. Sei L =maxe∈E l(e). Für e ∈ E sei
CL(e) ={c ∈{0, 1} L : ck = ck(e) für k ≤ l(e)} die Menge aller Binärfolgen
der Länge L, diewiec(e) beginnen. Da wir einen Präfixcode vorliegen haben, sind
die CL(e), e ∈ E, paarweise disjunkt und �
e∈E CL(e) ⊂{0, 1} L . Setzen wir also
qe := 2−l(e) , so ist (beachte: #CL(e) =2L−l(e) )
� �
−L
qe =2 #CL(e) ≤ 1.
e∈E
e∈E
Nach Lemma 5.26 gilt Lp(C) = �
pe l(e) =− �
pe log2(qe) ≥ H2(p). ✷
e∈E
Übung 5.3.1. Man zeige die folgende Verbesserung von Satz 5.16: Sind X1,X2,...
∈L 2 (P) paarweise unabhängig mit beschränkten Varianzen, so genügt (Xn)n∈N
dem starken Gesetz der großen Zahl. ♣
Übung 5.3.2. Man zeige: Ist (Xn)n∈N eine unabhängige Folge identisch verteilter
Zufallsvariablen mit 1
n (X1 + ...+ Xn) n→∞
−→ Y fast sicher für eine Zufallsvariable
Y ,soistX1∈L1 (P) und Y = E[X1] fast sicher.
Hinweis: Man zeige zunächst
P � |Xn| >n für unendlich viele n � =0 ⇐⇒ X1 ∈L 1 (P). ♣
Übung 5.3.3. Sei E endlich und p ein Wahrscheinlichkeitsvektor auf E. Man zeige,
dass die Entropie H(p) minimal ist (nämlich Null), falls p = δe für ein e ∈ E und
maximal (nämlich log(#E)), falls p die Gleichverteilung auf E ist. ♣
Übung 5.3.4. Sei b ∈{2, 3, 4,...}. Ein b-adischer Präfixcode ist ähnlich definiert
wie ein binärer Präfixcode, jedoch sind jetzt als Zeichen die Zahlen 0, 1,...,b− 1
zugelassen. Man zeige, dass die Aussage des Quellenkodierungssatzes sinngemäß
für b-adische Präfixcodes gilt, mit Hb(p) statt H2(p). ♣
5.4 Konvergenzrate im starken GGZ
Im schwachen Gesetz der großen Zahl hatten wir auch eine Aussage über die Konvergenzgeschwindigkeit
gemacht (Satz 5.14), im starken Gesetz der großen Zahl
hingegen nicht. Da wir hier nur erste Momente der Zufallsvariablen gefordert hatten,
können wir auch keine brauchbaren allgemein gültigen Aussagen erwarten. Nehmen
wir hingegen höhere Momente an, so bekommen wir nützliche Aussagen zur Konvergenzgeschwindigkeit.
Das Herzstück des schwachen Gesetzes der großen Zahl ist die Chebyshev’sche
Ungleichung. Hier geben wir eine schärfere Ungleichung an, die mit der gleichen
e∈E