Klenke Wahrscheinlichkeitstheorie

500 23 Große Abweichungen
Seien nun Y1,Y2,... u.i.v. Zufallsvariablen mit Werten in Σ und Verteilung PY1 =
ν. Dann ist wie in der Rechnung für X (wegen H(ν |ν) =0)
1 ≥ P[ξn(Y )=ν] = #An(ν) e −nH(ν) ,
also #An(ν) ≤ enH(ν) . Hieraus folgt die zweite Ungleichung in (23.15).
Die Zufallsvariable nξn(Y ) ist multinomialverteilt mit Parametern (nν({x}))x∈Σ,
also ist die Abbildung En → [0, 1], ν ′ ↦→ P[ξn(Y )=ν ′ ] maximal in ν ′ = ν. Es
folgt
#An(ν) = e nH(ν) P[ξn(Y )=ν] ≥ enH(ν)
≥ (n +1) −#Σ e nH(ν) .
#En
Hieraus folgt die erste Ungleichung in (23.15). ✷
Wir kommen jetzt zum Hauptsatz dieses Abschnitts, dem Satz von Sanov (siehe
[142] und [143]).
Satz 23.13 (Sanov (1957)). Seien X1,X2,... u.i.v. Zufallsvariablen mit Werten
in der endlichen Menge Σ und mit Verteilung μ. Dann erfüllt die Familie
(P ξn(X))n∈N der Verteilungen der empirischen Maße ein LDP mit Rate n und
Ratenfunktion Iμ = H( · |μ).
Beweis. Für jedes A ⊂ E ist nach Lemma 23.12
P � ξn(X) ∈ A � = �
P[ξn(X) =ν]
ν∈A∩En
≤ �
Es folgt
lim sup
n→∞
ν∈A∩En
−nH(ν |μ)
e
≤ #(A ∩ En)exp � − n inf Iμ(A ∩ En) �
≤ (n +1) #Σ exp � − n inf Iμ(A) � .
1
n log P[ξn(X) ∈ A] ≤−inf Iμ(A),
also die obere Schranke im LDP (sogar für allgemeines A).
Analog erhalten wir mit der ersten Ungleichung aus Lemma 23.12
P � ξn(X) ∈ A � ≥ (n +1) −#Σ exp � − n inf Iμ(A ∩ En) �
und damit
lim inf
n→∞
1
n log P�ξn(X) ∈ A � ≥−lim sup inf Iμ(A ∩ En). (23.16)
n→∞