Klenke Wahrscheinlichkeitstheorie

23.3 Satz von Sanov 501
Man beachte, dass wir für diese Ungleichung im Infimum nicht einfach A ∩ En
durch A ersetzen können. Wir zeigen vielmehr, dass dies für offenes A zumindest
asymptotisch geht. Sei also A ⊂ E offen. Für ν ∈ A gibt es ein ε>0 mit Bε(ν) ⊂
n→∞
A.Für n ≥ (2 #Σ)/ε ist En ∩ Bε(ν) �= ∅, also existiert eine Folge νn −→ ν mit
νn ∈ En ∩ A für hinreichend großes n ∈ N. DaIμ stetig ist, gilt
lim sup
n→∞
inf Iμ(A ∩ En) ≤ lim
n→∞ Iμ(νn) =Iμ(ν).
Da ν ∈ A beliebig war, folgt lim sup n→∞ inf Iμ(A ∩ En) =infIμ(A). ✷
Beispiel 23.14. Sei Σ = {−1, 1} und μ = 1
2δ−1 + 1
2δ1 die Gleichverteilung auf Σ.
Schreiben wir m = m(ν) =ν({1}) − ν({−1}), dann ist die relative Entropie von
ν ∈M1(Σ)
H(ν |μ) = 1+m
2
log(1 + m) +
1 − m
2
log(1 − m).
Dies ist genau die Ratenfunktion, die wir bereits aus Satz 23.1 kennen. ✸
Wir wollen den Zusammenhang zwischen den LDPs von Sanov und von Cramér,
der im letzten Beispiel angedeutet wurde, nun formal herstellen, indem wir eine
Variante des Satzes von Cramér für R d -wertige Zufallsvariablen, die nur endlich
viele Werte annehmen, aus dem Satz von Sanov herleiten.
Beispiel 23.15. Sei Σ ⊂ Rd endlich und μ ein W-Maß auf Σ. Seien ferner
X1,X2,... u.i.v. Zufallsvariablen mit Werten in Σ und Verteilung PX1 = μ sowie
Sn = X1 + ...+ Xn für jedes n ∈ N. Wir setzen Λ(t) = log E � e 〈t,X1〉� für t ∈ Rd und Λ∗ � �
d (x) =supt∈Rd 〈t, x〉−Λ(t) für x ∈ R .
Wir zeigen, dass � �
PSn/n n∈N ein LDP mit Rate n und Ratenfunktion Λ∗ erfüllt.
Es sei ξn(X) das empirische Maß von X1,...,Xn. SeiE := M1(Σ). Definiere
die Abbildung
m : E → R d ,
�
ν ↦→ xν(dx) = �
xν({x}),
die ν das erste Moment zuordnet. Offenbar ist dann 1
n Sn = m(ξn(X)). Für
x ∈ R d und A ⊂ R d seien Ex := m −1 ({x}) ={ν ∈ E : m(ν) =x} und
EA = m −1 (A) ={ν ∈ E : m(ν) ∈ A}. Die Abbildung ν ↦→ m(ν) ist stetig,
also ist EA offen (beziehungsweise abgeschlossen), falls A offen (beziehungsweise
abgeschlossen) ist. Mit Ĩ(x) :=infIμ(Ex) (wobei Iμ(ν) =H(ν |μ) die relative
Entropie ist) gilt nach dem Satz von Sanov für offenes U ⊂ R d
lim inf
n→∞
1
n log PSn/n(U) = lim inf
n→∞
x∈Σ
1
n log P � � −1
ξn(X) m (U)
≥−inf
μ I � m −1 (U) � = − inf Ĩ(U).