Klenke Wahrscheinlichkeitstheorie

23.3 Satz von Sanov 499
Punkte enthält, sind in E die vage Konvergenz, die schwache Konvergenz und die
Konvergenz in Totalvariation identisch.) Es sei weiterhin
�
�
En := μ ∈M1(Σ) : nμ({x}) ∈ N0 für jedes x ∈ Σ
der mögliche Wertebereich der Zufallsvariablen ξn(X).
Wir erinnern an den Begriff der Entropie von μ
�
H(μ) :=− log � μ({x}) � μ(dx).
Ist ν ∈M1(Σ), sodefinieren wir die relative Entropie (oder Kullback-Leibler
Information nach [101]) von ν gegeben μ durch
� � �
ν({x})
H(ν |μ) := log
ν(dx). (23.13)
μ({x})
Da μ({x}) > 0 ist für alle x ∈ Σ, ist der Integrand ν-f.s. endlich und damit ist
auch das Integral endlich. Eine einfache Anwendung der Jensen’schen Ungleichung
liefert, dass H(μ) ≥ 0 und H(ν |μ) ≥ 0 ist (siehe Lemma 5.26 und Übung 5.3.3),
sowie H(ν |μ) =0genau dann, wenn ν = μ ist. Außerdem ist offenbar
�
H(ν |μ)+H(ν) =− log � μ({x}) � ν(dx). (23.14)
Da die Abbildung ν ↦→ Iμ(ν) :=H(ν |μ) stetig ist, ist Iμ eine Ratenfunktion.
Lemma 23.12. Für jedes n ∈ N und ν ∈ En gilt
(n +1) −#Σ e −nH(ν |μ) ≤ P[ξn(X) =ν] ≤ e −nH(ν |μ) . (23.15)
Beweis. Wir betrachten die Menge möglicher Werte für das n-Tupel (X1,...,Xn),
sodass ξn(X) =ν ist:
An(ν) :=
�
k =(k1,...,kn) ∈ Σ n : 1
n
Für jedes k ∈ An(ν) ist (vergleiche (23.14))
n�
i=1
δki
�
= ν .
P[ξn(X) =ν] =#An(ν) P[X1 = k1,...,Xn = kn]
=#An(ν) �
μ({x}) nν({x})
x∈Σ
=#An(ν) exp
� �
n
�
ν(dx) logμ({x})
=#An(ν) exp � − n[H(ν)+H(ν |μ)] � .