Manuskript

Wahrscheinlichkeitstheorie II
von Peter Pfaffelhuber
Version: 8. Februar 2009

Inhaltsverzeichnis
1 Wahrscheinlichkeitstheorie I 1
1.1 Wiederholung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Nachtrag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 L p -Räume 7
2.1 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 L p -Konvergenz (oder Konvergenz im p-ten Mittel) . . . . . . . . . . . . . . . 8
2.3 Der Raum L 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4 Lebesgue’scher Zerlegungssatz und Satz von Radon-Nikodym . . . . . . . . . 15
3 Die bedingte Erwartung 18
3.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.2 Definition und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.3 Der Fall F = σ(X) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.4 Reguläre Version der bedingten Verteilung . . . . . . . . . . . . . . . . . . . . 24
4 Einführung in stochastische Prozesse 27
4.1 Definition und Existenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Beispiel: der Poisson-Prozess . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.3 Filtrationen und Stoppzeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
5 Martingale 35
5.1 Definition und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.2 Stochastisches Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5.3 Optional Stopping und Optional Sampling . . . . . . . . . . . . . . . . . . . . 39
6 Martingalkonvergenzsätze 44
6.1 Die Doob’sche Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.2 Konvergenzsätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.3 Rückwärtsmartingale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7 Ergodentheorie 53
7.1 Begriffe und einfache Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . 53
7.2 Ergodensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
7.3 Anwendung: Markov-Ketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1

INHALTSVERZEICHNIS 2
8 Schwache Konvergenz 59
8.1 Definition und einfache Eigenschaften . . . . . . . . . . . . . . . . . . . . . . 59
8.2 Der Satz von Helly . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
8.3 Der Satz von Prohorov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
8.4 Anwendung: Der Satz von deFinetti . . . . . . . . . . . . . . . . . . . . . . . 67
9 Charakteristische Funktion 71
9.1 Einführung: Separierende Funktionenklassen . . . . . . . . . . . . . . . . . . . 71
9.2 Definition und einfache Eigenschaften . . . . . . . . . . . . . . . . . . . . . . 73
9.3 Charakteristische Funktionen und Momente . . . . . . . . . . . . . . . . . . . 75
9.4 Der Zusammenhang mit schwacher Konvergenz . . . . . . . . . . . . . . . . . 77
10 Schwache Grenzwertsätze 80
10.1 Poisson-Konvergenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
10.2 Der zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
10.3 Mehrdimensionale Grenzwertsätze . . . . . . . . . . . . . . . . . . . . . . . . 87

Kapitel 1
Wiederholung und Nachtrag
Wahrscheinlichkeitstheorie I
Oft werden wir es mit einem Messraum (Ω, A) und einem Maßraum (Ω, A, µ) zu tun haben.
Hierbei ist Ω eine Menge, A ⊆ P(Ω) eine σ-Algebra und µ ein Maß auf A. Oft wird µ = P
ein Wahrscheinlichkeitsmaß sein.
1.1 Wiederholung
Maßtheorie
Definition 1.1. 1. Ein Mengensystem A ⊆ P(Ω) heißt σ-Algebra, falls
(a) Ω ∈ A
(b) A ∈ A =⇒ A c ∈ A
(c) A1, A2, ... ∈ A =⇒ �
n≥1 An ∈ A.
2. Für ein beliebiges Mengensystem E ist σ(E) := � {A ⊇ E : A ist σ-Algebra} die von E
erzeugte σ-Algebra.
3. Für einen topologischen Raum (Ω, T ) bezeichne B(Ω) := σ(T ) die Borel’sche σ-Algebra
auf Ω. Ist (Ω, r) ein metrischer Raum, so erzeugt die Metrik r eine Topologie T (r) und
wir setzen B(Ω) := σ(T (r)).
4. Eine Abbildung µ : A → [0; ∞) auf dem Mengensystem A heißt Prämaß, falls
(a) µ(∅) = 0
(b) Sind A1, A2, ... ∈ A disjunkte Mengen mit �
n≥1 An ∈ A, so ist
� � �
µ = �
µ(An).
n≥1
An
Die zweite Eigenschaft heißt σ-Additivität. Ist A eine σ-Algebra, so heißt µ Maß.
5. Gibt es Mengen E1, E2, ... ∈ A mit En ↑ Ω und µ(En) < ∞, n = 1, 2, ..., so heißt das
Maß σ-endlich. Gilt µ(Ω) < ∞, so ist das Maß endlich. Ein Maß mit µ(Ω) = 1 heißt
Wahrscheinlichkeitsmaß.
1
n≥1

KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE I 2
Um Maße zu konstruieren, ist es meist am einfachsten, ein Prämaß auf einem Erzeuger, d.h.
einem Mengensystem R mit σ(R) = A, zu definieren und diesen dann auf A fortzusetzen.
Wie dieses Vorgehen funktioniert, beschreibt der folgende Satz.
Theorem 1.2 (Maßfortsetzungssatz). Jedes Prämaß auf einem Ring R (d.h. ∅ ∈ R, A, B ∈
R =⇒ A \ B ∈ R, A1, ..., An ∈ R =⇒ �n i=1 Ai ∈ R) lässt sich auf eindeutige Weise zu einem
Maß auf σ(R) fortsetzen.
Für die Eindeutigkeit der Fortsetzung ist hierbei folgendes Resultat wichtig.
T:eindDurch Theorem 1.3 (Eindeutigkeit und durchschnittstabile Erzeuger). Seien µ1, µ2 zwei Maße auf
der σ-Algebra A, E durchschnittstabil mit σ(E) = A und µ1(E) = µ2(E) für alle E ∈ E. Sind
entweder µ1, µ2 Wahrscheinlichkeitsmaße, oder es existieren E1, E2, ... ∈ E mit En ↑ Ω und
µi(En) < ∞, i = 1, 2; n = 1, 2, .... Dann ist µ1 = µ2.
Definition 1.4 (Messbare Abbildungen). 1. Für Messräume (Ω, A), (Ω ′ , A ′ ) heißt eine Abbildung
f : Ω → Ω ′ (A − A ′ −)messbar, falls f −1 (A ′ ) ∈ A für alle A ′ ∈ A ′ .
2. Sei f ≥ 0 messbar. Dann heißt f∗µ das Bildmaß von f unter µ und ist definiert durch
f∗µ(A ′ ) := µ(f −1 (A ′ )) = µ{f ∈ A ′ }.
3. Eine messbare Abbildung f : Ω → R heißt einfach, falls sie sich schreiben lässt als
f =
n�
i=1
αi1Ai
mit n ∈ N, α1, ..., αn ∈ R und A1, ..., An ∈ A mit Ai ∩ Aj = ∅ für i �= j. Wir definieren
für einfache Funktionen das Integral
�
µ[f] :=
fdµ :=
n�
αiµ(Ai).
4. Ist µ = P ein Wahrscheinlichkeitsmaß, so schreiben wir E[f] := P[f] = µ[f].
Um das Integral für nicht-einfache, messbare Funktionen zu definieren, ist folgendes Resultat
wichtig.
Theorem 1.5 (Approximation durch einfache Funktionen). Für jede messbare Funktion f
gibt es einfache Funktionen f1, f2, ... mit |fn| ≤ |f| und fn n→∞
−−−→ f punktweise. Ist f ≥ 0, so
kann man die fn’s so wählen dass fn ↑ f.
Definition 1.6 (Lebesgue-Integral). Sei f ≥ 0 messbar. Wir definieren
i=1
µ[f] := sup{µ[g] : g ≤ f, g einfach}.
Für allgemeines f teilt man das Integral mittels µ[f] = µ[f + ] − µ[f − ] auf. Nun heißt f
integrierbar falls µ[f + ], µ[f − ] < ∞.
Das nun definierte Integral hat folgende einfache Eigenschaften:
Proposition 1.7 (Eigenschaften des Integrals). 1. Die Abbildung f ↦→ µ[f] ist linear, monoton
und |µ[f]| ≤ µ[|f|].

KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE I 3
2. Zwei messbare Funktionen f, g stimmen genau dann bis auf eine µ-Nullmenge überein,
falls µ[f; A] = µ[g; A] für alle A ∈ A. Hierbei ist µ[f; A] = µ[f1A].
Folgende Konvergenzsätze sind wichtige Hilfsmittel für das Integral.
Theorem 1.8 (Satz von der monotonen Konvergenz). Seien f, g, f1, f2, ... messbar mit fn ≥ g
und µ[g] > −∞ sowie fn ↑ f fast sicher. Dann ist µ[fn] n→∞
−−−→ µ[f]. Beide Seiten können ∞
annehmen.
Theorem 1.9 (Lemma von Fatou). Seien g, f1, f2, ... messbar mit fn ≥ g fast überall und
µ[g] > −∞. Dann ist
µ[lim inf
n→∞ fn] ≤ lim inf
n→∞ µ[fn].
Theorem 1.10 (Satz von der majorisierten Konvergenz). Seien g, f, f1, f2, ... messbar mit
|fn| ≤ g und g integrierbar. Falls fn n→∞
−−−→ f fast überall, dann ist µ[|fn − f|] n→∞
−−−→ 0.
Stochastik
Im Folgenden sei (Ω, A, P) ein Wahrscheinlichkeitsraum und (Ω ′ , A ′ ) ein Messraum. Messbare
Abbildungen X : Ω → Ω ′ heißen Zufallsvariable. Wir schreiben E[X] := P[X] für das Integral
von P über X.
Proposition 1.11 (Tschebyscheff-Ungleichung). Sei a, p > 0 und X eine Zufallsvariable, so
dass |X| p integrierbar ist. Dann ist
P{|X| > a} ≤ E[|X|p ]
ap .
Definition 1.12 (Unabhängigkeit).
Ei ⊆ A heißt unabhängig, falls
1. Eine Familie {Ei : i ∈ I} von Mengensystemen
� �
P
�
= �
P(Aj)
j∈J
Aj
für alle endlichen J ⊆ I und Aj ∈ Ej, j ∈ J.
Eine Familie von Zufallsvariablen {Xi : i ∈ I} ist unabhängig, wenn {σ(Xi) : i ∈ I}
unabhängig ist.
Eine Familie von Mengen {Ai : i ∈ I} mit Ai ∈ A ist unabhängig, falls {1Ai : i ∈ I}
unabhängig ist.
j∈J
2. Sei A1, A2, ... ⊆ A eine Folge von σ-Algebren. Dann ist
T (A1, A2, ...) = � � �
σ
n≥1
m≥n
die σ-Algebra der terminalen Ereignisse von A1, A2, ....
Unter Unabhängigkeit ist die σ-Algebra der terminalen Ereignisse besonders einfach.
Theorem 1.13 (Kolmogoroff’sches 0-1 Gesetz). Sei A1, A2, ... ⊆ A eine Folge unabhängiger
σ-Algebren. Dann ist T := T (A1, A2, ...) trivial, d.h. P(A) = 0 oder P(A) = 1 für A ∈ T .
Am
�

KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE I 4
Daraus kann man das Borel-Cantelli Lemma folgern, das eine Aussage über folgendes Ereignis
trifft.
Definition 1.14. Für A1, A2, ... ∈ A ist
lim sup An :=
n→∞
� �
n≥1 m≥n
das Ereignis ’unendlich viele der An treten ein’.
Am ∈ T (σ(1A1 ), σ(1A2 ), ...)
Theorem 1.15 (Borel-Cantelli Lemma). Sei A1, A2, ... ∈ A. Dann gilt
�
P(An) < ∞ =⇒ P(lim sup An) = 0.
n→∞
n≥1
Sind A1, A2, ... unabhängig, so gilt auch
�
P(An) = ∞ =⇒ P(lim sup An) = 1.
n→∞
n≥1
Das Borel-Cantelli Lemma ist zentral im Beweis des starken Gesetzes der großen Zahlen.
Theorem 1.16 (Starkes Gesetz der großen Zahlen). Sei X1, X2, ... unabhängige und identisch
verteilte Zufallsvariablen mit E[|X1|] < ∞ und Sn := X1 + ...Xn. Dann ist
Sn
n
n→∞
−−−→ E[X1] fast sicher.
Folgender Satz verallgemeinert den Satz von deMoivre-Laplace. Er wird später in dieser Vorlesung
auf den Fall von nicht identisch verteilten Zufallsvariablen weiter verallgmeinert.
Theorem 1.17 (Zentraler Grenzwertsatz für unabhängige, identisch verteilte Zufallsgrößen).
Seien X1, X2, ... reelle, unabhängige, identisch verteilte Zufallsgrößen mit E[X1] = µ, V[X1] =
σ2 < ∞ und Sn := X1 + ... + Xn. Dann gilt für alle x ∈ R
�
Sn − nµ
�
n→∞
P √ ≤ x −−−→ Φ(x),
nσ2 wobei Φ die Verteilungsfunktion der Standardnormalverteilung ist.
1.2 Nachtrag
Jensen’sche Ungleichung
Wir starten mit einer Aussage über konvexe Funktionen von reellen Zufallsvariablen.
l:konv1 Lemma 1.18. Sei I ein offenes Intervall und ϕ : I → R konvex. Dann gilt
1. ϕ ist stetig auf I
2. Für y ∈ I existiert
und
für alle x ∈ I.
ϕ(x) − ϕ(y)
λ(y) := lim
x↓y x − y
ϕ(y) + λ(y)(x − y) ≤ ϕ(x)

KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE I 5
Beweis. Siehe Analysis.
Proposition 1.19 (Jensen’sche Ungleichung). Sei I offen und X eine integrierbare Zufallsvariable
mit Werten in I und ϕ : I → R konvex. Dann gilt
E[ϕ(X)] ≥ ϕ(E[X]).
Beweis. Da I ein Intervall ist, ist E[X] ∈ I. Nach Lemma 1.18 ist für x ∈ I
und damit
ϕ(x) ≥ ϕ(E[X]) + λ(E[X])(x − E[X])
E[ϕ(X)] ≥ ϕ(E[X]) + λ(E[X])E[X − E[X]] = ϕ � E[X] � .
Fast sichere und stochastische Konvergenz
Definition 1.20 (Fast sichere und stochastische Konvergenz). Seien X, X1, X2, ... Zufallsvariablen
mit Werten in einem metrischen Raum (E, r).
1. Falls
P{ lim
n→∞ r(Xn, X) = 0} = 1
so konvergiert X1, X2, ... fast sicher gegen X und wir schreiben Xn n→∞
−−−→fs X.
2. Falls für alle ε > 0
lim
n→∞ P{r(Xn, X) > ε} = 0,
so konvergiert X1, X2, ... stochastisch gegen X und wir schreiben Xn n→∞
−−−→p X.
Wir wiederholen zunächst ein Resultat, das fast sichere und Konvergenz in Wahrscheinlichkeit
in Beziehung setzt.
P:wc1 Proposition 1.21 (Konvergenz in Wahrscheinlichkeit und fast sichere Konvergenz). Seien X, X1, X2, ...
Zufallsvariablen mit Werten im metrischen Raum (E, r). Dann sind äquivalent:
1. Xn n→∞
−−−→p X
2. Für jede Folge (nk)k=1,2,... gibt es eine Teilfolge (nkℓ )ℓ=1,2,... mit Xnk ℓ
sicher.
Insbesondere gilt
Beweis. Zu Beginn bemerken wir, dass
Xn n→∞
−−−→fs X =⇒ Xn n→∞
−−−→p X.
ℓ→∞
−−−→ X fast
Xn n→∞
−−−→p X ⇐⇒ E[r(Xn, X) ∧ 1] n→∞
−−−→ 0. (1.1) eq:wc1
Denn: ist Xn n→∞
−−−→p X, so gilt für alle ε > 0
lim
n→∞ E[r(Xn,
�
X) ∧ 1] ≤ lim ε + P{r(Xn, X) > ε}
n→∞
� = ε,

KAPITEL 1. WAHRSCHEINLICHKEITSTHEORIE I 6
womit die rechte Seite gezeigt ist. Gilt hingegen die rechte Seite, folgt mit der Tschebyscheffschen
Ungleichung für 0 < ε ≤ 1, dass
P{r(Xn, X) > ε} ≤ E[r(Xn, X) ∧ 1]
ε
n→∞
−−−→ 0.
1. ⇒ 2.: Wegen (1.1) können wir für jede Folge (nk)k=1,2,... eine Teilfolge (nkℓ )ℓ=1,2,... wählen,
so dass
� �∞
� ∞�
E (r(Xnk , X) ∧ 1) = E[r(Xnk , X) ∧ 1] < ∞.
ℓ ℓ
ℓ=1
Das erste Gleichheitszeichen gilt dabei wegen monotoner Konvergenz. Damit ist
� �∞
�
1 = P (r(Xnk , X) ∧ 1) < ∞
ℓ
ℓ=1
ℓ=1
≤ P � lim sup r(Xnk , X) = 0
ℓ
ℓ→∞
� ≤ 1,
ℓ→∞
d.h. Xnk −−−→fs X.
ℓ
2. ⇒ 1.: Nehmen wir an, dass 1. nicht gilt. Wegen (1.1) gibt es ein ε > 0 und eine Teilfolge
(nk)k=1,2,..., so dass limk→∞ E[r(Xnk , X) ∧ 1] > ε. Angenommen, es gäbe nun eine Teilfolge
ℓ→∞
−−−→ X fast sicher. Dann wäre auch
(nkℓ )ℓ=1,2,..., so dass Xnk ℓ
lim
ℓ→∞ E[r(Xnk , X) ∧ 1] = E
ℓ � lim r(Xnk , X) ∧ 1
ℓ→∞ ℓ � = 0
wegen majorisierter Konvergenz, also ein Widerspruch. Also haben wir eine Folge (nk)k=1,2,...
gefunden, für die es keine weitere Teilfolge (nkℓ )ℓ=1,2,...
ℓ→∞
gibt mit Xnk −−−→fs X, also haben
ℓ
wir gezeigt, dass 2. nicht gilt.

Kapitel 2
L p -Räume
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum. (Viele der in diesem Abschnitt gezeigten Resultate
gelten auch für σ-endlich oder allgemeine Maßräume.)
2.1 Grundlagen
Definition 2.1 (L p -Räume). Für 0 < p < ∞ definieren wir auf dem Raum der Zufallsvariablen
die Abbildungen
X ↦→ ||X||p := (E[|X| p ]) 1/p
sowie
Wir setzen für 0 < p ≤ ∞
X ↦→ ||X||∞ := inf{K : P{|X| > K} = 0}.
L p := L p (Ω, A, P) := {X : ||X||p < ∞}.
Proposition 2.2 (Hölder und Minkowski’s Ungleichung). 1. Sei 0 < p, q, r ≤ ∞ so, dass
. Dann gilt
1
p
+ 1
q
= 1
r
2. Für 0 < p ≤ ∞ ist
||X + Y || p∧1
p
||XY ||r ≤ ||X||p||Y ||q (Hölder-Ungleichung) (2.1) eq:hoelder
≤ ||X|| p∧1
p
+ ||Y || p∧1
p . (Minkowski-Ungleichung) (2.2) eq:mink
Bemerkung 2.3. Die Hölder-Ungleichung im Spezialfall p = q = 2 ist die Cauchy-Schwartz-
Ungleichung.
Beweis von (2.1):. Im Fall p = ∞ oder q = ∞ ist die Aussage klar, sei also p, q < ∞. Ist
entweder ||X||p = 0. ||X||p = ∞, ||Y ||q = 0 oder ||Y ||q = ∞, ist die Aussage ebenso klar. Sei
also ŒX, Y ≥ 0 und 0 < ||X||p, ||Y ||q < ∞ und
�X := X
, �
Y
Y = .
||X|| p ||Y || q
Dann ist zu zeigen, dass || � X � Y ||r ≤ 1. Wegen der Konvexität der Exponentialfunktion ist
(xy) r = exp � r
r
pp log x + q q log y� ≤ r
pxp + r
q yq
7

KAPITEL 2. L P -RÄUME 8
und damit
|| � X � Y || r r = E[( � X � Y ) r ] ≤ r
pE[ � X p ] + r
q E[� Y q ] = 1
und die Behauptung folgt.
Beweis von (2.2): Für p ≤ 1 ist x ↦→ xp konkav, also (x + y) p = ( 2x+2y
2 ) p ≤ 1
2 (2x)p + 1
2 (2x)p ≤
xp + yp für reelle x, y. Daraus folgt (2.2). In den Fällen p = 1 und p = ∞ ist die Behauptung
klar. Im Falle 1 < p < ∞ gilt mit q = p/(p − 1) und r = 1/p + 1/q = 1 mit der Hölder-
Ungleichung
||X + Y || p p ≤ E[|X| · |X + Y | p−1 ] + E[|Y | · |X + Y | p−1 ]
da ||(X + Y ) p−1 ||q = ||(X + Y ) q(p−1) || 1/q
1
durch ||X + Y || p−1
p bringt das Resultat.
≤ ||X||p · ||(X + Y ) p−1 ||q + ||Y ||p · ||(X + Y ) p−1 ||q
= (||X||p + ||Y ||p) · ||X + Y || p−1
p ,
= ||(X + Y )p || (p−1)/p
1
= ||X + Y || p−1
p . Dividieren
P:contLp1 Proposition 2.4 (Zusammenhang zwischen L p und L q ). Sei 1 ≤ r < q ≤ ∞. Dann ist L q ⊆
L r .
Beweis. Die Behauptung ist klar für q = ∞, sei also q < ∞. Wir verwenden die Hölder-
Ungleichung. Es gilt
||X||r = ||1 · X||r ≤ ||1||p · ||X||q = ||X||q (2.3) eq:LpLq
für 1 1 1
p = r − q > 0, woraus die Behauptung sofort folgt.
2.2 L p -Konvergenz (oder Konvergenz im p-ten Mittel)
Definition 2.5 (Konvergenz im p-ten Mittel). Eine Folge X1, X2, ... in L p konvergiert in L p
(oder im p-ten Mittel) gegen X ∈ L p , falls
Wir schreiben dann auch Xn n→∞
−−−→L p X.
||Xn − X||p n→∞
−−−→ 0.
P:contLp2 Proposition 2.6 (Konvergenz im p-ten und q-ten Mittel). Sei 1 ≤ r < q ≤ ∞ und X, X1, X2, ... ∈
Lq . Falls Xn n→∞
n→∞
−−−→L q X, so auch Xn −−−→L r X.
Beweis. Die Behauptung ist klar für q = ∞, sei also q < ∞. Aus (2.3) folgt sofort dass
||X − Y ||r ≤ ||X − Y ||q, woraus die Behauptung bereits folgt.
P:voll Proposition 2.7 (Vollständigkeit von Lp ). Sei p > 0 und X1, X2, ... eine Cauchy-Folge in
Lp . Dann gibt es ein X ∈ Lp mit ||Xn − X||p n→∞
−−−→ 0.
Bemerkung 2.8. Die Räume L p sind reelle Vektorräume. Für p ≥ 1 gilt wegen der Minkowski’schen
Ungleichung die Dreiecksungleichung für ||.||p. Allerdings sind die Abbildungen
||.||p keine Normen, da ||X||p = 0 bereits dann, wenn X = 0 P-fast sicher gilt. Insbesondere
folgt aus ||X||p = 0 nicht, dass X = 0 ist. Wir werden im folgenden Funktionen X und Y
miteinander identifizieren, wenn X = Y P-fast sicher gilt. Mit dieser Konvention ist ||.||p eine
Norm. Wir haben also gerade gezeigt, dass die Räume L p vollständig sind. Also ist L p für
p ≥ 1 ein Banachraum.

KAPITEL 2. L P -RÄUME 9
Beweis. Sei ε1, ε2, ... summierbar, also z.B. εn := 2−n . Da X1, X2, ... eine Cauchy-Folge ist,
gibt es für jedes k einen Index nk mit ||Xm − Xn|| p∧1
p ≤ εk für alle m, n ≥ nk. Insbesondere
gilt
∞�
∞�
≤ εk < ∞.
k=1
||Xnk+1
− Xnk ||p∧1
p
Nach monotoner Konvergenz und der Minkowski’schen Ungleichung gilt damit
��
∞� ��
��
k=1
|Xnk+1
��
��
− Xnk | �
� p∧1
p
≤
∞�
k=1
k=1
||Xnk+1
− Xnk ||p∧1
p
< ∞.
Damit ist insbesondere �∞ |Xnk+1 k=1 − Xnk | < ∞ fast überall,also Xn1 (ω), Xn2 (ω), ... für fast
k→∞
alle ω eine Cauchy-Folge in R. Damit gibt es eine messbare Abbildung X mit Xnk −−−→ X
fast überall. nach Fatou’s Lemma gilt
d.h. Xn n→∞
−−−→L p X.
||Xn − X||p ≤ lim inf
k→∞ ||Xnk − Xn|| ≤ sup ||Xm − Xn||
m≥n
n→∞
−−−→ 0,
rem:lp1 Bemerkung 2.9. 1. Es gibt Folgen X1, X2, ... ∈ Lp , die fast sicher gegen X ∈ Lp konvergieren,
jedoch nicht im p-ten Mittel. Seien hierzu etwa X1, X2, ... unabhängig mit
P{Xn = n2 } = 1 − P{Xn = 0} = 1
n2 . Dann ist Xn n→∞
−−−→ 0, jedoch
||Xn||1 = 1,
d.h. X1, X2, ... konvergiert nicht gegen 0 im p-ten Mittel.
2. Der Satz von der majorisierten Konvergenz besagt, dass eine Folge X1, X2, ..., die fast
sicher gegen X konvergiert und eine integrierbare Majorante besitzt auch in L 1 gegen
X konvergiert. Wir wollen im folgenden die Bedingungen für die L 1 -Konvergenz
abschwächen. Siehe Theorem 2.15 und Korollar 2.17. Die nachfolgende Definition ist
dabei zentral.
Definition 2.10. Eine Menge {Xi : i ∈ I} heißt gleichgradig integrierbar, falls
inf sup E[|Xi|; |Xi| > K] = 0
K
i∈I
ex:equi1 Beispiel 2.11. 1. Betrachten wir das Beispiel aus Bemerkung 2.9.1. Hier ist für n > K
E[|Xn|; |Xn| > K] = E[Xn] = 1.
Insbesondere ist {Xn : n = 1, 2, ...} nicht gleichgradig integrierbar.
2. Jede endliche Menge {X1, ..., Xn} ⊂ L 1 ist gleichgradig integrierbar, denn sup 1≤i≤n |Xi| ∈
L 1 und
inf sup E[|Xi|; |Xi| > K] ≤ inf E[ sup |Xi|; sup |Xi| > K] = 0
K 1≤i≤n
K 1≤i≤n 1≤i≤n
wegen majorisierter Konvergenz.

KAPITEL 2. L P -RÄUME 10
3. Sei Y ∈ L 1 und {Xi : i ∈ I} mit sup i |Xi| < |Y |. Dann ist {Xi : i ∈ I} gleichgradig
integrierbar. Denn
nach majorisierter Konvergenz.
sup E[|Xi|; |Xi| > K] ≤ E[|Y |; |Y | > K]
i∈I
K→∞
−−−−→ 0
4. Sei p > 1. Dann ist {Xi : i ∈ I} ⊆ Lp gleichgradig integrierbar, falls supi ||Xi||p < ∞.
Denn es gilt
E[|Xi|
sup E[|Xi|; |Xi| > K] ≤ sup
i∈I
i∈I
p ]
Kp−1 K→∞
−−−−→ 0.
l:equi1 Lemma 2.12. Eine Menge {Xi : i ∈ I} ist genau dann gleichgradig integrierbar, wenn
sup E[|Xi|] < ∞ und lim
i∈I
ε→0
sup
A:P(A) 0 gegeben und K = Kδ so, dass sup i∈I E[|Xi|; |Xi| > K] ≤ δ. Dann ist
für A ∈ A
E[|Xi|; A] = E[|Xi|; A ∩ {|Xi| > K}] + E[|Xi|; A ∩ {|Xi| ≤ K}] ≤ δ + K · P(A).
Insbesondere ist
und
sup
i∈I
Da δ > 0 beliebig war, muss
E[|Xi|] = sup E[|Xi|; Ω] ≤ δ + K < ∞
i∈I
sup sup E[|Xi|; A] ≤ δ + Kε
A:P(A) K} ≤ sup < ε
i∈I
i∈I K
ist. Damit folgt die gleichgradige Integrierbarkeit aus
lim
K→∞ sup E[|Xi|; |Xi| > K] = lim sup E[|Xi|; |Xi| > Kε]
ε→0
i∈I
≤ lim
i∈I
sup
ε→0 A:P(A)

KAPITEL 2. L P -RÄUME 11
3. Es gibt eine Funktion f : R+ → R+ so, dass f(x)
x
supi∈I E[f(|Xi|)] < ∞.
x→∞
−−−→ ∞ und
Gilt eine der drei Aussagen, so kann die Funktion f in 3. monoton wachsend und konvex
gewählt werden.
Beweis. ’1. ⇒ 2.’: Da (|Xi| − K) + ≤ |Xi|1 {|Xi|≥K}, ist E[(|Xi| − K) + ] ≤ E[|Xi|; |Xi| ≥ K],
also ist die Behauptung klar.
’2. ⇒ 3.’: Es gibt eine Folge K1, K2, ... mit Kn ↑ ∞ und sup i∈I E[(|Xi| − Kn) + ] ≤ 2 −n . Wir
setzen
f(x) :=
∞�
(x − Kn) + .
n=1
Dann ist f monoton wachsend und als Summe konvexer Funktionen wieder konvex. Außerdem
ist für x ≥ 2Kn
f(x)
x ≥
n� �
1 − Kk
�
≥
x
n
2 ,
also f(x)
x
k=1
x→∞
−−−→ ∞. Wegen monotoner Konvergenz gilt außerdem
’3. ⇒ 1.’: siehe Übung.
E[f(|Xi|)] =
∞�
E[(|Xi| − Kn) + ] ≤
n=1
∞�
2 −n = 1.
ex:equi2 Beispiel 2.14. Für X ∈ L 1 ist {Xi : i ∈ I} genau dann gleichgradig integrierbar, wenn
{Xi − X : i ∈ I} gleichgradig integrierbar ist.
Um dies zu sehen, sei {Xi : i ∈ I} gleichgradig integrierbar. Nach Beispiel 2.11.2 ist {X}
gleichgradig integrierbar. Außerdem ist
und es gilt
sup
A:P(A)

KAPITEL 2. L P -RÄUME 12
Bemerkung 2.16. Im Beweis verwenden wir die Minkoski’sche Ungleichung (2.2) und setzen
zur Vereinfachung p ≥ 1 voraus. Der allgemeine Fall folgt ebenso aus der Minkowski’schen
Ungleichung.
Beweis. 1.⇒ 2.: Zunächst ist wegen der Tschbyscheff’schen Ungleichung für jedes ε > 0
P{|Xn − X| > ε} ≤ E[|Xn − X| p ]
ε p
= ||Xn − X|| p p
ε p
n→∞
−−−→ 0,
d.h. die stochastische Konvergenz gilt. Für den Beweis der gleichgradigen Integrierbarkeit
verwenden wir Lemma 2.12. Sei ε > 0 und N = Nε so, dass ||Xn − X||p < ε für n ≥ N. Dann
ist mit der Minkowski-Ungleichung (2.2)
sup
n∈N
(E[|Xn| p ]) 1/p = sup
n∈N
||Xn||p ≤ sup ||Xn||p + sup ||Xn − X||p + ||X||p
n 0 beliebig war, folgt Xn n→∞
−−−→ X in L p .
cor:gleichgr Korollar 2.17. Sei 0 < p < ∞ und X1, X2, ... ∈ L p und X messbar mit Xn n→∞
−−−→p X.
Folgende Aussagen sind äquivalent:
1. Xn n→∞
−−−→L p X,

KAPITEL 2. L P -RÄUME 13
2. ||Xn||p n→∞
−−−→ ||X||p,
3. Die Familie {|Xn| p : n = 1, 2, ...} ist gleichgradig integrierbar.
Beweis. Die Äquivalenz 1. ⇔ 3. ist klar aus Theorem 2.15.
1. ⇒ 2.: folgt aus der Minkowski’schen Ungleichung mit
�
�||Xn|| p∧1
p − ||X|| p∧1
�
�
p ≤ ||Xn − X|| p∧1 n→∞
p −−−→ 0.
2. ⇒ 3.: Für festes K ist
E[|Xn| p ; |Xn| > K] ≤ E[|Xn| p − (|Xn| ∧ (K − Xn) + ) p ] n→∞
−−−→ E[|X| p − (|X| ∧ (K − X) + ) p ].
Die Konvergenz folgt hierbei, da E[|Xn| p ] n→∞
−−−→ E[|X| p ], und (|Xn| ∧ (K − Xn) + ) p n→∞
−−−→ L1 |X| ∧ (K − X) + ) p , da die Konvergenz nach Proposition 1.21 stochastisch gilt und ((|Xn| ∧
(K −Xn) + ) p )n=1,2,... beschränkt, insbesondere gleichgradig integrierbar ist. Da E[|X| p−(|X|∧ (K − X) + ) p ] K→∞
−−−−→ 0 nach majorisierter Konvergenz, ist {|Xn| p : n = 1, 2, ...} gleichgradig
integrierbar.
2.3 Der Raum L 2
In diesem Abschnitt ist (Ω, A, µ) ein Maßraum (und nicht notwendigerweise ein Wahrscheinlichkeitsraum);
insbesondere verwenden wir f, g, ... für reellwertige Funktionen auf Ω. Auch
hier identifizieren wir zwei Funktionen f, g, falls f = g µ-fast überall. Beachte, dass die
Vollständigkeit von L 2 (Proposition 2.7) auch für den allgemeinen Fall gilt.
Definition 2.18. Sei V eine Vektorraum über R. Eine Abbildung 〈., .〉 : V × V → R heißt
Skalarprodukt, falls
1. (Linearität) 〈x, αy + z〉 = α〈x, y〉 + 〈x, z〉 für alle x, y, z ∈ V und α ∈ R
2. (Symmetrie) 〈x, y〉 = 〈y, x〉
3. (Positive Definitheit) 〈x, x〉 > 0 für jedes x ∈ V \ {0}.
Durch das Skalarprodukt wird die Norm ||x|| := 〈x, x〉 1/2 auf V definiert. Ist (V, ||.||) vollständig,
so heißt (V, 〈., .〉) ein Hilbertraum.
Beispiel 2.19. Auf V = L2 definieren wir
�
〈f, g〉 := µ[fg] :=
fgdµ.
Dann ist 〈., .〉 offensichtlich linear, symmetrisch und (falls 0 ∈ L 2 aus allen Funktionen besteht,
die µ-fast überall 0 sind) positiv definit. Da ||f|| := ||f||2 = 〈f, f〉 1/2 , ist nach Proposition 2.7
||.|| vollständig, (L 2 , 〈., .〉) also ein Hilbertraum.
Lemma 2.20. Sei 〈., .〉 ein Skalarprodukt auf einem reellen Vektorraum V und ||.|| die davon
erzeugte Norm. Dann gilt für x, y ∈ V die Parallelogrammidentität
||x + y|| 2 + ||x − y|| 2 = 2||x|| 2 + 2||y|| 2 .

KAPITEL 2. L P -RÄUME 14
Beweis. Aus der Definition von ||.|| und der Symmetrie und Bilinearität von 〈., .〉 folgt
||x + y|| 2 + ||x − y|| 2 = 〈x + y, x + y〉 + 〈x − y, x − y〉 = 2〈x, x〉 + 2〈y, y〉 = 2||x|| 2 + 2||y|| 2 .
P:projection Proposition 2.21 (Zerlegung von f ∈ L 2 ). Sei M ein abgeschlossener, linearer Teilraum von
L 2 . Dann hat jede Funktion f ∈ L 2 eine fast sicher eindeutige Zerlegung f = g + h mit
g ∈ M, h ⊥ M.
Beweis. Für f ∈ L 2 definieren wir
df := inf {||f − g||}.
g∈M
Wähle g1, g2, ... mit ||f − gn|| n→∞
−−−→ df . Nach der Parallelogrammidentität gilt
4d 2 f + ||gm − gn|| 2 ≤ ||2f − gm − gn|| 2 + ||gm − gn|| 2 = 2||f − gm|| 2 2 m,n→∞
+ 2||f − gn|| −−−−−→ 4d 2 f .
Also ist ||gm − gn|| 2 m,n→∞
−−−−−→ 0, d.h. g1, g2, ... ist eine Cauchy-Folge. Nach Proposition 2.7 gibt
es damit ein g ∈ L2 mit ||gn − g||p n→∞
−−−→ 0, und wegen der Abgeschlossenheit von M auch
g ∈ M. Da ||h|| = df für h := f − g, folgt für alle t > 0, l ∈ M, wegen der Definition von df ,
d 2 f ≤ ||h + tl||2 = d 2 f + 2t〈h, l〉 + t2 ||l|| 2 .
Da dies für alle t gilt, folgt 〈h, l〉 = 0, also h ⊥ M.
Zum Beweis der Eindeutigkeit sei g ′ + h ′ eine weitere Zerlegung von f. Dann ist einerseits
aufgrund der Linearität von M g − g ′ ∈ M, andererseits ist fast sicher g − g ′ = h − h ′ ⊥ M,
also g − g ′ ⊥ g − g ′ . Dies bedeutet ||g − g ′ || = 〈g − g ′ , g − g ′ 〉 = 0, also g = g ′ fast überall.
RieszFrechet Proposition 2.22 (Riesz-Frechet). Eine Abbildung F : L 2 → R ist genau dann stetig und
linear wenn es ein h ∈ L 2 gibt, so dass für alle f ∈ L 2
F (f) = 〈f, h〉.
Dann ist h ∈ L 2 fast sicher eindeutig bestimmt.
Beweis. ’⇐’: Die Linearität von f ↦→ 〈f, h〉 folgt aus der Bilinearität von 〈., .〉. Die Stetigkeit
folgt aus der Cauchy-Schwartz Ungleichung mittels
|〈|f − f ′ |, h〉| ≤ ||f − f ′ || · ||h||.
’⇒’: Falls F ≡ 0 wähle h = 0. Falls F �≡ 0, ist M = F −1 {0} ein (wegen der Stetigkeit von
F ) abgeschlossener und (wegen der Linearität von F ) linearer Unterraum von L 2 . Wähle
f ′ ∈ L 2 \ M mit der (nach Proposition 2.21 fast sicher eindeutigen) orthogonalen Zerlegung
f ′ = g ′ + h ′ mit g ′ ∈ M und h ′ ⊥ M. Da f ′ /∈ M, ist h ′ �≡ 0 und F (h ′ ) = F (f ′ ) − F (g ′ ) =
F (f ′ ) �= 0. Wir setzen h ′′ = h′
F (h ′ ) , so dass h′′ ⊥ M und F (h ′′ ) = 1 und es gilt für alle f ∈ L 2
F (f − F (f)h ′′ ) = F (f) − F (f)F (h ′′ ) = 0.
d.h. f − F (f)h ′′ ∈ M, also insbesondere 〈F (f)h ′′ , h ′′ 〉 = 〈f, h ′′ 〉 und
F (f) = 1
||h ′′ || 2 · 〈F (f)h ′′ , h ′′ 〉 = 1
||h ′′ || 2 · 〈f, h ′′ 〉 = 〈f, h ′′
||h ′′ || 2 〉.

KAPITEL 2. L P -RÄUME 15
Nun folgt die Behauptung mit h = h′′
||h ′′ || 2 .
Zur Eindeutigkeit sei 〈f, h1 − h2〉 = 0 für alle f ∈ L 2 ; insbesondere ist mit f = h1 − h2
also h1 = h2 µ-fast sicher.
||h1 − h2|| 2 = 〈h1 − h2, h1 − h2〉 = 0,
Bemerkung 2.23. Propositionen 2.21 und 2.22 gelten ebenso, falls man L 2 durch einen
anderen Hilbert-Raum ersetzt.
2.4 Lebesgue’scher Zerlegungssatz und Satz von Radon-Nikodym
Seien µ, ν Maße auf (Ω, A).
Definition 2.24. 1. Wir sagen, ν besitzt eine Dichte g bzgl. µ, falls für alle A ∈ A
gilt. Wir schreiben dann f = dν
dµ .
ν(A) = µ[f; A].
2. Das Maß ν heißt absolutstetig bzgl. µ, falls alls µ-Nullmengen auch ν-Nullmengen
sind. Wir schreiben dann ν ≪ µ. Ist sowohl ν ≪ µ als auch µ ≪ ν, so heißen µ und ν
äquivalent.
3. Die Maße µ und ν heißen singulär, falls es ein A ∈ A gibt mit µ(A) = 0 und ν(Ω\A) =
0. Wir schreiben dann µ ⊥ ν.
Bemerkung 2.25. Seien µ und ν σ-endlich. Ziel dieses Abschnittes ist es zu zeigen (Theorem
2.27), dass ν (additiv) in zwei Anteile zerlegt werden kann: ein Anteil ist absolutstetig bzgl. µ
und der andere Anteil ist singulär zu µ. Der absolutstetige Anteil hat dabei eine Dichte bzgl.
µ.
Lemma 2.26. Sei µ ein Maße und ν ein σ-endliches Maß. Sind g1 und g2 Dichten von ν
bzgl. µ, so ist g1 = g2 µ-fast überall.
Beweis. Sei E1, E2, ... ∈ A so, dass En ↑ Ω und ν(En) < ∞. Setze An := En ∩ {g1 > g2}. Da
sowohl g1 als auch g2 Dichten von ν bzgl µ sind, folgt
µ[g1 − g2; An] = 0.
Da auf An nur g1 > g2 möglich ist, ist g1 = g2 1Anµ-fast überall. Außerdem ist
� � �
µ{g1 > g2} = µ = 0.
n∈N
Analog folgt µ{g1 < g2} = 0 und damit g1 = g2 µ-fast überall.
T:LZerl Theorem 2.27 (Lebesgue’scher Zerlegungssatz). Seien µ, ν σ-endliche Maße auf (Ω, A). Dann
lässt sich ν eindeutig schreiben als
An
ν = νa + νs mit νa ≪ µ, νs ⊥ µ.
Das Maße νa hat eine Dichte bzgl. µ, die µ-fast überall endlich ist.

KAPITEL 2. L P -RÄUME 16
Beweis. Durch eine Ausschöpfung E1, E2, ... ⊆ Ω mit En ↑ Ω und ν(En), µ(En) < ∞ können
wir uns auf den Fall endlicher Maße zurückziehen.
Mit Proposition 2.6 ist die lineare Abbildung
�
L 2 (Ω, A, µ + ν) → R)
f ↦→ ν[f]
stetig. Nach Proposition 2.22 gibt es also ein h ∈ L 2 (Ω, A, µ + ν) mit
also
für jedes f ∈ L 2 (Ω, A, µ + ν). Wählt man f = 1 {h1} aus (2.5) folgern, dass
0 ≤ µ[h; {h > 1}] = ν[1 − h; {h > 1} ≤ 0,
also h ≤ 1 (µ + ν)-fast sicher. Sei nun f ≥ 0 messbar und f1, f2, ... ∈ L 2 (Ω, A, µ + ν) mit
fn ↑ f. Mit dem Satz von der monotonen Konvergenz folgt
ν[f(1 − h)] = lim
n→∞ ν[fn(1 − h)] = lim
n→∞ µ[fNh] = µ[fh],
d.h. (2.5) gilt für alle messbaren f ≥ 0.
Sei nun E := h −1 {1}. Aus (2.5) folgt mit f = 1E, dass
µ(E) = µ[h; E] = ν[1 − h; E] = 0.
Wir definieren für A ∈ A zwei Maße νa und νs durch
νa(A) = ν(A \ E), νs(A) = ν(A ∩ E),
so dass ν = νa + νs und νs ⊥ µ. Um zu zeigen, dass νa ≪ µ wähle A ∈ A mit µ(A) = 0.
Damit ist nach (2.5)
ν[1 − h; A \ E] = µ[h; A \ E] = 0.
Da h < 1 auf A \ E ist, gilt damit νa(A) = ν(A \ E) = 0, also νa ≪ µ.
Um die Dichte von νa bzgl. µ zu bestimmen, setzen wir g := h
1−h 1 Ω\E und verwenden
(2.5), so dass
�
µ[g; A] = µ
1
1 − h
�
h; A \ E = ν(A \ E) = νa(A).
Also ist g = dνa
dµ .
Um die Eindeutigkeit der Zerlegung zu zeigen, sei ν = νa + νs = �νa + �νs für νa, �νa ≪ µ,
νs, �νs ⊥ µ. Wähle A, � A ∈ A mit νs(A) = µ(A c ) = �νs( � A) = µ( � A c ) = 0. Dann gilt
νs(A ∩ � A) = �νs(A ∩ � A) = νa(A c ∪ � A c ) = �νa(A c ∪ � A c ) = 0

KAPITEL 2. L P -RÄUME 17
und deshalb
νa = 1 A∩ e A · νa = 1 A∩ e A · ν = 1 A∩ e A · �νa = �νa,
νs = ν − νa = ν − �νa = �νs.
T:RaNy Korollar 2.28 (Satz von Radon-Nikodym). Seien µ und ν σ-endliche Maße. Dann hat ν
genau dann eine Dichte bzgl. µ, wenn ν ≪ µ.
Beweis. ’⇒’: klar.
’⇐’: Nach Theorem 2.27 gibt es eine eindeutige Zerlegung ν = νa + νs mit νa ≪ µ, νs ⊥ µ. Da
ν ≪ µ, muss νs = 0 gelten und damit ν = νa. Insbesondere existiert die Dichte von ν bzgl.
µ.
Beispiel 2.29. Im Zerlegungssatz von Lebesgue 2.27 und im Satz von Radon-Nikodym 2.28
darf man die Voraussetzung, dass µ und ν σ-endlich sind nicht weglassen, wie folgendes
Beispiel zeigt:
Sei (Ω, A) ein Messraum mit überabzählbarem Ω und
A := {A : A oder A c abzählbar}.
Seien µ und ν unendliche Maße auf (Ω, A), gegeben durch
�
0, A abzählbar,
ν(A) :=
µ(A) :=
∞, sonst
�
|A|, A endlich,
∞, sonst
Dann ist offenbar ν ≪ µ. Angenommen, es gäbe eine A-messbare Dichte von ν bzgl. µ, so
wäre für alle ω ∈ Ω
0 = ν{ω} = µ[f; {ω}] = f(ω)µ({ω}) = f(ω).
Damit wäre f = 0 und ν = 0 im Widerspruch zur Definition von ν.
.

Kapitel 3
Die bedingte Erwartung
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum. Wir schreiben L 1 := L 1 (A) für die Menge aller
reellen Zufallsvariablen, deren Erwartungswert existiert.
3.1 Motivation
Definiere wie in der elementaren Stochastik für A, D ∈ A und P(D) > 0
und analog die bedingte Erwartung
P(A|D) :=
E[X|D] :=
P(A ∩ D)
P(D)
E[X; D]
P(D) .
Dann gilt P(A|D) = E[1A|D]. Dieser Zusammenhang bedeutet, dass man bedingte Erwartungen
dazu verwenden kann, bedingte Wahrscheinlichkeiten zu berechnen. Insbesondere ist der
Begriff der bedingten Erwartung allgemeiner als der Begriff der bedingten Wahrscheinlichkeit.
Sei nun E := {E1, E2, ...} ⊆ A eine Partition von Ω mit P(Ei) > 0 für i = 1, 2, ... und
F := σ(E) die von E erzeugte σ-Algebra. Dann setzen wir für X ∈ L 1
E[X|F](ω) :=
∞�
i=1
Dann gilt etwa für J ⊆ N und A = �
j∈J Ej ∈ F
� �∞
E[E[X|F]; A] = E
E[X|Ei] · 1Ei (ω). (3.1) eq:20
i=1
E[X|Ei]1Ei 1A
= �
E � �
E[X|Ej]1Ej
j∈J
= �
E[X|Ej] · P(Ej)
j∈J
= E[X; A].
18
�
(3.2) eq:21

KAPITEL 3. DIE BEDINGTE ERWARTUNG 19
Insbesondere gilt mit J = N also E � E[X|F] � = E[X]. Die Definition der bedingten Erwartung
(3.1) lässt sich mit Hilfe der Eigenschaft (3.2) auf beliebige σ-Algebren F ⊆ A verallgemeinern.
ex:bedErw Beispiel 3.1. Sei X gleichverteilt auf [0, 1], d.h. die Verteilung von X hat Dichte 1 [0;1]. Gegeben
X = x ist Y binomialverteilt mit n und x, d.h. Y zählt die Anzahl der Erfolge in n
unabhängigen Experimenten mit Erfolgswahrscheinlichkeit x. Intuitiv ist klar, dass das
P({Y = k}|X) =
� �
n
X
k
k (1 − X) n−k
bedeuten sollte. Dies ist allerdings bisher nicht definiert, da P{X = x} = 0 gilt.
3.2 Definition und Eigenschaften
T:be Theorem 3.2 (Existenz und Eigenschaften der bedingten Erwartung). Sei F ⊆ A eine σ-
Algebra. Dann gibt es einen fast sicher eindeutigen, linearen Operator E[.|F] : L 1 → L 1 (F),
so dass für alle X ∈ L 1
1. E � E[X|F]; A � = E[X; A] für alle A ∈ F.
Weiter gilt
2. E[X|F] ≥ 0, falls X ≥ 0.
3. E � |E[X|F]| � ≤ E[|X|].
4. Falls 0 ≤ Xn ↑ X für n → ∞, so ist auch E[Xn|F] ↑ E[X|F] in L 1 , falls alle Erwartungen
existieren.
5. Falls X eine F-messbare Funktion ist, so gilt E[XY |F] = XE[Y |F], falls alle Erwartungen
existieren.
6. E � XE[Y |F] � = E � E[X|F]Y � = E � E[X|F]E[Y |F] � , falls alle Erwartungen existieren.
7. Ist F ⊆ G, so ist E � E[X|G]|F � = E[X|F].
8. Ist X unabhängig von F, so ist E[X|F] = E[X].
Beweis. 1. im Fall X ∈ L 2 : Sei M der abgeschlossene lineare Teilraum von L 2 , der aus allen
Funktionen besteht, die bis auf eine Nullmenge mit einer F-messbaren Funktion übereinstimmen.
Nach Proposition 2.21 gibt es nun fast sicher eindeutige Funktionen Y ∈ M, Z ⊥ M mit
X = Y +Z. Wir definieren E[X|F] := Y . Damit gilt X−E[Y |F] ⊥ M, also E[X−E[X|F]; A] =
0 für A ∈ F, woraus 1. für X ∈ L 2 folgt.
3. im Fall X ∈ L 2 : Wähle A := {E[X|F] ≥ 0}. Nach 1. gilt dann
E[|E[X|F]|] = E[E[X|F]; A] − E[E[X|F]; A c ] = E[X; A] − E[X; A c ] ≤ E[|X|].
1. im Fall X ∈ L 1 : Ist X ∈ L 1 ⊃ L 2 , so wähle X1, X2, ... ∈ L 2 mit ||Xn − X||1 n→∞
−−−→ 0
(etwa so, dass |Xn| := |X| ∧ n), und definiere E[X|F] := limn→∞ E[Xn|F]. Dieser Grenzwert
existiert in L 1 , da wegen 3.
E[|E[Xn|F] − E[Xm|F]|] = E[|E[Xn − Xm|F]|] ≤ E[|Xn − Xm|] n,m→∞
−−−−−→ 0
(3.3) eq:exBedErw1

KAPITEL 3. DIE BEDINGTE ERWARTUNG 20
die Folge (E[Xn|F])n=1,2,... eine Cauchy-Folge ist und L1 vollständig ist. Außerdem gilt damit
||E[Xn|F] − E[X|F]||1 n→∞
−−−→ 0. Weiter ist für A ∈ F
|E[X − E[X|F]; A]| ≤ E[|X1A − Xn1A|]
+ |E[Xn − E[Xn|F]; A]]|
+ E[|E[Xn|F]1A − E[X|F]1A|]
n→∞
−−−→ 0
wegen majorisierter Konvergenz und 1. folgt im Fall X ∈ L1 .
3. im Fall X ∈ L1 . Auch hier sieht man durch ein Approximationsargument, falls X1, X2, ... ∈
L2 mit Xn n→∞
−−−→ L1 X
E[|E[X|F]|] = lim
n→∞ E[|E[Xn|F]|] ≤ lim
n→∞ E[|Xn|] = E[|X|],
da wegen der umgekehrten Dreiecksungleichung etwa
E[||E[Xn|F]| − |E[X|F]||] ≤ E[|E[X|F] − E[Xn|F]|] n→∞
−−−→ 0.
2. Setze A = {E[X|F] ≤ 0} und damit
0 ≥ E[E[X|F]; A] = E[X; A] = 0,
also wegen E[X|F]1A ≤ 0 auch E[X|F]1A = 0 fast sicher.
4. Wegen monotoner Konvergenz ist ||Xn − X||1 n→∞
−−−→ 0, also nach 3.
E[|E[Xn|F] − E[X|F]|] = E[|E[Xn − X|F]|] ≤ E[|Xn − X|] n→∞
−−−→ 0.
6. im Fall X, Y ∈ L 2 . Nach der Definition der bedingten Erwartung ist E[X|F], E[Y |F] ∈ M,
wenn M der lineare Teilraum von L 2 besteht, der Funktionen beinhaltet, die bis auf eine
Nullmenge mit einer F-messbaren Funktion übereinstimmen. Außerdem ist X −E[X|F] ⊥ M.
Damit ist
E[(X − E[X|F])E[Y |F]] = 0.
6. im Fall X, Y ∈ L 1 . Wähle X1, Y1, X2, Y2, ... ∈ L 2 mit Xn ↑ X, Yn ↑ Y . Wegen 4. und
majorisierter Konvergenz gilt dann, falls alle Erwartungen existieren,
E[(X − E[X|F])E[Y |F]] = lim
n→∞ E[(Xn − E[Xn|F])E[Yn|F]] = 0.
5. Wegen 1. ist E[X|F]1A = X1A für A ∈ F fast sicher. Damit ist auch
E[XY ; A] = E[XE[Y |F]; A]
nach 6. Hieraus folgt nach 1. bereits E[XY |F] = XE[Y |F].
7. Da L 1 (F) ⊆ L 1 (G), ist für A ∈ F
E[E[X|G]; A] = E[X; A] = E[E[X|F]; A]
nach 1. Hier aus folgt aber E[[X|G]|F] = E[X|F].
8. Sicherlich ist E[X] F-messbar. Für A ∈ F ist außerdem
E[E[X|F]; A] = E[X; A] = E[X]E[1A] = E � E[X]; A �
und damit E[X|F] = E[X].

KAPITEL 3. DIE BEDINGTE ERWARTUNG 21
Bemerkung 3.3. 1. Sei X ∈ L 2 . Wie der Beweis von 1. in Theorem 3.2 zeigt, ist X −
E[X|F] senkrecht auf dem linearen Teilraum aller F-messbaren Funktionen. Insbesondere
ist E[X|F] diejenige F-messbare Zufallsvariable, die (im Sinne der L 2 -Norm) der
Zufallsvariable X am nächsten kommt. Deswegen kann man sagen, dass E[X|F] die
beste Schätzung von X ist, wenn Informationen aus der σ-Algebra F zur Verfügung
stehen.
2. Die fast sicher eindeutige Existenz der bedingten Erwartung mit der Eigenschaft 1.
in Theorem 3.2 kann man anders als oben mit Hilfe des Satzes von Radon-Nikodym
(Korollar 2.28) beweisen:
Sei zunächst X ≥ 0. Setze � P := P|F, die Einschränkung von P auf F, und µ(.) := � E[X; .]
ein endliches Maß. Dann gilt offenbar µ ≪ � P. Der Satz von Radon-Nikodym stellt sicher,
dass µ eine Dichte bzgl. � P hat, d.h. es eine F-messbare Zufallsvariable Z gibt mit
E[X; A] = � E[X; A] = µ(A) = � E[Z; A] = E[Z; A]
für alle A ∈ F. Damit erfüllt Z die Eigenschaften von 1. aus Theorem 3.2.
Im allgemeinen Fall (d.h. X kann auch negative Werte annehmen) sei E[X + |F] eine
Version der bedingten Erwartung von X + und E[X − |F] eine Version der bedingten
Erwartung von X − . Setze E[X|F] := E[X + |F] − E[X − |F]. Dann ist
E � E[X|F]; A � = E � E[X + |F]; A � − E � E[X − |F]; A � = E[X + ; A] − E[X − ; A] = E[X; A].
Zum Beweis der (fast sicheren) Eindeutigkeit der bedingten Erwartung sei Z ′ eine
weitere, F-messbare Zufallsvariable mit E[Z ′ ; A] = E[X; A]. Dann muss E[Z ′ ; A] =
E � E[X|F]; A � für alle A ∈ F gelten, d.h. Z ′ = E[X|F] fast sicher.
P:jensenBed Proposition 3.4 (Jensen’sche Ungleichung für bedingte Erwartungen). Sei I ein offenes Intervall,
F ⊆ A und X ∈ L 1 mit Werten in I und ϕ : I → R konvex. Dann gilt
E[ϕ(X)|F] ≥ ϕ(E[X|F]).
Beweis. Da I offen ist, liegt E[X|F] ∈ I fast sicher. Beachte die Definition von λ in Lemma
1.18. Weiter ist nach Lemma 1.18 für x ∈ I
und damit
ϕ(x) ≥ ϕ(E[X|F]) + λ(E[X|F])(x − E[X|F])
E[ϕ(X)|F] ≥ E[ϕ(E[X|F])|F] + E[λ(E[X|F]) · (X − E[X|F])|F]
= ϕ � E[X|F] � .
Theorem 3.5 (Majorisierte und monotone Konvergenz für bedingte Erwartungen). Sei F ⊆
A und X1, X2, ... ∈ L 1 . Sei eine der Bedingungen erfüllt:
1. Sei X ∈ L 1 , so dass Xn ↑ X fast sicher.
2. Ist Y ∈ L 1 , so dass |Xn| ≤ |Y | für alle n, und Xn n→∞
−−−→ X fast sicher.

KAPITEL 3. DIE BEDINGTE ERWARTUNG 22
Dann gilt
fast sicher und in L 1 .
E[Xn|F] n→∞
−−−→ E[X|F]
Beweis. Für die L 1 -Konvergenz hat man in beiden Fällen mit Theorem 3.2.3
E �� �E[Xn|F] − E[X|F] � � � = E �� �E[Xn − X|F] � � �
≤ E[|Xn − X|] n→∞
−−−→ 0.
Die fast sichere Konvergenz teilen wir in beide Fälle auf: im Fall 1. ist nach Theorem 3.2.2
klar, dass E[Xn|F] monoton wächst. Außerdem ist für A ∈ A mit dem Satz der monotonen
Konvergenz
E � sup
n
E[Xn|F]; A � = sup
n
E � E[Xn|F]; A � = sup
n
Damit ist aber gezeigt, dass fast sicher sup n E[Xn|F] = E[X|F] gilt.
Im Fall 2. setzen wir
Yn := sup
k≥n
Xk ↓ lim sup Xn = X fast sicher,
n
Zn := inf
k≥n Xk ↑ lim inf
n
Xn = X fast sicher.
E[Xn; A] = E[sup Xn; A] = E[X; A].
n
Damit ist −Y ≤ Zn ≤ Xn ≤ Yn ≤ Y , also insbesondere Y1, Z1, Y2, Z2, ... ∈ L 1 , also ist nach 1.
E[X|F] = lim
n→∞ E[Zn|F] ≤ lim
n→∞ E[Xn|F] ≤ lim
n→∞ E[Yn|F] = E[X|F]
fast sicher. Insbesondere ist also E[Xn|F] n→∞
−−−→ E[X|F] fast sicher.
3.3 Der Fall F = σ(X)
Im Falle F = σ(X) bedeutet E[Y |X] := E[Y |σ(X)] die Erwartung von Y , gegeben, dass die
Zufallsvariable X festgelegt ist. Dies ist eine Funktion von X, wie Korollar 3.7 zeigt.
l:Faktor Lemma 3.6. Sei (Ω ′ , A ′ ) ein Messraum und X ein Zufallsvariable mit Werten in Ω ′ und
Z : Ω → R. Genau dann ist Z σ(X)-messbar, wenn es eine A ′ − B(R)-messbare Abbildung
ϕ : Ω ′ → R gibt mit ϕ ◦ X = Z.
Beweis. ’⇐=’: klar
’=⇒’: Es genügt, den Fall Z ≥ 0 zu betrachten; ansonsten teilt man Z = Z + − Z − auf.
Sei zunächst Z = 1A für A ∈ σ(X). Dann gibt es ein A ′ ∈ A ′ mit X −1 (A ′ ) = A, d.h.
Z = 1X−1 (A ′ ) = 1A ′ ◦ X, d.h. ϕ = 1A ′ erfüllt die Aussage. Durch Linearität ist die Aussage
auch für einfache Funktionen, d.h. endliche Linearkombinationen von Indikatorfunktionen
erfüllt. Im allgemeinen Fall gibt es einfache Funktionen Z1, Z2, ... ≥ 0 mit Zn ↑ Z. Hierzu gibt
es A ′ -messbare Funktionen ϕn mit Zn = ϕn ◦ X. Dann ist ϕ = supn ϕn wieder A ′ -messbar
und, da Z ≥ 0 ist,
ϕ ◦ X = (sup
n
ϕn) ◦ X = sup
n
(ϕn ◦ X) = sup Zn = Z.
n

KAPITEL 3. DIE BEDINGTE ERWARTUNG 23
Abbildung 3.1: Skizze fig:buffon zu Buffon’s Nadelproblem.
cor:fact Korollar 3.7. Sei (Ω ′ , A ′ ) ein Messraum, X eine Zufallsvariable mit Werten in Ω ′ und Y ∈
L 1 . Dann existiert eine A ′ − B(R)-messbare Abbildung ϕ : Ω ′ → R mit E[Y |X] = ϕ(X).
Beweis. Klar nach Lemma 3.6
ex:sum1 Beispiel 3.8. Seien X1, X2, ... eine Folge unabhängiger, identisch verteilter Zufallsvariablen,
µ = E[X1] und Sn := X1 + ... + Xn. Dann ist
E[Sn|X1] = E[X1|X1] + E[X2 + ... + Xn|X1] = X1 + (n − 1)µ,
E[X1|Sn] = 1
n�
n E[Xi|Sn] = 1
nE[Sn|Sn] = 1
nSn. i=1
In der zweiten Rechnung ist also beispielsweise für X = Sn und Y = X1 die Funktion ϕ aus
Korollar 3.7 gegeben durch ϕ(x) = 1
n x.
Beispiel 3.9. Betrachten wir die in Beispiel 3.1 gestellte Frage nach der Existenz der bedingten
Wahrscheinlichkeit P({Y = k}|X), wobei X uniform auf [0; 1] ist und X unabhängig
binomial verteilt mit n und X. Wie gerade gezeigt, ist P({Y = k}|X) eine Funktion von X.
Dies bedeutet, dass wir (3.3) formal begründet haben.
Beispiel 3.10 (Buffon’s Nadelproblem). Auf einer Ebene liegen Geraden im horizontalen
Abstand 1. Es werden Nadeln der Länge 1 auf die Ebende geworfen; siehe Abbildung 3.1.
Betrachten wir eine Nadel. Wir setzen
Z :=
�
1, falls die Nadel eine Gerade schneidet
0, sonst
Dabei ist der Mittelpunkt der Nadel X von der linken Geraden entfernt und die Verlängerung
der Nadel geht einen spitzen Winkel Θ mit der linken Gerade ein. Damit ist X uniform auf
] unabhängig und es gilt
[0; 1], Θ uniform auf [0; π
2
P{Z = 1|Θ} = P{X ≤ 1
1
2 sin(Θ) oder X ≥ 1 − 2 sin(Θ)|Θ} = sin(Θ).
θ
x
.

KAPITEL 3. DIE BEDINGTE ERWARTUNG 24
Damit ist
P{Z = 1} = E[P({Z = 1}|Θ)] = E[sin(Θ)] = 2
π
� π/2
0
(sin(θ)dθ = 2
π .
Dies kann man so interpretieren: will man durch Simulation (d.h. also durch ein Monte-Carlo
Verfahren) die Größe von π herausfinden, kann man Buffon’s Nadeln simulieren. Da jede
hat, eine vertikale Linien zu treffen, ist etwa
einzelne Nadel die Wahrscheinlichkeit 2
π
π ≈
nach dem Gesetz der großen Zahlen.
2
Anteil der Nadeln, die eine Vertikale treffen
3.4 Reguläre Version der bedingten Verteilung
Bemerkung 3.11. 1. Sei A1, A2, ... ∈ A mit Ai ∩ Aj = ∅. Dann ist für B ∈ F
und damit
P-fast überall.
� � � � �
E P Ai|F ; B = E � E[1S Ai |F]; B� = E[1S Ai ; B]
� �∞
�
= E 1Ai ; B =
=
i=1
i=1
∞�
i=1
E[1Ai ; B]
∞�
E � P(Ai|F); B � � �∞
�
= E P(Ai|F); B
� � �
P Ai|F =
∞�
P(Ai|F)
2. Sei (E, E) ein Messraum, F ⊂ A und Y eine A-messbare Zufallsvariable mit Werten
in E. Folgendes wäre wünschenswert: es gibt eine Nullmenge N ∈ A, so dass für alle
ω /∈ N die Abbildung
A ↦→ P({Y ∈ A}|F)(ω)
ein Wahrscheinlichkeitsmaß ist.
Nach 1. ist zwar die σ-Additivität P-fast überall für eine bestimmte Folge disjunkter
Mengen A1, A2, ... gesichert, wir wissen jedoch nicht, ob die Ausnahmemenge N von der
Folge A1, A2, ... abhängt. Falls N universell gewählt werden kann, werden wir sagen, dass
eine reguläre Version der bedingten Verteilung von P gegeben F existiert. Bedingungen
hierfür werden wir in Theorem 3.14 kennenlernen.
def:stoKer Definition 3.12. 1. Seien (Ω, A und (Ω ′ , A ′ ) Messräume. Eine Abbildung κ : Ω × A ′ →
[0; 1] heißt stochastischer Kern oder Markovkern von (Ω, A) nach (Ω ′ , A ′ ), falls
i=1
(a) ω ↦→ κ(ω, A ′ ) ist A-messbar für alle A ′ ∈ A ′
(b) A ′ ↦→ κ(ω, A ′ ) ist ein Wahrscheinlichkeitsmaß auf (Ω ′ , A ′ ) für alle ω ∈ Ω
i=1

KAPITEL 3. DIE BEDINGTE ERWARTUNG 25
2. Sei (E, E) ein Messraum, Y eine messbare Zufallsvariable mit Werten in E und F ⊆
A. Ein stochastischer Kern κY,F von (Ω, F) nach (E, E) heißt reguläre Version der
bedingten Verteilung von Y , gegeben F, falls
für P-fast alle ω und jedes B ∈ E.
κY,F(ω, B) = P({Y ∈ B}|F)(ω)
3. Sei (E, r) ein metrischer Raum. Zur Erinnerung: (E, r) heißt vollständig, wenn jede
Cauchy-Folge konvergiert, und separabel, wenn es eine abzählbare, dichte Teilmenge
gibt.
rem:33 Bemerkung 3.13. 1. In Definition 3.12.1 reicht es, die Eigentschaft (a) nur für einen
durchschnittsstabilen Erzeuger von A ′ zu fordern. Es ist nämlich stets
D := {A ′ ∈ A ′ : ω ↦→ κ(ω, A ′ ) ist A-messbar}
ein Dynkin-System. Damit ist nach einem Satz aus der Wahrscheinlichkeitstheorie I die
durch den durchschnittsstabiler Erzeuger erzeugte σ-Algebra gleich A ′ .
2. Sei F = σ(X) für eine Zufallsvariable X in Definition 3.12.2. Ist dann κ Y,σ(X) eine reguläre
Version der bedingten Erwartung von Y gegeben σ(X), so ist ω ↦→ κ Y,σ(X)(ω, A ′ )
σ(X)-messbar für alle A ′ ∈ A ′ . Damit gibt es nach Korollar 3.7 eine σ(X) − B([0; 1])messbare
Abbildung ϕA ′ : Ω → [0; 1] mit ϕA ′ ◦ X = κ Y,σ(X)(., A ′ ). Wir setzen dann
κY,X(x, A ′ ) := ϕA ′(x)
und sagen κY,X ist die reguläre Version der bedingten Verteilung von Y gegeben X.
T:exRegBed Theorem 3.14 (Existenz der regulären Version der bedingten Verteilung). Sei (E, r) ein
vollständiger und separabler metrischer Raum, ausgestattet mit der Borel’schen σ-Algebra,
F ⊆ A eine σ-Algebra und Y eine A-messbare Zufallsvariable mit Werten in E. Dann existiert
eine reguläre Version der bedingten Verteilung von Y gegeben F.
Bevor wir das Theorem beweisen können, zitieren wir ein Hilfsresultat (Proposition 3.16)
über vollständige, separable metrische Räume.
Definition 3.15. 1. Zwei Messräume (Ω, A) und (Ω ′ , A ′ ) heißen isomorph, falls es eine
bijektive, A − A ′ -messbare Abbildung ϕ : Ω → Ω ′ gibt, so dass ϕ −1 A ′ − A-messbar ist.
2. Ein Messraum (Ω, A) heißt Borel’scher Raum, falls es eine Borel’sche Menge B ∈ B(R)
gibt, so dass (Ω, A) und (B, B(B)) isomorph sind.
P:polBor Proposition 3.16 (Polnische und Borel’sche Räume). Jeder vollständige und separable metrische
Raum (E, r), ausgestattet mit der Borel’schen σ-Algebra, ist ein Borel’scher Raum.
Beweis. Siehe etwa Dudley, Real analysis and probability, Theorem 13.1.1.
Beweis von Theorem 3.14. Wir beweisen das Theorem unter der schwächeren Voraussetzung,
dass E, ausgestattet mit der Borel’schen σ-Algebra, ein Borel’scher Raum ist. Œ können
wir also annehmen, dass E ∈ B(R) ist. Die Strategie unseres Beweises besteht darin, eine

KAPITEL 3. DIE BEDINGTE ERWARTUNG 26
Verteilungsfunktion der bedingten Verteilung zu finden, indem diese erst für rationale Werte
festgelegt wird, bevor sie auf alle reellen Zahlen fortgesetzt wird.
Für r ∈ Q sei Fr eine Version von P({Y ≤ r}|F). Sei A ∈ A so, dass für ω ∈ A die Abbildung
r ↦→ Fr(ω) nicht-fallend ist mit Grenzwerten 1 und 0 bei ±∞. Da A durch abzählbar
viele Bedingungen gegeben ist, die alle fast sicher erfüllt sind, folgt P(A) = 1. Definiere nun
für x ∈ R
Fx(ω) := 1A(ω) · inf
r>x Fr(ω) + 1A c(ω) · 1 {x≥0}.
Damit ist x ↦→ Fx(ω) für alle ω eine Verteilungsfunktion. Definiere
Für r ∈ Q und B = (−∞; r] ist
κ(ω, .) := Maß, das durch x ↦→ Fx(ω) definiert ist.
ω ↦→ κ(ω, B) = 1A(ω) · P({Y ≤ r}|F)(ω) + 1A c(ω) · 1 {r≥0} (3.4) eq:ex12
F-messbar. Da {(−∞; r] : r ∈ Q} ein durchschnittsstabiler Erzeuger von B(R) ist, ist nach
Bemerkung 3.13 die Abbildung ω ↦→ κ(ω, B) für alle B ∈ A messbar. Also ist κ ein stochastischer
Kern.
Es bleibt zu zeigen, dass κ eine reguläre Version der bedingten Verteilung ist. Da (3.4)
auf einem schnittstabilen Erzeuger von E gilt, gilt für ω ∈ A
κ(ω, B) = P({Y ∈ B}|F)(ω).
Mit anderen Worten, κ ist eine reguläre Version der bedingten Erwartung.

Kapitel 4
Einführung in stochastische
Prozesse
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, (E, r) ein metrischer Raum, E := B(E) und I eine
Indexmenge (meist I ⊆ Z oder I ⊆ R).
4.1 Definition und Existenz
Definition 4.1 (Stochastischer Prozess). 1. Sei X = (Xt)t∈I so, dass Xt : Ω → E A − Emessbar
ist. Dann heißt X ein E-wertiger stochastischer Prozess. Für ω ∈ Ω heißt die
Abbildung I ↦→ E, gegeben durch X(ω) : t ↦→ Xt(ω) ein Pfad von X.
2. Für J ⊆ I definieren wir für H ⊆ J ⊆ I die Projektion πJ H : EJ → EH , gegeben durch
πJ H ((xi)i∈J) = πJ((xi)i∈H). Außerdem setzen wir πJ := πI J und für t ∈ I und J = {t}
definieren wir πt := π {t}.
3. Ist in 1. der Wahrscheinlichkeitsraum Ω = E I und Xt = πt, so heißt X kanonischer
Prozess.
4. Für eine endliche Teilmenge J von I schreiben wir J ⋐ I.
Bemerkung 4.2. 1. In dieser Vorlesung wird meist I ⊆ Z sein. Stochastische Prozesse
in stetiger Zeit werden ausführlich in der Vorlesung Stochastische Prozesse behandelt
werden.
2. Zur Wiederholung: die Produkt-σ-Algebra auf dem Raum E I ist definiert als die kleinste
σ-Algebra, bzgl. der alle Projektionen πt, t ∈ I messbar sind. Insbesondere ist für einen
E-wertigen stochastischen Prozess X = (Xt)t∈I die Abbildung ω ↦→ X(ω) A − E I -
messbar.
P:eindPL Proposition 4.3. Seien PI, � PI Wahrscheinlichkeitsverteilungen auf E I . Dann ist PI = � PI
genau dann, wenn
für alle J ⋐ I.
(πJ)∗PI = (πJ)∗ � PI
27

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 28
Beweis. ’⇒’: klar.
’⇐’: Wir betrachten den durchschnittstabilen Erzeuger
von E I . Weiter ist für J ⋐ I, A ∈ E |J| ,
C := {π −1
J (A) : A ∈ E|J| ; J ⋐ I} ⊆ E I
PI(π −1
J (A)) = (πJ)∗PI(A) = (πJ)∗ � PI(A) = � PI(π −1
J (A)),
d.h. PI und � PI stimmen auf C überein. Nach Theorem 1.3 ist damit PI = � PI.
Bemerkung 4.4. Oftmals kann man die endlich-dimensionalen Verteilungen eines stochastischen
Prozesses definieren. (Beispielsweise wird man in der Vorlesung zu stochastischen
Prozessen die Brownsche Bewegung B = (Bt)t≥0 so definieren, dass für t ≥ s der Zuwachs
Bt − Bs nach N(0, t − s) verteilt und unabhängig von (Br)r≤s ist.) Um sicher zu stellen, dass
es zu diesen endlich-dimensionalen Verteilungen einen stochastischen Prozess gibt, benötigt
man das Theorem 4.7. Es ist zu beachten, dass endlich dimensionale Verteilungen von stochastischen
Prozessen immer projektiv sind; siehe die nächste Definition.
Definition 4.5 (Projektiver Limes). 1. Eine Familie von Wahrscheinlichkeitsmaßen (PJ :
J ⋐ I) heißt projektive Familie auf E, falls PJ für alle J ⋐ I ein Wahrscheinlichkeitsmaß
auf E J ist und
für alle H ⊆ J ⋐ I.
PH = (π J H)∗PJ
2. Existiert für eine projektive Familie (PJ : J ⋐ I) von Wahrscheinlichkeitsmaßen auf E
ein Wahrscheinlichkeitsmaß PI auf E I mit PJ = (πJ)∗PI für alle J ⋐ I, so heißt PI
projektiver Limes der projektiven Familie. Wir schreiben dann
PI = lim PJ.
Bemerkung 4.6. Zu jeder projektiven Familie {PJ : J ⋐ I} gibt es höchstens einen projektiven
Limes. Denn: seien PI und � PI zwei projektive Limiten, so stimmen deren endlich
dimensionale Verteilungen nach Definition des projektiven Limes überein, d.h. PI = � PI nach
Proposition 4.3. Inhalt des nächsten Theorems ist, dass es bei vollständigen und separablen
Räumen genau einen projektiven Limes gibt.
T:projLim Theorem 4.7 (Existenz von Prozessen, Kolmogoroff). Sei (E, r) vollständig und separabel
und (PJ : J ⋐ I) eine projektive Familie von Wahrscheinlichkeitsmaßen auf E. Dann gibt es
den projektiven Limes lim
←−J⋐I PJ.
rem:wt1a Bemerkung 4.8. Wir werden zwei Resultate aus der Wahrscheinlichkeitstheorie I verwenden
und wiederholen die zugrunde liegenden Definitionen:
1. Definition Kompaktes System: Ein durchschnittstabiles Mengensystem K heißt kompaktes
System, falls aus �
n≥1 Kn = ∅ mit K1, K2, ... ∈ K folgt, dass es ein N gibt mit
�N n=1 Kn = ∅.
←−
J⋐I

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 29
2. Definition Regulärer Inhalt: Sei K ein kompaktes System und µ ein Inhalt auf einem
Mengensystem R. Der Inhalt µ heißt von innen K−regulär, falls für alle A ∈ K
gilt.
µ(A) = sup
K∋K⊆A
µ(K)
3. Satz 11.4 aus der Wahrscheinlichkeitstheorie I: Sei H ein Halbring (∅ ∈ H, A, B ∈ H =⇒
A ∩ B ∈ H und es gibt paarweise disjunkte C1, ..., Cn mit A \ B = � Ci) und K ⊆ H ein
kompaktes System. Jeder von innen K-reguläre endliche Inhalt µ auf H ist σ−additiv,
d.h. ein Prämaß.
4. Lemma 11.5 aus der Wahrscheinlichkeitsthroeie I: Sei (E, r) vollständig und separabel
und E := B(E), K das Mengensystem der kompakten Mengen. Dann ist jedes endliche
Maß µ auf E von innen K-regulär.
Beweis. Sei
H := {π −1
J (× Aj) : J ⋐ I, Aj ∈ E}.
j∈J
und µ ein Inhalt auf H, definiert durch die projektive Familie mittels
� �
�
µ
= PJ .
π −1
J × Aj
j∈J
�
× Aj
j∈J
Man prüft nach, dass H ein Halbring und µ ein wohldefinierter Inhalt auf H ist. Weiter ist
K := {π −1�
�
J
Kj : J ⋐ I, Kj kompakt} ⊆ H
× j∈J
ein kompaktes System.
Wir zeigen nun, dass µ von innen K-regulär ist. Sei ε > 0, π −1�
�
J ×j∈J Aj ∈ H für J ⋐ I
und Aj ∈ E, j ∈ J. Da Pj für j ∈ I ein Maß ist, gibt es nach Bemerkung 4.8.4 kompakte
Mengen Kj ∈ E mit Kj ⊆ Aj und Pj(Aj \ Kj) ≤ ε. Damit ist
�
µ π −1�
� � � −1
J × Aj \ πJ × Kj
j∈J
j∈J
� �
= µ π −1
�
�
J (× Aj) \ (× Kj
j∈J j∈J
��
�� � � �
= PJ × Aj \ × Kj
j∈J j∈J
�
� �
≤ PJ (π J j ) −1 �
(Aj \ Kj)
≤ �
j∈J
j∈J
PJ
�
(π J j ) −1 �
(Aj \ Kj)
= �
Pj(Aj \ Kj)
j∈J
≤ |J|ε.
Da J endlich und ε > 0 beliebig war, ist also µ von innen K-regulär. Nach Bemerkung
4.8.3 ist µ also σ-additiv, d.h. ein Prämaß. Insbesondere lässt es sich eindeutig zu einem
Wahrscheinlichkeitsmaß PI auf σ(H) = E I fortsetzen.

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 30
Sei weiter Aj ∈ E, j ∈ J. Dann gilt für PI
(πJ)∗PI(×
j∈J
Aj) = PI(π −1
J (× Aj)) = µ(π
j∈J
−1
J × Aj) = PJ(× Aj),
j∈J
j∈J
d.h. (πJ)∗PI und PJ stimmen auf H und damit auf dem von H erzeugten Ring überein. Da
dieser durchschnittstabil ist, ist (πJ)∗PI = PJ nach Theorem 1.3 und PI ist der projektive
Limes der Familie (PJ : J ⋐ I).
4.2 Beispiel: der Poisson-Prozess
Wir betrachten (zum einzigen Mal in dieser Vorlesung) einen stochastischen Prozess mit
Indexmenge I = R+.
rem:poi1 Bemerkung 4.9. Unter Beobachtung stehen die Anzahl von Clicks eines Geigerzählers, Anrufe
in einer Telefonzentrale, Mutationsereignissen entlang von Ahnenlinien... Solche Vorgänge
wollen wir mit Hilfe eines stochastischen Prozesses X = (Xt)t∈I mit I = R+ modellieren. Dabei
sei Xt die Anzahl der Clicks/Anrufe/Mutationen bis zur Zeit t. An einen solchen Prozess
stellt man sinnvollerweise ein paar Annahmen:
1. Unabhängige Zuwächse: Ist 0 = t0 ≤ t1 < ... < tn, so ist (Xti − Xti−1 : i = 1, ..., n) eine
unabhängige Familie.
2. Identisch verteilte Zuwächse: Ist 0 < t1 < t2, so ist Xt2
− Xt1
3. Keine Doppelpunkte: Es ist lim sup ε→0 1
ε P[Xε − X0 > 1] = 0
d
= Xt2−t1 − X0.
def:poiP Definition 4.10 (Poisson-Prozess). Ein reellwertiger stochastischer Prozess X = (Xt)t∈I
mit X0 = 0 heißt Poisson-Prozess mit Intensität λ, wenn folgendes gilt:
1. Für 0 = t0 < ... < tn ist die Familie (Xti − Xti−1 : i = 1, ..., n) unabhängig.
2. Für 0 ≤ t1 < t2 ist Xt2 − Xt1 ∼ Poi(λ(t2 − t1)).
Proposition 4.11 (Existenz von Poisson-Prozessen). Sei λ ≥ 0. Dann gibt es genau eine
Verteilung PI auf (B(R)) I , so dass der bzgl. PI kanonische Prozess ein Poisson-Prozess mit
Intensität λ ist.
Beweis. Zunächst zur Eindeutigkeit: die endlich-dimensionalen Randverteilungen von PI sind
durch 1. und 2. aus Definition 4.10 eindeutig festgelegt. Deswegen folgt die Eindeutigkeit aus
Proposition 4.3.
Zur Existenz definieren wir den Poisson-Prozess als projektiven Limes. Für J = {t1, ..., tn} ⋐
I mit 0 = t0 ≤ t1 < ... < tn setzen wir für x0 = 0
Weiter ist
S n : (x1 − x0, ..., xn − xn−1) ↦→ (x1, ..., xn).
PJ := S n ∗
n�
Poi(λ(ti − ti−1)). (4.1) eq:poi1
i=1

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 31
Mit anderen Worten: sind Yti−ti−1 für i = 1, ..., n unabhängig Poisson-verteilt mit Parameter
λ(ti − ti−1), dann ist Sn (Y (t1−t0), ..., Ytn−tn−1)) ∼ PJ.
Wir zeigen nun, dass die Familie (PJ : J ⋐ I) projektiv ist: sei J = {t1, ..., tn} wie oben
und H = J \ {ti} für ein i. Dann ist
und damit
Poi(λ(ti+1 − ti)) ∗ Poi(λ(ti − ti−1)) = Poi(λ(ti+1 − ti−1))
(π J H)∗PJ = (π J H ◦ S n )∗
j=1
n�
Poi(λ(tj − tj−1)) = PH.
Nach Theorem 4.7 gibt es den projektiven limes PI. Betrachten wir den bzgl. PI kanonischen
Prozess X = (Xt)t∈I, so hat dieser die endlich-dimensionalen Verteilungen (PJ : J ⋐ I).
Insbesondere sind wegen (10.2) Zuwächse unabhängig und Poisson-verteilt. Damit erfüllt X
die Bedingungen 1. und 2. aus Definition 4.10.
Proposition 4.12 (Charakterisierung von Poisson-Prozessen). Ein nicht-fallender Prozess
X = (Xt)t∈I mit X0 = 0 und Werten in Z+ ist genau dann ein Poissonprozess mit Intensität
λ, falls λ := E[X1 − X0] < ∞ und 1.-3. aus Bemerkung 4.9 erfüllt sind.
Beweis. ’⇐’: 1. und 2. aus Bemerkung 4.9 sind klar erfüllt. Für 3. berechnen wir direkt
1
εP[Xε > 1] = 1 − e−λε (1 + λε) 1 − (1 − λε)(1 + λε) ε→0
≤ −−→ 0.
ε
ε
’⇒’: Es ist 1. aus Definition 4.10 erfüllt. Bleibt zu zeigen, dass Xt ∼ Poi(λt) ist. Sei hierzu
für n ∈ N, k = 1, ..., n,
Z n k := (Xtk/n − Xt(k−1)/n) ∧ 1, X n n�
t = Z n k .
gibt an, ob im Intervall (t(k − 1)/n; tk/n] mindestens ein Sprung stattgefunden
Das heißt, Zn k
hat. Dann gilt, da Xn t monoton in n ist,
P[ lim
n→∞ Xn t �= Xt] = lim
n→∞ P[Xn t �= X]
k=1
= lim
n→∞ P[Xtk/n − Xt(k−1)/n > 1 für ein k]
n�
≤ lim P[Xtk/n − Xt(k−1)/n > 1]
n→∞
k=1
= lim
n→∞ nP[Xt/n > 1] n→∞
−−−→ 0
nach 3. Weiter ist Xn t binomialverteilt mit n und Erfolgswahrscheinlichkeit pn := P[Xt/n > 0].
Wegen der Linearität der Abbildung t ↦→ E[Xt] und, da Xn t ↑ Xt, folgt mit dem Satz über die
monotone Konvergenz,
λt = E[Xt] = lim
n→∞ E[Xn t ] = lim
n→∞ npn.
Durch eine Poisson-Approximation gilt nun
P[Xt = k] = lim
n→∞ P[Xn t = k] − P[X n t = k; Xt �= X n t ] + P[Xt = k; Xt �= X n t ]
= lim
n→∞ P[Xn t = k] = Poi(λt)(k),
d.h. Xt ∼ Poi(λt) und die Behauptung folgt.

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 32
P:poi1 Proposition 4.13 (Konstruktion mittels Exponentialverteilungen). Seien S1, S2, ... unabhängig,
exponentialverteilt mit Parameter λ. Weiter sei X = (Xt)t∈I gegeben durch
Xt := max{i : S1 + ... + Si < t}
mit max ∅ = 0. Dann ist X ein Poisson-Prozess mit Intensität λ.
Beweis. Wir müssen zeigen, dass für 0 = t0 < ... < tn, k1, ..., kn ∈ N
P[Xt1 − Xt0 = k1, ..., Xtn − Xtn−1 = kn] =
n�
Poi(α(tj − tj−1))(kj)
gilt. Dies werden wir nur für den Fall n = 2 ausrechnen, der allgemeine Fall folgt analog.
Sei in der folgenden Rechnung 0 ≤ s < t und U1, U2, ... uniform verteilte Zufallsvariablen auf
[0, t]. Wir berechnen
P[Xs − Xt0 = k, Xt − Xs = ℓ]
=
� s � s
0
= λ k+ℓ
s1
· · ·
� s
� s � s
0
s1
sk−1
� t � t
s
� s
· · ·
sk−1
sk+1
� t � t
s
� t
· · ·
sk+1
sk+ℓ−1
� t
· · ·
� ∞
t
sk+ℓ−1
j=1
λ k+ℓ+1 e −λs1 e −λ(s2−s1) · · ·
� � ∞
= e −λt λ k+ℓ t k+ℓ P[U1 < ... < Uk < s < Uk+1 < ... < Uk+ℓ]
= e −λt λ ℓ t ℓ
� �
k + ℓ
�s �k� t − s
�ℓ 1
k t t (k + ℓ)!
−λs (λs)k −λ(t−s) (λ(t − s))ℓ
= e · e ,
k!
ℓ!
woraus die Behauptung folgt.
t
· · · e −λ(sk+ℓ+1−sk+ℓ)
dsk+ℓ+1...ds1
�
dsk+ℓ · · · ds1
λe −λsk+ℓ+1 dsk+ℓ+1
Beispiel 4.14 (Links- und rechtsstetiger Poisson-Prozess). Sei, ähnlich wie in Proposition
4.13, der stochastische Prozess Y = (Yt)t∈I gegeben durch
Yt := max{i : S1 + ... + Si ≤ t}.
Realisierungen der Prozesse X aus Proposition 4.13 und Y sind in Abbildung 4.1 zu sehen.
Die beiden Prozesse unterschieden sich dadurch, dass X rechtsstetig und Y linksstetig ist.
Allerdings sind beide Prozesse Poisson-Prozesse mit Intensität λ, wie man sich leicht überzeugt.
Insbesondere haben beide Prozesse dieselben endlich dimensionalen Verteilungen, nach
Proposition 4.3 also auch dieselben Verteilungen auf R I . Wie man an diesem Beispiel sieht,
können zwei Prozesse mit derselben Verteilungen völlig unterschiedliche Pfade besitzen.
4.3 Filtrationen und Stoppzeiten
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, I ⊆ R und F = (Ft)t∈I eine Filtration (siehe
Definition 4.15).
Def:filtr Definition 4.15 (Filtrationen, Stoppzeiten). Sei X = (Xt)t∈I ein stochastischer Prozess.

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 33
Xt
0 1 2 3 4 5 6
●
●
●
0 2 4 6 8 10
t
●
●
●
Yt
0 1 2 3 4 5 6
●
●
●
0 2 4 6 8 10
Abbildung 4.1: Der fig:poi rechtsstetige Poisson-Prozess X und der linksstetige Poisson-Prozess Y .
1. Eine Filtration F = (Ft)t∈I ist eine nicht-fallende Familie von σ-Algebren, d.h. Fs ⊆ Ft
für s ≤ t.
Sei nun F = (Ft)t∈I eine Filtration.
2. Der Prozess X heißt an F adaptiert, falls Xt Ft-messbar ist für alle t ∈ I.
3. Die Filtration F = (Ft)t∈I mit Ft = σ(Xs : s ≤ t) heißt die von X erzeugte Filtration.
4. Eine zufällige Zeit ist eine Zufallsvariable in Ī (dem Abschluss von I). Eine zufällige
Zeit T heißt (F-)Stoppzeit falls {T ≤ t} ∈ Ft für alle t ∈ I.
5. Jede Stoppzeit T definiert die σ-Algebra
der T -Vergangenheit.
FT := {A ∈ A : A ∩ {T ≤ t} ∈ Ft, t ∈ I}
6. Für eine zufällige Zeit T ist XT definiert durch ω ↦→ X T (ω)(ω). Weiter ist X T :=
(XT ∧t)t∈I der bei T gestoppte Prozess.
7. Sei 0 < p < ∞. Ein reellwertiger Prozess X heißt p-fach integrierbar, falls E[|Xt| p ] <
∞, t ∈ I.
8. Sei I = {0, 1, 2, ...}. Der Prozess X heißt F-prävisibel, falls X0 = 0 und Xt Ft−1-messbar
ist.
rem:TB Bemerkung 4.16. 1. Sei (E, r) ein metrischer Raum. Für einen stochastischen Prozess
X = (Xt)t=0,1,2,... und B ⊆ E ist
TB := inf{t : Xt ∈ B}
eine Stoppzeit. Denn es ist schließlich
{TB ≤ t} = �
{Xs ∈ B} ∈ Ft.
s≤t
t
●
●
●

KAPITEL 4. EINFÜHRUNG IN STOCHASTISCHE PROZESSE 34
2. Für überabzählbares I, einen stochastischen Prozess X = (Xt)t∈I und eine F-Stoppzeit
T ist die Größe XT nicht notwendigerweise FT -messbar. Für abzählbares I jedoch schon;
siehe Lemma 4.19.
Lemma 4.17. 1. Jede Zeit T = s ∈ I ist eine Stoppzeit
2. Für Stoppzeiten S, T sind auch S ∧ T, S ∨ T Stoppzeiten.
3. Für Stoppzeiten S, T ≥ 0 ist S + T eine Stoppzeit.
Beweis. 1. Für t ∈ I ist {s ≤ t} ∈ {∅, Ω} ⊆ Ft, d.h. T = s ist eine Stoppzeit.
2. Für t ∈ I ist {S ∧ T ≤ t} = {S ≤ t} ∪ {T ≤ t} ∈ Ft und {S ∨ T ≤ t} = {S ≤ t} ∩ {T ≤
t} ∈ Ft.
3. Sei t ∈ I. Es sind S ∧ t und T ∧ t Stoppzeiten, d.h. für s ≤ t ist {S ∧ t ≤ s} ∈ Fs ⊆ Ft. Für
s > t ist {S ∧ t ≤ s} = Ω ∈ Ft, d.h. S ∧ t ist Ft-messbar. Analog folgt, dass T ∧ t Ft-messbar
ist. Weiter ist 1 {S>t}, 1 {T >t} Ft-messbar. Setzen wir S ′ = S ∧ t + 1 {S>t}, T ′ = T ∧ t + 1 {T >t},
so ist S ′ + T ′ Ft-messbar und es gilt {S + T ≤ t} = {S ′ + T ′ ≤ t} ∈ Ft.
Lemma 4.18. 1. Jede Stoppzeit T ist FT -messbar.
2. Für Stoppzeiten S, T mit S ≤ T ist FS ⊆ FT .
Beweis. 1. Da T eine Stoppzeit ist, ist {T ≤ t} ∈ Ft. Nach Definition von FT bedeutet das
{T ≤ t} ∈ FT . Da H := {(−∞; t] : t ∈ R} ein Erzeuger von B(R) sind, folgt die Behauptung.
2. Sei A ∈ FS und t ∈ I. Wegen B := A ∩ {S ≤ t} ∈ Ft ist
d.h. A ∈ FT .
A ∩ {T ≤ t} = B ∩ {T ≤ t} ∈ Ft,
L:XTmessbar Lemma 4.19. Ist I höchstens abzählbar und (E, r) ein metrischer Raum. Für einen adaptierten
Prozess X = (Xt)t=0,1,2,... und eine Stoppzeit T ist XT FT -messbar.
Beweis. Es gilt für B ∈ B(E)
{XT ∈ B} ∩ {T ≤ t} = �
{Xs ∈ B, T = s} ∈ Ft
und damit {Xt ∈ B} ∈ FT . Daraus folgt die Behauptung.
s≤t

Kapitel 5
Martingale
5.1 Definition und Eigenschaften
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, I ⊆ R eine Indexmenge und F = (Ft)t∈I eine
Filtration.
Bemerkung 5.1. Für eine A-messbare Zufallsvariable X kann man einen stochastischen
Prozess definieren, nämlich (Xt)t∈I mit
Natürlich ist dann, wegen Theorem 3.2.7
Xt := E[X|Ft]. (5.1) eq:mart1
E[Xt|Fs] = E[E[X|Ft]|Fs] = E[X|Fs] = Xs.
Stochastische Prozesse X mit der Eigenschaft werden wir Martingale nennen. In Abschnitt
6 wird es dann (unter anderem) darum gehen, wann es zu einem Martingal (Xt)t∈I eine
Zufallsvariable X gibt, so dass (5.1) gilt.
Definition 5.2. Sei X = (Xt)t∈I ein adaptierter, reellwertiger stochastischer Prozess mit
E[|Xt|] < ∞, t ∈ I. Dann heißt X
Martingal, falls E[Xt|Fs] = Xs für s, t ∈ I, s < t,
Submartingal, falls E[Xt|Fs] ≥ Xs für s, t ∈ I, s < t,
Supermartingal, falls E[Xt|Fs] ≤ Xs für s, t ∈ I, s < t.
Genauer sagen wir dass X ein F-(Sub, Super)-Martingal ist.
ex:mart Beispiel 5.3. 1. Sei X1, X2, ... eine Folge unabhängiger, integrierbarer Zufallsvariablen
mit E[Xi] = 0, i = 1, 2, ... und Ft := σ(X1, ..., Xn). Weiter sei S0 := 0 und für t = 1, 2, ...
Dann ist
St :=
t�
Xi.
i=1
E[St|Ft−1] = E[St−1 + Xt|Ft−1] = St−1 + E[Xt|Ft−1] = St−1 + E[Xt] = St−1,
d.h. (St)t=0,1,2,... ist ein Martingal.
Falls E[Xi] ≥ 0 für alle i = 1, 2, ..., so ist (St)t≥0 ein Submartingal.
35

KAPITEL 5. MARTINGALE 36
2. Sei X1, X2, ... eine Folge unabhängiger, integrierbarer Zufallsvariablen mit E[Xi] = 1, i =
1, 2, ... und Ft := σ(X1, ..., Xn). Weiter ist S0 := 1 und für t = 1, 2, ...
St :=
Dann ist, falls S1, S2, ... integrierbar sind,
t�
Xi.
i=1
E[St|Ft−1] = E[St−1Xt|Ft−1] = St−1 · E[Xt|Ft−1] = St−1 · E[Xt] = St−1,
d.h. (St)t=0,1,2,... ist ein Martingal.
Falls E[Xi] ≥ 1 für alle i = 1, 2, ..., so ist (St)t≥0 ein Submartingal.
3. Sei I = {−1, −2, ...} und X1, X2, ... integrierbar, unabhängig, identisch verteilte Zufallsvariablen.
Weiter setzen wir für t ∈ I
St := 1
|t|
und Ft := σ(..., St−1, St). Dann ist für t ∈ I
nach Beispiel 3.8. Speziell ist
�
1
E[St|Ft−1] = E
|t|
= 1
|t|
�
= E
|t|
�
i=1
X1
|t|
�
i=1
|t|
�
i=1
�
E
Xi
�
�
Xi�St−1,
St−2, ...
Xi
� |t|+1
� �
�
i=1
= 1
|t−1| �
|t − 1|
= St−1
�
E[X1|Ft] = E
= 1
|t|
= St.
i=1
X1
� |t|+1
� �
�
Xi
Xi
i=1
�
� |t|
�
�
�
P:phiM Proposition 5.4. Sei X = (Xt)t∈I ein stochastischer Prozess und ϕ : R → R konvex. Falls
ϕ(X) = (ϕ(Xt))t∈I integrierbar ist und eine der beiden Bedingungen
1. X ist ein Martingal
|t|
�
i=1
i=1
Xi
Xi
Xi
�
�
�

KAPITEL 5. MARTINGALE 37
2. X ist ein Submartingal und ϕ ist nicht-fallend
erfüllt ist, so ist ϕ(X) = (ϕ(Xt))t∈I ein Submartingal.
Beweis. Ist X ein Martingal so ist ϕ(Xs) = ϕ(E[Xt|Fs]). Ist X ein Submartingal und ϕ
nicht-fallend, gilt ϕ(Xs) ≤ ϕ(E[Xt|Fs]). In beiden Fällen ist damit für s ≤ t fast sicher wegen
der Jensen’schen Ungleichung für bedingte Erwartungen, Proposition 3.4, dass
d.h. ϕ(X) ist ein Submartingal.
ϕ(Xs) ≤ ϕ(E[Xt|Fs]) ≤ E[ϕ(Xt)|Fs],
P:doobZerl Proposition 5.5 (Doob-Zerlegung). Sei I = {0, 1, 2, ...}. Jeder adaptierte Prozess X =
(Xt)t∈I hat eine fast sicher eindeutige Zerlegung X = M + A, wobei M ein Martingal und A
prävisibel ist. Insbesondere ist X genau dann ein Submartingal falls A fast sicher nicht fällt.
Beweis. Definiere den prävisiblen Prozess A = (At)t∈I durch
At =
t�
E[Xs − Xs−1|Fs−1]. (5.2) eq:doob1
s=1
Dann ist M = X − A ein Martingal, denn
E[Mt − Mt−1|Ft−1] = E[Xt − Xt−1|Ft−1] − (At − At−1) = 0.
Kommen wir zur Eindeutigkeit der Darstellung. Falls X = M + A für ein Martingal M und
einen prävisiblen Prozess A, so ist At − At−1 = E[Xt − Xt−1|Ft−1] für alle t = 1, 2, ..., d.h.
(5.2) gilt fast sicher.
Definition 5.6. Sei I = {0, 1, 2, ...} und X = (Xt)t∈I ein quadratisch integrierbares Martingal.
Der fast sicher eindeutig bestimmte, prävisible Prozess (〈X〉t)t∈I, für den (X 2 t − 〈X〉t)t∈I
ein Martingal ist, heißt der quadratische Variationsprozess von X.
Bemerkung 5.7. Da wegen Proposition 5.4 der Prozess (X 2 t )t∈I ein Submartingal ist, nennt
man (〈X〉t)t∈I auch den wachsenden Prozess von X.
Proposition 5.8. Sei I = {0, 1, 2, ...}, X = (Xt)t∈I ein Martingal mit quadratischem Variationsprozess
〈X〉 = (〈X〉t)t∈I. Dann ist
und
〈X〉t =
t�
E[X 2 s − X 2 s−1|Fs−1] =
s=1
t�
E[(Xs − Xs−1) 2 |Fs−1]
s=1
E[〈X〉t] = V[Xt − X0].
Beweis. Wie im Beweis von Proposition 5.5 kann man den Prozess 〈X〉 mittels (5.2) schreiben.
Daraus folgt sofort das erste Gleichheitszeichen. Das zweite folgt, da E[XsXs−1|Fs−1] = X 2 s−1 .
Weiter ist
E[〈X〉t] =
t�
E[X 2 s − X 2 s−1] = E[X 2 t − X 2 0] = E[(Xt − X0) 2 ] = V[Xt − X0].
s=1

KAPITEL 5. MARTINGALE 38
Beispiel 5.9. 1. Sei S = (St)∈I mit St = � t
s=1 Xs wie in Beispiel 5.3.1 mit quadratische
integrierbaren Zufallsvariablen X1, X2, .... Dann ist nach der letzten Poposition
〈S〉t =
t�
E[X 2 s ].
Insbesondere ist der quadratische Variationsprozess von S deterministisch.
s=1
2. Sei S = (St)∈I mit St = � t
s=1 Xs wie in Beispiel 5.3.2 mit quadratische integrierbaren
Zufallsvariablen X1, X2, .... Dann ist
〈S〉t =
t�
E[(Ss − Ss−1) 2 |Fs−1] =
s=1
t�
S 2 s−1E[(Xs − 1) 2 |Fs−1] =
Insbesondere ist in diesem Beispiel der Prozess 〈S〉s echt stochastisch.
5.2 Stochastisches Integral
s=1
t�
S 2 s−1V[Xs].
Definition 5.10 (Diskretes stochastisches Integral). Sei I = {0, 1, 2, ...} und H = (Ht)t∈I, X =
(Xt)t∈I stochastische Prozesse mit Werten in R. Ist X adaptiert und H prävisibel, so definieren
wir das stochastische Integral H · X = ((H · X)t)t∈I durch
(H · X)t =
t�
Hs(Xs − Xs−1)
s=1
für alle t ∈ I. Ist X ein Martingal, so nennen wir H · X eine Martingaltransformierte von X.
P:stoInt Proposition 5.11 (Stabilität der stochastischen Integrale). Sei I = {0, 1, 2, ...} und X =
(Xt)t∈I ein adaptierter, reellwertiger Prozess mit E[|X0|] < ∞.
1. X ist genau dann ein Martingal, wenn für jeden prävisiblen Prozess H = (Ht)t∈I das
stochastische Integral H · X ein Martingal ist.
2. X ist genau dann ein Submartingal (Supermartingal), wenn für jeden prävisiblen, nichtnegativen
Prozess H = (Ht)t∈I das stochastische Integral H · X ein Submartingal (Supermartingal)
ist.
Beweis. 1. ’⇒’: Man schreibt sofort
E[(H · X)t+1 − (H · X)t|Ft] = E[Ht+1(Xt+1 − Xt)|Ft]
= Ht+1E[Xt+1 − Xt|Ft]
’⇐’: Sei t ∈ I und Hs := 1 {s=t}. Dann ist H = (Hs)s∈I deterministisch, insbesondere prävisibel.
Da (H · X)t−1 = 0 gilt, folgt
= 0.
0 = E[(H · X)t|Ft−1] = E[Xt − Xt−1|Ft−1] = E[Xt|Ft−1] − Xt−1
Daraus folgt die Behauptung.
2. folgt analog.
s=1

KAPITEL 5. MARTINGALE 39
Beispiel 5.12. Martingaltransformierte kann man auch als Auszahlungen von Spielsystemen
interpretieren. Gegeben, eine zufällige Größe entwickelt sich gemäß des adaptierten Prozesses
X = (Xt)t=0,1,2,.... Wettet man vor Zeit t mit einem Einsatz Ht (basierend auf den Erfahrungen,
die aus X0, ..., Xt−1 gewonnen wurden) auf die Änderung der zufälligen Größe Xt −Xt−1,
so ist (H · X)t der bis zur Zeit t realisierte Gewinn. Gegeben der zugrunde liegende Prozess
X ist ein Martingal, zeigt Proposition 5.11, dass der erzielte Gewinn H · X für jede Strategie
H ein Martingal ist. Insbesondere ist der erwartete Gewinn 0.
Als Beispiel betrachten wie das Petersburger Paradoxon: eine faire Münze wird unendlich
oft geworfen. In jeder Runde setzt ein Spieler einen Einsatz in beliebiger Höhe. Kommt Kopf,
verliert er ihn, kommt Zahl, so wird der Einsatz verdoppelt wieder ausbezahlt. Das Paradox
besteht aus folgender Strategie: startend mit einem Einsatz von 1 beim ersten Münzwurf,
verdoppelt der Spieler bei jedem Misserfolg seinen Einsatz. Kommt der erste Erfolg im t-ten
Wurf, so beträgt sein bisheriger Einsatz �t i=1 2i−1 = 2t − 1. Da der letzte Einsatz 2t−1war, bekommt der Spieler also 2t zurück, hat also sicher einen Gewinn von 1 gemacht, obwohl das
Spiel fair war.
Um dieses Spiel mittels Martingalen zu analysieren, sei X1, X2, ... eine unabhängig, identisch
verteilte Folge mit P[X1 = −1] = P[X1 = 1] = 1
2 , und S0 = 0, St = �t i=1 Xi. Dann ist
S = (St)t=0,1,2,... ein Martingal. Weiter sei Ht der Einsatz im t-ten Spiel. Dann ist
(H · S)t =
t�
Hi(Si − Si−1) =
i=1
t�
i=1
HiXi
der Gewinn nach dem t-ten Spiel. Da mit S auch H · S ein Martingal ist, gilt
lim
t→∞ E[(H · S)t] = E[(S · H)1] = E[X1] = 0,
d.h. der mittlere Gewinn nach langer Zeit ist 0, unabhängig von der Strategie H. Oben haben
wir den Einsatz
Ht := 2 t−1 1 {St−1=−(t−1)} (5.3) eq:H
betrachtet und gezeigt, dass für den Gewinn (H · S)t t→∞
−−−→fs 1 gilt.
Wie bewerten wir nun die Strategie (5.3)? Sei T die zufällige Zeit des Gewinns, d.h. T ist
. Insbesondere ist T fast sicher endlich. Dann ist
geometrisch verteilt mit Parameter 1
2
� �∞
E
t=1
Ht
�
=
∞�
k=1
1
2 k (2k − 1) = ∞,
d.h. für die obige Strategie benötigt man unter Umständen sehr viel Kapital.
5.3 Optional Stopping und Optional Sampling
P:optStop Proposition 5.13 (Optional Stopping). Sei I = {0, 1, 2, ...} und X = (Xt)t∈I ein (Sub,
Super)-Martingal und T eine fast sicher endliche Stoppzeit. Dann ist X T = (XT ∧t)t∈I ein
(Sub, Super)-Martingal.

KAPITEL 5. MARTINGALE 40
Beweis. Wir zeigen die Aussage nur für den Fall, dass X ein Submartingal ist. Die anderen
Aussagen ergeben sich aus Symmetriegründen. Für ein Submartingal X und {T > t−1} ∈ Ft
ist
d.h. X T ist ein Submartingal.
E[XT ∧t − X T ∧(t−1)|Ft−1] = E[(Xt − Xt−1)1 {T >t−1}|Ft−1]
= 1 {T >t−1}E[Xt − Xt−1|Ft−1] ≥ 0,
L:optsam1 Lemma 5.14. Sei I = {0, 1, 2, ...}, X = (Xt)t∈I ein Martingal und T eine durch t beschränkte
Stoppzeit. Dann gilt XT = E[Xt|FT ].
Beweis. Nach der Definition der bedingten Erwartung und da XT FT -messbar ist (siehe
Lemma 4.19), müssen wir zeigen, dass E[Xt; A] = E[XT ; A] für A ∈ FT gilt. Es ist {T =
s} ∩ A ∈ Fs für s ∈ I, also
E[XT ; A] =
=
=
t�
E[Xs; {T = s} ∩ A]
s=1
t�
E[E[Xt|Fs]; {T = s} ∩ A]
s=1
t�
E[Xt; {T = s} ∩ A]
s=1
= E[Xt; A].
T:OptSam Theorem 5.15 (Optional Sampling Theorem). Sei I = {0, 1, 2, ...}, S ≤ T fast sicher endliche
Stoppzeiten und X = (Xt)t∈I ein Supermartingal. Ist entweder T beschränkt oder X
gleichgradig integrierbar, so ist XT integrierbar und XS ≥ E[XT |FS].
Der Beweis verläuft in drei Schritten. Zunächst zeigen wir das Theorem für beschränktes T .
Danach beweisen wir Lemma 5.16, siehe unten. Am Schluss folgt der Beweis von Theorem
5.15 im Falle eines gleichgradig integrierbaren Supermartingals.
l:hilfOpt Lemma 5.16. Sei I = {0, 1, 2, ...}. Ein Martingal X = (Xt)t∈I ist genau dann gleichgradig
integrierbar, wenn die Familie {XT : T fast sicher endliche Stoppzeit} gleichgradig integrierbar
ist.
Beweis von Theorem 5.15 für beschränkte Stoppzeiten. Sei also T ≤ t für t ∈ I. Wir verwenden
die Doob-Zerlegung X = M + A von X in das Martingal M und den monoton
nicht-wachsenden Prozess A. Dann ist mit Lemma 5.14 und FS ⊆ FT nach Theorem 3.2.7
XS = MS + AS = E[Mt + AS|FS]
≥ E[Mt + AT |FS]
= E[E[Mt|FT ] + AT |FS]
= E[MT + AT |FS]
= E[XT |FS].

KAPITEL 5. MARTINGALE 41
Beweis von Lemma 5.16. ’⇐’: klar.
x→∞
−−−→ ∞ und
’⇒’: Nach Lemma 2.13 gibt es eine konvexe Funktion f : R+ → R+ mit f(x)
x
supt∈I E[f(|Xt|)] =: L < ∞. Sei T eine fast sicher endliche Stoppzeit, dann ist nach dem
Optional Sampling Theorem (angewendet auf die fast sicher endlichen Stoppzeiten S = T ∧ t
und T = t) E[Xt|FT ∧t] = XT ∧t. Da {T ≤ t} ∈ FT ∧t folgt mit der Jensen’schen Ungleichung
E[f(|XT |); {T ≤ t}] = E[f(|XT ∧t|); {T ≤ t}]
= E[f(|E[Xt|FT ∧t]|); {T ≤ t}]
≤ E[E[f(|Xt|)|FT ∧t]; {T ≤ t}]
= E[f(|Xt|); {T ≤ t}] ≤ L.
Damit ist E[f(|XT |)] ≤ L, d.h. die Behauptung folgt mit Lemma 2.13.
Beweis von Theorem 5.15 im allgemeinen Fall. Sei X = M + A die Doob-Zerlegung von X
in das Martingal M und den nicht-wachsenden vorhersagbaren Prozess A ≤ 0 mit A0 = 0.
Da
E[|At|] = E[−At] = E[X0 − Xt] ≤ E[|X0|] + sup E[|Xs|]
s∈I
gilt At ↓ A∞ für ein A∞ ≤ 0 mit E[−A∞] < ∞. Mit Lemma 2.13 kann man folgern, dass
auch M gleichgradig integrierbar ist.
Wir wenden nun das Optional Sampling Theorem auf S ∧ t, T ∧ t und M an. Für A ∈ FS
ist {S ≤ t} ∩ A ∈ FS∧t, also
E[MT ∧t; {S ≤ t} ∩ A] = E[E[MT ∧t|FS∧t]; {S ≤ t} ∩ A] = E[MS∧t; {S ≤ t} ∩ A].
Da nach Lemma 5.16 die Menge {XS∧t, XT ∧t : t ∈ I} gleichgradig integrierbar ist, gilt mit
Theorem 2.15
E[MT ; A] = lim
t→∞ E[MT ∧t; {S ≤ t} ∩ A] = lim
t→∞ E[MS∧t; {S ≤ t} ∩ A] = lim
t→∞ E[MS; A],
d.h. E[MT |FS] = MS. Ferner folgt
E[XT |FS] = E[MT |FS] + AS + E[AT − AS|FS] ≤ MS + AS = XS.
Beispiel 5.17 (Wald’sche Identitäten, Ruin-Problem). 1. Seien X1, X2, ... ∈ L1 unabhängig
mit µ := E[X1] = E[X2] = ..., und St := �t s=1 Xi. Weiter ist T eine fast sicher endliche
Stoppzeit. Dann gilt die erste Wald’sche Identität
E[ST ] = E[T ]µ.
Denn: der Prozess M = (Mt)t=0,1,2,... mit M0 = 0, Mt = St − tµ für t = 1, 2, ... ist ein
Martingal, und nach dem Optional Sampling Theorem
0 = E[MT ] = E[ST ] − E[T ]µ.
Ist außerdem X1, X2, ... ∈ L 2 mit σ 2 = V[X1] = V[X2] = ... und T unabhängig von
X1, X2, ..., so gilt die zweite Wald’sche Identität
V[ST ] = E[T ]σ 2 + V[T ]µ 2 .

KAPITEL 5. MARTINGALE 42
Denn: (M 2 t − 〈M〉t)t=0,1,2,... ist ein Martingal, und 〈M〉t = tσ 2 , also
0 = E[M 2 T − 〈M〉T ] = E[M 2 T ] − E[T ]σ 2 .
Außerdem ist wegen der Unabhängigkeit von T und X1, X2, ...
E[M 2 T ] = V[ST − T µ] = V[ST ] + µ 2 V[T ] − 2µCOV[ST , T ] = V[ST ] − µ 2 V[T ].
In allen beiden Wald’schen Identitäten kann man die Voraussetzung, dass T endlich ist,
abschwächen.
2. Seien k ∈ N und X1, X2, ... unabhängige, identisch verteilte Zufallsvariablen mit P[X1 =
1] = 1 − P[X1 = −1] = p := 1 − q. Für N ∈ N mit 0 < k < N sei S0 = k und
St = S0 + � t
i=1 Xi. Weiter sei T := inf{t : St ∈ {0, N}}. Wir berechnen nun mittels des
Optional Sampling Theorems für p �= 1
2
pk := P[ST = 0] =
� q
p
� k − � q
1 − � q
p
�N p
� N . (5.4) eq:exOptSam1
Das bedeutet: man spielt ein Spiel, startend mit Kapital k, bis man entweder ruiniert
ist oder Kapital N besitzt. In jedem Schritt gewinnt man mit Wahrscheinlichkeit p eine
Kapitaleinheit und verliert mit Wahrscheinlichkeit q = 1 − p eine Kapitaleinheit. Dann
ist die Wahrscheinlichkeit, ruiniert zu werden (0 Kapitaleinheiten zu besitzen), gegeben
durch pk.
Denn: es gilt
��
q
�X1 E
p
�
= q
p
p
p + q = 1
q
� �St q
p
und damit ist Y = (Yt)t=0,1,2,..., definiert durch Yt := nach Beispiel 5.3.2 ein
Martingal. Da T fast sicher endlich ist, ist YT ∧t wegen Proposition 5.13 ein Martingal,
das durch 1 und
woraus (5.4) folgt.
� �N q
p
beschränkt ist. Wegen Theorem 5.15 ist
�
q
�k �
q
�N = E[YT ] = pk + (1 − pk) ,
p
p
3. Betrachten wir einen fairen Münzwurf. Wie lange dauert es, bis zum ersten Mal das
Muster ZKZK auftritt? (K und Z stehen hier für Kopf und Zahl.)
Um dies zu berechnen, betrachten wir das folgende Spiel: vor dem ersten Münzwurf
wettet eine Spielerin einen Euro auf Z. Falls sie verliert, hört sie auf, falls sie gewinnt,
setzt sie vor dem nächsten Wurf zwei Euro auf K. Verliert sie im zweiten Wurf, hört sie
auf, im Fall eines Gewinns wettet sie vier Euro auf Z. Verliert sie im dritten Wurf, hört
sie auf, gewinnt sie, wettet sie acht Euro auf K. Falls sie also beim vierten Wurf gewinnt,
hat sie insgesamt 15 Euro gewonen. In allen anderen Fällen verliert sie einen Euro.
Nehmen wir nun an, dass vor jedem Münzwurf eine neue Spielerin nach obiger Strategie
spielt. Das Spiel wird beendet, wenn das erste Mal eine Spielerin 15 Euro gewinnt.

KAPITEL 5. MARTINGALE 43
Sei Xt der Gesamtgewinn aller Spielerinnen bis zur Zeit t und T die Zeit, zu der das
Spiel gestoppt wird, weil zum ersten Mal das Muster ZKZK aufgetreten ist. Sicher ist
|Xt| ≤ 15 · t, P[T > 4t] ≤ 15 t
.
16
Damit hat (Xt∧T : t = 1, 2, ...) eine integrierbare Majorante, ist also nach Beispiel 2.11.2
gleichgradig integrierbar. Damit können wir das Optional Stopping-Theorem anwenden,
d.h. (XT ∧t)t=1,2,... ist ein Martingal.
Sicher ist
XT = 15 − 1 + 3 − 1 − (T − 4)
da die ersten T − 4 Spielerinnen, sowie Spielerinnen T − 3 und T − 1 einen Verlust von
einem Euro hinnehmen mussten. Spielerin T − 2 hat zur Zeit T einen Gewinn von drei
Euro und Spielerin T − 4 hat 15 Euro gewonnen. Also
0 = E[XT ] = E[15 − 1 + 3 − 1 − (T − 4)] = −E[T ] − 20,
also E[T ] = 20. Interessant ist, dass erwartet werden kann, dass beispielsweise das
Muster ZZKK schon nach 16 Münzwürfen auftritt.

Kapitel 6
Martingalkonvergenzsätze
S:MartKonv Wieder ist (Ω, A, P) ein Wahrscheinlichkeitsraum, I ⊆ Z und F = (Ft)t∈I eine Filtration. Wir
kennen Konvergenzsätze, etwa das starke Gesetz der großen Zahlen. Martingale konvergieren
unter relativ schwachen Voraussetzungen.
6.1 Die Doob’sche Ungleichung
Bemerkung 6.1. Die Doob’schen Ungleichungen machen Aussagen über die Verteilung von
sup s≤t Xs, falls X = (Xt)t∈I ein (Sub, Super)-Martingal ist.
L:martKonv1 Lemma 6.2. Ist X = (Xt)t∈I ein Submartingal, so ist für λ > 0
λP[sup
s≤t
Xs ≥ λ] ≤ E[Xt; sup
s≤t
Xs ≥ λ] ≤ E[|Xt|; sup Xs ≥ λ].
s≤t
Beweis. Die zweite Ungleichung ist trivial. Für die erste erinnern wir an die Definition der
Stoppzeit TB aus Bemerkung 4.16 und setzen
T = t ∧ T [λ;∞).
Nach dem Optional Sampling Theorem 5.15 ist
E[Xt] ≥ E[XT ] = E[XT ; sup
s≤t
≥ λP[sup
s≤t
Subtrahieren des letzten Terms ergibt die Ungleichung.
Xs ≥ λ] + E[XT ; sup Xs < λ]
s≤t
Xs ≥ λ] + E[Xt; sup Xs < λ].
s≤t
P:doobUngl Proposition 6.3 (Doob’sche L p -Ungleichung). Sei X = (Xt)t∈I ein Martingal oder ein positives
Submartingal.
1. Für p ≥ 1 und λ > 0 ist
2. Für p > 1 ist
λ p P[sup |Xs| ≥ λ] ≤ E[|Xt|
s≤t
p ].
E[|Xt| p ] ≤ E[sup |Xs|
s≤t
p �
p
�p ] ≤ E[|Xt|
p − 1
p ].
44

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 45
Beweis. 1. Nach Proposition 5.4 ist (|Xt| p )t∈I ein Submartingal und die Behauptung folgt
nach Lemma 6.2.
2. Die erste Ungleichung ist klar. Für die zweite Ungleichung beachte, dass nach Lemma 6.2
gilt, dass
Also ist für K > 0
λP{sup
s≤t
|Xs| ≥ λ} ≤ E[|Xs|; sup |Xs| ≥ λ].
s≤t
E[sup(|Xs|
∧ K)
s≤t
p �
] = E
� sups≤t |Xs|∧K
pλ
0
p−1 �
dλ
�
= E
� K
pλ p−1 �
1 {λ 2γ]
t→∞
−−−→ 0, im
Widerspruch zum zentralen Grenzwertsatz. Gesucht ist nun eine Funktion t ↦→ h(t), so dass
lim sup
t→∞
fast sicher. Wir werden nun folgendes zeigen:
St
h(t) = 1 (6.1) eq:iL1

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 46
St/t
−0.012 −0.008 −0.004 0.000
10 6
5 × 10 6
t
10 7
Abbildung 6.1: fig:iL
Für die Folge S1, S2, ... sind hier St/t und St/(h(t)) mit h aus (6.2) abgebildet. Der linke Pfad
geht nach dem starken Gesetz der großen Zahlen fast sicher gegen 0. Der rechte Pfad bleibt
fast sicher für fast alle t im Streifen [−1, 1] nach dem Gesetz vom iterierten Logarithmus.
Sind X1, X2, ... unabhängig nach N(0, 1) verteilt. Dann gilt (6.1) für
St/ (2loglog(t))
−0.5 0.0 0.5
10 6
5 × 10 6
h(t) = � 2t log(log(t)). (6.2) eq:iL3
(Siehe auch Bild 6.1.) Dazu brauchen wir in 1. eine Eigenschaft der N(0, 1)-Verteilung und
können dann in 2. die Doob’sche Ungleichung aus Proposition 6.3 anwenden, um die Behauptung
zu zeigen.
1. Sei X ∼ N(0, 1) und ϕ(x) = 1
√ 2π e −x2 /2 die Dichte der N(0, 1)-Verteilung bzgl. des
Lebensgue-Maßes. Dann ist
t
P[X > x] ≤ 1
xϕ(x), (6.3) eq:iL1a
P[X > x] ≥ x
1+x2 ϕ(x), (6.4) eq:iL1b
E[e θX1 ] = e θ 2 /2 , θ ∈ R. (6.5) eq:iL1c
Denn: Es gilt ϕ ′ (y) = −yϕ(y) und damit
� ∞
� ∞
ϕ(x) = yϕ(y)dy ≥ x ϕ(y)dy = x · P[X > x],
x
was (6.3) zeigt. Für (6.4) schreiben wir, ganz ähnlich,
ϕ(x)
x =
� ∞
x
1 + y 2
1 + x2
ϕ(y)dy ≤
y2 x2 −∞
x
� ∞
ϕ(y)dy =
x
10 7
� � ′
ϕ(y)
y = − 1+y2
y2 ϕ(y), und damit
1 + x2
x 2
· P[X > x].
Für (6.5) schreiben wir direkt
E[e θX1 ] =
� ∞
√2π 1 e θx−x2 /2 θ
dx = e 2 � ∞
/2 √2π 1 e −(x−θ)2 /2 θ
dx = e 2 /2
.
−∞

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 47
2. Nun zeigen wir, dass für N(0, 1)-verteilte X1, X2, ... die Funktion h aus (6.2) die Gleichung
(6.1) erfüllt. Unter dieser Voraussetzung ist St ∼ N(0, t). Unsere Strategie ist
nun, in (6.1) sowohl ’≤’ als auch ’≥’ zu zeigen.
’≤’: Für θ ∈ R ist (e θSt )t∈I nach Proposition 5.4 ein Submartingal. Für alle t und alle
c > 0 gilt mit Proposition 6.3 und (6.5)
P[sup
k≤t
Mit θ = c/t gilt also
Sk ≥ c] = P[sup e
k≤t
θSk θc −θc θSt −θc+θ
≥ e ] ≤ e E[e ] = e 2t/2 P[sup Sk ≥ c] ≤ e
k≤t
−c2 /(2t)
.
Sei nun K > 1 und cn = Kh(K n−1 ) mit h aus (6.2). Dann lesen wir aus dem soeben
gezeigtem
P[ sup
k≤Kn Sk ≥ cn] ≤ e −c2n/(2Kn ) −K log((n−1) log K) −K −K
= e = (n − 1) (log K) .
Insbesondere sind diese Wahrscheinlichkeiten summierbar in n. Das Borel-Cantelli-
Lemma zeigt nun, dass sup k≤K n Sk ≤ cn für fast alle n gilt. Für t so, dass K n−1 ≤
t ≤ K n haben wir nun
für fast alle n. Mit anderen Worten,
Sk ≤ sup
t≤Kn St ≤ Kh(K n−1 ) ≤ Kh(t)
lim sup
t→∞
St
≤ K
h(t)
fast sicher. Da K > 1 beliebig war, ist also ’≤’ in (6.1) gezeigt.
’≥’: Sei N > 1 (typischerweise groß) und ε > 0 (typischerweise klein). Definiere die
Ereignisse
An := {S N n+1 − SN n > (1 − ε)h(N n+1 − N n )}.
Da S N n+1−SN n ∼ N(0, N n+1 −N n ), gilt nach (6.4) mit x = (1−ε) � 2 log log(N n+1 − N n )
�
SN n+1 − SN
P(An) = P
n
√
N n+1 − N n > (1 − ε)h(N n+1 − N n )
�
√
N n+1 − N n
= P{X1 > x} ≥ 1
√ 2π
x
1 + x 2 e−x2 /2 .
Damit sind diese Wahrscheinlichkeiten nicht summierbar in n. Da die Ereignisse A1, A2, ...
unabhängig sind, gilt nach dem Borel-Cantelli Lemma, dass unendlich viele der An zutreffen.
Also gilt für unendlich viele n
S N n+1 > (1 − ε)h(N n+1 − N n ) + SN n.
Nach der ’≤’-Richtung ist SN n > −2h(N n ) für fast alle n, d.h. SN n/h(N n+1 ) n→∞
−−−→ 0
fast sicher. Weiter ist h(N n+1 − N n )/h(N n+1 ) n→∞
−−−→ 1 und damit
lim sup
t→∞
St
≥ lim sup
h(t) n→∞
Da ε > 0 beliebig war, folgt ’≥’ in (6.1).
SN n+1
h(N n+1 ≥ 1 − ε
)

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 48
Xt
−40 −20 0 20 40
S1 T1 S2 T2 S3 T3 S4 T4
Abbildung 6.2: fig:upcr
Eine Illustration der Stoppzeiten S1, T1, S2, T2, ... aus Definition 6.5
6.2 Konvergenzsätze
Für die Martingalkonvergenzsätze ist das Aufkreuzungslemma 6.7 zentral.
def:S1T1 Definition 6.5. Sei I = {0, 1, 2, ...} und X = (Xt)t∈I ein reellwertiger stochastischer Pro-
zess. Für a < b ist eine Aufkreuzung ein Stück Pfad Xs, ..., Xs ′ mit Xs ≤ a und Xs ′ ≥ b. Um
die Anzahl solcher Aufkreuzungen zu zählen, führen wir Stoppzeiten 0 =: T0 < S1 < T1 <
S2 < T2 < ... durch
Sk := inf{t ≥ Tk−1 : Xt ≤ a},
Tk := inf{t ≥ Sk : Xt ≥ b}
mit inf ∅ = ∞ ein. Die k-te Aufkreuzung zwischen a und b ist hier zwischen Sk und Tk. Weiter
ist
U t a,b := sup{k : Tk ≤ t}
die Anzahl der Aufkreuzungen zwischen a und b bis Zeit t.
Bemerkung 6.6. Bild 6.2 verdeutlicht die letzte Definition.
L:upcr Lemma 6.7 (Aufkreuzungslemma). Sei I = {0, 1, 2, ...} und X = (Xt)t∈I ein Submartingal.
Dann ist
E[U t a,b ] ≤ E[(Xt − a) + ]
.
b − a
Beweis. Da nach Proposition 5.4 mit X auch (X −a) + ein Submartingal ist und die Aufkreuzungen
zwischen a und b von X dieselben sind wie die Aufkreuzungen von (X − a) + zwischen
0 und b − a, können wir Œ annehmen, dass X ≥ 0 und a = 0 gilt. Wir definieren den Prozess
H = (Ht)t∈I durch
Ht := �
1 {Sk

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 49
d.h. Ht = 1 genau dann, wenn t in einer Aufkreuzung liegt. Da
{Ht = 1} = �
{Sk ≤ t − 1} ∩ {Tk > t − 1},
k≥1
ist H prävisibel.
Gegeben Tk < ∞ ist offenbar XTk − XSk ≥ b. Weiter ist in diesem Fall
(H · X)Tk =
k�
Ti �
i=1 s=Si+1
(Xs − Xs−1) =
k�
(XTi − XSi ) ≥ kb.
Für t ∈ {Tk, ..., Sk+1} ist (H · X)t = (H · X)Tk und für t ∈ {Sk + 1, ..., Tk} ist (H · X)t ≥
(H · X)Sk = (H · X)Tk−1 . Deswegen ist (H · X)t ≥ bU t 0,b . Aus Proposition 5.11 folgt, dass
((1−H)·X) ein Submartingal ist, insbesondere E[((1−H)·X)t] ≥ 0. Mit Xt −X0 = (1·X)t =
(H · X)t + ((1 − H) · X)t gilt
i=1
E[Xt] ≥ E[Xt − X0] ≥ E[(H · X)t] ≥ bE[U t 0,b ].
def:Finf Definition 6.8. Für eine Filtration F = (Ft)t∈I setzen wir
� � �
F∞ := σ .
T:martKonv1 Theorem 6.9 (Martingalkonvergenzsatz für Submartingale). Sei I = {0, 1, 2, ...} und X =
(Xt)t∈I ein Submartingal mit sup t∈I E[X + t ] < ∞. Dann existiert eine F∞-messbare, integrierbare
Zufallsvariable X∞ und Xt t→∞
−−−→fs X∞.
Beweis. Sei X ∗ := lim sup t→∞ Xt und X∗ := lim inft→∞ Xt. Angenommen es gibt keine
Zufallsvariable X∞ mit Xt t→∞
−−−→fs X∞. Dann ist P{X∗ < X ∗ } > 0. Für a, b ∈ Q sei B(a, b) :=
{X∗ < a < b < X ∗ }. Da {X∗ < X ∗ } = �
a,b∈Q
Sei U t a,b wie in Definition 6.5. Auf B(a, b) ist limt→∞ U t a,b
Andererseits ist mit Lemma 6.7
sup E[U
t∈I
t a,b
] ≥ sup
t∈I
t∈I
Ft
B(a, b) existieren a, b ∈ Q mit P(B(a, b)) > 0.
= ∞ und deswegen
E[U t a,b ; B(a, b)] = ∞.
sup E[U
t∈I
t E[(Xt − a)
a,b ] ≤ sup
t∈I
+ ]
≤ sup
b − a t∈I
E[X + t
] + a+
< ∞
b − a
im Widerspruch dazu. Also folgt die fast sichere Konvergenz. Da alle Xt F∞-messbar sind, ist
auch X∞ F∞-messbar. Es bleibt zu zeigen, dass X∞ integrierbar ist. Nach Fatou’s Lemma
ist
E[X + ∞] ≤ sup E[X
t∈I
+ t
] < ∞.
Außerdem ist, da X ein Submartingal ist, wieder mit Fatou’s Lemma
E[X − ∞] ≤ lim inf
t→∞ E[X− t
] = lim inf
t→∞
� +
E[X t ] − E[Xt] � ≤ sup E[X
t∈I
+ t ] − E[X0] < ∞.

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 50
cor:MartConv Korollar 6.10 (Martingalkonvergenzsatz für positive Supermartingale). Sei I = {0, 1, 2, ...}
und X = (Xt)t∈I ein nichtnegatives Supermartingal. Dann existiert eine F∞-messbare, integrierbare
Zufallsvariable X∞ mit E[X∞] ≤ E[X0] und Xn t→∞
−−−→fs X∞.
Beweis. Theorem 6.9, angewandt auf das Submartingal −X liefert des fast sicheren Limes.
Mit dem Lemma von Fatou ist außerdem
E[X∞] ≤ lim inf
t→∞ E[Xt] ≤ E[X0].
T:martKonv2 Theorem 6.11 (Martingalkonvergenzsatz für gleichgradig integrierbare Martingale). Sei I =
{0, 1, 2, ...} und X = (Xt)t∈I ein gleichgradig integrierbares (Super, Sub)-Martingal. Dann
existiert eine F∞-messbare Zufallsvariable X∞ mit Xt
t→∞
−−−→fs X∞ und Xt
t→∞
−−−→ L1 X∞.
Außerdem ist dann (Xt) t∈I∪{∞} ein (Super, Sub)-Martingal.
Beweis. Wegen Lemma 2.12 ist supt∈I E[|Xt|] < ∞. Die fast sichere Konvergenz folgt damit
aus 6.9 und die L1-Konvergenz damit aus Theorem 2.15.
Den Beweis, dass (Xt) t∈I∪{∞} ein (Super, Sub)-Martingal ist, führen wir exemplarisch
für Submartingale, d.h. E[E[Xt|Fs]; A] ≥ E[Xs; A] für A ∈ Fs und s ≤ t. Wegen der L1- Konvergenz ist nach Theorem 3.2.3 ist E[|E[Xt|Fs] − E[X∞|Fs]|] t→∞
−−−→ 0 und damit gilt
d.h. E[X∞|Fs] ≥ Xs fast sicher.
E[E[X∞|Fs]; A] = lim
t→∞ E[E[Xt|Fs]; A] ≥ E[Xs; A],
Definition 6.12. Ein stochastischer Prozess X = (Xt)t∈I heißt L p -beschränkt, falls
sup E[|Xt|
t∈I
p ] < ∞.
th:martConvC Theorem 6.13 (Martingalkonvergenzsatz für Lp-beschränkte Martingale). Sei I = {0, 1, 2, ...},
p > 1 und X = (Xt)t∈I ein Lp-beschränktes Martingal. Dann gibt es eine F∞-messbare Zufallsvariable
X∞ mit E[|X∞| p ] < ∞, Xt
t→∞
−−−→fs X∞ und Xt
t→∞
−−−→L p X∞.
(|Xt|
Außerdem ist
p )t∈I gleichgradig integrierbar.
Beweis. Wegen Lemma 2.13 ist X gleichgradig integrierbar. Wegen Theorem 6.11 gibt es
damit den fast sicheren Limes X∞. Nach der Doob’schen Ungleichung aus Proposition 6.3 ist
für t ∈ I
E[sup |Xs|
s≥1
p ] = lim E[sup |Xs|
t→∞ s≤t
p �
p
�p ] ≤ lim E[|Xt|
t→∞ p − 1
p ] < ∞.
Damit ist (|Xt| p )t∈I gleichgradig integrierbar nach Beispiel 2.11.3. Nach dem Lemma von
Fatou und Lemma 2.12 ist E[|X∞| p ] ≤ sup t∈I E[|Xt| p ] < ∞ und Theorem 2.15 liefert die
Konvergenz in L p .
Beispiel 6.14. Seien I = {1, 2, ...}, X1, X2, ... nicht-negative, unabhängige, integrierbare
Zufallsvariable mit E[Xt] = 1, t ∈ I und St := �t s=1 Xs nach Beispiel 5.3.2 ein Martingal.
Nach Korollar 6.10 gibt es damit ein S∞, so dass St t→∞
−−−→fs S∞. Definiere
at := E[ � Xt].

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 51
Wir zeigen nun:
{St : t ∈ I} gleichgradig integrierbar ⇐⇒
∞�
at > 0.
Insbesondere gilt dann auch St t→∞
−−−→ L 1 S∞. Im Beweis setzen wir für t = 1, 2, ..
Wt :=
t�
s=1
Damit ist (Wt)t=1,2,... ein Martingal. Auch hier folgt, dass es ein W∞ gibt mit Wt t→∞
−−−→fs W∞.
’⇐’: Wegen der Jensen’schen Ungleichung ist a 2 t = (E[ √ Xt]) 2 ≤ E[Xt] = 1, also at ≤ 1. Es
gilt
sup
t∈I
E[W 2 � �t
t ] = sup E
t∈I
s=1
Xs
a2 �
s
= sup
t∈I
√ Xs
as
t�
s=1
.
E[Xs]
a 2 s
≤
t=1
1
� �∞
s=1 as
�2 < ∞.
Damit ist (Wt)t∈I ein L2-beschränktes Martingal, Nach Theorem 6.13 ist {W 2 t : t ∈ I}
gleichgradig integrierbar. Daraus folgt auch die gleichgradige Integrierbarkeit von {St : t ∈ I}.
’⇒’: Nehmen wir an, dass �∞ s=1 = 0. Da Wt einen fast sicheren, endlichen Limes hat, muss
St = �t s=1 Xs
t→∞
−−−→fs 0 gelten. Falls {St : t ∈ I} gleichgradig integrierbar wäre, wäre
0 = E[S∞] = limt→∞ E[St] = 1, also ein Widerspruch.
6.3 Rückwärtsmartingale
Bemerkung 6.15. (Sub, Super)-Martingale mit Indexmenge I = {..., −2, −1, 0} heißen
Rückwärts(Sub, Super)-martingale. Ähnlich wie in Definition 6.8 setzen wir hier
F−∞ := �
Ft.
l:backMa1 Lemma 6.16. Sei X ∈ L 1 . Dann ist {E[X|F] : F ⊆ A σ-Algebra} gleichgradig integrierbar.
Beweis. Da {X} gleichgradig integrierbar ist, gibt es nach Lemma 2.13 eine monoton wachsende
konvexe Funktion ϕ : R+ → R+ mit ϕ(x) x→∞
x −−−→ ∞ und E[ϕ(|X|)] < ∞. Mit Theorem
3.2.3 folgt
sup E[ϕ(|E[X|F]|)] ≤ E[ϕ(|X|)] < ∞.
F⊆A
Damit ist {E[X|F] : F ⊆ A σ-Algebra} gleichgradig integrierbar nach Lemma 2.13.
Th:martConv4 Theorem 6.17 (Martingalkonvergenzsatz für Rückwärtsmartingale). Sei I = {..., −2, −1, 0}
und X = (Xt)t∈I ein Submartingal. Dann sind äquivalent
1. Es gibt eine F−∞-messbare, integrierbare Zufallsvariable X−∞ mit Xt
und Xt t→−∞
−−−−→ L 1 X−∞
t∈I
t→−∞
−−−−→fs X−∞

KAPITEL 6. MARTINGALKONVERGENZSÄTZE 52
2. inft∈I E[Xt] > −∞.
Dann ist auch (Xt) t∈I∪{−∞} ein Submartingal.
Insbesondere konvergiert jedes Rückwärtsmartingal fast sicher und in L 1 .
Beweis. ’1. ⇒ 2.’: Aus der Konvergenz im Mittel folgt
inf
t∈I E[Xt] = lim
t→−∞ E[Xt] = E[X−∞] > −∞.
’2. ⇒ 1.’: Da inft∈I E[X − t ] < ∞ folgt die fast sichere Konvergenz wie im Beweis von Theorem
6.9. Da X nach Lemma 6.16 gleichgradig integrierbar ist folgt auch die Konvergenz in L1 .
Der Beweis, dass (Xt) t∈I∪{−∞} ein Submartingal ist, verläuft analog zum Beweis in 6.11.
Beispiel 6.18 (Das starke Gesetz der großen Zahlen). Seien X1, X2, ... ∈ L 1 unabhängig
identisch verteilt. Für t ∈ {..., −2, −1} setzen wir wie im Beispiel 5.3.3
St := 1
|t|
und Ft = σ(..., St−1, St) = σ(St, Xt+1, Xt+2, ...). Dann ist (St)t∈I ein Rückwärtsmartingal mit
St = E[X1|Ft]. Nach Theorem 6.17 konvergiert St fast sicher und in L 1 gegen eine Zufallsgröße
S−∞. Diese ist messbar bzgl. F−∞, jedoch auch bzgl. T (X1, X2, ...), der terminalen σ-Algebra
der Familie {X1, X2, ...}. Da diese σ-Albegra nach dem Kolmogoroff’schen 0-1-Gesetz trivial
ist, ist S−∞ fast sicher konstant. Da (St) t∈I∪{−∞} ein Martingal ist, folgt also
1
|t|
|t|
�
s=1
|t|
�
s=1
Xs = St t→−∞
−−−−→ fs,L1 S−∞ = E[S−∞] = E[S−1] = E[X1].
Die fast sichere Konvergenz ist jedoch genau die Aussage des Gesetzes der großen Zahlen.
Xs

Kapitel 7
Ergodentheorie
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und I ⊆ Z, abgeschlossen unter Addition (also z.B.
I = {0, 1, 2, ...}).
7.1 Begriffe und einfache Beispiele
Definition 7.1. 1. Ein stochastischer Prozess X = (Xt)t∈I heißt stationär, falls für alle
s ∈ I
(Xt+s)t∈I d = (Xt)t∈I.
2. Eine messbare Abbildung τ : Ω → Ω heißt maßtreu, falls τ∗P = P.
3. Für τ : Ω → Ω messbar heißt das Ereignis A τ-invariant, falls τ −1 (A) = A. Weiter
bezeichnen wir mit
I := Iτ := {A ∈ A : τ −1 (A) = A}
die σ-Algebra der τ-invarianten Ereignisse
4. Ist τ : Ω → Ω maßtreu und I trivial (d.h. I = {∅, Ω}), dann heißt (P, τ) ergodisch.
eq:ergEx1 Beispiel 7.2. 1. Ist X = (Xt)t=0,1,2,..., so dass X0, X1, ... unabhängig, identisch verteilt
sind. Dann ist X stationär. Sind X0, X1, X2, ... identisch verteilt, jedoch abhängig, z.B.
X1 = X2, ... und X0 unabhängig von X1, X2, ..., so ist X nicht stationär.
2. Ist X = (Xt)t=0,1,2,... stationär mit Werten in R und f : Rℓ → R messbar, so ist auch
Y = (Yt)t=0,1,2,... mit
Yt = f(Xt−ℓ, ..., Xt)
stationär. Ist speziell f(x1, ..., xℓ) = 1 �ℓ ℓ i=1 xi, so heißt Y auch Prozess des gleitendes
Mittels.
3. Sei f : Ω → E und τ : Ω → Ω messbar. Weiter definieren wir X = (Xt)t∈I durch
Xs(ω) = f(τ s (ω)).
Dann ist X genau dann stationär, wenn τ maßerhaltend ist. Falls (P, τ) ergodisch ist,
nennen wir den stochastischen Prozess X ergodisch.
53

KAPITEL 7. ERGODENTHEORIE 54
4. Ein wichtiger Spezialfall besteht darin, dass Ω = E I , τ((ωt)t∈I) = (ωt+1)t∈I und
f((ωt)t∈I) = ω0. Dann ist Xs((ωt)t∈I) = (τ s (ωt)t∈I)0 = ((ωt+s)t∈I)0 = ωs der kanonische
Prozess.
Damit ist
A = τ −t (A) = {ω : τ t (ω) ∈ A} = {ω : (ωt, ωt+1, ...) ∈ A} ∈ σ(Xt, Xt+1, ...).
I ⊆ �
σ(Xt, Xt+1, ...) = T ,
t∈I
wobei T die terminale σ-Algebra der X1, X2, ... ist.
Sind in diesem Fall X1, X2, ... unabhängig und identisch verteilt, ist τ nach 1. maßtreu.
Weiter besagt das Kolmogoroff’sche 0-1-Gesetz, dass T trivial ist. Damit ist nach eben
gesagtem auch I trivial, d.h. X ist in diesem Fall ergodisch.
l:ergL1 Lemma 7.3. Sei τ : Ω → Ω messbare. Eine A-messbare Abbildung f ist genau dann Iτ -
messbar, wenn f ◦ τ = f.
Beweis. Sei zunächst f = 1A. Für ’⇒’ sei also f messbar bzgl. Iτ , d.h. A ∈ I. Damit ist
(f ◦ τ)(ω) = 1A(τ(ω)) = 1 τ(ω)∈A = 1 ω∈τ −1 (A) = 1ω∈A = f(ω).
Für ’⇐’ ist 1 τ(ω)∈A = 1ω∈A, d.h. ω ∈ A ⇐⇒ ω ∈ τ −1 A und damit A = τ −1 (A), d.h. A ∈ I,
insbesondere ist f also Iτ -messbar. Diese Argumente überträgt man auf einfache Funktionen
und schließlich durch ein Approximationsargument auf allgemeine messbare Funktionen.
7.2 Ergodensätze
Sei I = {0, 1, 2, ...} und τ maßerhaltend. Ferner sei f : Ω → R messbar und für jedes t ∈ I
Xs(ω) = f(τ s (ω)). (7.1) eq:ergT1
wie in Beispiel 7.3.3. Wir behandeln im folgenden den Fall von Gesetzen großer Zahlen für
X = (Xt)t∈I. Das bedeutet, wir betrachten den Prozess S = (St)t∈I mit
�t−1
St = Xs.
s=0
Als Vorbereitung bringen wir ein grundlegendes Lemma.
l:ergL2 Lemma 7.4 (Hopf’sches Maximal-Ergodenlemma). Sei X0 ∈ L 1 und Mt := max{0, S1, ..., St}
für t ∈ I. Dann gilt für jedes t ∈ I
E[X0; Mt > 0] ≥ 0.
Beweis. Für s ≤ t ist sicher Mt(τ(ω)) ≥ Ss(τ(ω)). Damit ist auch X0 +Mt ◦τ ≥ X0 +Ss ◦τ =
Ss+1, d.h. für s = 1, ..., t ist
X0 ≥ Ss+1 − Mt ◦ τ. (7.2) eq:mel1

KAPITEL 7. ERGODENTHEORIE 55
Weiter ist S1 = X0 und Mt ◦ τ ≥ 0, d.h. (7.2) gilt auch für s = 0. Daraus folgern wir
Außerdem ist
X0 ≥ max{S1, ..., St} − Mt ◦ τ.
{Mt > 0} c ⊆ {Mt = 0} ∩ {Mt ◦ τ ≥ 0} ⊆ {Mt − Mt ◦ τ ≤ 0}.
Aus der maßtreue von τ und den letzten beiden Gleichungen folgert man
E[X0; Mt > 0] ≥ E[(max{S1, ..., St} − Mt ◦ τ); Mt > 0]
= E[(Mt − Mt ◦ τ); Mt > 0]
≥ E[Mt − Mt ◦ τ] = E[Mt] − E[Mt] = 0.
Th:erg1 Theorem 7.5 (Fast sicherer Ergodensatz, Birkhoff). Sei X = (Xt)t∈I wie in (7.1), I = Iτ
und X0 ∈ L1 . Dann gilt
1 �t−1
Xs
t
t→∞
−−−→fs E[X0|I].
s=0
Ist speziell X ergodisch, so gilt E[X0|I] = E[X0].
Beweis. Der Zusatz ist klar, da I trivial ist, falls X ergodisch ist. Da E[X0|I] eine I-messbare
Zufallsvariable ist, ist E[X0|I] ◦ τ = E[X0|I] nach Lemma 7.3. Damit ist (Xt − E[X0|I])t∈I
stationär und wir können Œ annehmen, dass E[X0|I] = 0 ist. Setze
S ∗ := lim sup
t→∞
1
t St.
Für beliebiges ε > 0 werden wir P{S ∗ > ε} = 0 zeigen, woraus mittels eines Symmetriear-
gumentes folgt, dass limt→∞ 1
t St = 0 fast sicher gilt. Offenbar ist S ∗ ◦ τ = S ∗ , d.h. S ∗ ist
I-messbar, also {S ∗ > ε} ∈ I. Wir setzen A := {S ∗ > ε},
Dann ist A1 ⊆ A2 ⊆ ... und
t=1
X ε t := (Xt − ε)1A,
S ε t = X ε 0 + ... + X ε t−1,
M ε t := max{0, S ε 1, ..., S ε t },
At := {M ε t > 0}.
∞� �
At = sup S
t≥1
ε � �
1
t > 0 = sup t
t≥1
St
�
> ε ∩ A = A.
Der letzte Schritt folgt hier, da aus ω ∈ A folgt, dass es ein (und in der Tat sogar unendlich
viele) t ∈ I gibt mit 1
t St > ε. Damit gilt At ↑ A und E[Xε t→∞
0 ; At] −−−→ E[Xε 0 ] nach majorisierter
Konvergenz. Nach Lemma 7.4 ist E[Xε 0 ; At] ≥ 0, also, da A ∈ I,
0 ≤ E[X ε 0] = E[(X0 − ε); A] = E[E[X0|I]; A] − εP[A] = −εP[A].
Mit anderen Worten, P[A] = 0.

KAPITEL 7. ERGODENTHEORIE 56
l:ergL3 Lemma 7.6. Seien X0, X1, ... identisch verteilt und X0 ∈ L p für p ≥ 1. Dann ist
gleichgradig integrierbar.
�� �� 1
t
�t−1
s=0
�
�
Xs�
p
�
: t = 1, 2, ...
Beweis. Da {|X0| p } gleichgradig integrierbar ist, gibt es nach Lemma 2.13 eine monoton
wachsende, konvexe Funktion f mit f(x) x→∞
x −−−→ ∞ und E[f(|X0| p )] < ∞. Weiter ist, mit der
Jensen’schen Ungleichung
� ��
�� �t−1
1
sup E f t
t=1,2,...
s=0
Xs
�
�
� p�� � � �t−1
1
≤ sup E f t |Xs|
t=1,2,...
p��
�t−1
1 ≤ sup t E
t=1,2,...
� f(|Xs| p ) � = f(|X0| p ),
s=0
woraus die Behauptung (wieder mit Lemma 2.13) folgt.
Theorem 7.7 (L p -Ergodensatz, von Neumann). Sei X = (Xt)t∈I wie in (7.1), I = Iτ und
X0 ∈ L p für p ≥ 1. Dann gilt
Beweis. Nach Lemma 7.6 ist
1
t
�t−1
s=0
�� �� 1
t
Xs t→∞
−−−→L p E[X0|I].
�t−1
s=0
�
�
Xs�
p
�
: t = 1, 2, ...
gleichgradig integrierbar. Da die behauptete Konvergenz fast sicher (und damit stochastisch)
nach Theorem 7.5 gilt, gilt sie also auch in L p nach Theorem 2.15.
7.3 Anwendung: Markov-Ketten
Bereits bekannt sind Markov-Ketten. Dies sind Spezialfälle von Markov-Prozessen, also stochastischen
Prozessen X = (Xt)t∈I mit einem Zustandsraum (E, E) und für t ≥ s
P[Xt ∈ A|Fs] = P[Xt ∈ A|Xs]
für A ∈ E, wobei F = (Ft)t∈I die von X erzeugte Filtration ist. Wir schreiben Px für die
Verteilung des Markov-Prozesses auf E I , der in x ∈ E startet. Wir konzentrieren uns im
folgenden auf homogene Markov-Prozesse, d.h., auf den Fall
P[Xt+s ∈ A|Fs] = PXs[Xt ∈ A].
Markov-Ketten sind homogene Markov-Prozesse mit I = {0, 1, 2, ...}.
Definition 7.8. Ein homogener Markov-Prozess X = (Xt)t∈I hat die starke Markov-Eigenschaft,
falls für jede fast sicher endliche Stoppzeit T
für A ∈ E gilt.
Px[XT +s ∈ A|FT ] = PXT [Xs ∈ A]
s=0

KAPITEL 7. ERGODENTHEORIE 57
Ohne Beweis bemerken wir:
Proposition 7.9. Jede Markov-Kette X = (Xt)t=0,1,2,... hat die starke Markov-Eigenschaft.
Definition 7.10. Sei X = (Xt)t∈I eine Markov-Kette.
1. Wie in Bemerkung 4.16 setzen wir die erste Treffzeit von x ∈ E
Außerdem ist
2. Ein x ∈ E heißt
(a) rekurrent, falls F (x, x) = 1,
(b) positiv rekurrent, falls Ex[Tx] < ∞,
Tx := inf{t > 0 : Xt = x}.
F (x, y) := Px[Ty < ∞].
(c) nullrekurrent, falls x rekurrent, aber nicht positiv rekurrent ist,
(d) transient, falls F (x, x) < 1.
3. Die Markov-Kette X heißt
(a) rekurrent/positiv-rekurrent/null-rekurrent/transient, falls alle x ∈ E die Eigenschaft
haben
(b) irreduzibel, falls F (x, y) > 0 für alle x, y ∈ E.
4. Ein Wahrscheinlichkeitsmaß π auf E heißt invariant für X, falls der Shift τ : E I → E I ,
gegeben durch τ((Xt)t∈I = (Xt+1)t∈I, maßtreu für Pπ := � π(dx)Px ist.
Schon bekannt ist:
Proposition 7.11. Sei I = {0, 1, 2, ...} und X = (Xt)t∈I eine positiv rekurrente, irreduzible
Markov-Kette. Dann gibt es genau eine stationäre Verteilung π.
P:ergEx1 Proposition 7.12. Sei I = {0, 1, 2, ...} und X = (Xt)t∈I eine positiv rekurrente, irreduzible
Markov-Kette auf dem abzählbaren Raum E, gestartet in ihrer invarianten Verteilung π. Dann
ist X ergodisch.
Beweis. Wir schreiben τ für den Zeitshift. Sei A ∈ I. Nach Beispiel 7.3.4 ist A ∈ T =
�
t∈I σ(Xt, Xt+1, ...), also für eine fast sicher endliche Stoppzeit T mit der starken Markov-
Eigenschaft
Pπ[X ∈ A|FT ] = Pπ[τ T ◦ X ∈ A|FT ] = P[(XT , XT +1, ...) ∈ A|FT ] = PXT [X ∈ A]. (7.3) eq:ergEx1
Sei B ∈ FT . Dann ist
Eπ[1 {X∈B}1 {X∈A}] = Eπ[1 {X∈B}1 {τ T ◦X∈A}]
= Eπ
� 1{X∈B}E[1 {τ T ◦X∈A}|FT ] �
= Eπ[1 {X∈B}PXT [X ∈ A]],

KAPITEL 7. ERGODENTHEORIE 58
wobei wir in der dritten Gleichheit die starke Markoveigenschaft verwendet haben. Ist speziell
B = Ω und T = Tx für ein x ∈ E, so ist T wegen der Rekurrenz von X fast sicher endlich
und es folgt
Pπ[X ∈ A] = Px[X ∈ A].
Weiter ist mit (7.3), angewendet auf T = t,
Pπ[X ∈ A] = PXt[X ∈ A] = Pπ[X ∈ A|X0, ..., Xt] t→∞
−−−→ Pπ[X ∈ A|X0, X1, ...] = 1 {X∈A}.
Insbesondere ist Pπ[X ∈ A] ∈ {0, 1}, d.h. I ist trivial und X ist ergodisch.
Korollar 7.13. Für dieselbe Situation wie in Proposition 7.12 gilt
1
t
t�
t→∞
1 {Xs=x} −−−→fs π(x). (7.4) eq:corErg1
s=0
Bemerkung 7.14. Man beachte, dass im (7.4) auf der linken Seite die mittlere Zeit steht, zu
der von X der Wert x angenommen wurde und auf der rechten Seite die Wahrscheinlichkeit,
mit der man im Gleichgewicht den Prozess in x beobachtet. Man sagt hier auch, dass das
Zeitmittel gleich dem Raummittel wird.
Beweis. Mit X ist auch (1 {Xt=x})t∈I ergodisch. Damit folgt die Aussage aus dem Ergodensatz,
Theorem 7.5.

Kapitel 8
Schwache Konvergenz
In diesem Kapitel sei (E, r) ein metrischer Raum. Manchmal werden wir voraussetzen, dass
er vollständig (jede Cauchy-Folge konvergiert) und separabel (es gibt eine abzählbare dichte
Teilmenge) ist. Alle Maße sind hierbei definiert auf der Borelschen σ-Algebra B(E) von E.
Wir werden in diesem und im nächsten Kapitel durchgehend P[f] := � fdP schreiben.
8.1 Definition und einfache Eigenschaften
Definition 8.1. 1. Wir bezeichnen mit P(E) die Menge der Wahrscheinlichkeitsmaße auf
E und P≤1(E) die Menge finiten Maße µ mit µ(E) ≤ 1. Weiter ist Cb(E) die Menge der
beschränkten, stetigen Funktionen auf E und Cc(E) die Menge der beschränkten stetigen
Funktionen af E mit kompaktem Träger.
2. Eine Folge P1, P2, ... ∈ P(E) konvergiert schwach gegen P ∈ P(E), falls
für alle f ∈ Cb(E). Wir schreiben dann
Pn[f] n→∞
−−−→ P[f] (8.1) eq:wc0a
Pn n→∞
===⇒ P
3. Ist µ, µ1, µ2, ... ∈ P≤1 und gilt (8.1) nur für alle f ∈ Cc(E), der Menge aller beschränkter,
stetiger, reelwertigen Funktionen mit kompaktem Träger, so sagen wir, µn konvergiert
vage gegen µ. Wir schreiben dann
µn n→∞
===⇒v µ.
4. Seien X, X1, X2, ... Zufallsvariablen auf Wahrscheinlichkeitsräumen
(Ω, A, P), (Ω1, A1, P1), (Ω2, A2, P2), ... mit Werten in E. Dann konvergiert X1, X2, ... in
Verteilung gegen X, falls (Xn)∗Pn n→∞
===⇒ X∗P. Wir schreiben dann
Xn n→∞
===⇒ X.
rem:wc1 Bemerkung 8.2. 1. Man beachte, dass für Zufallsvariablen X, X1, X2, ... mit Werten in
E genau dann Xn n→∞
===⇒ X gilt, wenn
für alle f ∈ Cb(E) gilt.
P[f(Xn)] n→∞
−−−→ P[f(X)]
59

KAPITEL 8. SCHWACHE KONVERGENZ 60
2. Der schwache Limes von Wahrscheinlichkeitsmaßen muss wieder ein Wahrscheinlichkeitsmaß
sein, da 1 ∈ Cb(E).
3. Wir kennen bereits die fast sicher Konvergenz, die stochastische und die Konvergenz in
L p von Zufallsvariablen X1, X2, ... gegen X. Entscheidender Unterschied zur Konvergenz
in Verteilung ist, dass letztere nicht voraussetzt, dass die Zufallsvariablen auf demselben
Wahrscheinlichkeitsraum definiert sind.
4. Zur Motivation hinter der Definition der schwachen Konvergenz sei an folgendes Faktum
erinnert: in metrischen Räumen ist xn n→∞
−−−→ x genau dann wenn f(xn) n→∞
−−−→ f(x) für
alle stetigen Funktionen auf E.
5. Nach Definition ist die Topologie der schwachen Konvergenz auf P(E) die schwächste
(d.h. die kleinste) Topologie, für die P ↦→ P[f] für alle f ∈ Cb(E) stetig ist.
6. Der schwache Limes von Wahrscheinlichkeitsmaßen ist eindeutig, falls (E, r) vollständig
und separabel ist. Dies kann man mit Hilfe von Satz 11.5 aus der Wahrscheinlichkeitstheorie
zeigen.
ex:83 Beispiel 8.3. 1. Seien X, X1, X2, ... identisch verteilt. Dann ist Xn n→∞
===⇒ X, jedoch gilt
die Konvergenz im allgemeinen weder fast sicher, noch stochastisch oder in L p .
2. Wie wir noch sehen werden, ist der zentrale Grenzwertsatz, den wir in Kapitel 10 kennenlernen
werden, ein Resultat über Konvergenz in Verteilungen. In seiner einfachsten
Form, dem Satz von deMoivre-Laplace, besagt dieser: sei Xn ∼ Binom(n, p), n = 1, 2, ...
und X ∼ N(0, 1). Dann gilt
Xn − np
� np(1 − p)
n→∞
===⇒ X.
3. Ebenso ist die Poisson-Approximation der Binomialverteilung eine Aussage über Konvergenz
in Verteilung: sei Xn ∼ Binom(n, pn), n = 1, 2, ... mit n · pn n→∞
−−−→ λ und
X ∼ Poi(λ). Dann gilt
Xn n→∞
===⇒ X.
Eine Folge von Zufallsvariablen kann fast sicher, in Wahrscheinlichkeit, in L p oder in Verteilung
konvergieren. Die schwache Konvergenz ist der schwächste dieser Begriffe in folgendem
Sinne.
p:wc1 Proposition 8.4 (Konvergenz in Wahrscheinlichkeit und in Verteilung). Seien X, X1, X2, ...
Zufallsvariablen auf (Ω, A, P) mit Werten in E. Falls Xn n→∞
−−−→p X, so auch Xn n→∞
===⇒ X. Ist
X konstant, so gilt auch die Umkehrung.
Beweis. Sei Xn n→∞
−−−→p X. Angenommen, es gäbe ein f ∈ Cb(S) so, dass limn→∞ P[f(Xn)] �=
P[f(X)]. Dann gibt es eine Teilfolge (nk)k=1,2,... und ein ε > 0 mit
lim |P[f(Xnk )] − P[f(X)]| > ε. (8.2) eq:wc3
k→∞
Wegen Xn n→∞
−−−→p X und Proposition 1.21 gibt es eine Teilfolge (nkℓ )ℓ=1,2,..., so dass Xnk ℓ
X fast sicher. Wegen majorisierter Konvergenz wäre damit auch
lim
ℓ→∞ P[f(Xnk )] = P[f(X)]
ℓ
ℓ→∞
−−−→

KAPITEL 8. SCHWACHE KONVERGENZ 61
im Widerspruch zu (8.2).
Falls X = s ∈ S, ist x ↦→ r(x, s) ∧ 1 eine beschränkte, stetige Funktion und damit
Also gilt Xn n→∞
−−−→p X wegen (1.1).
P[r(Xn, s) ∧ 1] n→∞
−−−→ P[r(X, s) ∧ 1] = 0.
T:port Theorem 8.5 (Portmanteau Theorem). Seien X, X1, X2, ... Zufallsvariablen mit Werten in
E. Folgende Bedingungen sind äquivalent:
(i) Xn n→∞
===⇒ X
(ii) P[f(Xn)] n→∞
−−−→ E[f(X)] für alle beschränkten, Lipschitz-stetigen Funktionen f.
(iii) lim inf
n→∞ P{Xn ∈ G} ≥ P{X ∈ G} für alle offenen G ⊆ E.
(iv) lim sup P{Xn ∈ F } ≤ P{X ∈ F } für alle abgeschlossenen F ⊆ E.
n→∞
(v) lim
n→∞ P{Xn ∈ B} = P{X ∈ B} für alle B ∈ B(E) mit 1 P{X ∈ ∂B} = 0.
Beweis. (i) ⇒ (ii): klar
(ii) ⇒ (iv) Sei F ⊆ E abgeschlossen und f1, f2, ... Lipschitz-stetig, so dass fk ↓ 1F . (Beispielsweise
wählt man εk ↓ 0 und fk(x) = (1 − 1
εk r(x, F )) ∨ 0, wobei r(x, F ) := infy∈F r(x, y).)
Damit gilt
lim sup P{Xn ∈ F } ≤ inf lim sup P[fk(Xn)] = inf
n→∞
k=1,2,... n→∞
k=1,2,... P[fk(X)] = P{X ∈ F }.
(iii) ⇐⇒ (iv) Das ist klar. Man muss in der Richtung (iii) ⇒ (iv) nur F := E \ G und in
der Richtung (iv) ⇒ (iii) analog G := E \ F setzen.
(iii) ⇒ (i) Sei f ≥ 0 stetig. Wegen Fatou’s Lemma ist damit
� ∞
� ∞
P[f(X)] =
0
P{f(X) > t}dt ≤
0
lim inf
n→∞ P{f(Xn)
� ∞
> t}dt
≤ lim inf
n→∞
P{f(Xn) > t}dt = lim inf
n→∞ P[f(Xn)].
Für −c < f < c gilt damit, da −f + c ≥ 0 ist,
0
lim sup P[f(Xn)] = c − lim inf
n→∞
n→∞ P[−f(Xn) + c] ≤ c − P[−f(X) + c] = P[f(X)]
≤ lim inf
n→∞ P[f(Xn)],
also P[f(Xn)] n→∞
−−−→ P[f(X)].
(iii), (iv) ⇒ (v) Für B ∈ B(E) ist
P{X ∈ B ◦ } ≤ lim inf
n→∞ P{Xn ∈ B ◦ } ≤ lim sup P {Xn ∈ ¯ B} ≤ P{X ∈ ¯ B}.
Gegeben P{X ∈ ∂B} = P{X ∈ ¯ B}−P{X ∈ B ◦ } = 0, ist damit P{Xn ∈ B} n→∞
−−−→ P{X ∈ B}.
n→∞
1 Für den Abschluss ¯ B und das Innere B ◦ bezeichne hier ∂B := ¯ B \ B ◦ den Rand von B.

KAPITEL 8. SCHWACHE KONVERGENZ 62
(v) ⇒ (iv) Angenommen, (v) trifft zu und F ⊆ E ist abgeschlossen. Wir schreiben F ε :=
{x ∈ E : r(x, F ) ≤ ε} für ε > 0. Die Mengen ∂F ε ⊆ {x; r(x, F ) = ε} sind disjunkt, also gilt
P{X ∈ ∂F ε } = 0 (8.3) eq:wc3g
für Lebesgue-fast jedes ε. Sei ε1, ε2, ... eine Folge mit εk ↓ 0, so dass (8.3) für alle ε1, ε2, ...
gilt. Damit ist
lim sup P{Xn ∈ F } ≤ inf lim sup P{Xn ∈ F
n→∞
k=1,2,... n→∞
εk } = inf
k=1,2,... P{X ∈ F εk } = P{X ∈ F }.
cor:vertSch Korollar 8.6. Seien P, P1, P2, ... ∈ P(R) mit Verteilungsfunktionen F, F1, F2, .... Dann gilt
Pn n→∞
===⇒ P genau dann wenn Fn(x) n→∞
−−−→ F (x) für alle Stetigkeitsstellen x von F .
Bemerkung 8.7. In Beispiel 8.3 hatten wir behauptet, dass der Satz von deMoivre-Laplace
eine Aussage über schwache Konvergenz macht. Man zeigt gewöhnlich, dass für B(n, p)verteilte
Zufallsgrößen Xn gilt, dass
�
Xn − np
P � ≤ x}
np(1 − p) n→∞
−−−→ Φ(x),
wobei Φ die Verteilungsfunktion der Standardnormalverteilung ist. Wie Korollar 8.6 zeigt,
bedeutet das genau die Konvergenz in Verteilung gegen eine Standardnormalverteilung.
Beweis. ’⇒’: Ist x eine Stetigkeitsstelle von F , so ist P{∂(−∞; x]} = P{x} = 0. Damit gilt
nach Theorem 8.5 (Richtung (i) ⇒ (v)), dass
Fn(x) = Pn{(−∞; x]} n→∞
−−−→ P{(−∞; x]} = F (x).
’⇐’: Nach Theorem 8.5 (Richtung (ii) ⇒ (i)) genügt es zu zeigen, dass Pn[f] n→∞
−−−→ P[f] für
alle beschränkten, Lipschitzfunktionen f. Œ nemhen wir an, dass |f| ≤ 1 und f Lipschitz-
Konstante 1 hat. Für ε > 0 wähle N ∈ N und Stetigkeitspunkte y0 < ... < yN von F so, dass
F (y0) < ε, F (yN) > 1−ε und F (yi)−F (yi−1) < ε für i = 1, ..., N. Dann ist Fn(yi) n→∞
−−−→ F (yi)
und
also
lim sup
n→∞
N−1 �
f ≤ 1 (−∞,y0] + 1 (yN ,∞) + (f(yi) + ε)1 (yi,yi+1],
i=1
Pn[f] ≤ lim sup Fn(y0) + 1 − Fn(yN) +
n→∞
≤ 3ε +
N�
(f(yi) + ε)(Fn(yi) − Fn(yi−1)
i=1
N�
f(yi)(F (yi) − F (yi−1)) ≤ 4ε + P[f]
i=1
Mit ε → 0 und durch Ersetzen von f mit 1 − f folgt Pn[f] n→∞
−−−→ P[f].
Bemerkung 8.8. Zwar ist die Konvergenz in Verteilung der schwächste Konvergenzbegriff.
Jedoch besteht ein Zusammenhang mit der fast sicheren Konvergenz, wie folgendes Theorem
zeigt.

KAPITEL 8. SCHWACHE KONVERGENZ 63
Theorem 8.9 (Skorohod). Seien X, X1, X2, ... Zufallsvariablen mit Werten in einem
n→∞
vollständigen und separablen Raum E. Dann gilt Xn ===⇒ X genau dann, wenn es
einen Wahrscheinlichkeitsraum gibt, auf dem Zufallsgrößen Y, Y1, Y2, ... definiert sind mit
Yn n→∞
−−−→fs Y und Y d = X, Y1 d = X1, Y2 d = X2, ...
Beweis. ’⇐’: klar, da aus der fast sicheren die schwache Konvergenz nach Proposition 8.4
folgt.
’⇒’: Als Wahrscheinlichkeitsraum erweitern wir den Raum, auf dem X definiert ist, setzen
also insbesondere Y = X. Sei zunächst E = {1, ..., m} endlich. Sei U uniform auf [0, 1] verteilt
und unabhängig von Y . Wir setzen Yn = k falls U ≤ P{Xn=k}
P{X=k} und so, dass Yn d = Xn. Da nach
Voraussetzung P{Xn = k} n→∞
−−−→ P{X = k}, folgt die fast sichere Konvergenz.
Für allgemeines E wählen wir für jedes p eine Partition von E in Mengen B1, B2, ...
in E mit P{Y ∈ ∂Bk} = 0 und Durchmesser höchstens 2 −p . Wähle m groß genug, damit
P{Y /∈ B0} < 2 −p mit B0 := E\ �
k≤m Bk. Für k = 1, 2, ..., definiere Zufallsgrößen � Z, � Z1, � Z2, ...
so, dass � Z = k genau dann, wenn Y ∈ Bk und � Zn = k wenn Yn ∈ Bk. Dann gilt � Zn n→∞
===⇒ � Z.
Da � Z, � Z1, ... nur Werte in einer endlichen Menge annehmen, können wir damit Zufallsgrößen
Z, Z1, Z2, ... definieren mit Zn n→∞
−−−→fs Z. Weiter seien Wn,k Zufallsgrößen mit Verteilung
P[Xn ∈ .|Xn ∈ Bk] und � Yn,p = �
k Wn,k1 {Zn=k}, so dass � Yn,p d = Xn für alle n. Klar ist nun
�
r( � Yn,p, Y ) > 2 −p�
⊆ {Zn �= Z} ∪ {Y ∈ B0}.
Da Zn n→∞
−−−→fs Z und P{Y ∈ B0} < 2−p , gibt es für jedes p Zahlen n1 < n2 < ... mit
� � �
P r( Yn,p, � Y ) > 2 −p��
< 2 −p
n≥np
für alle p. Mit dem Borel-Cantelli-Lemma bekommen wir
sup r(
n≥np
� Yn,p, Y ) ≤ 2 −p
für fast alle p. Wir definieren also Yn := � Yn,p für np ≤ n < np+1 und beachten, dass Xn d =
Yn n→∞
−−−→fs Y .
8.2 Der Satz von Helly
In diesem Abschnitt beleuchten wir den Begriff der vagen Konvergenz. Dabei werden wir uns
auf den Raum E = R d beschränken. Klar ist schon, dass aus der schwachen Konvergenz von
Verteilungen die vage folgt, und dass für d = 1 die schwache Konvergenz äquivalent mit der
Konvergenz der Verteilungsfunktionen ist (Korollar 8.6). Zunächst erweitern wir den Begriff
der Verteilungsfunktion für Maße auf R d .
Definition 8.10. 1. Für x, y ∈ Rd sei x ≤ y genau dann, wenn xi ≤ yi, i = 1, ..., d. In
diesem Fall bezeichnet (x; y] := �d i=1 (xi; yi]. Wir bezeichnen mit ∞ = (∞, ..., ∞) und
−∞ = (−∞, ..., −∞)
2. Eine Funktion F auf R d heißt rechtsstetig, falls F (y) y↓x
−−→ F (x) für alle x ∈ R d .

KAPITEL 8. SCHWACHE KONVERGENZ 64
3. Sei µ ∈ P≤1(R d ). Dann ist die Verteilungsfunktion von µ gegeben durch
Dann gilt für x ≤ y, dass
µ((x; y]) =
F (x) := µ((−∞; x]).
�
u Ecke von (x;y]
Die rechte Seite bezeichnen wir mit F ((x; y]).
(−1) |{k:uk=yk}| F (u).
Ohne Beweis stellen wir zwei Resultate zusammen, die Bekanntes über Verteilungsfunktionen
für Maße auf R auf Maße auf R d erweitern.
Theorem 8.11. Eine Funktion F : Rd → [0, 1] ist genau dann Verteilungsfunktion eines
Wahrscheinlichkeitsmaßes P auf Rd , falls sie rechtsstetig ist und F (x) x→−∞
−−−−→ 0, F (x) x→∞
−−−→
1.
l:326 Korollar 8.12. Sei F eine rechtsstetige Funktion auf R d mit nicht-negativen Inkrementen.
Dann gibt es ein Maß µ auf R d mit µ((x; y]) = F ((x; y]), x ≤ y.
T:Helly Theorem 8.13 (Satz von Helly). Sei P1, P2, ... ∈ P(Rd ). Dann gibt es eine Teilfolge (nk)k=1,2,...
und ein µ ∈ P≤1(Rd ) mit Pnk
k→∞
===⇒v µ.
ex:vc1 Beispiel 8.14. Betrachte die Wahrscheinlichkeitsmaße δ0, δ1, .... Dann gilt δn n→∞
===⇒v 0. Wir
bemerken jedoch, dass δ1, δ2, .. nicht schwach gegen das Nullmaß konvergieren, siehe Bemerkung
8.2.2.
Beweis. Seien F1, F2, ... die Verteilungsfunktionen von P1, P2, .... Weiter sei (x1, x2, ...) eine
Abzählung von Q d . Da [0, 1] kompakt ist, gibt es zu jeder Folge (Fn(xi))n=1,2,... eine konvergente
Teilfolge. Mittels eines Diagonal-Argumentes gibt es eine Folge (nk)k=1,2,..., so dass
Fnk (xi))k=1,2,... für alle i gegen einen Limes G(xi) auf Q d konvergiert. Wir definieren
F (x) := inf{G(r) : r ∈ Q d , r > x}.
Da alle Fn und damit G nicht-negative Zuwächse haben, gilt dasselbe für F . Aus der Definition
von F und der Monotonie von G folgt weiter, dass F rechtsstetig ist. Nach Korollar 8.12 gibt
es ein Maß µ auf Rd mit µ((x, y]) = F ((x; y]) für alle x, y ∈ Rd , x ≤ y. Es bleibt zu zeigen,
dass Pn[f] n→∞
−−−→ µ[f] für alle f ∈ Cc(Rd ). Œ können wir annehmen, dass f ≥ 0 ist.
Es ist Fn(x) n→∞
−−−→ F (x) an allen Stetigkeitsstellen x von F nach Konstruktion. Es gibt
abzählbare Mengen D1, ..., Dd ⊆ R, so dass F auf C := Dc 1 × · · · × Dc d stetig ist. Damit
ist Pn(U) n→∞
−−−→ µ(U) für alle endlichen Vereinigungen U von Rechtecken mit Ecken in C.
Sei nun B ⊆ Rd offen und beschränkt. Seien U1, U2, ... und V1, V2, ... Folgen von endlichen
Vereinigungen von offenen Rechtecken mit Ecken in C, so dass Uk ↑ B, Vk ↓ ¯ B. Dann gilt
µ(B) = lim
k→∞ µ(Uk) = lim lim inf
k→∞ n→∞ Pn(Uk) ≤ lim inf
n→∞ Pn(B)
≤ lim sup
n→∞
Pn(B) ≤ lim
k→∞
lim sup Pn(Vk) = lim
n→∞
k→∞ µ(Vk) = µ( ¯ B).

KAPITEL 8. SCHWACHE KONVERGENZ 65
Da µ{f = t} > 0 für höchstens abzählbar viele t, und da Pn{f > t} ≤ 1t≥||f||, folgt mit
majorisierter Kovergenz
� ∞
� ∞
µ[f] =
0
µ{f > t}dt ≤
0
lim inf
n→∞ Pn{f
� ∞
> t}dt = lim inf
n→∞
0
Pn{f > t}dt = lim inf
n→∞ En[f]
� ∞
� ∞
� ∞
≤ lim sup Pn[f] = lim sup
n→∞
n→∞
= µ[f]
0
Pn{f > t}dt =
0
lim sup Pn{f > t}dt ≤
n→∞
0
µ{f ≥ t}
8.3 Der Satz von Prohorov
Um die schwache Konvergenz von Wahrscheinlichkeitsmaßen festzustellen, ist Theorem 8.5
hilfreich. Wir wenden uns nun der Frage zu, ob eine Folge von Wahrscheinlichkeitsmaßen
überhaupt einen Häufungspunkt haben kann. Im Sinne der vagen Konvergenz von Wahrscheinlichkeitsmaßen
auf R d besagt der Satz von Helly, dass jede Folge einen Häufungspunkt
besitzt. Jedoch, siehe Beispiel 8.14, kann es sein, dass das Grenzmaß kein Wahrscheinlichkeitsmaß
ist. Allerdings zeigt nachfolgendes Resultat, dass das Grenzmaß zumindest Gesamtmasse
höchstens 1 besitzt.
Lemma 8.15. Sei P1, P2, ... ∈ P(R d ) und µ ∈ P≤1(R d ) mit Pn n→∞
===⇒v µ, so gilt µ(R d ) ≤ 1.
Beweis. Sei f1, f2, ... ∈ Cc(E) mit fk ↑ 1. Dann gilt
µ(R d ) = sup
k∈N
µ[fk] = sup
k∈N
lim sup Pn[fk] ≤ 1.
n→∞
Um die Existenz von Häufungspunkten im Sinne der schwachen Konvergenz zu zeigen, muss sichergestellt
sein, dass Grenzmaße wieder Wahrscheinlichkeitsmaße sind, also beim Grenzübergang
keine Masse verloren geht. Hierbei ist das Konzept der Straffheit zentral.
Definition 8.16 (Straffheit). Sei K die Menge aller kompakten Mengen in E. Eine Familie
(µi)i∈I in P(E) ist straff, falls
sup inf
i∈I µi(K) = 1.
K∈K
Eine Familie (Xi)i∈I von E-wertigen Zufallsvariablen ist straff, falls ((Xi)∗P)i∈I straff ist,
d.h.
sup inf
i∈I P{Xi ∈ K} = 1.
K∈K
rem:tight Bemerkung 8.17. 1. Sei (E, r) vollständig und separabel. Für µ ∈ P(E) ist dann {µ}
nach Theorem 11.5 der Wahrscheinlichkeitstheorie I von innen K-regulär, also straff.
Damit ist auch jede endliche Menge von Wahrscheinlichkeitsmaßen straff.
2. Ist I = {1, 2, ...}, so kann man in obiger Definition inf durch lim inf ersetzen.

KAPITEL 8. SCHWACHE KONVERGENZ 66
3. Falls E = R d , ist eine Familie (µi)i∈I genau dann straff, wenn
sup inf
r>0 i∈I µi(Br(0)) = 1,
wobei Br(0) die Kugel um 0 mit Radius r ist.
Beispiel 8.18. 1. Ist E kompakt, so ist jede Familie von Wahrscheinlichkeitsmaßen auf
E straff.
2. Eine Familie (Xi)i∈I von reellen Zufallsvariablen mit
ist straff. Denn es gilt
sup P[|Xi|] < ∞,
i∈I
inf
r>0 sup P{|Xi| ≥ r} ≤ inf
i∈I
r>0 sup
P[|Xi|]
= 0.
i∈I r
3. Die Famiilie (δn)n=1,2,..., wobei δn das Dircamaße auf n ist, ist nicht straff.
l:wc1 Lemma 8.19. Seien P1, P2, ... ∈ P(R d ) und µ ∈ M(R d ) mit
Dann ist
In diesem Fall gilt Pn n→∞
===⇒ µ.
Pn n→∞
===⇒v µ.
µ(R d ) = 1 ⇐⇒ (Pn)n=1,2,... ist straff.
Beweis. Für r > 0 wähle ein gr ∈ Cc(Rd ), 1Br(0) ≤ gr ≤ 1Br+1(0). Dann ist (Pn)n=1,2,... genau
dann straff, wenn
sup lim inf
r>0 n→∞ Pn[gr] = 1.
’⇒’: Es gilt
1 = sup
r>0
µ(Br(0)) ≤ sup
r>0
’⇐’: Sei (Pn)n=1,2,.. straff. Dann folgt
1 ≥ µ(R d ) = sup
r>0
µ(Br(0)) = sup
r>0
µ[gr] = sup lim inf
r>0 n→∞ Pn[gr] ≤ 1.
µ[gr] = sup lim inf
r>0 n→∞ Pn[gr] = 1.
Angenommen, (Pn)n=1,2,... ist straff und f ∈ Cb(Rd ). Dann gilt
� �
lim sup |Pn[f] − µ[f]| ≤ inf lim sup |Pn[f − fgr]| + |Pn[fgr]| − µ[fgr]| + |µ[f − fgr]|
n→∞
r>0 n→∞
≤ ||f|| inf
r>0
lim sup
n→∞
Pn(Br(0) c ) + inf
r>0 µ[Br(0) c ] = 0.
cor:wc2 Korollar 8.20. Seien P, P1, P2, ... ∈ P(R d ). Falls Pn n→∞
===⇒ P, so ist (Pn)n∈N straff.

KAPITEL 8. SCHWACHE KONVERGENZ 67
Beweis. Da aus der schwache Konvergenz von P1, P2, ... gegen P, die vage Konvergenz folgt,
gelten für P, P1, P2, ... die Voraussetzungen von Lemma 8.19 und P(R d ) = 1. Also ist (Pn)n∈N
straff.
T:prohorov Theorem 8.21 (Satz von Prohorov). Seien P1, P2, ... ∈ P(E). Ist (Pn)n∈N straff, so hat jede
Teilfolge von (Pn)n∈N eine schwach konvergente Teilfolge. Ist E vollständig und separabel, so
gilt auch die Umkehrung.
Bemerkung 8.22. Wir zeigen das Theorem nur für den Spezialfall E = R d . Den allgemeinen
Satz liest man in Lehrbüchern, etwa von Klenke oder Kallenberg nach.
Beweis. Nach Theorem 8.13 hat P1, P2, ... eine Teilfolge, die vage konvergiert.
’⇒’: Falls (Pn)n=1,2,... straff ist, gilt mit Lemma 8.19 auch die schwache Konvergenz der
Teilfolge.
’⇐’: Sei andersherum (Pn)n=1,2,... nicht straff, so gibt es ein ε > 0, so dass für jedes k > 0 ein
nk gibt
Pnk (Bk(0) c ) > ε (8.4) eq:wc8
für alle k. Nach Voraussetzung hat die Folge (nk)k=1,2,... eine Teilfolge (nkℓ )ℓ=1,2,..., so dass
(Pnk ℓ )ℓ=1,2,... schwach konvergiert. Nach Korollar 8.20 ist damit (Pnk ℓ )ℓ=1,2,... straff. Insbesondere
gibt es ein r, so dass
Pnk ℓ (Br(0) c ) < ε
für alle ℓ. Das ist für k > r aber ein Widerspruch zu (8.4).
8.4 Anwendung: Der Satz von deFinetti
Bereits bekannt sind unabhängige, identisch verteilte Zufallsgrößen. Dieses Konzept erweitern
wir zu austauschbaren Zufallsgrößen. Diese sind zwar identisch verteilt, jedoch auf eine
bestimmte Art und Weise abhängig.
Definition 8.23. 1. Sei Σ die Menge aller Permutationen ρ auf N mit ρ(i) �= i für
höchstens endlich viele i. Eine Familie X1, X2, ... von Zufallsvariablen heißt austauschbar,
falls
für alle ρ ∈ Σ.
2. Seien P, Q ∈ P(E). Dann definiert
(X ρ(i))i=1,2,... d = (Xi)i=1,2,... (8.5) eq:ex1
rT V (P, Q) := sup
A∈B(E)
|P(A) − Q(A)|
den Totalvariantionsabstand der Maße P und Q.
ex:dF1 Beispiel 8.24. 1. Sei X1, X2, ... austauschbar. Dann sind die X1, X2, ... identisch verteilt.
Das folgt aus (8.5) für n = 1.

KAPITEL 8. SCHWACHE KONVERGENZ 68
2. Jede unabhängige, identisch verteilte Familie von Zufallsgrößen ist austauschbar.
3. Angenommen, man hat I Münzen mit verschiedenen Wahrscheinlichkeiten, Kopf zu
zeigen, zur Auswahl. Man wählt eine Münze nach einer Verteilung auf I aus und
führt anschließend einen unendlichen, unabhängigen Münzwurf durch. Bezeichne dann
X1, X2, ... die Ergebnisse dieses Münzwurfs. Diese Folge von Zufallsgrößen ist zwar nicht
unabhängig, aber austauschbar.
4. Das letzte Beispiel verallgemeinert man folgendermaßen: sei ξ ∈ P(P(E)) (ξ bestimmt
die zufällige Wahrscheinlichkeit, mit der die gezogene Münze Kopf zeigt.) Gegeben ξ,
seien X1, X2, ... unabhängig und so verteilt wie ξ. Dann sind X1, X2, ... austauschbar.
Denn für ρ ∈ ΣN und A ∈ B(E N ) ist
P � (X ρ(i))i=1,2,... ∈ A � = P � P � (X ρ(i))i=1,2,... ∈ A|ξ ��
= P � P � (Xi)i=1,2,... ∈ A|ξ �� = P � (Xi)i=1,2,... ∈ A �
5. Sei I = {1, ..., N} und X1, ..., XK die Ergebnisse des Ziehens ohne Zurücklegen aus einer
Urne mit farbigen Kugeln. Dann sind X1, ..., XK austauschbar, aber nicht unabhängig.
Lemma 8.25. Seien P, Q ∈ P(E) und f ∈ Cb(E). Dann gilt
Beweis. Zunächst stellt man fest, dass
|P[f] − Q[f]| ≤ 2||f||∞ · rT V (P, Q).
rT V (P, Q) = 1
2 sup |P[f] − Q[f]| (8.6) eq:dF1
f:||f||∞≤1
gilt. Denn:
’≤’: Klar, da für jede Indikatorfunktion 1A die Funktion 2 · 1A − 1 in {f : ||f|| ≤ 1} ist.
’≥’: Durch Übergang von f zu −f kann man Œ die Betragsstriche auf der rechten Seite
weglassen. Œ ist |f| = 1 überall. Falls z.B. A := {0 ≤ f < 1} �= ∅ oder B := {−1 < f < 0} �= ∅
mit P(A) > Q(A) und P(B) < Q(B), so setzen wir g = f auf A c ∩B c , g = 1 auf A und g = −1
auf B. Damit ist |g| = 1 und
P[g] − Q[g] > P[f] − Q[f].
Da also Π|f| = 1, folgt die Behauptung durch Einsetzen von f
||f||
in (8.6).
l:dF1 Lemma 8.26. Eine Teilmenge M ⊆ P(P(E)) ist genau dann straff, wenn für jedes ε > 0
eine kompakte Menge K = Kε ⊆ E existiert mit
inf
ξ∈M ξ(�P ∈ P(E) : P(K) > 1 − ε � ) > 1 − ε
Beweis. ’⇒’: Sei ε > 0. Es gibt eine kompakte Menge K ⊆ P(E), so dass
inf ξ(K) > 1 − ε.
ξ∈M
Da K kompakt ist, gibt es zu jeder Teilfolge in K eine konvergente Teilfolge und damit ist K
straff. Also gibt es ein K ⊆ E mit
inf P(K) > 1 − ε.
P∈K

KAPITEL 8. SCHWACHE KONVERGENZ 69
Damit ist also
inf
ξ∈M ξ(�P ∈ P(E) : P(K) > 1 − ε � ) ≥ inf ξ(K) > 1 − ε.
ξ∈M
’⇐’: Sei ε > 0. Wir bezeichnen K = Kε wie angegeben. Dann ist die Menge
K := {P ∈ P(E) : P(K c ε2 −n) ≤ ε2 −n , n > 0}
straff. Nach dem Satz von Prohorov ist sie damit relativkompakt, ihr Abschluss also kompakt.
Es gilt
Damit ist M straff.
sup
ξ∈M
ξ(K c ) ≤ �
ξ({P ∈ P(E) : P(K c ε2−n) > ε2 −n } ≤ ε
n
Theorem 8.27 (deFinetti). Eine Familie X1, X2, ... von Zufallsvariablen mit Werten in E ist
genau dann austauschbar, wenn es eine P(E)-wertige Zufallsgröße Ξ gibt mit der Eigenschaft:
gegeben Ξ ist X1, X2, ... unabhängig, identisch verteilt mit Verteilung Ξ.
Beweis. ’⇐’: Klar, siehe Beispiel 8.24.
’⇒’: Für x = (x1, x2, ...) ∈ EN sei ξn(x) = 1
n
x1, ..., xn und
µn,k := ξn(x) ⊗k = n −k
�n δxi i=1 ∈ P(E) die empirische Verteilung von
n�
i1,...,ik=1
δ (xi 1 ,...,xi k ) ∈ P(E k )
die Verteilung des k-fachen Ziehens aus x mit Zurücklegen und
n�
(n − k)!
νn,k :=
n!
i 1 ,...,i k =1
ij�=i j ′
δ (xi 1 ,...,xi k ) ∈ P(E k ), n ≥ k
die Verteilung des k-fach Ziehens aus x ohne Zurücklegen. Für jedes x ∈ E N gilt
rT V (µn,k(x), νn,k(x)) ≤ n −k |{(i1, ..., ik) : ij = ij ′ für ein Paar j, j′ }| ≤
k(k − 1)
,
n
d.h.
lim
n→∞ sup
x∈EN rT V (µn,k(x), νn,k(x)) = 0.
Das ist die intuitiv klare Aussage, dass für große Grundgesamtheiten das Ziehen ohne und
mit Zurücklegen fast dieselben Wahrscheilichkeiten liefern.
Sei nun F (x1, ..., xk) = f1(x1) · · · fk(xk) mit f1, ..., fk ∈ Cb(E). Damit gilt, da die X1, X2, ...
austauschbar sind,
P[f1(X1) · · · fk(Xk)] = P[F (X1, ..., Xk)] = P[F (Xi1 , ..., Xik )] = P�νn,k(X)[F ] �
und damit
�
�
�P[f1(X1) · · · fk(Xk)] − P � ξn(X)[f1] · · · ξn(X)[fk] �� � �
=
�
�
�P � νn,k(X)[F ] � − P � µn,k(X)[F ] �� � �
k(k − 1)
≤ 2 · ||F ||∞
n
n→∞
−−−→ 0.

KAPITEL 8. SCHWACHE KONVERGENZ 70
Da E vollständig und separabel ist, existiert zu ε > 0 eine kompakte Menge K ⊆ E mit
P{X1 ∈ K c } < ε 2 . Damit ist
P � ξn(X)(K c ) > ε � ≤ P[ξn(X)(K c )]
ε
= P{X1 ∈ K c }
ε
Nach Lemma 8.26 sind ξ1(X), ξ2(X), ... straff. Sei Ξ ein schwacher Häufungspunkt von
ξ1(X), ξ2(X), ... entlang einer Folge n1, n2, .... Da die Abbildung ξ ↦→ ξ[F ] auf P(E) stetig
und beschränkt ist, gilt
≤ ε.
P � Ξ ⊗k [F ] � = lim
l→∞ P � ξnl (X)[f1] · · · ξnl (X)[fk] � = P[f1(X1) · · · fk(Xk)].
Dieser Grenzwert hängt nicht mehr von der Teilfolge n1, n2, ... ab und ist somit eindeutig.
Damit gilt
P[f1(X1) · · · fk(Xk)] = P � Ξ[f1] · · · Ξ[fk] � .
Dadurch ist die Verteilung von X1, X2, ... eindeutig beschrieben. Es folgt, dass, gegeben Ξ,
die Zufallsvariablen X1, X2, ... unabhängig sind mit Verteilung Ξ.

Kapitel 9
Charakteristische Funktionen und
Laplace-Transformierte
In diesem Abschnitt werden wir Kapital aus der allgemeinen Theorie der schwachen Konvergenz
schlagen. Zunächst werden wir für allgemeine Räume das Konzept der separierenden
Funktionenklasse vorstellen. Die Nützlichkeit der charakteristische Funktion und der Laplace-
Transformierte von Verteilungen nutzen die Eigenschaft zweier bestimmter Funktionenklassen,
separierend zu sein, aus.
9.1 Einführung: Separierende Funktionenklassen
In diesem Abschnitt sei (E, r) vollständig und separabel.
Definition 9.1. 1. Eine Funktionenklasse M ⊆ Cb(E) heißt punkttrennend in E, falls es
für alle x, y ∈ E mit x �= y ein f ∈ M gibt mit f(x) �= f(y).
2. Eine Funktionenklasse M ⊆ Cb(E) heißt separierend in P(E), falls aus P, Q ∈ P(E)
und
P[f] = Q[f] für alle f ∈ M
folgt, dass P = Q.
Beispiel 9.2. 1. Die Funktionenklasse M := Cb(E) ist sowohl punktetrennend als auch
separierend.
2. Die Funktionenklasse {x ↦→ cx : c ∈ R} aller linearen Funktionen ist zwar punktetrennend,
aber nicht separierend.
Pr:wc3 Proposition 9.3 (Separierende Funktionenklasse und schwache Konvergenz). Sei (E, r) vollständig
und separabel und P, P1, P2, ... ∈ P(E). Dann sind äquivalent:
1. Pn n→∞
===⇒ P.
2. (Pn)n=1,2,... ist straff und es gibt eine separierende Familie M ⊆ Cb(E) mit
Pn[f] n→∞
−−−→ P[f] für alle f ∈ M.
71

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 72
Beweis. 1. ⇒ 2. Nach Korollar 8.20 ist (Pn)n=1,2,... straff. Der zweite Teil von 2. gilt wegen
der Definition der schwachen Konvergenz.
2. ⇒ 1. Angenommen, (Pn)n=1,2,... ist straff und P1, P2, ... konvergiert nicht schwach gegen P.
Dann gibt es ε > 0, ein f ∈ Cb(E) und eine Teilfolge (nk)k=1,2,..., so dass
|Pnk [f] − P[f]| > ε für alle k. (9.1) eq:wc10
Nach Theorem 8.21 gibt es eine Teilfolge (nkℓ )ℓ=1,2,... und ein Q ∈ P(E), so dass Pnk ℓ
Wegen (9.1) ist
|P[f] − Q[f]| ≥ | lim inf
ℓ→∞
� P[f] − Pnk ℓ [f]|) + lim inf
ℓ→∞ (Pnk ℓ [f] − Q[f])| > ε,
insbesondere also P �= Q. Andererseits haben wir für alle g ∈ M
P[g] = lim
ℓ→∞ Pnk ℓ [g] = Q[g].
Da M separierend ist, ist dies ein Widerspruch und 1. ist gezeigt.
ℓ→∞
===⇒ Q.
Das nächste Resultat benötigt das Stone-Weierstrass-Theorem, das wir zunächst wiederholen.
Definition 9.4. Ein Mengensystem M ⊆ C(E) heißt Algebra, falls 1 ∈ M, sowie mit f, g
und α, β ∈ R auch αf + βg, sowie fg in M enthalten sind.
T:sw Theorem 9.5 (Stone-Weierstrass). Sei (E, r) kompakt und M ⊆ Cb(E) eine punktetrennende
Algebra. Dann ist M dicht in Cb(E) bzgl. der Supremumsnorm.
T:wc3 Theorem 9.6. Sei (E, r) vollständig und separabel. Ist M ⊆ Cb(E) punktetrennend und so,
dass mit f, g ∈ M auch fg ∈ M. Dann ist M separierend.
Beweis. Sei P, Q ∈ P(E). Œ ist 1 ∈ M, da P[1] = Q[1] immer gilt. Weiter ist M genau dann
separierend wenn die von M erzeugt Algebra separierend ist. Also ist M Πeine Algebra. Sei
ε > 0 und K kompakt, so dass P(K) > 1 − ε, Q(K) > 1 − ε. Für g ∈ Cb(E) gibt es nach dem
Stone-Weierstrass Theorem 9.5 eine Folge (gn)n=1,2,... in M mit
Nun,
sup |gn(x) − g(x)|
x∈K
n→∞
−−−→ 0. (9.2) eq:wc9
�
�P[ge −εg2
] − Q[ge −εg2
] � � ≤ � �P[ge −εg2
] − P[ge −εg2
; K] � �
+ � �P[ge −εg2
; K] − P[gne −εg2 n; K] � �
+ � � P[gne −εg2 n; K] − P[gne −εg2 n] � �
+ |P[gne −εg2 n] − Q[gne −εg2 n] � �
+ � �Q[gne −εg2 n] − Q[gne −εg2 n; K] � �
+ � �Q[gne −εg2 n] − Q[ge −εg2
; K] � �
+ � �Q[ge −εg2
; K] − Q[ge −εg2
] � �

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 73
Den ersten Term beschränken wir durch
�
�P[ge −εg2
] − P[ge −εg2
; K] � � ≤ C √ ε P(K c ) ≤ C √ ε
mit C = supx≥0 xe−x2; analog den dritten, fünften und letzten. Der zweite und vorletzte
Term konvergieren für n → ∞ gegen 0 wegen (9.2). Da M eine Algebra ist, kann gne−εg2 n
durch Funktionen in M approximiert werden, womit auch der vierte Term für n → ∞ gegen
0 konvergiert. Damit gilt
�
�P[g] − Q[g] � � = lim
ε→0
�
�P[ge −εg2
] − Q[ge −εg2
] � √
� ≤ 4C lim ε = 0.
ε→0
Da g beliebig war und Cb(E) separierend ist, folgt P = Q.
9.2 Definition und einfache Eigenschaften
Ab hier (bis zum Ende dieses Manuskriptes) sei nun wieder E = R d , versehen mit der euklidischen
Metrik auf R d .
Definition 9.7. 1. Sei P ∈ P(Rd ). Dann ist die charakteristische Funktion von P gegeben
durch
�
R
ψP :=
d t
→ C
↦→ P[eit. ]
wobei tx := 〈t, x〉 das Skalarprodukt in R d ist und
P[e it. ] := P[cos(t.)] + iP[sin(t.)].
Die Laplace-Transformierte von P ist gegeben durch
�
R
LP :=
d → R
t ↦→ P[e−t. ],
gegeben das Integral auf der rechten Seite existiert. Diese wird meistens für Wahrscheinlichktitsmaße
auf R+ betrachtet.
2. Analog definiert man für R d -wertige Zufallsvariable X auf einem Wahrscheinlichkeitsraum
(Ω, A, P) die charakteristische Funktion ψX := ψX∗P und die Laplace-Transformierte
LX := LX∗P. Es gilt also für t ∈ R d
ψX(t) := P[e itX ], und LX(t) := P[e −tX ].
Die Nützlichkeit der charakteristischen Funktion und der Laplace-Transformierten ist darauf
zurückzuführen, dass sie verteilungsbestimmend sind.
Pr:char1 Proposition 9.8 (e it. is separierend). Die Menge {x ↦→ e itx ; t ∈ R d } ({x ↦→ e −tx ; t ∈ R d })
ist separierend in P(R d ) (in P(R+))).
Beweis. Beide Mengen bestehen aus beschränkten Funktionen, enthalten die 1, sind stabil
unter Produktbildung und punktetrennend. Nach Theorem 9.6 folgt die Behauptung.

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 74
P:cf1 Proposition 9.9 (Eigenschaften von charkteristischen Funktionen). Seien X, Y Zufallsvariable
mit Werten in R d und charakteristischen Funktionen ψX, ψY . Dann gilt
1. |ψX(t)| ≤ 1 für jedes t ∈ R d und ψX(0) = 1.
2. ψX ist gleichmäßig stetig.
3. ψX ist genau dann reellwertig, wenn X symmetrisch ist, d.h. X d = −X.
4. ψaX+b(t) = ψX(at)e ibt für alle a ∈ R, b ∈ R d .
5. Sind X und Y unabhängig, so ist ψX+Y = ψX · ψY .
Beweis. 1. ist klar. Für die gleichmäßige Stetigkeit sei erwähnt, dass
Damit gilt 2. wegen
|e ihx − 1| = � | cos(hx) + i sin(hx) − 1| 2 = � (cos(hx) − 1) 2 + sin(hx) 2
= � 2(1 − cos(hx)) = 2| sin(hx/2)| ≤ |hx| ∧ 2.
sup
t∈Rd |ψX(t + h) − ψX(t)| = sup
t∈Rd |P[e i(t+h)X − e itX ]| = sup
t∈Rd |P[e itX (e ihX − 1)]|
≤ P[|e ihX − 1|] ≤ P[|hX| ∧ 2] h→0
−−−→ 0.
Für 3. sei zunächst ψX reellwertig. Dann gilt (wobei x + iy := x−iy die Komplexkonjugation
ist)
ψ−X(t) = P[e −itX ] = P[e itX ] = ψX(t) = ψX(t).
Wegen der Eindeutigkeit der charakteristischen Funktion aus Proposition 9.8 gilt also X d =
−X. Falls umgekehrt X d = −X gilt, ist P[sin(hX)] = 0 für alle h, woraus direkt folgt, dass
ψX reellwertig ist.
Für 4. berechnen wir
Schließlich folgt 5. aus
P[e it(aX+b) ] = e itb P[e i(at)X ] = e itb ψX(at).
P[e it(X+Y ) ] = P[e itX e itY ] = P[e itX ] · P[e itY ] = ψX(t) · ψY (t).
ex:char1 Beispiel 9.10. 1. Die charakteristische Funktion der Binomialverteilung B(n, p) ist gegeben
durch
ψ B(n,p)(t) = (1 − p + pe it ) n .
Nach Definition gilt nämlich
B(n, p)[e it. ] =
n�
k=1
� �
n
p
k
k (1 − p) n−k e itk = (1 − p + pe it ) n .

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 75
2. Die charakteristische Funktion der Normalverteilung N(µ, σ 2 ) ist gegeben durch
ψ N(µ,σ 2 )(t) = e itµ e −σ2 t 2 /2 .
Nach Proposition 9.9.2 genügt es, diese Behauptung für µ = 0, σ2 = 1 nachzurechnen.
Für diesen Fall gilt mittels partieller Integration
d
dt ψN(0,1)(t) = i
�
√ xe
2π
−x2 �
/2 itx i
e dx = √2π e −x2 /2 itx
ite dx = −tψN(0,1)(t).
Diese Differentialgleichung mit ψ N(0,1)(0) = 1 hat die eindeutige Lösung ψ N(0,1)(t) =
e −t2 /2 .
3. Die charakteristische Funktion der Poissonverteilung Poiλ ist gegeben durch
denn
ψPoiλ
ψPoiλ = eλ(eit −1) ,
= e−λ
∞�
n=1
λ n e itn
n! = eλ(eit −1) .
Beispiel 9.11. Sei p1, p2, ... ∈ [0, 1] so, dass n · pn n→∞
−−−→ λ. Dann ist bereits bekannt, dass
B(n, pn) n→∞
===⇒ Poi(λ).
Wir wollen nun sehen, ob auch die charakteristischen Funktionen konvergieren. Wir schreiben
direkt
� � it
ψB(n,pn)(t) = 1 − pn 1 − e ��n �
n · pn � it
= 1 − 1 − e
n
��n n→∞
−−−→ exp � − λ(1 − e it ) � = ψPoi(λ)(t). Wie die punktweise Konvergenz der charakteristischen Funktionen und schwache Konvergenz
zusammenhängen, werden wir näher in Abschnitt 9.4 beleuchten.
9.3 Charakteristische Funktionen und Momente
Proposition 9.12 (Charakteristische Funktion und Momente). Sei X eine Zufallsvariable
mit Werten in R.
1. Ist P[|X| n ] < ∞, so ist ψX n-mal stetig differenzbar, so dass für k = 0, ..., n
2. Ist speziell P[X 2 ] < ∞, so ist
mit ε(t) t→0
−−→ 0.
ψ (k)
X (t) = P[(iX)k e itX ].
ψ (2)
t2
X (t) = 1 + itP[X] −
2 P[X2 ] + ε(t)t 2

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 76
Beweis. 1. Mit |X| n ist auch |X| n ∨ 1 integrierbar. Damit haben alle |X| k eine integrierbare
Majorante und die rechte Seite existiert. Da die Aussage offensichtlich für k = 0 gilt, nehmen
wir an, dass sie für ein k < n gilt. Damit ist, wenn man Ableitung und Integral vertauscht
ψ (k+1)
�
d
X (t) = P
dt (iX)ke itX�
= P[(iX) k+1 e itX ]
und die Behauptung ist gezeigt. Die Stetigkeit der Ableitung folgt mit majorisierter Konvergenz.
2. Für die Abschätzung benötigen wir die Taylorentwicklung von ψX mit Restgliedabschätzung.
Es gilt
e itX = 1 + itX − t2 X 2
2 (cos(θ1tX) + i sin(θ2tX))
mit Zufallszahlen θ1, θ2, so dass |θ1|, |θ2| ≤ 1. Deshalb bekommen wir
ψX(t) = 1 + itP[X] − t2
2 P[X2 ] + ε(t)t 2
mit 2ε(t) = P[X 2 (1 − cos(θ1tX) + i sin(θ2tX))] t→0
−−→ 0 mit majorisierter Konvergenz.
Bemerkung 9.13. Wie in Proposition 9.8 gezeigt, ist die Verteilung einer Zufallsvariable
durch seine charakteristische Funktion eindeutig bestimmt. Man kann auch fragen: unter welchen
Bedingungen ist die Verteilung einer Zufallsvariablen X eindeutig durch die Angabe
aller Momente, P[X], P[X 2 ], ... eindeutig bestimmt. Die Aufgabe, zu einer gegebenen Folge
von Momenten die Verteilung der Zufallsvariablen zu rekonstruieren, heißt auch Momentenproblem.
P:moment Proposition 9.14 (Momentenproblem). Sei X eine Zufallsvariable mit Werten in R und
allen Momenten. Falls
1
α := lim sup
n→∞ n P[|X|n ] 1/n < ∞,
so ist ψX analytisch und die Verteilung von X durch die Angabe der Momente P[X n ] eindeutig
bestimmt. Insbesondere gilt dies, falls P[e t|X| ] < ∞ für ein t > 0.
Beweis. Nach der Stirling-Formel ist
Für |s| < 1/(αe) gilt damit
also
n!
lim
n→∞
1/n
n
� n n
1 > lim sup P[|X| ]|s|
n→∞
�1/n e
n
lim sup
n→∞
n
e = lim
n→∞
(√2π) 1/n
n
= lim sup
n→∞
P[|X| n ]|s| n
n!
= 0.
= 1
e
� P[|X| n ]|s| n
n!
� 1/n
,
Diese Gleichung gilt insbesondere, falls P[e s|X| ] < ∞. Wir verwenden nun die Taylorreihe von
ψX(s) um 0 und Restglied, d.h.
e isX =
n−1 �
k=0
(is) k
k! P[Xk e isX ] + (is)n
n! P[Xn (cos(θ1sX) + i sin(θ2sX)]

S:charWeak
KAPITEL 9. CHARAKTERISTISCHE FUNKTION 77
mit Zufallszahlen θ1, θ2, so dass |θ1|, |θ2| ≤ 1. Damit ist
�
n−1
�
�
�ψX(s) −
k=0
(is) k
k! P[Xke isX �
�
] � ≤ P[|X|n ]|s| n
n!
n→∞
−−−→ 0,
d.h. ψX ist analytisch mit Konvergenzradius 1/(αe). Damit ist sie eindeutig durch die Koeffizienten
der Potenzreihe um t = 0, also die Momente von X, festgelegt.
Beispiel 9.15. 1. Sei X ∼ N(0, 1). Dann ist
P[e tX ] = 1
�
√
2π
e tx e −x2 /2 1
dx = √2π e t2 �
/2
e −(x−t)2 /2 dx = e t 2
/2 < ∞.
Insbesondere ist die Verteilung von X durch Angabe aller Momente eindeutig bestimmt.
In der Tat ist die charakteristische Funktion von N(0, 1) aus Beispiel 9.10 analytisch.
2. Sei X eine log-normalverteilte Zufallsvariable, d.h. X = e Y , wobei Y ∼ N(0, 1). Dann
ist wegen dem Transformationssatz die Dichte von X gegeben durch
Außerdem gilt
f(x) = 1 1
√
2π x exp
�
−
(log
�
x)2
.
2
P[Y n ] = P[e nX ] = ψ N(0,1)(−in) = e n2 /2
1/n n→∞
wegen Beispiel 9.10. Damit ist 1
nP[Xn ] −−−→ ∞, die Voraussetzungen von Proposition
9.14 sind also nicht erfüllt. Wir werden nun Verteilungen angeben, die dieselben
Momente wie X haben. Für α ∈ [−1; 1] ist
0
fα(x) = f(x)(1 − α sin(2π log x)
Dichte einer Wahrscheinlichkeitsverteilung Pα auf R+. Da
� ∞
x n � ∞
y=log x−n 1
f(x) sin(2π log x) = √
2π
−∞
= e n2 /2 P[sin(2πY )] = 0
folgt, dass die Verteilungen Pα dieselben Momente wie X haben.
e yn+n2
e −(y+n)2 /2
sin(2π(y + n))dy
9.4 Der Zusammenhang mit schwacher Konvergenz
Bemerkung 9.16. Seien P, P1, P2, ... ∈ P(Rd ). Wie man aus Proposition 9.3 sieht, folgt die
schwache Konvergenz Pn n→∞
===⇒ P aus der punktweisen Konvergenz der charakteristischen
n→∞
Funktionen, ψPn (t) −−−→ ψP(t), t ∈ Rd , gegeben (Pn)n∈N ist straff. Straffheit der Familie
kann man an ihren charakteristischen Funktionen ablesen, wie wir in Proposition 9.21 zeigen
werden. Dies führt zu der Aussage des Levy’schen Stetigkeitssatzes (Theorem 9.22), der angibt,
wann der punktweise Limes von charakteristischen Funktionen wieder charakteristische
Funktion eines Wahrscheinlichkeitsmaßes ist.

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 78
L:char1 Lemma 9.17. Sei P ∈ P(R). Dann gilt für alle r > 0
P((−∞; −r] ∪ [r; ∞)) ≤ r
2
� 2/r
−2/r
(1 − ψP(t))dt, (9.3)
Beweis. Es ist sin(x)/x ≤ 1 für x ≤ 2 und sin x ≤ x/2 für x ≥ 2. Sei X eine Zufallsvariable
mit Verteilung P. Also gilt für jedes c > 0 nach Fubini
� c
�
(1 − ψP(t))dt = P
� c
(1 − e itX � �
)dt = P 2c − 1
� �
�
c
und die Behauptung folgt mit c = 2/r.
−c
iX eitX
� c
t=−c
�
= 2cP 1 − sin(cX)
�
cX
�
≥ 2cP 1 − sin(cX)
�
; |cX| ≥ 2
cX
≥ c · P{|cX| ≥ 2} = cP((−∞; − 2 2
c ] ∪ [ c ; ∞)),
Definition 9.18 (Gleichgradige Stetigkeit). Wir wiederholen eine Definition aus der Analysis.
Eine Menge M ⊆ C(R d ) heißt in x ∈ R d gleichgradig stetig, falls
sup |f(y) − f(x)|
f∈M
y→x
−−−→ 0.
Bemerkung 9.19. Falls M = {f1, f2, ...}, so ist die Bedingung
äquivalent.
lim sup |fn(y) − fn(x)|
n→∞
y→x
−−−→ 0
L:char2 Lemma 9.20. Seien f1, f2, ... ∈ C(R d ), so dass fn n→∞
−−−→ f für eine Funktion f : R d → R
punktweise gilt. Genau dann ist f in 0 stetig, wenn (fn)n=1,2,... in 0 gleichgradig stetig ist.
Beweis. Ist (fn)n=1,2,... gleichgradig stetig in 0, so folgt
|f(t) − f(0)| = | lim
n→∞ (fn(t) − fn(0))| ≤ lim sup |fn(t) − fn(0)| t→0
−−→ 0.
Ist andersherum f stetig in 0, so gilt
lim sup
n→∞
n→∞
|fn(t)−fn(0)| ≤ lim sup |fn(t)−f(t)|+|f(t)−f(0)|+|f(0)−fn(0) = |f(t)−f(0)|
n→∞
t→0
−−→ 0.
Pr:char4 Proposition 9.21 (Straffheit und gleichgradige Stetigkeit). Sei (Pi)i∈I eine Familie in P(R d ).
Ist (ψPi )i∈I gleichgradig stetig in 0, so ist (Pi)i∈I straff.
Beweis. Es genügt zu zeigen, dass ((πk)∗Pi)i∈I für alle Projektionen π1, ..., πd straff ist. Es
gilt offenbar ψ (πk)∗Pi (t) = ψPi (tek), falls ek der k-te Einheitsvektor ist. Damit genügt es, die
Behauptung im Fall d = 1 zu zeigen. Da ψPi (0) = 1 für alle i ∈ I gilt, folgern wir aus der
gleichgradigen Stetigkeit, dass
t→0
sup |1 − ψPi (t)| −−→ 0,
i∈I

KAPITEL 9. CHARAKTERISTISCHE FUNKTION 79
also, siehe Bemerkung 8.17,
sup inf
r>0 i∈I Pi([−r; r]) ≥ 1 − inf
r>0 sup
Damit ist die Behauptung gezeigt.
r
≥ 1 − inf
r>0 2
≥ 1 − 2 inf
r
2
� 2/r
i∈I −2/r
� 2/r
−2/r
sup
r>0 t∈[0;2/r]
(1 − ψPi (t))dt
sup |1 − ψPi
i∈I
(t)|dt
sup |1 − ψPi (t)| = 1.
i∈I
T:levy Theorem 9.22 (Levy’scher Stetigkeitssatz). Seien P1, P2, ... ∈ P(Rd ) und ψ : Rd → C, so
n→∞
dass ψPn (t) −−−→ ψ(t) für alle t ∈ Rd . Falls ψ stetig in 0 ist, so ist Pn n→∞
===⇒ P für ein
P ∈ P(Rd ) mit ψP = ψ.
Beweis. Da ψPn punktweise gegen die in 0 stetige Funktion ψ konvergieren, folgt mit Lemma
9.20, dass (ψPn )n=1,2,... in 0 gleichgradig stetig ist. Mit Proposition 9.21 folgt, dass (Pn)n=1,2,...
straff ist. Sei (nk)k=1,2,... eine Teilfolge und P ∈ P(Rd k→∞
), so dass Pnk ===⇒ P. Da x ↦→ eitx eine
stetige, beschränkte Funktion ist, folgt ψPn (t)
k k→∞
−−−→ ψP(t) für alle t ∈ Rd . Andererseits
n→∞
ist nach Voraussetzung auch ψPn (t) −−−→ ψ(t), woraus ψP = ψ folgt. Damit ist ψ als charakteristische
Funktion von P identifiziert, und da diese P eindeutig bestimmt, gilt damit
Pn n→∞
===⇒ P.
Beispiel 9.23. Seien Sn ∼ B(n, p). Der Satz von deMoivre-Laplace besagt, dass
S ∗ n := Sn − np
� np(1 − p)
n→∞
===⇒ N(0, 1). (9.4) eq:char4
Wir wollen dies nun nochmal mit Hilfe von charakteristischen Funktionen zeigen, also ψS ∗ n
n→∞
−−−→
ψ N(0,1) punktweise. Dazu verwenden wir Proposition 9.9.4 und schreiben mit q := 1 − p und
C1, C2, ... ∈ C mit lim sup n→∞ |Cn| < ∞
�
np
� �
t
�
· ψB(n,p) √npq
q
� �
np
�� �
it
��n = exp − it q + p exp √npq
q
� � �
p
� � �
q
��n = q exp − it + p exp it
nq
np
� � �
p t2 p q q Cn
= 1 − qit − q + pit − pt2 +
nq 2 nq np 2 np n3/2 �n �
= 1 − t2 1 Cn
+
2 n n3/2 �n n→∞ t2
−
−−−→ e 2 = ψN(0,1)(t). ψS∗ �
(t) = exp − it
n
Aus Theorem 9.22 folgt nun (9.4).

Kap:ZGS
S:poi
Kapitel 10
Schwache Grenzwertsätze
Wir werden nun unsere Kenntnisse über schwache Konvergenz und charakteristische Funktionen
in speziellen Situationen einsetzen. In Abschnitt 10.1 geht es um Aussagen, wann die
Summe von Zufallsvariablen gegen eine Poissonverteilte Zufallsvariable konvergieren. In Abschnitt
10.2 werden wir den zentralen Grenzwertsatz von Lindeberg-Feller kennenlernen, der
eine Charakterisierung für die schwache Konvergenz gegen eine Normalverteilung darstellt.
In Abschnitt 10.3 geht es schließlich um Erweiterungen für den Fall von mehrdimensionalen
Zufallsvariablen.
10.1 Poisson-Konvergenz
Bereits bekannt ist die Aussage, dass B(n, pn) für n·pn n→∞
−−−→ λ für große n schwach gegen die
Poi(λ)-Verteilung konvergiert. In diesem Abschnitt verallgemeinern wir diese Aussage, siehe
Theorem 10.4.
Definition 10.1. 1. Eine triagonale Familie von Zufallsvariablen {Xnj : n = 1, 2, ..., n, j =
1, ..., mn} mit m1, m2, ... ∈ N ist asymptotisch vernachlässigbar falls für n = 1, 2, ... die
Zufallsvariablen Xn1, ..., Xn,mn unabhängig sind und
sup P[|Xnj| > ε]
j=1,...,mn
n→∞
−−−→ 0 (10.1) eq:asVern
für alle ε > 0. Falls Xij ≥ 0 für alle i, j, so ist auch mn = ∞ zugelassen.
2. Für eine Zufallsvariable X mit Werten in Z+ ist die Erzeugendenfunktion der Verteilung
von X gegeben durch
ϕX(z) := P[z X ∞�
] = z k P[X = k].
rem:Poi1 Bemerkung 10.2. 1. Für eine triagonale Familie von Zufallsvariablen {Xnj : n =
1, 2, ..., n, j = 1, ..., mn} gilt (10.1) genau dann, wenn
k=0
sup E[|Xnj ∧ 1]
j=1,...,mn
n→∞
−−−→ 0.
80

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 81
2. Auf Z+ erfüllt die Menge der Funktionen {k ↦→ z k : k ∈ Z+} die Voraussetzungen von
Theorem 9.6. Also bestimmt die Erzeugendenfunktion die Verteilung einer Zufallsvariablen
eindeutig. Weiter gilt die Aussage des Levy’schen Stetigkeitssatzes, Theorem 9.22,
falls man statt charakteristischen Funktionen die Erzeugendenfunktionen einsetzt.
l:wC1 Lemma 10.3. Sei M = {Xnj : n = 1, 2, ..., n, j = 1, ..., mn} eine triagonale Familie von
Zufallsvariablen. Weiter sei ϕnj := ϕXn,j , n = 1, 2, ..., j = 1, ..., mn. Dann gilt (10.1) genau
dann, falls für alle t ∈ R
sup |1 − ϕnj(t)|
j=1,...,mn
n→∞
−−−→ 0. (10.2) eq:poi1
Beweis. Die Familie erfüllt (10.1) genau dann, falls Xn,jn −−−→p 0 für alle Folgen j1, j2, ....
n→∞
Wegen Proposition 8.4 gilt dies genau dann, wenn Xn,jn ===⇒ 0 für alle Folgen. Dies ist
jedoch äquivalent zu (10.2).
T:poi Theorem 10.4 (Poisson Konvergenz). Sei {Xnj : n = 1, 2, ..., n, j = 1, ..., mn} eine Familie
asymptotisch vernachlässigbarer Zufallsvariablen mit Werten in Z+ und X ∼ Poi(λ). Dann
gilt
genau dann, wenn gilt:
1.
2.
mn �
P{Xnj > 1} n→∞
−−−→ 0
j=1
mn �
P{Xnj = 1} n→∞
−−−→ λ.
j=1
mn �
j=1
Wir bereiten den Beweis mit einem Lemma vor.
Xnj n→∞
===⇒ X
l:wC2 Lemma 10.5. Sei {λnj : n = 1, 2, ..., j = 1, ..., mn} eine triagonale Familie asymptosisch
vernachlässigbarer, nicht-negativer Konstanten und λ ∈ [0; ∞]. Dann gilt
mn �
(1 − λnj) n→∞
−−−→ e −λ
j=1
⇐⇒
mn �
j=1
n→∞
λnj n→∞
−−−→ λ.
Beweis. Zunächst sei bemerkt, dass log(1 − x) = −x + ε(x) für x > 0 mit ε(x)/x x→0
−−−→ 0. Da
sup j=1,...,mn λnj < 1 für große n, ist die linke Aussage äquivalent zu
da
mn
mn
�
�
−λ = lim log(1 − λnj) = − lim
n→∞
j=1
Daraus folgt die Aussage.
λnj
n→∞
j=1
ε(λnj)
sup λnj
j=1,...,mn
� ε(λnj) � �
1 − = − lim
n→∞
−−−→ 0.
λnj
mn
λnj,
n→∞
j=1

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 82
Beweis von Theorem 10.4. Wir bezeichnen mit ϕn,j die Erzeugendenfunktion von Xn,j. Nach
dem Levyschen Stetigkeitssatz, Theorem 9.22, (und Bemerkung 10.2.2) ist die Konvergenz-
aussage der schwachen Konvergenz im Theorem äquivalent zur punktweisen Konvergenz von
n→∞
ϕnj(s) −−−→ e−λ(1−s) . Wegen Lemma 10.3 und 10.5 gilt dies genau dann, wenn
� mn
j=1
mn �
An(s) := (1 − ϕnj) n→∞
−−−→ λ(1 − s). (10.3) eq:poi4
j=1
Wir zerlegen A(s) = A 1 n(s) + A 2 n(s) mit
A 1 n(s) =
A 2 n(s) =
∞� mn
mn
�
�
(1 − s) P{Xnj = k} = (1 − s) P{Xnj > 0},
k=1
j=1
∞�
(s − s k mn �
) P{Xnj = k}.
k=2
j=1
Zunächst sei festgestellt, dass s(1 − s) ≤ s − s k ≤ s für alle k = 2, 3, .... Damit ist
j=1
mn �
s(1 − s) P{Xnj > 1} ≤ A 2 mn �
n(s) ≤ s P{Xnj > 1}. (10.4) eq:Poi5
j=1
Wenden wir uns nun dem Beweis der Behauptung zu.
’⇒’: Gilt nun (10.3). Für s = 0 bedeutet das
j=1
mn
mn
�
�
P{Xnj > 0} = (1 − ϕnj(0)) n→∞
−−−→ λ,
j=1
j=1
also A1 n(s) n→∞
−−−→ λ(1−s). Dann muss aber auch A2 n(s) n→∞
−−−→ 0 gelten. Wegen (10.4) bedeutet
dies, dass 1. gilt. Die Aussage 2. folgt daraus durch Subtraktion.
’⇐’: Klar ist, dass A2 n(s) n→∞
−−−→ 0 wegen (10.4). Dann gilt aber auch A1 n(s) n→∞
−−−→ (1 − s)λ
wegen der Voraussetzung, d.h. (10.3) ist gezeigt.
Beispiel 10.6. Sei Xnj geometrisch verteilt mit Parameter pn (d.h. P{Xnj = k} = (1 −
pn) kpn) und j = 1, ..., n. Damit ist Xn := �n j=1 Xnj negativ binomialverteilt mit Parametern
n und pn. Falls X ∼ Poi(λ) und (1 − pn) · n n→∞
−−−→ λ, so ist Xn n→∞
===⇒ X. Denn es gilt
n�
j=1
n�
j=1
und Theorem 10.4 liefert das Ergebnis.
P{Xnj = 1} = n(1 − pn)pn n→∞
−−−→ λ,
P{Xnj > 1} = n(1 − pn) 2 n→∞
−−−→ 0

S:ZGS
KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 83
10.2 Der zentrale Grenzwertsatz
Der zentrale Grenzwertsatz, Theorem 10.7, verallgemeinert den Satz von deMoivre Laplace.
Die Verallgemeinerung besteht darin, dass beliebige Summen unabhängiger (nicht notwendig
identisch verteilter) Zufallsgrößen schwach gegen eine normalverteilte Zufallsgröße konvergieren,
falls sie die Lindeberg-Bedingung (siehe 2. in Theorem 10.7) erfüllen.
T:ZGS Theorem 10.7 (Zentraler Grenzwertsatz von Lindeberg-Feller). Sei {Xnj : n = 1, 2, ..., j =
1, ..., mn} eine Familie von Zufallsvariablen, so dass für n = 1, 2, ... die Zufallsvariablen
Xn1, ..., Xnmn unabhängig sind. Sei außerdem
mn �
E[Xnj] n→∞
−−−→ µ,
j=1
mn �
V[Xnj] n→∞
−−−→ σ 2
j=1
und X ∼ N(µ, σ 2 ). Dann sind folgende Aussagen äquivalent:
1.
2.
mn �
Xnj n→∞
===⇒ X und sup V[Xnj]
j=1,...,mn
n→∞
−−−→ 0,
j=1
mn �
E[(Xnj − E[Xnj]) 2 ; |Xnj − E[Xnj]| > ε] n→∞
−−−→ 0 für alle ε > 0.
j=1
Korollar 10.8. Seien X1, X2, ... unabhängig und identisch verteilt mit E[X1] = µ, V[X1] =
σ 2 > 0. Sei Sn := � n
k=1 Xk und X ∼ N(0, 1). Dann gilt
Sn − nµ
√ nσ 2
n→∞
===⇒ X.
Beweis. Sei mn = n und Xnj = Xn−µ
√ nσ 2 . Dann erfüllt die Familie {Xnj, n = 1, 2, ..., j = 1, ..., n}
die Voraussetzungen von Theorem 10.7 mit µ = 0, σ 2 = 1. Außerdem gilt
n�
j=1
wegen majorisierter Konvergenz.
E[X 2 nj; |Xnj| > ε] = 1
σ 2 E[(X1 − µ) 2 ; |Xn − µ| > ε √ nσ 2 ] n→∞
−−−→ 0
Bemerkung 10.9. Die Familie {Xnj : n = 1, 2, ..., j = 1, ..., mn} aus Theorem 10.7 genügt
der Lyapunoff-Bedingung, falls für ein δ > 0
mn �
E � |Xnj − E[Xnj]| 2+δ� n→∞
−−−→ 0.
j=1
Unter den Voraussetzungen von Theorem 10.7 impliziert die Lyapunoff-Bedingung die Lindeberg-
Bedingung. Um dies zu sehen, sei Œ E[Xnj] = 0. Es gilt für alle ε ′ > 0
x 2 1 {|x|>ε ′ } ≤ |x|2+δ
(ε ′ ) δ 1 {|x|>ε ′ } ≤ |x|2+δ
(ε ′ .
) δ

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 84
Gilt nun die Lyapunpff-Bedingung, so folgt die Lindeberg-Bedingung mit ε ′ ��mn = ε j=1 V[Xnj]
aus
�
mn
E[X 2 nj; |Xnj| > ε ′ ] ≤ ε −δ
j=1
� mn
j=1 E[|Xnj| 2+δ ]
� � mn
j=1 V[Xnj] � δ/2
da �mn n→∞
j=1 V[Xnj] −−−→ σ2 nach Voraussetzung in Theorem 10.7.
n→∞
−−−→ 0,
Der Beweis von Theorem 10.7 basiert auf der geschickten Verwendung der charakteristischen
Funktionen der Zufallsvariable Xnj. Wir bereiten den Beweis des Theorems mit zwei Lemmata
vor.
L:ZGS1 Lemma 10.10. Für komplexe Zahlen z1, ..., zn, z ′ 1 , ..., z′ n mit |zi| ≤ 1, |z ′ i | ≤ 1 für i = 1, ..., n
gilt
�
�
�
n�
k=1
zk −
n�
k=1
z ′ k
�
�
� ≤
n�
k=1
|zk − z ′ k |. (10.5) eq:ZGS1
Beweis. Für n = 1 ist die Gleichung offensichtlich richtig. Gilt (10.5) für ein n, so ist
�
�
�
n+1 �
k=1
�
n+1
zk −
k=1
z ′ k
Daraus folgt die Behauptung.
� � �
� �
�n
� ≤ �zn+1
≤
n�
k=1
k=1
zk −
n�
k=1
z ′ k
|zk − z ′ k | + |zn+1 − z ′ n+1|.
�� �
�� �
+ �(zn+1 − z ′ n�
n+1)
L:ZGS2 Lemma 10.11 (Taylor-Approximation). Sei t ∈ C und n ∈ Z+. Dann gilt
�
�
�e it −
n� (it) k �
�
� ≤
k!
2|t|n
n!
k=0
k=1
z ′ k
|t|n+1
∧ . (10.6) eq:ZGS2
(n + 1)!
Beweis. Bezeichne hn(t) die Differenz auf der linken Seite. Für n = 0 folgt (10.6) aus
und
Allgemein gilt für t ∈ R, n ∈ N
�
�
�
� t
0
�
�
|h0(t)| = �
� t
� �
� �
hn(s)ds�
= � − i(e it − 1) + i
woraus (10.6) mittels Induktion folgt.
0
e is �
�
ds�
≤
� t
|h0(t)| ≤ |e it | + 1 = 2.
k=0
0
|e is |ds = |t|
n� (it) k+1 � �
� �
� = �ie
(k + 1)!
it n+1 � (it)
− i
k �
�
� = |hn+1(t)|,
k!
Bemerkung 10.12. Im folgenden Beweis werden wir für Funktionen a und b genau dann
a � b schreiben, falls es eine Konstante C gibt mit a ≤ Cb.
k=0
�
�
�

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 85
Beweis von Theorem 10.7. Œ sei E[Xnj] = µ = 0 und σ 2 = 1; ansonsten ersetzen wir Xnj
durch Xnj−E[Xnj]
√ σ 2
. Sei σ 2 nj := V[Xnj] sowie σ 2 n := � mn
j=1 σ2 nj
die charakteristische Funktion von Xnj.
2. ⇒ 1. Da für jedes ε > 0
j=1
n→∞
−−−→ 1. Bezeichne außerdem ψnj
sup σ
j=1,...,mn
2 nj ≤ ε 2 + sup E[X
j=1,...,mn
2 nj; |Xnj| > ε] ≤ ε 2 mn �
+ E[X 2 nj; |Xnj| > ε] n→∞
−−−→ ε 2 , (10.7) eq:zTv1
ist der zweite Teil von 1. bereits gezeigt.
Seien (Znj)n=1,2,...,j=1,...,mn unabhängige Zufallsvariablen mit Znj ∼ N(0, σ2 nj ). Damit ist
Zn := �mn j=1 Znj ∼ N(0, σ2 n). Insbesondere gilt also Zn n→∞
===⇒ X. Sei � ψnj die charakteristische
Funktion von Znj. Dann genügt es zu zeigen, siehe Theorem 9.22, dass
nj �
j=1
ψnj(t) −
mn �
j=1
für alle t. Mittels Lemma 10.10 und 10.11 haben wir
� mn
�
�
� ψnj(t) −
j=1
Weiter ist
und
mn �
j=1
� mn
�ψnj(t)
�
�
� ≤ |ψnj(t) − � ψnj(t)|
j=1
j=1
�ψnj(t) n→∞
−−−→ 0 (10.8) eq:ZGS4
mn �
≤ |ψnj(t) − 1 + 1
2t2σ 2 mn �
nj| + | � ψnj(t) − 1 + 1
2t2σ 2 nj|
j=1
mn �
E[X 2 mn �
nj(1 ∧ |Xnj|)] ≤ ε
j=1
j=1
j=1
j=1
mn �
� 2 E[X 2 mn � 1
−
nj(1 ∧ |Xnj|) + |e 2 σ2 njt2 − 1 + 1
2t2σ 2 nj|.
j=1
�
σ 2 mn
nj +
j=1
mn � 1
−
|e 2 σ2 njt2 − 1 + 1
2t2σ 2 mn �
nj| � σ 4 nj ≤ σ 2 n
j=1
E[X 2 nj; |Xnj| > ε] n→∞
−−−→ ε
sup σ
j=1,...,mn
2 nj
n→∞
−−−→ 0
wegen (10.7). Damit ist (10.8) bereits bewiesen.
1. ⇒ 2. Nach dem zweiten Teil von 1. ist für jedes ε > 0 mit der Tschebyscheff’schen Ungleichung
Mit Lemma 10.11 gilt
σ
sup P[|Xnj| > ε] ≤ sup
j=1,...,mn
j=1,...,mn
2 nj
ε2 n→∞
−−−→ 0. (10.9) eq:ZGS3a
sup |ψnj(t) − 1| ≤ sup E[2 ∧ |t · Xnj|] ≤ 2 sup P[|Xnj| > ε] + ε|t|
j=1,...,mn
j=1,...,mn
j=1,...,mn
n→∞
−−−→ ε|t|.

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 86
Insbesondere ist � mn
j=1 log ψnj(t) für jedes t definiert, falls n groß genug ist. Aus der Gültigkeit
von 1. folgt
mn �
log ψnj(t) n→∞
−−−→ − t2
. (10.10) eq:ZGS5
2
j=1
Außerdem gilt wegen ψ ′ nj (0) = iE[Xnj] = 0, ψ ′′
Taylorentwicklung von ψnj um 0
und
|ψnj(t) − 1| � σ 2 nj|t| 2
� mn
mn
�
�
�
� mn
�
�
� log ψnj(t) − (ψnj(t) − 1) � � |ψnj(t) − 1| 2
j=1
j=1
j=1
mn �
� (σ 2 nj) 2 |t| 4 � |t| 4
j=1
nj (0) = −V[Xnj] = −σ 2 nj
sup σ
j=1,...,mn
2 nj
n→∞
−−−→ 0.
mit Hilfe einer
Da aus der Konvergenz einer imaginären Reihe die Konvergenz ihres Realteils folgt, folgern
wir aus (10.10) und (10.11) wegen Re(ψnj(t)) = E[cos(tXnj)]
Für ε > 0 ist nun
Aus 0 ≤ 1 − cos(θ) ≤ θ2
2
0 ≤ lim sup
n→∞
mn �
j=1
lim sup
n→∞
mn �
E[cos(tXnj) − 1] n→∞
−−−→ − t2
2
j=1
�
�
� t2
2 −
mn �
�
�
E[1 − cos(tXnj); |Xnj| ≤ ε] �
folgt nun
j=1
= lim sup
n→∞
� lim sup
n→∞
≤ 1
ε 2
mn �
j=1
mn �
E[1 − cos(tXnj); |Xnj| > ε]
j=1
mn �
P[|Xnj| > ε]
j=1
σnj = 1
.
ε2 E[X 2 nj; |Xnj| > ε] = lim inf
n→∞
≤ lim sup
n→∞
≤ 1
ε2 ,
t2 mn �
1 − E[X 2 nj; |Xnj| ≤ ε]
j=1
1 − 2
t 2
nach (10.12). Da t, ε > 0 willkürlich waren, ist 2. gezeigt.
mn �
E[1 − cos(tXnj); |Xnj| ≤ ε]
j=1
(10.11) eq:ZGS6
(10.12) eq:ZGS4a

S:multi
KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 87
10.3 Mehrdimensionale Grenzwertsätze
Bisher haben wir schwache Grenzwertsätze nur für den Fall R–wertiger Zufallsvaraiblen betrachtet.
Wir verallgmeinern dies nun zu R d –wertigen Zufallsgrößen. Insbesondere geben wir
eine Variante des mehrdimensionalen zentralen Grenzwertsatzes an.
def:mdN Definition 10.13. Seien µ ∈ Rd und C ∈ Rd×d eine strikt positiv definite symmetrische
Matrix (d.h. xCx > 0 alle x ∈ Rd ). Die d-dimensionale Normalverteilung mit Erwartungswert
µ und Covarianzmatric C ist das Wahrscheinlichkeitsmaß Nµ,C auf Rd mit Dichte
1
�
fµ,C(x) = � exp −
(2π) d det(C) 1
2 (x − µ)C−1 �
(x − µ) .
Proposition 10.14. Seien µ ∈ R d , C = AA T ∈ R d×d eine strikt positiv definite symmetrische
Matrix und I die d-dimensionale Einheitsmatrix. Ist X ∼ Nµ,C, so gilt
1. X d = AY + µ für Y ∼ N0,I
2. E[Xi] = µi für i = 1, ..., d
3. COV[Xi, Xj] = Cij für i, j = 1, ..., d
Außerdem sind äquivalent:
4. X ∼ Nµ,C
5. tX ∼ NtX,tCt für jedes t ∈ R d
6. ψX(t) = eitµ 1
−
e 2 tCt für jedes t ∈ Rd .
Beweis. 1. ist eine Anwendung des Transformationssatzes. Für B ∈ B(Rd ) und T : y ↦→ Ay+µ
ist
N0,I(T −1 �
1
(B)) = �
(2π) d
T −1 1
−
e 2
(B)
yy dy
y=A−1 �
(x−µ) 1 1
= � exp
(2π) d det A B
� − 1
2 (x − µ)(AT ) −1 A −1 (x − µ) � dx
�
1
= � exp
(2π) d det C B
� − 1
2 (x − µ)C−1 (x − µ) � dx
2. folgt aus 1. mit
= Nµ,C(B).
E[Xi] = E[πi(AY + µ)] = πiµ = µi,
wobei πi die Projektion auf die i-te Koordinate ist.
3. folgt ebenso aus 1. mit
COV[Xi, Xj] = E[(πiAY )(πjAY )] = E[(Ai·Y )(Aj·Y )] = E[Ai·Y Y Aj·] = Ai·Aj· = (AA T )ij = Cij.
’4. ⇒ 5.’: Da X d = AY + µ wie in 1., ist tX = tAY + tµ als Linearkombination von Normalverteilungen
wieder normalverteilt. Der Erwartungswert ist offenbar tµ und die Varianz
V[tX] = E[(tAY ) 2 ] = E[tAY Y A T t] = tAA T t = tCt.

KAPITEL 10. SCHWACHE GRENZWERTSÄTZE 88
’5. ⇒ 6.’: Da tX ∼ Ntµ,tCt, folgt die Aussage aus Beispiel 9.10.2.
’6. ⇒ 4.’: Dies folgt aus Proposition 9.8.
Bemerkung 10.15. Falls C in Definition 10.13 zwar positiv, aber nicht strikt positiv definit
ist (d.h. es gibt x ∈ R d , x �= 0 mit xCx = 0), kann man Nµ,C nicht durch Angabe der
Dichte wie in obiger Definition bestimmen. In diesem Fall definiert man Nµ,C durch Angabe
der charakteristischen Funktion, d.h. Nµ,C ist die eindeutig bestimmte Verteilung auf R d mit
ψNµ,C (t) = eitµ 1
−
e 2 tCt .
Pr:cwd Proposition 10.16 (Cramer-Wold Device). Sind X, X1, X2, ... Zufallsvariablen mit Werten
in Rd . Dann gilt Xn n→∞
===⇒ X genau dann, falls tXn n→∞
===⇒ tX für alle t ∈ Rd .
Beweis. ’⇒’: Sei t ∈ Rd und f ∈ Cb(R). Dann ist f(t·) ∈ Cb(Rd ). Damit gilt E[f(tXn)] n→∞
−−−→
E[f(tX)], d.h. tXn n→∞
===⇒ tX.
’⇐’: Sei πi die Projektion auf die i-te Koordinate. Da (πiXn)n=1,2,... nach Korollar 8.20 straff
für alle i ist, sieht man, dass (Xn)n=1,2,... straff ist. Da {x ↦→ eitx : t ∈ Rd } eine separierende
Funktionenklasse ist, folgt die Behauptung aus E[eitXn ] n→∞
−−−→ E[eitX ] für alle t ∈ Rd und
Proposition 9.3.
Theorem 10.17 (Mehrdimensionaler zentraler Grenzwertsatz). Seien X1, X2, ... unabhängige,
identische verteilte Zufallsvariablen mit Werten in R d mit E[Xn] = µ ∈ R d und
COV[Xn,i, Xn,j] = Cij für i, j = 1, ..., d und Sn = � n
i=1 Xi. ist X ∼ N0,C, so gilt
Sn − nµ
√ n
n→∞
===⇒ X.
Beweis. Wir wenden den eindimensionalen zentralen Grenzwertsatz auf die unabhängigen,
identisch verteilten Zufallsvariablen tX1, tX2, ... an. Dieser liefert
t Sn − nµ
√ n
n→∞
===⇒ tX.
Da t beliebig war, folgt die Aussage aus Proposition 10.16.