Klenke Wahrscheinlichkeitstheorie

334 17 Markovketten
Teilen wir jetzt auf beiden Seiten durch P[A], so folgt (17.1). ✸
Definition 17.3. Sei I = N0 oder I =[0, ∞). X =(Xt) t∈I heißt Markovprozess
mit Verteilungen (Px) x∈E auf dem Raum (Ω,A), falls gilt:
(i) Für jedes x ∈ E ist X ist ein stochastischer Prozess auf dem Wahrscheinlichkeitsraum
(Ω,A, Px) mit Px [X0 = x] =1.
(ii) Die Abbildung κ : E ×B(E) ⊗I → [0, 1], (x, B) ↦→ Px[X ∈ B] ist ein
stochastischer Kern.
(iii) Es gilt die (schwache) Markoveigenschaft (ME): Für jedes A ∈B(E), jedes
x ∈ E und je zwei s, t ∈ I gilt
�
Px Xt+s ∈ A � �
�Fs = κt(Xs,A) Px − f.s.
Hierbei definiert für jedes t ∈ I und x ∈ E sowie A ∈B(E)
κt(x, A) :=κ � x, {y ∈ E I : y(t) ∈ A} � = Px [Xt ∈ A]
den stochastischen Kern κt : E ×B(E) → [0, 1] der Übergangswahrscheinlichkeiten
von X zur Zeitdifferenz t.
Wir schreiben stets Ex für die Erwartungswerte bezüglich Px und Lx[X] =Px
sowie Lx[X |F]=Px[X ∈ · |F] (für eine reguläre Version der bedingten Verteilungen
von X gegeben F) und so fort.
Ist E höchstens abzählbar, so heißt X diskreter Markovprozess.
Im Spezialfall I = N0 heißt X Markovkette. Es heißt dann κn auch die Familie der
n-Schritt-Übergangswahrscheinlichkeiten.
Bemerkung 17.4. Die schwache Markoveigenschaft impliziert die elementare Markoveigenschaft.
In der Tat ist ” schwache ME = elementare ME + zeitliche Homogenität“.
✸
Wir verwenden im Folgenden die etwas nachlässige Bezeichnung PXs [X ∈ · ]:=
κ(Xs, · ). Wir verstehen also Xs als Startwert eines zweiten Markovprozesses mit
denselben Verteilungen (Px)x∈E.
Beispiel 17.5. Seien Y1,Y2,... u.i.v. R d -wertige Zufallsvariablen und
S x n = x +
n�
Yi für x ∈ R d und n ∈ N0.
i=1
Definiere W-Maße Px auf � (R d ) N0 , (B(R d )) ⊗N0
� durch Px = P ◦ (S x ) −1 .Dann
ist der kanonische Prozess Xn :(R d ) N0 → R d eine Markovkette mit Verteilungen
(Px) x∈R d. Der Prozess X heißt Irrfahrt auf R d mit Startwert x. ✸