Klenke Wahrscheinlichkeitstheorie

17 Markovketten
Markovprozesse mit abzählbarem Zustandsraum (und diskreter Zeit) sind trotz ihrer
Simplizität interessante mathematische Objekte, mit denen sich eine Vielzahl von
Phänomenen modellieren lässt. Wir bringen hier einen Einblick in die grundlegenden
Begriffe und schauen dann Beispiele etwas detaillierter an. Der Zusammenhang
mit der (diskreten) Potentialtheorie wird erst in Kapitel 19 untersucht. Beim ersten
Lesen kann in Abschnitt 17.1 die (etwas abstrakte) Konstruktion von allgemeinen
Markovprozessen übersprungen werden.
17.1 Begriffsbildung und Konstruktion
Im Folgenden sei E stets ein polnischer Raum mit Borel’scher σ-Algebra B(E),
I ⊂ R und (Xt) t∈I ein stochastischer Prozess mit Werten in E. Wir nehmen an,
dass (Ft)t∈I = F = σ(X) die von X erzeugte Filtration ist.
Definition 17.1. Wir sagen, dass X die elementare Markoveigenschaft (ME) hat,
falls für jedes A ∈B(E) und je zwei s, t ∈ I mit s ≤ t gilt
P � Xt ∈ A � � �
�Fs = P Xt ∈ A � �
�Xs .
Bemerkung 17.2. Ist E abzählbar, so hat X genau dann die elementare Markoveigenschaft,
wenn für jedes n ∈ N und alle s1 < ... < sn 0 gilt
P � Xt = i � � �
�Xs1 = i1,...,Xsn = in = P Xt = i � �Xsn
�
= in . (17.1)
In der Tat impliziert (17.1) natürlich sofort die elementare Markoveigenschaft. Habe
nun X die elementare Markoveigenschaft. Wir bemerken (siehe (8.6)), dass für fast
alle ω ∈{Xsn = in} gilt P[Xt = i � �Xsn ](ω) =P[Xt = i � �Xsn = in]. Also
gilt mit A := {Xs1 = i1,...,Xsn = in} (unter Verwendung der elementaren
Markoveigenschaft in der zweiten Gleichheit)
P � �
Xt = i,Xs1 = i1,...,Xsn = in
= E � �
E[ �
{Xt=i} Fsn ] � � �
A = E E[ �
{Xt=i} Xsn ] �
A
= E � P[Xt = i � �Xsn = in]
� �
A = P Xt = i � �
�Xsn = in P[A].