Klenke Wahrscheinlichkeitstheorie

340 17 Markovketten
Gilt P[Y1 ∈{−1, 0, 1}] =1, und ist a ∈ N,soistXτ = a, falls τ ≤ n. Alsoist
�
{ϕ(τ,Xτ ) > 0}∩{τ ≤ n} = ϕ(τ,Xτ )= 1
�
∩{τ ≤ n}.
2
Daher gilt Gleichheit im letzten Schritt von (17.9) und damit auch in (17.8). ✷
Übung 17.1.1. Sei I ⊂ R X =(Xt)t∈I ein stochastischer Prozess. Definiere für
t ∈ I die σ-Algebren, die die Vergangenheit bis und die Zukunft ab t kodieren:
F≤t := σ(Xs : s ∈ I, s ≤ t) und F≥t := σ(Xs : s ∈ I, s ≥ t).
Man zeige: X hat genau dann die elementare Markoveigenschaft, wenn für jedes
t ∈ I die σ-Algebren F≤t und F≥t unabhängig sind gegeben σ(Xt) (vergleiche
Definition 12.20).
Mit anderen Worten: Ein Prozess hat die elementare Markoveigenschaft genau dann,
wenn Vergangenheit und Zukunft unabhängig sind gegeben die Gegenwart. ♣
17.2 Diskrete Markovketten, Beispiele
Sei E höchstens abzählbar und I = N0. Ein Markovprozess X =(Xn)n∈N0 auf E
ist nach Definition 17.3 eine diskrete Markovkette (oder Markovkette mit diskretem
Zustandsraum).
Ist X eine diskrete Markovkette, so ist (Px)x∈E festgelegt durch die Angabe von
der Übergangsmatrix
p =(p(x, y))x,y∈I := (Px[X1 = y])x,y∈E.
Die n-Schrittübergangswahrscheinlichkeiten
p (n) (x, y) :=Px [Xn = y]
ergeben sich nämlich als n-faches Matrixprodukt
wobei
p (n) (x, y) =p n (x, y),
p n (x, y) = �
p n−1 (x, z)p(z,y)
z∈E
und p0 = I die Einheitsmatrix ist.
Durch Iteration folgt die Chapman-Kolmogorov’sche Gleichung (siehe (14.13))
für alle m, n ∈ N0 und x, y ∈ E
p (m+n) (x, y) = �
p (m) (x, z) p (n) (z,y). (17.10)
z∈E