Klenke Wahrscheinlichkeitstheorie

352 17 Markovketten
Satz 17.35. Ist x rekurrent und F (x, y) > 0, dann ist auch y rekurrent, und es gilt
F (x, y) =F (y, x) =1.
Beweis. Sei F (x, y) > 0. Dann gibt es ein k ∈ N und Punkte x1,...,xk ∈ E mit
xk = y und xi �= x für jedes i =1,...,ksowie
Px [Xi = xi für jedes i =1,...,k] > 0.
Speziell ist pk (x, y) > 0. Nach der Markoveigenschaft ist
� 1
1 − F (x, x) =Px τx = ∞ � �
≥ Px X1 = x1,...,Xk = xk, τ 1 x = ∞ �
� 1
= Px [X1 = x1,...,Xk = xk] · Py τx = ∞ �
= Px [X1 = x1,...,Xk = xk](1− F (y, x)) .
Ist nun F (x, x) =1, dann ist auch F (y, x) =1.WegenF (y, x) > 0 existiert ein
l ∈ N mit p l (y, x) > 0.Alsoistfür n ∈ N0
Mithin ist, falls x rekurrent ist,
G(y, y) ≥
p l+n+k (y, y) ≥ p l (y, x) p n (x, x) p k (x, y).
∞�
n=0
p l+n+k (y, y) ≥ p l (y, x)p k (x, y)G(x, x) =∞.
Folglich ist auch y rekurrent. Wenn wir jetzt im Argument x und y vertauschen,
dann erhalten wir noch F (x, y) =1. ✷
Definition 17.36. Eine diskrete Markovkette heißt
– irreduzibel, falls F (x, y) > 0 für alle x, y ∈ E gilt, oder äquivalent G(x, y) > 0.
– schwach irreduzibel, falls F (x, y)+F (y, x) > 0 für alle x, y ∈ E gilt.
Satz 17.37. Eine irreduzible diskrete Markovkette ist entweder rekurrent oder transient.
Ist |E| ≥2, so gibt es keine absorbierenden Zustände.
Beweis. Das folgt direkt aus Satz 17.35. ✷
Satz 17.38. Ist E endlich und X irreduzibel, so ist X rekurrent.
Beweis. Offenbar ist für jedes x ∈ E
�
∞� �
G(x, y) = p n ∞�
(x, y) = 1=∞.
y∈E
n=0 y∈E
n=0