Klenke Wahrscheinlichkeitstheorie

17.6 Invariante Verteilungen 363
Satz 17.51. Sei X irreduzibel. X ist genau dann positiv rekurrent, wenn I �= ∅
ist. In diesem Fall ist I = {π} mit
π({x}) =
1
Ex[τ 1 > 0 für jedes x ∈ E.
x]
Beweis. Ist X positiv rekurrent, so ist I �= ∅ nach Korollar 17.48. Sei nun I �= ∅
und π ∈ I.DaX irreduzibel ist, ist π({x}) > 0 für jedes x ∈ E. SeiPπ =
�
x∈E π({x})Px.Seix ∈ E fest und für n ∈ N0
σ n x =sup � m ≤ n : Xm = x � ∈ N0 ∪{−∞}
die letzte Eintrittszeit in x bis zur Zeit n. (Man bemerke, dass dies keine Stoppzeit
ist.) Nach der Markoveigenschaft gilt dann für k ≤ n
�
Xk = x, Xk+1 �= x,...,Xn �= x �
Pπ [σ n x = k] =Pπ
�
= Pπ Xk+1 �= x,...,Xn �= x|Xk = x � Pπ[Xk = x]
�
= π({x}) Px X1,...,Xn−k �= x �
� 1
= π({x}) Px τx ≥ n − k +1 � .
�
1 Also ist für jedes n ∈ N0 (wegen Py τx < ∞ � =1für jedes y ∈ E)
1=
n�
k=0
= π({x})
Pπ [σ n x = k]+Pπ [σ n x = −∞]
n�
k=0
n→∞
−→ π({x})
� 1
Px τx ≥ n − k +1 � � 1
+ Pπ τx ≥ n +1 �
∞�
k=1
� 1
Px τx ≥ k � � � 1
= π({x}) Ex τx .
� �
1 1
Mithin ist Ex τx = π({x}) < ∞, und damit ist X positiv rekurrent. ✷
Übung 17.6.1. Betrachte die Markovkette aus Abb. 17.1 (Seite 350). Man bestimme
die Menge aller invarianten Verteilungen und zeige, dass die Zustände 6, 7 und 8
positiv rekurrent sind mit erwarteten Eintrittszeiten
E6[τ6] = 17
4 , E7[τ7] = 17
5
und E8[τ8] = 17
. ♣
5