Stochastische Dynamik - Stochastik - Humboldt-Universität zu Berlin

6 Markovketten
Im folgenden sei
die erste Treffzeit von y und hiermit
y ∈ S heißt
{ rekurrent
transient
T y := inf{ n ∈ N : X n = y } (y ∈ S) ,
ρ xy := P x (T y < ∞) (x, y ∈ S) .
} {
ρyy = 1
, falls
ρ yy < 1
auch die Markov-Kette rekurrent. Die Anzahl der Besuche in y ,
}
ist. Ist jeder Zustand rekurrent, so heißt
H y :=
∞∑
n=1
1 {Xn=y}
charakterisiert Rekurrenz und Transienz von y folgendermaßen:
Theorem 1.10 (Transienz und Rekurrenz). Dei Markov-Kette X aus 1.4 sei zeitlichhomogen
mit abzählbarem Zustandsraum S. Dann gilt für y ∈ S :
y transient =⇒ E x (H y ) = ρ xy
1 − ρ yy
< ∞ (∀ x ∈ S) ,
y rekurrent ⇐⇒ E y (H y ) = ∞ .
Beweis. Zu k ∈ N sei T k y
die Zeit des k-ten Besuches in y. Hiermit gilt:
P x (T k y < ∞) = ρ xy · ρ k−1
yy (x ∈ S, k ∈ N) ; (⋆)
für k = 1 ist dies gerade die Definition von ρ xy ; für k > 1 folgt dies induktiv:
P x (T k y < ∞) = P x
(
T k−1
y
Hiermit folgt:
< ∞ , T y ◦ θ T
k−1
y
(
= E x
(1 {T
k−1
y