Klenke Wahrscheinlichkeitstheorie

17.4 Diskrete Markovketten, Rekurrenz und Transienz 349
Also ist (Xn)n∈N0 das erweiterte Urnenmodell mit Gewichten (wn)n∈N0 . Wir betrachten
nun das Ereignis B, dass von jeder Farbe unendlich viele Kugeln gezogen
werden. Offenbar ist {Xn =1unendlich oft} = {sup S =supU} und {Xn =
0 unendlich oft} = {sup R =supU}. Wegensup S = T s ∞ und sup R = T r ∞ ist
also P[B] =P[T r ∞ = T s ∞]=0. ✸
Übung 17.3.1. Seien r, s, R, S ∈ N. Man betrachte das Pólya’sche Urnenmodell
(Xn)n∈N0 mit rk = r und sk = s für alle k ∈ N und anfänglich R roten Kugeln
und S schwarzen Kugeln. Man zeige, dass der Anteil der schwarzen Kugeln fast
sicher gegen eine Zufallsvariable Z mit Beta-Verteilung konvergiert und bestimme
die Parameter. Man zeige, dass (Xn)n∈N0 u.i.v. ist gegeben Z und Xi ∼ BerZ für
jedes i ∈ N0. ♣
Übung 17.3.2. Man zeige, dass fast sicher unendlich viele Kugeln jeder Farbe ge-
∞�
zogen werden, falls
1
= ∞. ♣
wn
n=0
17.4 Diskrete Markovketten, Rekurrenz und Transienz
Sei im Folgenden X =(Xn)n∈N0 eine Markovkette auf dem abzählbaren Raum E
mit Übergangsmatrix p.
Definition 17.28. Für jedes x ∈ E sei τx := τ 1 x := inf{n >0: Xn = x} und
τ k x =inf � n>τ k−1
x : Xn = x �
für k ∈ N, k≥ 2.
τ k x heißt k-te Eintrittszeit von X in x. Für x, y ∈ E sei
F (x, y) :=Px[τ 1 �
y < ∞] =Px es gibt ein n ≥ 1 mit Xn = y �
die Wahrscheinlichkeit jemals von x nach y zu gehen. Speziell ist F (x, x) die
Rückkehrwahrscheinlichkeit (nach dem ersten Sprung) von x nach x.
Man beachte, dass τ 1 x > 0 selbst bei Start in X0 = x gilt.
�
k Satz 17.29. Für alle x, y ∈ E und k ∈ N gilt Px τy < ∞ � = F (x, y) F (y, y) k−1 .
Beweis. Wir führen den Beweis per Induktion über k.Für k =1ist die Aussage per
Definition richtig. Sei nun k ≥ 2. Dann ist wegen der starken Markoveigenschaft
von X (siehe Satz 17.14)