Klenke Wahrscheinlichkeitstheorie

342 17 Markovketten
Px[Xn+1 = z � � Fn, Xn = y] =P � X x n+1 = z � � σ � Rm, m≤ n � ,X x n = y �
= P � Rn+1(X x n)=z � �σ � Rm, m≤ n � ,X x n = y �
= P � Rn+1(y) =z]
= p(y, z).
Nach Satz 17.11 ist X also eine Markovkette mit Übergangsmatrix p. ✷
Beispiel 17.18. (Irrfahrt auf Z)SeiE = Z, und gelte
p(x, y) =p(0,y− x) für alle x, y ∈ Z.
Wir sagen in diesem Fall, dass p translationsinvariant ist. Eine diskrete Mar-
D
kovkette X mit Übergangsmatrix p ist eine Irrfahrt auf Z. Esistnämlich Xn =
X0 + Z1 + ...+ Zn, wo(Zn) n∈N u.i.v. sind mit P [Zn = x] =p(0,x).
Die Rn aus der expliziten Konstruktion erhalten wir durch Rn(x) :=x + Zn. ✸
Beispiel 17.19 (Simulation am Computer). Wir betrachten die Situation wo E =
{1,...,k} sogar endlich ist und wollen eine Markovkette X mit Übergangsmatrix
p am Computer simulieren. Wir nehmen an, dass der Computer einen Zufallszahlengenerator
bereitstellt, der eine Folge (Un)n∈N unabhängiger uniform auf [0, 1]
verteilter Zufallsvariablen erzeugt.
Wir setzen r(i, 0) = 0, r(i, j) =p(i, 1) + ...+ p(i, j) für i, j ∈ E, und definieren
Yn durch
Rn(i) =j ⇐⇒ Un ∈ [r(i, j − 1),r(i, j)).
Per Konstruktion ist dann P[Rn(i) =j] =r(i, j) − r(i, j − 1) = p(i, j). ✸
Beispiel 17.20 (Verzweigungsprozess als Markovkette). Wir wollen den Galton-
Watson Verzweigungsprozess (siehe Definition 3.9) als Markovkette auf E = N0
auffassen.
Sei hierzu (qk)k∈N0 ein Wahrscheinlichkeitsvektor, den wir als Verteilung der Nachkommenschaft
eines Individuums auffassen. Definiere q∗0 k = {0}(k) und
k�
q ∗n
k =
l=0
q ∗(n−1)
k−l ql für n ∈ N
als n-fache Faltung von q sowie die Matrix p durch p(x, y) =q∗x y für x, y ∈ N0.
Seien nun (Yn,i,n ∈ N0,i ∈ N0) u.i.v. mit P[Yn,i = k] =qk. Für x ∈ N0 definieren
wir den Verzweigungsprozess X mit x Urahnen und Nachkommenverteilung q
durch X0 = x und Xn := �Xn−1 i=1 Yn−1,i. Um zu zeigen, dass X eine Markovkette
ist, berechnen wir