Einführung in die Stochastik, Prof. Lerche - Abteilung für ...

82 10 MARKOV-KETTEN
2. Mit Satz 10.2.2 ist eine Markov-Kette der Länge n konstruiert!
3. Wegen (+) im Beweis von Satz 10.2.2 ist die Markov-Kette der Länge i eingebettet
in eine Markov-Kette der Länge n für i ≤ n.
4. Mit der Bedingung (+) lässt sich eine Markov-Kette beliebiger Länge konstruieren.
10.2.3 Beispiele für Markov-Ketten
1) Kain und Abel-Aufgabe:
Der Zustandsraum ist E = {0, 1, 2, . . . , 8}. Für π gilt π(0) = 1. Weiter ist
⎛
0 1 1
0 0 0 0 0 0
⎞
2 2 0 0 1 1
0 0 0 0 0
2 2 0 1 0 0 1 0 0 0 0
2 2 0 0 1 0 0 1 0 0 0
2 2
(q(x, y)) x,y∈E =
0 0 0 0 1 2 0 1 0 0
2 0 0 1 2 0 0 0 0 1 0
.
2 0 0 1
⎜
0 0 0 0 0 1 2 2
⎟
⎝0 0 0 0 0 0 0 1 0⎠
0 0 0 0 0 0 0 0 1
2) Sei E = {1, 2, 3},
⎛ ⎞
0 3 4
1
4
⎛
q(x, y) = ⎝ 1
0 1 ⎠ und q 2 (x, y) = ⎝
2 2
1 0 0
5
0 3 8 8
1 3 1
2 8 8
0 3 1
4 4
Für jede Startverteilung π mit π(x) > 0 für x ∈ E gilt lim
mit α(1) = 8
19 , α(2) = 6
19 , α(3) = 5
19 .
⎞
⎠.
n→∞
∑
x∈E
π(x)q n (x, y) = α(y)
∑
3) Seien Y 1 , Y 2 , . . . unabhängig, X i = i Y j und X 0 = x 0 . Dann ist {X 0 , X 1 , X 2 , . . .} eine
Markov-Kette.
Beweis:
Sei m ∈ N und sei y i = x i − x i−1 für i ≥ 1 und y 0 = x 0 . Dann ist:
j=1
P (X m+1 = x|X 0 = x 0 , . . . , X m = x m )
= P (X m+1 = x|X 0 = y 0 , X 1 = y 0 + y 1 , X 2 = y 0 + y 1 + y 2 , . . . , X m = y 0 + · · · + y m )
= P (Y m+1 = x − (y 0 + y 1 + · · · + y m )|Y 0 = y 0 , Y 1 = y 1 , . . . , Y m = y m )
= P (Y m+1 = x − (y 0 + y 1 + · · · + y m ))P (Y 0 = y 0 )P (Y 1 = y 1 ) · · · P (Y m = y m )
P (Y 0 = y 0 )P (Y 1 = y 1 ) · · · P (Y m = y m )
= P (Y m+1 = x − (y 0 + y 1 + · · · + y m ))
= P (X m+1 = x|X m = x m ).