Einführung in die Stochastik, Prof. Lerche - Abteilung für ...

84 10 MARKOV-KETTEN
Beweis:
Zu (a): Dies folgt direkt aus der Definition.
Zu (b): Sei x /∈ A. Dann ist
( ⋃
)
P A1 (x) = P (X 0 = x, X 1 ∈ A 1 ) + P {X 0 = x, X i /∈ A für i < n, X n ∈ A 1 }
n≥2
= ∑ z∈A 1
q(x, z) + ∑ n≥2
P ({X 0 = x, X i /∈ A für i < n, X n ∈ A 1 })
= ∑ z∈A 1
q(x, z) + ∑ n≥2
Zu (c): Sei x /∈ A. So gilt
∑
x 1 ,x 2 ,...,x n−1 /∈A,
z∈A 1
q(x, x 1 ) . . . q(x n−1 , z).
P A1 (x) = P (X 0 = x, X 1 ∈ A 1 ) + P (X 0 = x, X 1 /∈ A, X 2 ∈ A 1 )
+ P (X 0 = x, ∃n ≥ 3 mit X n ∈ A 1 und X i /∈ A für i < n)
= ∑ q(x, y) + ∑
q(x, y)q(y, z)
y∈A 1 y /∈A,z∈A 1
+ ∑ ∑ ∑
n≥3
y /∈A x i /∈A,
i=2,...,n−1,
z∈A 1
q(x, y)q(y, x 2 ) . . . q(x n−1 , z)
(∗)
= ∑ q(x, y)P A1 (y) + ∑ ( ∑
q(x, y)
y∈A
y /∈A
∑
= ∑ y∈A
+ ∑ ( ∑
q(x, y)
y /∈A
n≥3
)
q(y, z)
z∈A 1
x i /∈A,
i=2,...,n−1,
z∈A 1
q(y, x 2 ) . . . q(x n−1 , z)
q(x, y)P A1 (y) + ∑ y /∈A
q(x, y)P A1 (y)
)
= ∑ y
q(x, y)P A1 (y).
(*) P A1 (x) = 1 für x ∈ A 1 und P A1 (x) = 0 für x ∈ A\A 1 .
Bemerkung: Die Gleichung c) aus Satz 10.3.2 lautet in Vektorschreibweise P A1 = qP A1 .
Dies bedeutet P A1 ist rechter Eigenvektor von q zum Eigenwert 1. Man sagt auch, P A1 ist
harmonisch oder P A1 erfüllt die Mittelwerteigenschaft.
10.3.3 Berechnung von Ruin-Wahrscheinlichkeiten
Hans und Rudolf spielen ein Spiel. In jeder Runde gewinnt Hans mit der Wahrscheinlichkeit
p und Rudolf gewinnt mit der Wahrscheinlichkeit q = 1 − p. Der Gewinner einer
Runde erhält von seinem Gegner einen Euro. Es wird so lange gespielt bis einer der Spieler
kein Geld mehr hat. Wie hoch ist die Ruin-Wahrscheinlichkeit P (x) von Hans, wenn Hans
zu Beginn x Euro hat und Hans und Rudolf zusammen b Euro haben?