Einführung in die Stochastik, Prof. Lerche - Abteilung für ...

80 10 MARKOV-KETTEN
Das Schema ist ein lineares Gleichungssystem mit sechs Unbekannten und Gleichungen.
Durch Einsetzen erhält man sofort
p 4 = p 6 = 1 2 p 2
p 1 = 3 2 p 2
p 3 = 1 4 + 3 4 p 2
sowie p 1 = 1 8 + 7 8 p 2.
Damit ist p 1 = 3 , p 10 2 = 1 und folglich p 5 0 = 1 . Das heißt Kain gewinnt nur mit Wahrscheinlichkeit
1.
4
4
10.2 Definition von Markov-Ketten und erste Folgerungen
10.2.1 Definition (Markov-Kette)
(Ω, P ) sei Wahrscheinlichkeitsraum, E sei endliche Menge. Seien X i : Ω → E,
i = 0, 1, 2, 3, . . . Zufallsvariablen. Die Menge der Zufallsvariablen X = {X 0 , X 1 , X 2 , . . . , X n , . . . }
heißt Markov-Kette (der Länge n), falls
P (X i = x i | X 0 = x 0 , . . . , X i−1 = x i−1 ) = P (X i = x i | X i−1 = x i−1 )
für i = 1, 2, . . . , n, . . . gilt. Eine Markov-Kette X heißt stationär, falls
für i = 1, 2, . . . gilt.
Bezeichnungsweisen
1. E heißt Zustandsraum,
P (X i = x 1 | X i−1 = x 0 ) = P (X 1 = x 1 | X 0 = x 0 )
2. q(x, y), x, y ∈ E heißt stochastische Matrix, falls q(x, y) ≥ 0 und ∑ y∈E
q(x, y) = 1,
∀ x ∈ E gilt,
3. π(x 0 ) = P (X 0 = x 0 ) mit x 0 ∈ E heißt Startverteilung.
Konstruktion von stationären Markov-Ketten
Gegeben seien:
1. E endlich oder abzählbar,
2. q(x, y), x, y ∈ E eine stochastische Matrix,
3. π(x), x ∈ E eine Wahrscheinlichkeitsfunktion auf E, d.h. π(x) ≥ 0 für alle x ∈ E
und ∑ x∈E
π(x) = 1.