Skript - Prof. Georg Hoever - FH Aachen

4. Stochastische Prozesse und Markov-Ketten 62
Bemerkung:
Besitzt eine homogene Markov-Kette die Übergangsmatrix P, so gilt für die Wahrscheinlichkeitsverteilungen
x n
x n+1 = P ·x n und x n = P n ·x 0 .
Beispiel 9:
In Beispiel 8 ergibt sich
x 0 x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 ...
⎛
⎝ 1 ⎞ ⎛
0⎠,
⎝ 0.6
⎞ ⎛
0.3⎠,
⎝ 0.47
⎞ ⎛
0.33⎠,
⎝ 0.42
⎞ ⎛
0.33⎠,
⎝ 0.40
⎞ ⎛
0.33⎠,
⎝ 0.39
⎞ ⎛
0.33⎠,
⎝ 0.39
⎞ ⎛
0.33⎠,
⎝ 0.39
⎞ ⎛
0.33⎠,
⎝ 0.39
⎞
0.33⎠ ...
0 0.1 0.20 0.25 0.26 0.27 0.28 0.28 0.28
Definition 4.4
Eine Wahrscheinlichkeitsverteilung ̂x heißt stationär zu einer homogenen Markov-
Kette mit Übergangsmatrix P :⇔ Es gilt ̂x = P · ̂x.
Satz 4.5
Zu jeder Übergangsmatrix P gibt es eine stationäre Verteilung.
Bemerkung:
Ein x ∈ R n ,x ≠ 0, heißt Eigenvektor mit Eigenwert α zur Matrix A ∈ R n×n :⇔
A·x = α·x.
Eine stationäre Verteilung ist also ein Eigenvekor von P zum Eigenwert 1.
Eigenvektoren zu einem Eigenwert α kann man wegen
Px = α·x ⇔ Px = α·I ·x ⇔ (P −α·I)·x = 0
bestimmen als nichttriviale Lösungen des homogenen Gleichungssystems
(P −α·I)·x = 0.
Beispiel 10:
Berechnung einer stationäre Verteilung zu P aus Beispiel 7 bzw. 8:
⎛ ⎞
0.6 0.3 0.2
Suche einen Eigenvektor x zum Eigenwert 1 von P = ⎝0.3 0.4 0.3⎠, also eine
0.1 0.3 0.5
Lösung x zu
(P −I)·x = 0.