Markov-Ketten - Max-Planck-Institut für Dynamik komplexer ...

Maus-Beispiel
Einsetzen liefert
t1 = 1 + 1
2 t3 + 1
2 t2
t2 = 0
t3 = 1 + 1
2 t1 + 1
2 t4
t4 = 1 + 1
3 t3 + 1
3 t2 + 1
3 t5
t5 = 0
t3 = 1 + 1
2
⇔ t3 = 24
7
Prognose von Verteilung auf Zustände
= 2 + 5
12 t3
�
1 + 1
2 t3
�
+ 1
2
≈ 3, 43
�
1 + 1
3 t3
�
Meist interessiert die Gesamtheit aller möglichen Zustände zu einem festen Zeitpunkt, die Verteilung.
Besteht der Übergangsgraph aus i Zuständen 1, . . .,m und bezeichne un = (u n 1, . . .,u n m) die Verteilung
nach n Zeitschritten, dann errechnet sich der Anteil jedes Zustandes i zum Zeitpunkt n + 1 wie folgt
Dabei ist
u n+1
i
�
=
j
pji · u n j
u n j = P(Xn = j)
Das sieht nicht nur aus wie Matrix mal Vektor, sondern entspricht dieser Schreibweise so genau, dass
diese auch mathematisch korrekt ist und sich mit der ursprünglichen Definition deckt. (ohne Beweis)
u n+1 = u n · P
.
= u n−1 · P 2
= u 0 · P n+1
Mit Hilfe der Übergangsmatrix, die aus den einzelnen Übergangswahrscheinlichkeiten pij besteht, lässt
sich also aus jeder Startverteilung die Verteilung nach einer bestimmten Schrittzahl errechnen.
Die Matrix P ist im Mausbeispiel: ⎛
0
⎜
P = ⎜
⎝
1 1 0 0 2 2
0 1 0 0 0
1 1 0 0 2 2 0
0 1
⎞
⎟
1 1 0 ⎠
3 3 3
0 0 0 0 1
Bestimmung der Gewinnwahrscheinlichkeit für große n In P n = (˜pij) findet sich in jedem Eintrag
˜pij die Wahrscheinlichkeit, bei Start in i nach n Schritten im Endzustand j zu enden. Multipliziert
man Startvektoren an P n , lassen sich die gemeinsamen Gewinnwahrscheinlichkeiten direkt ablesen.
5