Markov-Ketten - Max-Planck-Institut für Dynamik komplexer ...

Markov-Ketten
Nach Andrej Andrejewitsch Markov (1856-1922)
(engl. Andrey Markov)
Vorgestellt von Daniel Samaga am 19.11.08 & ???
Motivation
Die Motivation, dieses Kapitel in eine Vorlesung ’Modellierung zellulärer Systeme / Systembiologie
II’ einzubinden, liegt in der breiten Anwendbarkeit der Markov-Ketten in der Modellierung und der
zentralen Bedeutung bei stochastischen Simulationen.
Hier ein kleiner Überblick, wo Markovketten auftreten:
�stochastische Simulation biochemischer Netzwerke
�Warteschlangen- oder Bedienmodelle
(Informationsverarbeitung, Produktionsbereich, Dienstleistungsbereich)
�Grundlagenforschung
(Wärmebewegung, radioaktiver Zerfall, molekulare Interaktionen)
�Spamfilter (Hidden-Markov-Modelle)
�weitere Beispiele:
Wettervorhersage, Populationsmodelle, Monte Carlo Methoden in der Numerik ...
Grundlagen
wikipedia
Eine Markov-Kette ist eine spezielle Klasse von stochastischen Prozessen [...] Die Zukunft des Systems
hängt nur von der Gegenwart (dem aktuellen Zustand) und nicht von der Vergangenheit ab.
Doch was ist ein stochastischer Prozess ?
Definitionen
Definition 1 - stochastischer Prozess (nach Krengel):
Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, T eine beliebige nichtleere Indexmenge, und (I, I) ein
messbarer Raum. Eine Familie {Xt, t ∈ T } von Zufallsvariablen mit Werten in I heißt stochastischer
Prozess mit Parameterbereich T und Zustandsraum I
Beispiele für obige Begriffe der Definition
�Merkmalsraum Ω :
{1, 2, ..., 6} beim Würfel
�σ-Algebra A auf Ω :
P(Ω) (Potenzmenge von Ω = System aller Teilmengen von Ω)
{{}, {1}, {2}, ... , {1,2}, {1,3}, ... , {1, 2, ..., 6}}
1

�Wahrscheinlichkeitsmaß P auf dem messbaren Raum (Ω, A) :
P : A → [0, 1]
P(ω ∈ {6}) = 1
6
, P(ω ∈ {1, 4}) = 1
3
1
, P(’gerade Zahl’) = , ... 2
�Zustandsraum I :
Ort der Beobachtungen des stoch. Prozesses, beispielsweise I = Z. Wenn die Bewegung eines
Teilchens über wiederholtes Würfeln beschrieben wird, liegen die einzelnen Würfelergebnisse in
Ω, die aktuelle Position aber in den ganzen Zahlen Z
�σ-Algebra I auf I :
Menge aller Zustände des Prozesses, wie ’Teilchen ist rechts von Position ’100”.
�die eigentlich interessierende Zufallsvariable Xt
ergibt sich über die den Prozess charakterisierende Struktur (Vorschrift, wie die einzelnen Würfelergebnisse
zu kombinieren sind)
Z.B.: Xt = �
τ 0 ist
P(Xn+1 = ιn+1 | X0 = ι0, · · · , Xn = ιn) = P(Xn+1 = ιn+1 | Xn = ιn)
Veranschaulichung und Nutzen
pij = P(Xn+1 = ιj | Xn = ιi)
i für ιi
Das Konzept der Markov-Kette lässt sich einfach veranschaulichen und unsere Vorstellung der mikroskopischen
Welt führt häufig auf eben diese Struktur des Markov-Prozesses. Genau wie die Markov-Kette
haben auch Moleküle kein Gedächtnis.
Definition 3 - Übergangsgraph (nach Hübner):
Ein Übergangsgraph einer homogenen (alle pij sind konstant über T) Markov-Kette besteht aus allen
möglichen Zuständen als Ecken des Graphs und den mit positiver Wahrscheinlichkeit möglichen
Übergängen als gerichteten Kanten (Pfeile). An der Kante von i nach j wird jeweils der Wert pij
notiert.
i
pi j
2
j

Anwendung und Rechenregeln anhand von Beispielen
Irrfahrt eines Betrunkenen
Eine Irrfahrt ist gegeben durch eine Menge M von Zuständen und Übergangswahrscheinlichkeiten dazwischen.
Die Situation : Ein Betrunkener auf einer Parkbank beschließt, heim zu gehen. Leider hat er die
Orientierung verloren, und ’entscheidet’ an jeder Laterne, an der er vorbei kommt, neu, in welche Richtung
es weitergehen soll. Wird er eher sein Haus oder die Kneipe erreichen? Und wann wird das sein?
MOE’S
−3 −2 −1 0 1 2
Dieser Situation entspricht einer Markovkette mit ...
�(Ω, A, P)=Münzwurf-Modell mit Ergebnis −1 oder 1
�T = N
�I = {−3, −2, . . .,1, 2}
→ Verteilung von Xt+1 ist nur von Xt abhängig und nimmt Werte in I an.
1
1/2 1/2 1/2 1/2
−3/K
1/2
−2
1/2
−1
1/2
0/S
1/2
1 2/H
Eine Irrfahrt und eine Markov-Kette sind also genau das gleiche. In einfachen Fällen genügt also bei
Markovketten der Zugang über die graphische Anschauung. Es ist nicht notwendig, sich explizit aufzuschreiben,
welcher Wahrscheinlichkeitsraum den stochastischen Prozess erzeugt, wenn die Übergangswahrscheinlichkeiten
bekannt sind.
Die (Alzheimer-) Maus
Eine Maus läuft durch ein Haus. Es gibt ein Zimmer mit einer Katze und eins mit Käse.
Maus
1 2
Katze
3 4 5
3
Kaese
1

1
1/2 1/2
1/2
1/3
2
1/2 1/3
3 4 5
1/3
Mittelwertsregel für Gewinnwahrscheinlichkeit
i : fester Endzustand “Gewinn”
l : andere Endzustände “Verlust”
j, k : beliebige andere Zustände
gk : Gewinnwahrscheinlichkeit bei Start in Zustand k
1
gi = 1 , gl = 0
gk = �
j
pkj · gj
Man kann die Formel als eine Gewichtung der Erfolgsaussichten aller möglichen Nachfolgezustände
ansehen, denn für alle k gilt �
j pkj = 1.
Maus-Beispiel Die Endzustände sind 2 und 5.
g1 = 1
2 g3 + 1
2 g2
g2 = 0
g3 = 1
2 g1 + 1
2 g4
g4 = 1
3 g3 + 1
3 g2 + 1
3 g5
g5 = 1
Einsetzen liefert Gewinnwahrscheinlichkeit für Start in 3
g3 = 1
�
1
2 2 g3
�
+ 1
�
1
2 3 g3 + 1
�
3
= 5
12 g3 + 1
6
⇔ g3 = 2
≈ 28, 6 %
7
Mittelwertsregel für die durchschnittliche Spieldauer
ti = 0 für alle Endzustände
tk = 1 + �
j
pkj · tj
Auch dies ist praktisch eine Gewichtung der Nachfolgewartezeiten eines jeden Zustands unter der
Berücksichtigung, dass es einen Zeitschritt dauert, bis man in einem solchen Nachfolgezustand ist.
4
1

Maus-Beispiel
Einsetzen liefert
t1 = 1 + 1
2 t3 + 1
2 t2
t2 = 0
t3 = 1 + 1
2 t1 + 1
2 t4
t4 = 1 + 1
3 t3 + 1
3 t2 + 1
3 t5
t5 = 0
t3 = 1 + 1
2
⇔ t3 = 24
7
Prognose von Verteilung auf Zustände
= 2 + 5
12 t3
�
1 + 1
2 t3
�
+ 1
2
≈ 3, 43
�
1 + 1
3 t3
�
Meist interessiert die Gesamtheit aller möglichen Zustände zu einem festen Zeitpunkt, die Verteilung.
Besteht der Übergangsgraph aus i Zuständen 1, . . .,m und bezeichne un = (u n 1, . . .,u n m) die Verteilung
nach n Zeitschritten, dann errechnet sich der Anteil jedes Zustandes i zum Zeitpunkt n + 1 wie folgt
Dabei ist
u n+1
i
�
=
j
pji · u n j
u n j = P(Xn = j)
Das sieht nicht nur aus wie Matrix mal Vektor, sondern entspricht dieser Schreibweise so genau, dass
diese auch mathematisch korrekt ist und sich mit der ursprünglichen Definition deckt. (ohne Beweis)
u n+1 = u n · P
.
= u n−1 · P 2
= u 0 · P n+1
Mit Hilfe der Übergangsmatrix, die aus den einzelnen Übergangswahrscheinlichkeiten pij besteht, lässt
sich also aus jeder Startverteilung die Verteilung nach einer bestimmten Schrittzahl errechnen.
Die Matrix P ist im Mausbeispiel: ⎛
0
⎜
P = ⎜
⎝
1 1 0 0 2 2
0 1 0 0 0
1 1 0 0 2 2 0
0 1
⎞
⎟
1 1 0 ⎠
3 3 3
0 0 0 0 1
Bestimmung der Gewinnwahrscheinlichkeit für große n In P n = (˜pij) findet sich in jedem Eintrag
˜pij die Wahrscheinlichkeit, bei Start in i nach n Schritten im Endzustand j zu enden. Multipliziert
man Startvektoren an P n , lassen sich die gemeinsamen Gewinnwahrscheinlichkeiten direkt ablesen.
5

Es ist beispielsweise für das Mausbeispiel
P 100 ⎛
0.0 0.86 0
⎜ 0 1 0
= ⎜ 0 0.71 0.0
⎝0.0
0.57 0
⎞
0.0 0.14
0 0 ⎟
0 0.29 ⎟
0.0 0.43⎠
0 0 0 0 1
Würde eine ganze Mäusefamilie, die sich gleichmäßig auf alle Räume aufteilt, in dem Haus starten, so
würde die Verteilung nach 100 Zeitschritten wie folgt aussehen
u 100 = � 0.2 0.2 0.2 0.2 0.2 � · P 100 = � 0.0 0.6286 0.0 0.0 0.3714 �
Etwa 37 % der Mäuse würden also den Käse erreichen.
Kommentar zu Warteschlangen
Ü-Eier
In jedem siebten Ei gibt es eine von 10 tollen Figuren - Wie lange brauche ich im Mittel bis ich alle
Figuren habe? (ohne zu tauschen)
�Wartezeit auf Übergang bei Wahrscheinlichkeit p ist 1/p
(Mittelwertregel für die durchschnittliche Spieldauer)
�jedes 7. Ei entspricht einfach einem Faktor von sieben im Vergleich zu der Situation, in der in
allen Eiern Figuren sind
�es werden 10 Warteschlangen hintereinander durchlaufen, das führt zu einer Addition der einzelnen
Wartezeiten
7·(10/1+10/2+10/3+10/4+10/5+10/6+10/7+10/8+10/9+10/10)
≈ 202.7
6

Markovketten und biologische Netzwerke
Die Markov-Eigenschaft findet sich fast überall in der Natur. Viele Systeme können ausreichend über
den aktuellen Zustand und die potentiellen Reaktionen beschrieben werden. Die Vergangenheit eines
Systems spielt selten eine Rolle. (Auch nicht bei der Hysterese, da dort die Vergangenheit im System
abgespeichert wird und somit im Zustand des Systems enthalten ist.)
Beispiel: Geburten- und Sterbeprozess
In biologischen Systemen interessiert häufig die Anzahl vorhandener Teilchen oder Tiere. Wenn man
davon ausgeht, dass pro Zeitschritt nur ein Teil dazukommen oder verschwinden kann, sieht der dazugehörige
Übergangsgraph wie folgt aus:
0 1 2 3 4
p10
p12 p23 p34 p45
p21
p00 p11
p22 p33 p44
p32
Abbildung 1: Übergangsgraph zu Geburten- und Sterbeprozess in diskreter Zeit
Kontinuierliche Zeit
Einzig die diskrete Beschreibung der Zeit ist unzureichend. Natürliche Prozesse spielen sich in kontinuierlicher
Zeit ab. Und insbesondere für große n ist die Wahrscheinlichkeit, dass mehr als ein Ereignis
pro Zeitschritt eintritt, recht groß.
’Anpassung’:
Die Übergangswahrscheinlichkeit pij wird auf ein Intervall △t bezogen und Propensity genannt. Propensities
können auch größer als 1 werden, da sie (grob gesagt) auf die Frage antworten, wie viele
Reaktionen dieser Art im Mittel im kommenden Zeitfenster △t stattfinden.
Für jeden Zustand x lassen sich die Propensities für alle möglichen Nachfolgezustände direkt berechnen
und werden entsprechend der dazugehörigen Übergangsfunktion Rµ mit aµ(x) bezeichnet.
Die Wartezeit auf die nächste Reaktion ist damit exponentialverteilt mit Parameter λ(x) = � M
µ=1 aµ(x).
p43
a1(1) a1(2) a1(3)
0 1 2 3 4
a2(1) a2(2) a2(3) a2(4) a2(5)
Abbildung 2: Geburten- und Sterbeprozess in stetiger Zeit
Die Propensities ergeben sich aus dem modellierten System. Jeder Zustand wird nach der Anzahl
a vorhandener Teilchen vom Typ A benannt.
R1 : A κ+
−→ A + A a1(n) = a · κ +
R2 : A κ−
−→ ∅ a2(n) = a · κ −
7
p54
a1(4)

Alternativer Prozess (Zustandsraum nach oben beschränkt und p01 �= 0):
Beispiel: Biochemisches Netzwerk
R1 : B k1
−→ A a1(n) = (N − a) · k1
R2 : A k2
−→ B a2(n) = a · k2
Betrachtet man das Zusammenspiel von mehreren Species, ist der Markov-Prozess nicht linear miteinander
verknüpft, sondern der Zustandsraum zeigt sich als ein verzweigtes Netz.
R1 : A k1
−→ A + P a1(x = [p, a, i]) = a · k1
R2 : A+P k2
−→ I a2(x) = a · p · k2
R3 : I k3
−→ A + P a3(x) = i · k3
R4 : P k4
−→ ∅ a4(x) = p · k4
5 2 0 6
5 1 1
6 1 1
5 0 2 6 0 2
Chemical master equation
2 0 7 2 0 8 2 0
7 1 1
8 1 1
7 0 2 8 0 2
Bezeichnet x ∈ N L den Zustandsvektor (bestehend aus den Teilchenzahlen der einzelnen Species), und
sµ die Änderung bei Reaktion Rµ, also
Rµ : x ↦→ x + sµ
Dann schreiben sich die Propensities für kleine δt als
aµ(x)δt = P(x + sµ, t + δt|x, t)
Und es ergibt sich die Chemical Master Equation als Differentialgleichungssystem für die Wahrscheinlichkeiten
Px(t), zur Zeit t im Zustand x zu sein.
dPx(t)
dt = −Pn(t) ·
M�
aµ(x) +
µ=1
M�
aµ(x − sµ) · Px−sµ(t)
Diese Gleichungen kann man für einfache Systeme sofort angeben. Sie bilden die Grundlage für die
Analyse stochastischer Systeme.
8
µ=1

Zeitliche Entwicklung der Wahrscheinlichkeiten
Geben wir für einen Geburten- und Sterbeprozess eine maximale Populationsgröße N an, die nicht zu
groß ist, so köennen wir das DGL-System für die Wahrscheinlichkeiten der einzelnen Populationsgrößen
analytisch lösen (für sehr kleine N) oder simulieren (für mäßige N)
Bsp.1: N = 2
Dieser Fall lässt sich analytisch lösen. Der Übergangsgraph sieht so aus:
Das DGL-System mit Anfangswerten:
hat folgende Lösung
a1(1) = 1
0 1 2
a2(1) = 1 a2(2) = 2
dP0(t)
dt = a2(1) · P1 ; P0(0) = 0
dP1(t)
dt = −(a1(1) + a2(1)) · P1(t) + a2(2) · P2(t); P1(0) = 0
dP2(t)
dt = −a1(2) · P2(t) + a1(t) · P1(t) ; P2(0) = 1
P0(t) = 1
2 · √ 2 ·
P1(t) = 1 √ 2 ·
�� √ � (−2+
− 2 − 2 e √ � √ � 2)t −(2+
− − 2 + 2 e √ �
2)t
+ 1
�
e (−2+√ 2)t − e −(2+ √ 2)t
P2(t) = 1
2 ·
�
e (−2+√2)t −(2+
+ e √ �
2)t
Somit ist die Dynamik der Verteilung auf die Zustände komplett bekannt. Zu jedem Zeitpunkt kennen
wir die Wahrscheinlichkeit für ’den Aufenthaltsort der Maus’ (0,1 oder 2), der hier der Molekülzahl
einer Species entspricht.
Bsp.2: N = 10
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
�
0
0 1 2 3
Zeit
4 5 6
Mit einem Simulator wie z.B. ode15s in MATLAB können auch größere Systeme simuliert werden.
a1(1) a1(2)
a1(8)
0 1 2 9 10
a2(1) a2(2) a2(3)
9
P 0 (t)
P 1 (t)
P 2 (t)
a1(9)
a2(9) a2(10)

Nach obigen Schema werden die DGLn aufgestellt. Da das System eine Weile braucht, bis es genügend
ausdünnt und sich der absorbierende Zustand füllt, ist es angebracht, die Zeitachse logarithmisch einzuteilen.
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
10 −2
10 −1
10 0
Zeit
Allerdings wird der Informationsgehalt von den einzelnen Pn(t) rasch sehr gering. Stattdessen kann man
sich für die Dynamik des Mittelwertes interessieren.
Bsp.3: N → ∞
Da die Mittelwertbildung mathematisch einfacher ist, wenn der Prozess nach oben hin nicht beschränkt
ist, rechnen wir ihn hier für die offene Kette aus (s. Abb. 2).
Erwartungswert für A nach kurzem Zeitschritt △t
∞�
〈A(t + △t)〉 = n· [pn−1,n · Pn−1(t) + pn+1,n · Pn+1(t) + (1 − pn,n+1 − pn,n−1) · Pn(t)]
n=1
= 1· [p0,1 · P0(t) + p2,1 · P2(t) + (1 − p1,2 − p1,0) · P1(t)]
+ 2· [p1,2 · P1(t) + p3,2 · P3(t) + (1 − p2,3 − p2,1) · P2(t)]
.
10 1
+ (k − 1)· [pk−2,k−1 · Pk−2(t) + pk,k−1 · Pk(t) + (1 − pk−1,k − pk−1,k−2) · Pk−1(t)]
+ k· [pk−1,k · Pk−1(t) + pk+1,k · Pk+1(t) + (1 − pk,k+1 − pk,k−1) · Pk(t)]
+ (k + 1)· [pk,k+1 · Pk(t) + pk+2,k+1 · Pk+2(t) + (1 − pk+1,k+2 − pk+1,k) · Pk+1(t)]
Jetzt umsortieren. ’Wo trägt etwas mit Pk(t) zur Summe bei?’
〈A(t + △t)〉 = 1· p0,1 · P0(t)
.
+ 2· p1,2 · P1(t) + 1· (1 − p1,2 − p1,0) · P1(t)
+ 3· p2,3 · P2(t) + 1 · p2,1 · P2(t) + 2· (1 − p2,3 − p2,1) · P2(t)
.
+ (k + 1)·pk,k+1 · Pk(t) + (k − 1) · pk,k−1 · Pk(t) + k· (1 − pk,k+1 − pk,k−1) · Pk(t)
.
10
10 2
P 0 (t)
P 1 (t)
P 2 (t)
P 3 (t)
P 4 (t)
P 5 (t)
P 6 (t)
P 7 (t)
P 8 (t)
P 9 (t)
P 10 (t)

Die Übergangswahrscheinlichkeiten sind bekannt:
pi,i−1 = i · κ − · △t
pi,i+1 = i · κ + · △t
Man sieht, dass der erste Summand gleich 0 ist. Auch die zweite Zeile läßt sich technisch mit ’0 mal
irgendwas’ auffüllen. Daraus erbigt sich:
� A(t + △t) � =
=
=
∞� �
(k + 1) · pk,k+1 · + (k − 1) · pk,k−1 + k · (1 − pk,k+1 − pk,k−1) � · Pk(t)
k=1
∞� �
pk,k+1 − pk,k−1 + k � · Pk(t)
k=1
∞� � �
+ −
k · κ · △t − k · κ · △t + k · Pk(t)
k=1
= △t(κ + − κ − ) ·
∞�
k · Pk(t) +
k=1
= △t(κ + − κ − ) · � A(t) � + � A(t) �
⇔
� A(t + △t) � − � A(t) �
⇒
△t
d� A(t) �
dt
∞�
k · Pk(t)
k=1
= (κ + − κ − ) · � A(t) �
= (κ + − κ − ) · � A(t) �
Das entspricht der Differentialgleichung für den deterministischen Fall.
Stochastische Simulation
Falls die Gleichungen zu komplex werden, um sie einzeln zu analysieren, und mehr Information als der
Mittelwert gewünscht ist, kann man den SSA (stochastic simulation algorithm), der auf Daniel Gillespie
(1976) zurück geht, nutzen.
Idee des SSA
Gegeben ist eine Menge biochemischer Reaktionen Rµ (µ ∈ {1, .., M}) und eine Startverteilung der L
Molekültypen x0 ∈ N L
1. Die Propensities aµ(x) lassen sich für alle x schnell aus x und den Rµberechnen
2. Die Wartezeit auf das nächste Ereignis ist exponentialverteilt mit Parameter
λ(x) =
M�
aµ(x)
3. Die Wahrscheinlichkeit, dass die i-te Reaktion die Wartezeit beendet hat, ist
µ=1
ai(x)
λ(x)
Nun werden die Schritte einfach hintereinander ausgeführt.
11

Der SSA am Beispiel ’biochemisches Netzwerk’
R1 : A k1
−→ A + P a1(x = [p, a, i]) = a · k1
R2 : A+P k2
−→ I a2(x) = a · p · k2
R3 : I k3
−→ A + P a3(x) = i · k3
R4 : P k4
−→ ∅ a4(x) = p · k4
(1.) (2.)
(3.) (4.)
7 0 2
Vergleich mit obigen Ergebnissen
R4
R3
R4
R2
8 1 1
8 1 1
R3
R1
6 0 2
Abbildung 3: Skizze einer SSA Simulation
R4
R2
7 0 2
7 1 1
7 0 2
R1 : A+B κ+
−→ A + A a1(n) = a · κ +
R2 : A κ−
−→ B a2(n) = a · κ −
führt mit zu dem oben diskutierten Fall (Bsp.1: N = 2), wenn B(0) = 0 und A(0)=2.
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
R3
R1
R2
8 1 1
8 1 1
0
0 1 2 3
Zeit
4 5 6
Abbildung 4: Für jeden Zeitpunkt wurden 1000 Simulationen durchgeführt, der Anteil der Simulationen,
die in Endpunkt 0, 1 oder 2 geendet sind ermittelt und zu der analytischen Lösung aus Bsp.1 geplottet.
12
P 0 (t)
P 1 (t)
P 2 (t)