Skript

10. Schnell mischende Markov-Ketten 85
Auch diese Markov-Kette ist reversibel, was man zum Beispiel so sieht. Sei i = j und (i, j) ∈ E
(die anderen Fälle sind trivial). Dann gilt:
piPij
=
pjPji
pi min(1, pj p ) · β/d
i
pj min(1, pi p ) · β/d
j =
⎧
⎨ pi p /
j
⎩
pi p falls pi pj
j
p = 1
i falls pi > pj
p ·
j pj pi Wegen des folgenden Lemmas kennt man auch sofort die stationäre Verteilung dieser Markov-
Kette: Es ist p.
10.5 Lemma. Ist M eine ergodische Markov-Kette und q eine Verteilung mit der Eigenschaft, dass für
alle Zustände i und j gilt, dass qiPij = qjPji ist, dann ist q die (eindeutig bestimmte) stationäre
Verteilung von M.
10.6 Beweis. Für alle i ist
(qP)i =
qjPji =
j
j
qiPij = qi
j
Pij = qi .
10.7 Für den klassischen Algorithmus von Metropolis u. a. (1953) ist eine zeilenstochastische Matrix Q
gegeben, die symmetrisch ist (diese Einschränkung wurde von Hastings (1970) beseitigt). Ziel
ist aber eine reversible Markov-Kette mit Übergangsmatrix P, deren stationäre Verteilung w nur
indirekt gegeben ist. Festgelegt ist nämlich nur eine Funktion H: S → R mit der Eigenschaft, dass
e−H(i) proportional zur Wahrscheinlichkeit von Zustand i in w ist. Der Proportionalitätsfaktor
ist natürlich Z =
i∈S e−H(i) .
Q heißt üblicherweise proposal matrix, H energy function und Z partition function.
Das Schöne am Metropolis-Algorithmus ist, dass man Z gar nicht kennen muss. (In manchen
Anwendungen in der Physik ist S sehr groß.)
10.8 Algorithmus. Der Metropolis-Algorithmus, oder auch Metropolis sampler, funktioniert wie folgt:
Man startet in einem beliebigen Zustand i0 ∈ S. Ist man nach t Schritten in Zustand it ∈ S,
dann ergibt sich it+1 in zwei Teilschritten:
• Zunächst wird gemäß der Verteilung Q(it, ·) zufällig ein j ∈ S bestimmt.
• Dann gibt es zwei Möglichkeiten:
– Falls H(j) H(it) ist, also wj wit , dann wählt man it+1 = j.
– Falls H(j) > H(it) ist, also wj < wit , wählt man
j mit Wahrscheinlichkeit wj/wit
it+1 =
it sonst
= eH(it)−H(j)
10.9 Satz. Die durch den Metropolis-Algorithmus festgelegte Markov-Kette auf S ist reversibel und in ihrer
stationären Verteilung hat Zustand i Wahrscheinlichkeit e −H(i) /Z.
10.10 Beweis. Sei P die durch den Algorithmus festgelegte Übergangsmatrix. Es genügt zu beweisen,
dass für alle i, j ∈ S Balancierheit vorliegt, d. h.:
e −H(i) /Z · Pij = e −H(j) /Z · Pji
Das ist eine einfache Rechnung analog zu der in Punkt 10.4.
31. Januar 2013 c○ Th. Worsch 2000-2013