Randomisierte Algorithmen - 10. Schnell mischende Markov-Ketten

Randomisierte Algorithmen 

Randomisierte Algorithmen 

10. Schnell mischende Markov-Ketten 

Thomas Worsch 

Fakultät für Informatik 

Karlsruher Institut für Technologie 

Wintersemester 2012/2013 

1 / 45


Überblick 

Überblick 

Der Metropolis-Algorithmus 

Anmerkungen zu Eigenwerten 

Schnell mischende Markov-Ketten 

2 / 45



Überblick 




3 / 45



10.1 Definition 

Eine ergodische Markov-Kette ist 

(zeit-)reversibel (in detailed balance), 

wenn für stationäre Verteilung w und alle i, j ∈ S gilt: 

wiPij = wjPji . 

4 / 45




◮ G = (V , E) ein zusammenhängender ungerichteter Graph 

ohne Schlingen 

◮ 0 < β ≤ 1 eine reelle Zahl 

◮ d(i) Grad von Knoten i und d = maxi∈V d(i) 

◮ definiere Markov-Kette MG,β: 

⎧ 

⎪⎨ β/d falls i = j und (i, j) ∈ E 

Pij = 0 

⎪⎩ 

1 − d(i)β/d 

falls i = j und (i, j) /∈ E 

falls i = j 

5 / 45



10.3 Beobachtung/Übung 

◮ Da Graph zusammenhängend, ist die Kette irreduzibel. 

◮ MG,β hat Gleichverteilung als stationäre Verteilung. 

◮ Für β < 1 ist sie auch aperiodisch und reversibel. 

6 / 45



10.4 Verallgemeinerung 

◮ p eine Wahrscheinlichkeitsverteilung auf V , nirgends 0 

◮ G = (V , E) ein zusammenhängender ungerichteter Graph 

◮ 0 < β ≤ 1 eine reelle Zahl 

◮ d(i) Grad von Knoten i und d = maxi∈V d(i) 

◮ definiere Markov-Kette MG,β: 

⎧ 

⎪⎨ min(1, 

Pij = 

⎪⎩ 

pj 

) · β/d falls i = j und (i, j) ∈ E 

pi 

0 falls i = j und (i, j) /∈ E 

1 − 

i=k Pik falls i = j 

7 / 45



10.4 Verallgemeinerung (2) 

Sei i = j und (i, j) ∈ E (alles andere trivial): 

piPij 

pjPji 

= pi min(1, pj 

) · β/d 

pi 

pj min(1, pi ) · β/d 

pj 

= 

= 1 

pi 

pj 

pi 

pj 

pi / pj 

pj 

· pi 

falls pi ≤ pj 

falls pi > pj 

Die Markov-Kette ist reversibel mit stationärer Verteilung p, 

denn . . . 

8 / 45



10.5 Lemma 

◮ Sei M Markov-Kette und 

◮ q Verteilung mit 

für alle Zustände i und j. 

qiPij = qjPji 

◮ Dann ist q die (eindeutig bestimmte) stationäre 

Verteilung von M. 

9 / 45



10.6 Beweis 

Für alle i ist 

(qP)i = 

qjPji = 

j 

j 

qiPij = qi 

 

Pij = qi . 

j 

10 / 45



10.7 Vorbereitung Metropolis-Algorithmus 

◮ Q zeilenstochastische Matrix, symmetrisch 

◮ proposal matrix 

◮ Voraussetzung Symmetrie von Hastings beseitigt 

◮ Ziel reversible Markov-Kette 

◮ mit einer Übergangsmatrix P 

◮ stationäre Verteilung w 

◮ w indirekt“ gegeben durch H : S → R 

” 

◮ energy function 

◮ wi proportional zu e−H(i) ◮ Proportionalitätsfaktor Z = 

i∈S e−H(i) 

◮ partition function 

11 / 45



10.8 Metropolis-Algorithmus 

◮ starte in beliebigem i0 ∈ S 

◮ Schritt von Zustand it ∈ S zu it+1 in zwei Phasen: 

◮ gemäß der Verteilung Q(it, ·) zufällig j ∈ S wählen 

◮ dann 

◮ falls H(j) ≤ H(it), also wj ≥ wit , wähle it+1 = j. 

◮ falls H(j) > H(it), also wj < wit , wähle 

 

j mit Wahrscheinlichkeit wj/wit 

it+1 = 

it sonst 

= eH(it)−H(j) 

12 / 45



10.9 Satz 

Metropolis-Algorithmus, Markov-Kette auf S: 

◮ reversibel 

◮ stationäre Verteilung: i hat Wahrscheinlichkeit e −H(i) /Z. 

13 / 45



10.10 Beweis (Übung) 

P durch Algorithmus festgelegte Übergangsmatrix 

genügt zu zeigen: reversibel 

e −H(i) /Z · Pij = e −H(j) /Z · Pji 

einfache Rechnung analog zu der in Punkt 10.4 

14 / 45



Überblick 




15 / 45




Es sei P eine zeilenstochastische Matrix. 

◮ Dann ist 1 ein Eigenwert von P. 

◮ Für jeden Eigenwert λ von P gilt: |λ| ≤ 1. 

16 / 45




◮ Erster Teil klar wegen P(1, . . . , 1) T = (1, . . . , 1) T . 

◮ sei λ ∈ C Eigenwert mit P(x1, . . . , xn) T = λ(x1, . . . , xn) T 

◮ Sei i0 ein Index mit |xi0| = maxj |xj|. 

17 / 45




◮ Erster Teil klar wegen P(1, . . . , 1) T = (1, . . . , 1) T . 

◮ sei λ ∈ C Eigenwert mit P(x1, . . . , xn) T = λ(x1, . . . , xn) T 

◮ Sei i0 ein Index mit |xi0| = maxj |xj|. 

◮ Es gilt: 

Also ist |λ| ≤ 1. 

 

 

|λ| · |xi0| = |λ · xi0| = 

j 

Pi0jxj 

 

 

 

≤ 

Pi0j|xj| ≤ 

Pi0j|xi0| 

j 

= |xi0| 

Pi0j = |xi0| . 

j 

j 

17 / 45




Sei P die stochastische Matrix einer reversiblen Markov-Kette 

mit |S| = N Zuständen. 

Dann hat P lauter reelle Eigenwerte 

1 = λ1 > λ2 ≥ · · · ≥ λN > −1. 

(lineare Algebra . . . ) 

18 / 45



10.14 Abkürzung 

◮ λmax = max{|λ| | λ ist Eigenwert von P und λ = 1}. 

◮ Eben bewiesen: 

◮ für ergodische Markov-Ketten: λmax ≤ 1. 

◮ für reversible Markov-Ketten: 

λmax = max{|λ2|, |λN|} < 1 

19 / 45



10.15 Bemerkung 

Falls λN < 0: 

◮ Gehe von P zu P ′ = 1(P 

+ I) über. 

2 

◮ Eigenwerte λ ′ i 

◮ λmax = λ2 

= 1 

2 (λi + 1) > 0, also 

20 / 45



Überblick 




21 / 45




◮ Für zwei Verteilungen p und q ist die totale 

Variationsdistanz 

p − q tv = 1 

2 

 

|pj − qj| . 

j∈S 

◮ Übung: 

p − qtv = max |p(T ) − q(T )| 

T ⊆S 

wobei p(T ) = 

j∈T pj 

22 / 45




◮ ergodische Markov-Kette P stationäre Verteilung w; 

für alle Verteilungen p sei 

δp(t) = pP t − w tv 

◮ Die Variationsdistanz zum Zeitpunkt t ist 

∆(t) = max 

p δp(t) . 

◮ Übung: Maximum für einen Einheitsvektor 

∆(t) = max 

i Pt i − w tv 

wobei P t i die i-te Zeile von Pt ist. 

◮ klar: 

lim ∆(t) = 0 

t→∞ 

23 / 45



10.18 Abkürzung 

reversible Markov-Kette mit stationärer Verteilung w: 

wmin = min 

j wj 

24 / 45




Für reversible Markov-Kette mit stationärer Verteilung w gilt: 

∆(t) ≤ λt max 

wmin 

. 

25 / 45



10.20 

Mitunter folgende Situation: 

◮ Problem mit Instanzen I 

◮ Familie von Markov-Ketten M(I ) 

◮ Beispiel: 

◮ I : ein Graph 

◮ Zustände von M(I ): die Matchings von I 

26 / 45




ergodische Markov-Kette mit stationärer Verteilung w 

für ε > 0 definiere ihre ε-Konvergenzzeit: 

τ(ε) = min{t | ∀t ′ ≥ t : ∆(t ′ ) ≤ ε} 

27 / 45




Familie M(I ) heißt schnell mischend, falls die 

ε-Konvergenzzeit polynomiell in |I | und ln 1/ε ist. 

28 / 45



10.23 Rechnung 

reversible Markov-Kette jedenfalls dann schnell mischend, 

wenn für ein t, das polynomiell in |I | und log 1/ε ist, gilt 

λ t max 

wmin 

≤ ε 

29 / 45



10.23 Rechnung (2) 

◮ 

1 

λmax 

t 

≥ 

1 

εwmin 

t ≥ ln ε−1 + ln w −1 

min 

ln λ −1 

max 

◮ Wegen 1 − x ≤ ln x −1 für 0 < x < 1 ist dafür hinreichend: 

t ≥ ln ε−1 + ln w −1 

min 

1 − λmax 

◮ schnelles Mischen, falls ln w −1 

min 

polynomiell in |I | 

und 1/(1 − λmax) 

30 / 45




Für reversible Markov-Ketten gilt: 

τ(ε) ≤ 

τ(ε) ≥ 

Woher bekommt man λmax? 

1 1 

log 

1 − λmax wminε 

1 1 

log 

2(1 − λmax) 2ε 

31 / 45




◮ reversible Markov-Kette M = (S, P), 

stationärer Verteilung w 

◮ sei FM der gerichtete gewichtete Graph mit 

◮ Knotenmenge S und 

◮ Kantenmenge EF = {(i, j) | i = j ∧ Pij > 0}. 

◮ jede Kante (i, j) gewichtet mit Zahl c(i, j) = wiPij. 

32 / 45




◮ Für reversible Markov-Kette mit Zustandsmenge S und 

stationärer Verteilung w 

◮ definiere für jede Teilmenge T ⊆ S 

die Kapazität C(T ) = 

i∈T 

den Fluß F (T ) = 

wi 

i∈T ,j /∈T 

wiPij 

und Φ(T ) = F (T )/C(T ) 

◮ Der Leitwert Φ der Markov-Kette ist dann 

Φ = min max{Φ(T ), Φ(S T )} . 

T ⊆S 

33 / 45




Für jede reversible Markov-Kette gilt: 

1 − 2Φ 2 ≤ λ2 ≤ 1 − Φ2 

2 . 

34 / 45



10.28 Korollar 

Für reversible Markov-Ketten (mit λ2 = λmax) ist 

τ(ε) ≤ 2 

Φ 2 (ln ε−1 + ln w −1 

min ) 

35 / 45




◮ Für einen ungerichteten Graphen (V , E) 

◮ ist die Kantenvervielfachung µ das Minimum der Zahlen 

|{(i, j) | i ∈ T ∧ j /∈ T ∧ (i, j) ∈ E}| 

|T | 

◮ wobei über alle Teilmengen T ⊆ V minimiert werde mit 

|T | ≤ |V | /2. 

36 / 45



10.30 Beobachtung 

Für die Markov-Ketten MG,β aus Definition 10.2 gilt: 

Φ = βµ/d . 

37 / 45




◮ für Paar (i, j) von Knoten in FM soll 

◮ von einem ” Gut“ gij die Menge wiwj von i nach j 

transportiert werden. 

◮ gesucht: Flüsse fij : EF → R+, so dass gilt: 

 

fij(i, k) = wiwj 

k 

für alle ℓ = i, j : 

fij(k, ℓ) = 

fij(ℓ, m) 

k 

m 

 

fij(k, j) = wiwj 

k 

38 / 45



10.31 Definition (2) 

◮ Gesamtfluss durch eine Kante e sei 

f (e) = 

fij(e) 

und 

◮ die relative Kantenauslastung 

i=j 

ρ(f ) = max f (e)/c(e) . 

e∈EF 

39 / 45




Für jede Markov-Kette mit Flüssen fij gilt: 

Φ ≥ 1 

2ρ(f ) . 

40 / 45



10.33 Beispiel: Hyperwürfel 

◮ reversible Markov-Kette M gemäß Def. 10.2 aus 

Hyperwürfel Hn der Dimension n mit β = 1/2. 

◮ Pii = 1/2 und Pij = 1/2n für i = j. 

◮ stationäre Verteilung 

◮ Gleichverteilung mit wmin = 1/2 n 

◮ also log 1/wmin = n polynomiell in n 

◮ Schnelles Mischen: Suche Flüsse fij 

◮ die 1/2 2n transportieren und 

◮ kleine Kantenauslastung erzeugen. 

41 / 45



10.33 Beispiel: Hyperwürfel (2) 

◮ Wähle: gleichmäßige Verteilung auf alle d! kürzeste Pfade 

zwischen i und j (d = Hammingdistanz) 

◮ Aus Symmetriegründen gleicher Gesamtfluss auf jeder 

Kante. 

◮ Für jedes d gibt es 2n · n 

Paare (i, j) mit Abstand d. 

d 

◮ Für ein festes Paar (i, j) haben alle für den Fluss fij 

verwendeten Pfade Länge d. Also: 

 

fij(e) = dwiwj . 

e∈EF 

42 / 45



10.33 Beispiel (3) 

f (e) = 1 

n 

2 

|EF | 

d=1 

n 

 

n 

· d · wiwj 

d 

= 1 

n2n n 

2 

d=1 

n 

 

n 

· d · 

d 

1 

22n = 1 

22n n 

 

n 

· 

d 

d=1 

d 

n 

= 1 

22n n 

 

n − 1 

= 

d − 1 

1 

22n n−1 

 

n − 1 

d 

d=1 

= 2n−1 1 

= 

22n 2 · 2n d=0 

43 / 45



10.33 Beispiel (4) 

◮ eben: f (e) = 1/2 · 2 n . 

◮ andererseits c(e) = wiPij = 1/(2n · 2 n ) 

◮ also 

ρ(f ) = 1/(2 · 2n ) 

1/(2n · 2 n ) 

= n . 

◮ Korollar 10.28: Markov-Kette schnell mischend 

44 / 45



Zusammenfassung 

◮ oft ergodische Markov-Ketten, die sogar reversibel sind 

◮ Kriterien, um festzustellen, ob sie schnell mischend sind 

45 / 45

Randomisierte Algorithmen - 10. Schnell mischende Markov-Ketten

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?