1 Definition, Existenz, Eindeutigkeit 2 Die Verteilung einer Markov-Ke

Übungsaufgaben zum 3-Tageskurs ” Markovsche Ketten“
16. bis 18. September 2009
1 Definition, Existenz, Eindeutigkeit
Aufgabe 1.1
Sei S diskreter Zustandsraum, Π Übergangsmatrix auf S × S, µ ein Wahrscheinlichkeitsmaß auf
S. Zeigen Sie, dass im kanonischen Modell gilt:
Pµ =
µ(x)Px auf σ(Xn : n ∈ N0).
x∈S
Aufgabe 1.2
Sei (Yn)n∈N0 eine Folge unabhängiger identisch verteilter Zufallsvariablen mit
Setze für n ∈ N
P (Y0 = 1) = p = 1 − P (Y0 = −1) für ein p ∈ (0, 1).
Xn := Xn−1 + Yn, X0 := 0.
Dann ist (Xn)n∈N0 eine Markov-Kette mit Zustandsraum Z.
Untersuchen Sie für welche Funktionen f : Z → Z die Folge (f(Xn))n∈N0 eine Markov-Kette ist.
Beweisen Sie Ihre Aussage.
a) f(x) := x − k für ein k ∈ Z
b) f(x) := sup{k ∈ Z|k ≤ x
2 }
c) f(x) := 1N(x)
2 Die Verteilung einer Markov-Kette
Aufgabe 2.1
Beweisen Sie die folgende Aussage.
Sei S diskreter Zustandsraum, (Xn)n∈N0
Markov-Kette mit Werten in S und Übergangsmatrix
Π. Sei n ∈ N0, A ∈ P(S) ⊗N0 , B ⊆ S n , xn ∈ S und µ Wahrscheinlichkeitsmaß auf S mit
Pµ(Xn = xn, (X0, ..., Xn−1) ∈ B) > 0. Es gilt
Pµ((Xn+m)m∈N0 ∈ A|Xn = xn, (X0, ..., Xn−1) ∈ B) = Pxn((Xm)m∈N0 ∈ A).
Hinweis: Das Mengensystem
M = {A ∈ P(S N0 )|A = {x0} × ... × {xk} × S × S × ..., mit x0, ..., xk ∈ S, k ∈ N0} ∪ ∅
ist ein durschnittsstabiles Erzeugendensystem von P(S) ⊗N0 .
Aufgabe 2.2
Harry ist ein zerstreuter Professor. Er besitzt zwei Regenschirme, die er in seiner Wohnung und
in seinem Institut deponiert hat. Regnet es und ist Harry unterwegs zur Wohnung oder zur Arbeit,
dann nimmt er einen Schirm mit, sofern vorhanden. Harry achtet nicht darauf, dass stets
ein Schirm an jedem Ort ist. Es regnet mit Wahrscheinlichkeit p ∈ (0, 1) und Harry geht täglich
zu Fuß zur Arbeit und nach Hause. Am Anfang hält er sich zu Haus auf.
a) Sei Xn die Anzahl Schirme an Harrys Aufenthaltsort zur Zeit n. Zeigen Sie: (Xn)n∈N0
ist eine
Markov-Kette. Bestimmen Sie die Übergangsmatrix und den Übergangsgraphen.
b) Wir gehen davon aus, dass Harry am Anfang genau einen Schirm daheim hat. Bestimmen Sie
explizit die Wahrscheinlichkeit, dass bei Rückkehr von der Uni wieder genau ein Regenschirm im
Haus ist. Geben Sie einen Ausdruck für die Wahrscheinlichkeit an, dass er nach n Zeitschritten
keinen Schirm bei sich hat.
Sei u : {0, 1, 2} → R ein Maß für Harrys Zufriedenheit in Abhängigkeit der vorhandenen Schirme.
u(0) = 0, u(1) = 10, u(2) = 5.
1

c) Bestimmen Sie die erwartete Zufriedenheit in Zeit n, wenn er am Anfang beide Schirme bei
sich hatte. Im Fall n = 2 ist der explizite erwartete Zufriedenheitswert anzugeben.
d) Nun sei am Anfang genau ein Schirm zu Haus. Harry geht im Regen zur Uni und kommt
abends im Trockenen zurück. Am nächsten Morgen geht er wieder im Regen zur Arbeit. Bestimmen
Sie die erwartete Zufriedenheit, wenn er das nächste Mal wieder zu Hause ist.
3 Eigenschaften einer Markov-Kette
Aufgabe 3.1
Beweisen Sie: Sei S diskreter Zustandsraum, Π Übergangsmatrix auf S ×S und seien x, y, z ∈ S,
sodass x → y und y → z. Dann gilt x → z.
Aufgabe 3.2
Sei Π eine Übergangsmatrix, sodass für alle x ∈ S ein y ∈ S existiert mit Π(x, y) = 1. Welche
der folgenden Aussagen treffen zu? Beweisen Sie oder geben Sie ein Gegenbeispiel.
a) Die zugehörige Markov-Kette kann irreduzibel sein.
b) Es können aperiodische Zustände existieren.
c) Die zugehörige Markovkette kann irreduzibel und aperiodisch zugleich sein.
Aufgabe 3.3
Zeigen Sie: Sei X = (Xn)n∈N0 irreduzible Markov-Kette mit Übergangsmatrix Π und Zustandsraum
S. Falls ein Zustand x ∈ S existiert mit Π(x, x) > 0, dann sind alle Zustände aperiodisch.
Aufgabe 3.4
Betrachten Sie die Markov-Kette mit Zustandsraum S = {1, 2, 3, 4, 5} und Übergangsmatrix
⎛
1
2
1
2 0 0 0
⎞
⎜ 0 0 1 0 0
Π := ⎜
p
⎜ 0 0 0 4 1 −
⎝
p
4
p
0 0 2 1 − p
⎟
2 0 ⎠
0 p 0 0 1 − p
,
wobei p ∈ [0, 1]. Bestimmen Sie in Abhängigkeit von p
a) alle abgeschlossenen Mengen.
b) alle abgeschlossenen und minimalen Mengen.
c) alle kommunizierenden Klassen.
d) ob die Kette irreduzibel und/oder regulär ist.
e) für jeden Zustand die Periode.
f) alle absorbierenden Zustände.
4 Harmonische Funktionen und absorbierende Zustände
Aufgabe 4.1
Betrachten Sie einen Verzweigungsprozess mit X0 = 1 und Nachkommensverteilung µ, wobei
µ(k) = 0 für alle k /∈ {0, 3} und µ(3) = p ∈ [0, 1].
a) Bestimmen Sie für welche p die Population fast sicher ausstirbt.
b) Berechnen Sie die Aussterbewahrscheinlichkeit für den Fall p = 4.
Wie hoch wäre die Aus-
7
sterbewahrscheinlichkeit, wenn die Population zwei Urahnen hätte (d.h. X0 = 2).
c) Welche Werte nehmen die Zufallsvariablen (Xn)n∈N0 im Fall p = 1 fast sicher an?
2

5 Invariante Verteilungen
Aufgabe 5.1
Betrachten Sie die Markov-Kette X = (Xn)n∈N0
Übergangsmatrix ⎛
1 − α α 0
auf dem Zustandsraum S = {A, B, C} mit
⎞
Π := ⎝ α
2
0
1 − α
α
α ⎠
2 ,
1 − α
wobei α ∈ [0, 1].
a) Für welche α ist X aperiodisch? Zeigen Sie, dass für alle α ∈ [0, 1] µ = ( 1 1 1
4 , 2 , 4 ) eine invariante
Verteilung ist. Ist die invariante Verteilung eindeutig?
b) Betrachten Sie als Startverteilungen µ und ν = ( 1 1 1
4 , 4 , 2 ). Bestimmen Sie jeweils die Wahrscheinlichkeit,
dass die Kette in n = 2 im Zustand B ist. Wie ändert sich das Ergebnis, wenn
gegeben ist, dass die Kette in A startet? Bestimmen Sie auch Pν(X2 = B|X1 = C, X0 = B).
Aufgabe 5.2
Die Markov-Kette X = (Xn)n∈N0 mit Zustandsraum S = {A, B, C, D} werde beschrieben durch
die Übergangsmatrix
⎛ 1 1 ⎞
0 2 0 2
⎜
Π := ⎜ 0 0 a b ⎟
⎝ 0 0 0 1 ⎠ , (a, b) ∈ R2 .
1 2
3 0 3 0
a) Zu welcher Teilmenge von R 2 muss (a, b) gehören, damit es sich bei Π tatsächlich um eine
stochastische Matrix handelt und X aperiodisch ist?
b) Bestimmen Sie eine stationäre Verteilung in Abhängigkeit von (a, b).
Aufgabe 5.3
Sei S endlicher Zustandsraum und Π symmetrische Übergangsmatrix auf S ×S. Zeigen Sie, dass
die Gleichverteilung auf S eine invariante Verteilung ist.
Aufgabe 5.4
Betrachten Sie nochmals die Markov-Kette aus Aufgabe 2.2. Gegen welchen Grenzwert konvergiert
die Wahrscheinlichkeit, dass Harry zur Zeit n an einem Ort ohne Regenschirm ist, wenn er
am Anfang beide Regenschirme bei sich hatte?
3

6 Rekurrenz und Transienz
Aufgabe 6.1
Beweisen Sie die folgende Aussage oder geben Sie ein Gegenbeispiel.
Sei x ∈ S transient. Es gilt Π n (x, x) → 0 für n → ∞.
Aufgabe 6.2
Beweisen Sie die folgende Aussage oder geben Sie ein Gegenbeispiel.
Sei X = (Xn)n∈N0 reguläre Markov-Kette auf einem endlichen Zustandsraum S, dann sind alle
Zustände x ∈ S positiv rekurrent.
Aufgabe 6.3
Betrachten Sie nochmals die Markov-Kette aus Aufgabe 5.2. Bestimmen Sie die erwartete Rückkehrzeit
zu D bei Start in D sowie die erwartete Anzahl der Besuche in B vor Rückkehr zu D.
Aufgabe 6.4
Betrachten Sie die Markov-Kette mit dem folgenden Übergangsgraphen.
a) Bestimmen Sie die kommunizierenden Klassen.
b) Welche Zustände sind rekurrent, welche transient?
c) Bestimmen Sie die Menge der invarianten Verteilungen.
d) Welche der rekurrenten Zustände sind positiv rekurrent?
Aufgabe 6.5
Betrachten Sie nochmals die Markov-Kette aus Aufgabe 3.4. Bestimmen Sie, welche Zustände
rekurrent und transient sind in Abhängigkeit von p. Bestimmen Sie im Fall p = 0 die Menge der
invarianten Verteilungen (dazu ist keine Rechnung notwendig!).
4

7 Der Metropolis-Hastings-Algorithmus und Simulated Annealing
Aufgabe 7.1
Sei S endlich, H : S → R Funktion, H := minx∈S{H(x)} der Wert von H im Minimum,
S0 := {x ∈ S|H(x) = H} die Menge der Minima und für alle T > 0 sei
µT (x) := 1
wobei ZT :=
H(y)
y∈S exp(− T ).
a) Zeigen Sie: µT (S0) → 1 für T ↘ 0.
ZT
exp(− H(x)
) für x ∈ S,
T
b) Sei Q reguläre symmetrische Matrix, (Tn)n∈N monoton fallende Nullfolge, ν0 Wahrscheinlich-
keitsmaß auf S und X = (Xn)n∈N0 die inhomogene Markov-Kette zu den Übergangsmatrizen
⎧
⎨ Q(x, y) exp(−
Πn(x, y) :=
⎩
(H(y)−H(x))+
) Tn
1 −
falls x = y
Πn(x, z) falls x = y
z=x
mit Startverteilung ν0. Bezeichne nun νn := Pν0
◦ X−1
n die Verteilung von Xn und sei (Tn)n∈N
derart, dass ||νn − µTn|| → 0 für n → ∞. Hier bezeichnet || · || die Variationsnorm.
Zeigen Sie: Pν0 (H(Xn) = H) → 1 für n → ∞.
5