Aufgabe 1: Markov-Ketten

Musterlösung DES, Diskrete Ereignissysteme Seite 1
Aufgabe 1: Markov-Kette n
Aufgaben:
Die Vereinigung “Computer Denken Unsinn” bekommt zum Zeitpunkt t=0 eine Spende von
1000 DM. Um Steuern zu sparen, wird das Geld ausser Landes angelegt. Nach jedem Jahr bringt
ein Bote weitere 2000 DM auf das Konto, wird aber mit einer Wahrscheinlichkeit von 0.2 an
der Grenze verhaftet, wo er das Geld sowie weitere 1000 DM Strafe zahlen muss. Die Strafe
wird vom Konto bezahlt, sofern dies gedeckt ist. Wenn der Kontostand 3500 DM übersteigt,
wird das gesamte Geld am nächsten Tag zu Werbezwecken zurücktransferiert. Hierbei wird
jedoch der Skandal mit einer Wahrscheinlichkeit von 0.5 aufgedeckt, und das ganze Geld ist
verloren.
a) Modellieren Sie das System als Markov-Kette (graphisch).
0.2
1
2
0.8
1000 3000
0.2
b) Geben Sie die Übergangsmatrix an.
0
0.8
c) Gibt es eine stationäre Verteilung? Wenn ja, welche? Wenn nein, warum nicht?
Es gibt keinen stationären Zustand, da die Markov-Kette reduzierbar ist.
3
0.2 0.2
4
2000
0.8· 0.5
0.8· 0.5
0.8· 0.5
0.8· 0.5
0 0.2 0.8 0 0 0 0
0 0.2 0 0.8 0 0 0
0 0 0 0.2 0.4 0.4 0
0.2 0 0 0 0 0.4 0.4
0 0 0 0 1 0 0
0 0 0 0 0 1 0
0 0 0 0 0 0 1
Anmerkung: Eine stationäre Verteilung beschreibt die Wahrscheinlichkeit mit welcher das
System nach langer Zeit in einem bestimmten Zustand ist. Diese Verteilung existiert nur
wenn das System nicht reduzierbar ist, d.h. dass jeder Zustand von jedem anderen erreichbar
ist. Ist dies der Fall, ist die stationäre Verteilung unabhängig vom Startzustand. Dass
dies bei dieser Aufgabe nicht der Fall sein kann, zeigt die Existenz der “finalen” Zustände
5000/end, 4000/end und 0/end. Kommt das System einmal in einen dieser Zustände, verharrt
es dort und macht eine Aussage über das Verhalten des Systems nach langer Zeit abhängig
vom Verlauf.
d) Wie hoch ist die Wahrscheinlichkeit, dass der Werbeabteilung nach dreieinhalb Jahren
Geld zur Verfügung steht? Welchen Betrag kann sie erwarten?
5
6
7
5000/
end
0/
end
4000/
end
1
1
1

Musterlösung DES, Diskrete Ereignissysteme Seite 2
Die Werbeabteilung kann nur dann Geld zur Verfügung haben, wenn der Zustand 5000/end
oder 4000/end erreicht wurde. Dreieinhalb Jahre entsprechen 3 Schritten in unserem Markov
Modell, ausgehend vom Zustand 1000. Somit ist die gesuchte Wahrscheinlichkeit:
P = p15 + p17 = p13 ⋅ p35 + p14 ⋅ p47 = p13 ⋅ p35 ⋅ p55 + ( p13 ⋅ p34 + p12 ⋅ p24) ⋅ p47 = 0.8 ⋅ 0.4 ⋅ 1 + ( 0.8 ⋅ 0.2 + 0.2 ⋅ 0.8)
⋅ 0.4 = 0.448
Der erwartete Gewinn ist:
3
3
3
2
3
2
G = p15 ⋅ 5000 + p17 ⋅ 4000 = 0.32 ⋅ 5000 + 0.128 ⋅ 4000 =
2112