Klenke Wahrscheinlichkeitstheorie

17.2 Diskrete Markovketten, Beispiele 341
Definition 17.16. Eine Matrix (p(x, y)) x,y∈E mit nichtnegativen Einträgen und
�
p(x, y) =1 für jedes x ∈ E
y∈E
heißt stochastische Matrix auf E.
Nun ist eine stochastische Matrix im Wesentlichen ein stochastischer Kern von
E nach E. In Satz 17.8 hatten wir gesehen, dass zu der Halbgruppe von Kernen
(p n )n∈N genau eine diskrete Markovkette existiert, deren Übergangswahrscheinlichkeiten
durch p gegeben sind. Die dort angegeben Argumente waren eher abstrakter
Natur. Wir wollen hier eine Konstruktion von X angeben, mit der man beispielsweise
auch eine Computersimulation bauen kann.
Sei (Rn)n∈N0 eine unabhängige Familie von Zufallsvariablen mit Werten in EE mit
der Eigenschaft, dass
P[Rn(x) =y] =p(x, y) für alle x, y ∈ E. (17.11)
Beispielsweise wähle man (Rn(x), x ∈ E, n ∈ N) als eine unabhängige Familie
von Zufallsvariablen mit Werten in E und Verteilungen
P[Rn(x) =y] =p(x, y) für alle x, y ∈ E und n ∈ N0.
Man beachte aber, dass wir in (17.11) weder die Unabhängigkeit der Zufallsvariablen
(Rn(x), x ∈ E) gefordert haben, noch, dass alle Rn die selbe Verteilung
haben (lediglich die eindimensionalen Randverteilungen sind festgelegt). In der Tat
möchte man in vielen wichtigen Anwendungen wohldefinierte Abhängigkeitsstrukturen
haben, um Markovketten mit unterschiedlichen Startzuständen miteinander zu
koppeln. Diesen Faden verfolgen wir erst in Abschnitt 18.2 weiter.
Für x ∈ E definiere
X x 0 = x und X x n = Rn(X x n−1) für n ∈ N.
Schließlich definieren wir Px := L[X x ] als die Verteilung von X x , also als ein
W-Maß auf dem Folgenraum (E N0 , B(E) ⊗N0 ).
Satz 17.17. (i) Der kanonische Prozess X auf (EN0 , B(E) ⊗N0 ) ist bezüglich
der Verteilung (Px)x∈E eine Markovkette mit Übergangsmatrix p.
(ii) Insbesondere gehört zu jeder stochastischen Matrix p genau eine diskrete
Markovkette X mit Übergangswahrscheinlichkeiten p.
Beweis. ” (ii)“ folgt aus (i), da Satz 17.11 die Eindeutigkeit von X liefert.
” (i)“ Für n ∈ N0 und x, y, z ∈ E gilt nach Konstruktion