Klenke Wahrscheinlichkeitstheorie

18 Konvergenz von Markovketten
Wir betrachten eine Markovkette X mit invarianter Verteilung π und untersuchen
unter welchen Bedingungen die Verteilung von Xn für n →∞gegen π konvergiert.
Im Wesentlichen ist dafür notwendig und hinreichend, dass der Zustandsraum der
Kette nicht in Unterräume zerfällt, die
– von der Kette nicht verlassen werden,
– oder von der Kette beispielsweise nur für ungerade n beziehungsweise gerade n
besucht werden.
Im ersten Fall wäre die Kette reduzibel, im zweiten hingegen periodisch.
Wir untersuchen Periodizität von Ketten im ersten Abschnitt und zeigen im zweiten
den Konvergenzsatz. Im dritten Abschnitt beschäftigen wir uns mit Anwendungen
des Konvergenzsatzes für Computersimulationen mit der so genannten Markovketten
Monte Carlo Methode. Im letzten Abschnitt beschreiben wir die Geschwindigkeit
der Konvergenz gegen das Gleichgewicht mit Hilfe des Spektrums
der Übergangsmatrix.
18.1 Periodizität von Markovketten
Wir untersuchen, unter welchen Bedingungen eine Markovkette X auf dem abzählbaren
Raum E (und mit Übergangsmatrix p), die in einem beliebigen μ ∈M1(E)
gestartet wird, in Verteilung gegen eine invariante Verteilung π konvergiert, also
μp
n n→∞
−→ π gilt. Sicherlich ist hierzu notwendig, dass π die einzige invariante
Verteilung ist, und damit bis auf Vielfache der einzige Links-Eigenvektor von p zum
Eigenwert 1. Hierfür ist ausreichend, dass die Kette irreduzibel ist (Satz 17.49).
n n→∞
Es sind gewisse Kontraktionseigenschaften von p notwendig, damit μp −→ π
für jedes μ ∈ M1(E) gelten kann. Offenbar ist 1 der betragsmäßig größte Eigenwert
von p. Allerdings ist p nur dann (ausreichend) kontrahierend, wenn die
Vielfachheit dieses Eigenwertes genau 1 ist und keine weiteren (komplexwertigen)
Eigenwerte mit Betrag 1 existieren.
Für die letztgenannte Bedingung ist die Irreduzibilität der Kette nicht hinreichend,
wie wir sehen, wenn wir auf E = {0,...,N − 1} die Markovkette mit Übergangs-