METHODES NUMERIQUES PAR CHAÎNES DE MARKOV

Chapitre 1
Chaînes de Markov à nombre …ni
d’états
Ce chapitre présente les résultats de base sur les chaînes de Markov à nombre …ni d’états
qui nous seront utiles par la suite. Des références sur le sujet sont : Aldous et Fill [3], Feller [30],
Isaacson et Madsen [53], Kemeny et Snell [59], Seneta [92] et Tweedie [102]. Les situations où
l’espace d’état n’est pas …ni, par exemple R d , seront toujours précisées.
1.1 Chaîne de Markov
1.1.1 Dé…nitions et notations de base
Soit E = f1;2;¢¢¢ ;rg un espace d’états …ni. Une transition sur E est une matrice P, de
taille r £ r, à coe¢cients tous ¸ 0, la somme de chaque ligne valant 1 :
P = (p ij ) 1i;jr , 8i;j 2 E; p ij ¸ 0 et 8i 2 E, § j2E p ij = 1
P est encore appelée matrice stochastique : chaque ligne de P est une distribution de probabilité
sur E.
Une chaîne de Markov sur E de transition P est une suite X = (X 0 ;X 1 ; X 2 ;¢¢ ¢) de variables
aléatoires indexées par N et à valeurs dans E telle que 8n ¸ 0, on a :
½
P(Xn+1 = i n+1 j X l = i l ;0 l n) = P(X n+1 = i n+1 j X n = i n )
P(X n+1 = j j X n = i) = p ij
La première égalité traduit la propriété de Markov : la loi de X n+1 conditionnelle au passé
(X n ;X n¡1 ; ¢¢¢ ;X 1 ;X 0 ) dépend uniquement de l’état au dernier instant X n = i n : la i-ème ligne
de P n’est autre que la loi (X n+1 j X n = i). La deuxième égalité dit que ces transitions sont
indépendantes de n; on dit que la chaîne est homogène. On étudiera également dans ce cours
des chaînes de Markov inhomogènes où la transition P n au temps n dépend de n.
La formule des probabilités totales montre que la loi de X est complètement caractérisée par
P et par la loi initiale ¹ 0 de X 0 (noté X 0 » ¹ 0 ), les lois …ni-dimensionnelles étant données par :
P(X 0 = i 0 ;X 1 = i 1 ; ¢¢¢ ;X n = i n ) = ¹ 0 (i 0 ) p i0 i 1
p i1 i 2
¢¢ ¢p in¡1 i n
Réciproquement, il est facile de véri…er que si la loi de X est de cette forme, X véri…e la propriété
de Markov et est une chaîne homogène de transition P.
Par convention, nous repérons une loi sur E par un vecteur ligne 1 £ r. Si ¹ n est la loi de
X n , alors la loi de X n+1 est ¹ n+1 = ¹ n P, produit à gauche du vecteur ligne ¹ n par la matrice
7