Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

26 1. CHAÎNES DE MARKOV
En effet si l’on note : B ji ={M xy , x ∈ f j , y ∈ f i } alors B ji = 0 pour
j ≠ i sinon en prenant p = r i − r j on aurait :
( pA) fi = r i A i − r j B ji = 0 ⇒ B ji = 0 .
En effet dans le cas contraire on aurait : r j B ji ≥ 0avec(r j B ji , 1) >0,
mais alors (r i A i , 1) >0or(r i A i , 1) = (r i , A i 1) ≤ 0 puisque A i 1 ≤ 0
d’après le principe du maximum positif.
D’autre part les supports des MPIE sont des ensembles clos et donc
des unions de classes closes minimales, et donc la dimension de N (A ′ )
est plus petite que le nombre de classes finales. Inversement pour chaque
classe finale f , notons A f la restriction de A à l’ensemble f, A f est encore
un générateur d’une chaîne de Markov, et a donc au moins une mesure de
probabilitéinvarianteq ,alors:
{
q sur f ,
r =
0 ailleurs ,
vérifie rA = 0 et la dimension de N (A ′ ) est plus grande que le nombre de
classes finales, d’oùlerésultat.
REMARQUE 7.6. f 1 , f 2 , ..., f m sont donc les classes finales, et donc t est
l’ensemble des états transitoires.
8. BASE DE N (A)
Une base de N (A) ayant une interprétation probabiliste peut être explicité.
Ce sont les probabilités d’atteindre une classe finale donnée partant
d’un état transitoire. On a vu au paragraphe précédent que le générateur
d’une chaîne de Markov a la structure suivante :
A =
f 1 f 2 f m t
f 1 A 1 0 0 0
f 2 0 A 2 0 0 ,
t A t1 . . A tt
f m 0 0 A m 0
où:
• f 1 , f 2 , ··· , f m sont les classes finales,
• t est l’ensemble des états transitoires,
• dim(N (A ′ )) = dim(N (A)) est égal au nombre de classes finales.
PROPOSITION 8.1. Toutes les valeurs propres de M tt
module strictement inférieur à1.
= A tt + I sont de
PREUVE. Puisque les états appartenant à t sont transitoires, il existe un
chemin de longueur m allant de tout élément x ∈ t à une classe finale f i ,
mais alors tout chemin de longueur plus grande que m, va encore de t à f i