Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

24 1. CHAÎNES DE MARKOV
7. BASE DE N (A ′ )
Soit une chaîne de Markov de matrice de transition M, notons A =
M−I son générateur. Un élément p de N (A ′ ) vérifie A ′ p = 0 donc pA = 0
donc pM = p c’est donc une mesure invariante par M. Onveutdécrire,
dans ce paragraphe, l’ensemble des mesures de probabilités invariantes par
M.
DÉFINITION 7.1. Un opérateur A satisfait au :
• principe du maximum [resp. principe du minimum] si :
(Av) x ≤ 0, ∀x ∈ arg max
x∈E
v x [resp.(Av) x ≥ 0, ∀x ∈ arg min
x∈E
v x];
• principe du maximum positif [resp. principe du maximum strictement
positif] si et seulement si :
max
x
[resp. max
x
v x ≥ 0 ⇒ (Av) x ≤ 0, ∀x ∈ arg max
x∈E
v x > 0 ⇒ (Av) x < 0, ∀x ∈ arg max
x∈E
v x
v x ] .
PROPOSITION 7.2. Si M est une matrice stochastique A = M − I satisfait
au principe du maximum et du minimum et A − D, D diagonale D ii ≥
0 [resp. > 0], satisfait au principe du maximum [resp. strictement] positif
— les matrices M − D sont dites sous-stochastiques.
PREUVE. Soitx ∈ arg max x∈E {v x } on a alors :
(Av) x = ∑ M xy v y − v x ≤ ∑ M xy v x − v x ≤ 0 ,
y
y
puisque M xy ≥ 0, ∑ y
M xy = 1etv y ≤ v x , ∀y.
REMARQUE 7.3. On peut définir de même le principe du minimum négatif
[resp. strictement négatif] verifié par les matrices stochastiques [resp. sous
stochastiques].
Etant donné un vecteur p, il peut toujours s’écrire p = p + − p − avec
p + x = max( p x , 0) et p − x = max(−p x , 0) ∀x ∈ E. On note aussi p + et
p − les vecteurs de dimension plus petite constitués des seuls éléments non
nuls. Avec cet abus de notation et un changement de numérotation on notera
également p = ( p + , p − ).
LEMME 7.4.
p ∈ N (A ′ ) ⇒ p + ∈ N (A ′ ), p − ∈ N (A ′ ).
PREUVE. On a la partition :
[ ]
A11 A
A =
12
.
A 21 A 22
On a :
pA = [ ] [ ]
p + A 11 − p − A 21 p + A 12 − p − A 22 = 0 0 ,