Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

2. CHAÎNES DE MARKOV PERTURBÉES 65
moyenne au sens de la ième MPIE de c, v 0 = lim v ɛ ne dépend que des
ɛ→0
classes finales de la chaîne rapide et s’interprète comme le coût moyen —
de la chaîne agrégée — suivant:
{ }
∑ +∞
v 0 µ
i = E
(1 + µ) d n+1 Z n|Z 0 = f i . (2.5)
n=0
PREUVE. Onréécrit le (ii) de la proposition en utilisant les bases de
N (B) et de N (B ′ ) que l’on a explicitées au premier chapitre :
(A µ v 0 , p) + (c µ , p) = 0 ,v 0 ∈ N (B) , p ∈ N (B ′ ),v 0 = ∑ j
α j χ j ,
(2.6)
oùlesχ j sont les solutions uniques de
⎧
⎨ Aχ j = 0surt ,
χ j = 1sur f j ,
⎩
χ j = 0 ailleurs .
L’équation (2.6) se réécrit :
∑
−µ( p i ,χ j )α j + ∑ ( p i , Aχ j )α j + ( p i , c µ ) = 0, i = 1 ···m. (2.7)
j
j
On remarque alors que
( p i , Aχ j ) = ∑ l∈ f i
∑
( p i ,χ j ) = δ j
i ,
pl i A lk + ∑ ∑
k∈ f j l∈ f i k∈t
p i l A lkχ j
k ,
et donc (2.7) se réécrit
(c, p i ) = d i ,
Q µ α + d µ = 0 , (2.8)
avec avec Q µ = (q ij ) − µI . Il reste donc àvérifier que (I + Q) est une
matrice stochastique. On a:
∑
q ij = 0 ,
or
∑
q ij = ∑
j
j
( p i , Aχ j ) = ( p i , A ∑ j
j
χ j ) = ( p i , A1) = 0 .