Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

62 4. PERTURBATION ET AGRÉGATION
de deux ordres de grandeur, les unes de l’ordre 1, les autres d’ordre ɛ. Plus
précisément on considère la chaîne de Markov :
(T , E, M ɛ , c,µ)
où:
• ɛ ∈ R + un petit paramètre;
• E désigne l’espace d’état;
• M ɛ la matrice de transition de la chaîne de Markov vérifie :
M ɛ − I = B + ɛ A ,
avec B [resp. A] ayant ses termes hors diagonaux tous positifs, la
somme des termes d’une même ligne égale àzéro, la somme des
termes hors diagonaux d’une même ligne inférieure à1;
• c : E → R + un coût;
• µ ∈ R + un taux d’actualisation.
On appelle : chaîne rapide la chaîne de Markov de matrice de transition
M r = I + B; chaîne lente la chaîne de Markov de matrice de transition
M l = I + A. Considérons alors la fonctionnelle de la trajectoire suivante :
Chaîne perturbée Chaîne rapide Chaîne lente
ε
ε
FIGURE 1. Exemple de chaîne perturbée
v ɛ x =
{ }
∑ +∞
ɛµ
E
(1 + ɛµ) c n=0
X n | X 0 = x , (2.1)
= E{c X ν | X 0 = x} , (2.2)
où ν est un temps d’arrêt indépendant de X n de loi définie par :
ɛµ
P(ν = n) =
(1 + ɛµ) , n+1
et donc vérifie :
E(ν) = 1
ɛµ .