Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

66 4. PERTURBATION ET AGRÉGATION
D’autre part on a
∑
q ij = ∑ ( ∑
p i l
l∈ f i
j≠i
k∉ f j k∉t
A lk + ∑ k∈t
A lk
∑
j≠i
χ j
k
)
,
≤ ∑ l∈ f i
p i l 1 ,
≤ 1 ,
et donc, en remarquant que q ij ≥ 0, i ≠ j, on a bien que I + Q est une matrice
stochastique. L’équation (2.8) devient alors l’équation de Kolmogorov
de la chaîne de matrice de transition (I + Q) d’oùlerésultat.
On note également Q par A B — A moyennéparB.
EXEMPLE 2.4. Pour illustrer ce résultat reprenons l’exemple considéré au
début de ce chapitre. On a
[ ]
B1 0
B =
,
0 B 2
et donc f 1 ={1, 2} f 2 ={3, 4} et t =∅. Les deux mesures de probabilité
invariantes extrêmales sont solutions de p 1 B 1 = 0etp 2 B 2 = 0.Lachaîne
agrégée a deux états f 1 et f 2 et ses probabilités de transition sont q 12 =
p1 1 A 13 et q 21 = p4 2 A 42 .
f 1
q 21
f 2
q 12
FIGURE 2. chaîne agrégée associée
3. COMMANDE DES CHAÎNES DE MARKOV PERTURBÉES
Etant donnée une chaîne de Markov perturbée et commandée:
(T , E, F , M uɛ , c u ,µ)
où
• T désigne l’espace temps;
• E désigne l’espace d’état;
• F désigne l’espace de commande qui sera supposé compact, u ∈ F ;