Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

8. STRATÉGIES 147
3. Calculez explicitement la politique optimale en adaptant l’algorithme
de Howard au cas où le taux d’actualisation tend vers 0. On initialisera
l’algorithme avec la politique consistant à ne jamais faire de
maintenance, et on fera les itérations àlamain.
8.2. CORRIGÉ
1. Il y 4 stratégies stationnaires définies par les applications S de {0, 1}
dans {0, 1}. SiS ij désigne la fonction S prenant la valeur i en0et
j en 1, et si l’on note M ij la matrice de transition M S ij
,onales4
matrices de transition :
( ) ( )
1 0
1 0
M 00 =
, M
ɛ 1 − ɛ
01 = ,
0 1
(
0 1
M 10 =
ɛ 1 − ɛ
)
, M 11 =
(
0 1
0 1
donnant l’évolution du système pour chacune des politiques possibles.
2. Pour déterminer le nombre de mesures invariantes extrêmales il suffit
de compter le nombre de classes finales. Pour la politique S 01 il y
en a 2. Dans les autres cas il y en a une. Notons les, sous forme
de vecteurs lignes (lorsqu’il y en a 2 on les donnera sous forme de
matrice (2 lignes)). On appelle p ij la matrice des mesures invariantes
extrêmales associées àlastratégie S ij . Elle vérifie p ij = p ij M ij .Ces
mesures sont extrêmales si et seulement si leurs supports sont des
classes finales. On a :
p 00 = ( 1 0 ) ( )
1 0
, p 01 = ,
0 1
p 10 = ( ɛ/(1 + ɛ) 1/(1 + ɛ) ) , p 11 = ( 0 1 ) .
3. Si l’on note v ij la fonction valeur associée àlachaîne M ij et aux
couts c ij définis par
( ) ( ) ( ) ( )
1 1 1 + α
1 + α
c 00 = , c
0
01 = , c
α
10 = , c
0
11 =
,
α
les équations de Kolmgorov pour un problème actualiséavecuntaux
λ sont alors :
(1 + λ)v ij = M ij v ij + c ij .
)
,
4. Le premier terme du développement (lorsque λ tend vers 0) est donné
(voir petite classe) par la moyenne au sens de la ou des mesures invariantes
des coûts instantanés. Il est de la forme ν ij /λ pour la politique
S ij avec ν ij donnéparp ij c ij (dans le cas d’une seule classe finale les