Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

148 8. PROBLÈMES
composantes de ν ij sont identiques, dans le cas de deux classes finales
le coefficient dépend de la classe finale considérée). On obtient
donc :
ν 10 =
) (
1
, ν 01 =
α
(
1
ν 00 =
1
(
(1 + α)ɛ/(1 + ɛ)
(1 + α)ɛ/(1 + ɛ)
)
,
) (
α
, ν 11 =
α
La meilleure politique est donc la politique S 10 , c.a.d. que l’on répare
lorsque le système est en panne, mais que l’on n’entretient pas lorsque le
système marche. Cela parait normal puisque le taux de panne est faible par
rapport au prix de l’entretien.
1. L’équation de la programmation dynamique du problème actualisé
s’écrit :
(1 + λ)v 0 = min{v 0 + 1,v 1 + 1 + α} ,
(1 + λ)v 1 = min{ɛv 0 + (1 − ɛ)v 1 ,v 1 + α} ,
où v est la fonction valeur définie par
{ }
∞
v k = min E ∑
1/(1 + λ) n+1 c U n
X | X U
n 0 = k ,
n=0
U = (U 0 , ··· , U n , ···) et
(
1
c 0 =
0
)
, c 1 =
(
1 + α
α
2. On cherche un développement de v en λ sous la forme
v = ν/λ + w + λw 1 ···
On obtient en identifiant les termes de même puissance en λ
ν k = min[M u ν] k ,
u
ν k + w k = min[M u w + c u ] k ,
u∈Uk
∗
avec ( ) ( )
1 0
0 1
M 0 =
, M
ɛ 1 − ɛ
1 = ,
0 1
et Uk ∗ = argmin u [Mu ν] k . Dans le cas où la politique optimale conduit
à une chaîne de Markov possédant une seule classe finale, ν k ne
dépend plus de k car le seul vecteur propre à droite de la chaîne est
( )
1
ν .
1
)
.
)
.
D’autre part U ∗ k
={0, 1}. La condition d’optimalités’écrit alors
ν + w k = min[M u w + c u ] k ,
u∈Uk
∗