Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

1. UNE GESTION DE STOCK 119
3. L’équation de la programmation dynamique s’écrit alors :
]
V (t, x) = min V (t + 1, x + u − v)P(dv) + f (u) + g(x)
u∈R
[∫v
+
,
1.2.2. QUESTION 2.
1. L’équation :
(1 + λ)V (x) = min
u≥0
{∫
v
V (T, x) = 0 .
}
V (x + u − v)P(dv) + g(u) + f (x) ,
est l’équation de la programmation dynamique du problème de commande
stochastique en horizon infini avec coût actualisé suivant :
∞∑ 1
min E
U t (1 + λ) [ f (X t) + g(U
t=0,··· ,∞ t=0
t+1 t )] ,
sous les contraintes dynamiques :
X t+1 = X t + U t − V t , t = 0, ··· , ∞ .
2. La méthode de gestion consiste en :
• la résolution de l’équation de la programmation dynamique
précédente qui nous donne le coût optimal V et la stratégie
de décision markovienne :
[∫
]
s : x ↦→ u ∈ arg min V (x + u − v)P(dv) + g(u) ,
u≥0 v
• l’utilisation de la stratégie optimale en commandant à chaque
période la quantité s(X t ) si le stock à l’instant t est X t .
3. Pour montrer que cette stratégie est optimale on considère une autre
stratégie Z t,ω ne dépendant que du passé (X s ) s≤t des observations (ici
l’état du système). Etudions alors, l’évolution de 1/(1 + λ) t V (Xt Z )
où V estlasolutiondel’équation de la programmation dynamique
et X Z désigne la niveau de stock en supposant que le système évolue
avec la politique Z.Ona:
{
}
1
E
(1 + λ) V (X Z t+1 t+1 ) − 1
(1 + λ) V (X Z t t ) | X Z s , s ≤ t ]
1
=
V (X
(1 + λ)
[∫v
Z 1
t+1 t
+ Z t − v)P(dv) −
(1 + λ) V (X Z t+1 t )
1
≥
(1 + λ) [g(Z t) + f (X Z t+1 t )] ,
grâce successivement àladéfinition de l’espérance conditionnelle
puis àl’équation satisfaite par V .