Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

50 3. COMMANDE OPTIMALE STOCHASTIQUE
De plus, par un raisonnement analogue, en faisant jouer le rôle de ν àla
stratégie (3.2), on montre l’égalité pour la stratégie définie par (3.2).
REMARQUE 3.2. On a montré que dans le cas oùonobservel’état il existe
une stratégie optimale pour la classe de stratégies S ne dépendant que de
l’état présent donc appartenant à S F . Si l’on avait formulé le problème initial
d’optimisation dans R le feedback défini par (3.2) serait encore optimal.
4. PROGRAMMATION DYNAMIQUE COÛT ACTUALISÉ
On s’intéresse dans ce paragraphe au problème de la commande optimale
d’une chaîne de Markov en horizon infini, pour un coût actualisé, dans
le cas où l’observation est complète. L’actualisation du coût permet de gérer
l’importance relative des évènements à court et long terme tout en conduisant
àlarésolution d’une équation de la programmation dynamique stationnaire.
Des méthodes itératives permettent de calculer sa solution avec un
coût de calcul bien moindre que celui nécessaire pour résoudre le problème
en l’horizon fini correspondant.
Nous donnerons deux méthodes de résolution de l’équation de la programmation
dynamique : l’itération sur les valeurs, l’itération sur les politiques.
Pour cela nous commençons par caractériser la politique optimale
comme solution d’équation de la programmation dynamique.
THÉORÈME 4.1. Sous les hypothèses :
• F compact,
• u → (M u , c u ) continue,
• c u x
≥ 0 , ∀u ∈ F, ∀x ∈ E ,
• λ>0,
en notant A u = M u − I , v solution unique de :
min
u∈F {[(Au − λ)v] x + c u x }=0 , ∀x ∈ E , (4.1)
est le coût optimal
{ }
+∞
v x = min E ∑ 1
n
cU
s∈S (1 + λ)
n+1 X |X 0 = x .
n
n=0
De plus
s : x → u ∗ ∈ arg min
u∈F {(Au v) x + c u x } (4.2)
définit une stratégie optimale dans la classe S. Cette stratégie est markovienne
c.a.d. ∈ S F .
PREUVE. EXISTENCE D’UNE SOLUTION DE (4.1). On construit la solution
au moyen de l’une des deux itérations suivantes :
ITÉRATION SUR LES VALEURS
v n+1
x = 1
1 + λ min
u∈F {(Mu v n ) x + c u x } (4.3)