Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

48 3. COMMANDE OPTIMALE STOCHASTIQUE
Dans de nombreux problèmes pratiques même ce cas particulier est “impossible”
àrésoudre. En effet E est souvent du type m k — k est la dimension
du sytème — et donc peut atteindre des tailles astronomiques. La seule
mémorisation de la commande optimale est alors hors d’atteinte. On est
conduit, pour éviter cette difficulté, à optimiser dans une classe plus restreinte,
par exemple la classe des boucles ouvertes S O — open loop. C’est
le cas où l’observation est vide G =∅. La commande est alors une fonction
du temps seul :
S O ={u = (u n ∈ F) n∈T } .
On parle parfois de feedback a priori lorsque l’on s’est ramené àlasituation
de la boucle ouverte en faisant un changement de variable sur la
commande. La classe de stratégies est alors de la forme :
S FP ={a = (a n ∈ A, u n = s an
x , s : A × E → F donné) n∈T } .
Lorsqu’on connait la forme du feedback optimal, cette façon de poser le
problème peut conduire à de grosses économies en temps de calcul à condition,
bien sûr, de disposer d’une méthode efficace de résolution du problème
de commande en boucle ouverte correspondant.
Dans la suite de ce chapitre nous étudierons le problème en observation
complète dans trois situations :
• problème en horizon fini :
{
min E ∑ N−1
s∈S
n=0
c nU n
X n + φ X N }
,
où φ est un coût particulier appelé coût final;
• problème en horizon infini avec un coût actualisé:
+∞∑
min E 1
n
cU
s∈S (1 + λ)
n+1 X ; n
n=0
• problème en horizon infini avec un coût non actualisé:
+∞∑
min lim E λ
n
cU
s∈S λ→0 (1 + λ)
n+1 X ; n
n=0
problème qui a même solution que :
min
s∈S
lim E 1 ∑N−1
N→∞ N
n=0
c U n
X n .
3. PROGRAMMATION DYNAMIQUE EN HORIZON FINI
Nous nous intéressons dans ce paragraphe à l’optimisation, d’un
système régi par une chaîne de Markov, sur une période de gestion finie
de N étapes. Nous élargirons les hypothèses du paragraphe précédent au
cas F compact. Nous nous plaçons dans le cas d’observation complète —
dans ce cas puisque l’observation est égale àl’état Mxx ux′ est notée ′ Mu xx .On ′