Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

6. COMMANDE EN INFORMATION INCOMPLÈTE 55
ce qui n’est possible que si ṽ est constante car (5.3) siginifie que
v x est une moyenne pondérée de ses points voisins, et comme x est
le minimum, les points voisins ont la même valeur et de proche en
proche en utilisant l’irréductiblité delachaîne de Markov on obtient
:
Et donc on a
A ∗ ṽ = 0 .
min{(A u v ∗ ) x + c u
u
x }=w∗ ,
d’où l’existence.
UNICITÉ DEw. Supposons qu’il existe deux solutions w 1 et w 2 on en
déduit, en réutilisant les raisonnements précédents, que
A 2 (v 1 − v 2 ) − w 1 + w 2 ≥ 0 ⇒ w 1 − w 2 ≤ 0 ,
et par symétrie w 2 − w 1 ≤ 0d’où l’unicité.
INTERPRÉTATION STOCHASTIQUE DE w. Soitν une commande quelconque
∈ S F , p ∞ la mesure invariante associée, on a :
p ∞ M ν = p ∞ , et donc p ∞ A ν = 0 .
Si v et w désigne la solution de (5.1) on a donc
(A ν v, p ∞ ) = 0 .
Mais p ∞ ≥ 0 et donc grâce à (5.1) on a
0 = (A ν v, p ∞ ) ≥ (w − c ν , p ∞ ),
et donc w ≤ (c ν , p ∞ ).
On montre par un raisonnement analogue que l’égalité est atteinte pour
une stratégie vérifiant:
s ∈ arg min{A u v + c u } .
Les résultats du paragraphe sur la théorie ergodique des chaînes de Markov
donnent alors l’interprétation souhaitée.
6. COMMANDE EN INFORMATION INCOMPLÈTE
Nous étudions ici le problème de la commande optimale de chaîne de
Markov dans le cas où on n’observe pas directement l’état mais seulement
une fonction statique de l’état à valeurs dans un ensemble fini.
Nous commençons par donner l’équation de filtre optimal c.a.d. l’équation
régissant l’ évolution de la loi conditionnelle de l’état connaissant le passé
des observations. Nous donnons ensuite l’équation de la programmation dynamique
du problème en information incomplète. L’ état àmémoriser pour
résoudre le probème d’optimisation n’est plus l’état du système mais la loi
conditionnelle de l’état connaissant le passé des observations.