Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

154 8. PROBLÈMES
2. Dans la suite le vecteur d’état du système sous forme canonique est
noté Z :
Z(t) = (z, ż, ¨z, z (3) )(t) .
En adaptant le théorème correspondant du cours, montrer que la
fonction :
w(z 0 , z 1 , z 2 , z 3 ) def
= inf {J (v) | Z(0) = (z 0, z 1 , z 2 , z 3 )} ,
v
vérifie l’équation de la programmation dynamique :
∂w
∂z 0
z 1 + ∂w
∂z 1
z 2 + ∂w
∂z 2
z 3 − 1 2
( ∂w
∂z 3
) 2
+ γ 2 (z 0) 2 = 0 , (9.2)
w(0, 0, 0, 0) = 0 .
Pour cela on admettra que (9.2) admet une unique solution positive
régulière.
EQUATION DE RICCATI ALGÉBRIQUE. Montrer que la solution positive de
l’équation de la programmation dynamique (9.2) est quadratique : w(ζ) =
(1/2)ζ ′ Pζ avec P ≥ 0etζ = (z 0 , z 1 , z 2 , z 3 ).
1. Par substitution dans (9.2) donner l’équation — dite de Riccati —
vérifiée par P.
2. Montrer que la commande optimale est :
v ∗ (z 0 , z 1 , z 2 , z 3 ) =−p 14 z 0 − p 24 z 1 − p 34 z 2 − p 44 z 3 .
3. Montrer que le système dynamique optimal — gouverné par ce feedback
optimal — s’écrit :
Ż = AZ , (9.3)
avec A une matrice — dont les coefficients dépendent de P — que
l’on explicitera .
4. Calculer le polynôme caractéristique de A en fonction des coefficients
de P.
INTERPRÉTATION DES VARIABLES DUALES.
1. Si l’on note
W(t) = grad(w)(Z(t)) ,
et (t) = (Z, W)(t), montrer que satisfait le système hamiltonien
˙ = H, avec
⎛
⎞
0 1 0 0 0 0 0 0
0 0 1 0 0 0 0 0
0 0 0 1 0 0 0 0
0 0 0 0 0 0 0 −1
H =
.
−γ 0 0 0 0 0 0 0
⎜ 0 0 0 0 −1 0 0 0
⎟
⎝
0 0 0 0 0 −1 0 0
⎠
0 0 0 0 0 0 −1 0