Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

130 8. PROBLÈMES
1. Donnez la matrice de transition de la chaîne de Markov représentant
l’évolution du stock d’eau pour cette politique. On appellera M cette
matrice.
2. Donnez l’équation satisfaite par la loi marginale p n x
pour que le stock
soit au niveau x à l’instant n. On supposera donnée une loi initiale
p 0 .
3. Lorsque n augmente on suppose que cette loi marginale se stationnarise.
On appelle p cette loi de probabilité enrégime stationnaire.
Quelle équation satisfait elle?
4. Montrez qu’il y a unicitédecerégime stationnaire. On s’aidera de la
section ”base du N (A ′ )” du chapitre 1 du polycopié.
5. Discutez du support de cette mesure invariante en fonction de u.
6. En cherchant p x sous la forme p x = Cβ x (avec C et β deux
constantes positives), dans le cas u > 0, on donnera une formule
explicite pour p.
7. Etant donné un taux d’actualisation λ, donnez l’équation satisfaite
par:
∞∑
v λ x = E{ 1/(1 + λ) n+1 X n U n |X 0 = x},
0
où X n désigne l’état de la chaîne de Markov et U n sa commande à
l’instant n.
8. Montrez que λv λ reste borné lorsque λ tend vers 0.
9. On fait un développement de v λ sous la forme ν/λ+w 0 +λw 1 +···.
Donnez un système d’équations caractérisant ν.
10. En déduire que ν est un vecteur constant.
11. Quelle est l’interprétation probabiliste de ν?
12. Calculez explicitement ν.
4.1.2. OPTIMISATION DE LA POLITIQUE DE GESTION.
1. Formulez en termes de commande optimale stochastique le problème
de gestion optimale dans le cas d’un horizon infini avec un taux d’actualisation
λ.
2. Explicitez l’équation de la programmation dynamique correspondante?
3. Montrez que la stratégie est du type bang-bang. On supposera, dans
la suite du problème, avoir démontré qu’en dessous d’un certain
stock α on ne turbine pas et qu’au dessus de ce seuil on turbine au
maximum u = 1 − ρ.
4. On fait tendre à nouveau λ vers 0 et on fait à nouveau un
développement en λ de la fonction valeur. Donnez l’équation
définissant le premier terme du développement de la fonction de la
programmation dynamique.
5. Dans le cas où on a une contrainte de turbinage minimun (u ≥ γ ,
pour γ > 0) est imposée, indiquez une façon de calculer le seuil α
déterminant la stratégie optimale.