Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

4. GESTION DE RÉSERVOIR 131
4.2. CORRIGÉ
4.2.1. ETUDE DE LA CHAÎNE DE MARKOV POUR UNE STRATÉGIE
CONSTANTE.
1. La matrice de transition de la chaîne de Markov représentant
l’évolution du stock d’eau pour la politique constante est:
⎛
⎞
1 − ρ ρ 0 · 0
u 1 − ρ − u ρ · 0
M =
⎜ · · · · ·
⎟ .
⎝ 0 · u 1 − ρ − u ρ ⎠
0 · 0 u 1 − u
2. L’équation satisfaite par la loi marginale p n x
niveau x à l’instant n est donnée par:
p n+1 = p n M .
pour que le stock soit au
3. Lorsque n augmente on cette loi marginale se stationnarise sur p
satisfaisant:
p = pM .
4. Il y a unicitédecerégime stationnaire car la chaîne de Markov admet
une seule classe finale quel que soit u dès que ρ>o.
5. On suppose ρ>o.
Si u > 0 le support de p est l’espace tout entier.
Si u = 0 le support de p est l’état E − 1.
6. En cherchant p x sous la forme p x = Cβ x on voit que:
β = ρ/u .
et donc:
C = (ρ/u − 1)/((ρ/u) E − 1) .
7. L’équation satisfaite par vx λ est l’équation de Kolmogorov arrière:
(1 + λ)v λ x = (Mvλ ) x + xu , ∀x .
8. Le fait que λv λ reste borné lorsque λ tend vers 0 provient de la bornitude
de xu et de: ∑
λ/(1 + λ) n+1 = 1 .
n
9. En identifiant les termes en λ et en conservant les deux premiers
termes on obtient le système d’équations:
ν = Mν ,
ν x + w 0 x = (Mw0 ) x + xu ,