Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

124 8. PROBLÈMES
En utilisant la propriété P0x k = 1six = k modulo E, Pk 0x = 0 sinon,
on obtient
[(n−x)/E]
p n x = ∑
C (kE+x)
n
(1 − λ) n−kE−x λ kE+x .
k=0
3. Les valeurs propres de la matrice M sont
k2 jπ/E
(1 − λ) + λe
en utilisant les propriétés spectrales des matrices de permutation. La
matrice M est diagonalisable et admet la valeur propre 1 avec la multiplicité
1. Les autres valeurs propres ont des modules strictement
inferieurs à 1. On voit, en se plaçant dans la base propre, que M n
converge vers le projecteur spectral sur le vecteur propre associé àla
valeur propre 1. Or ce vecteur propre est p = ( 1/E ··· 1/E ) .
p n converge donc vers l’unique mesure de probabilité vérifiant q =
qM c.a.d. p.
4. En faisant x = l dans la formule donnant explicitement p n x
le résultat
de convergence de la question précédente donne précisément la formule
cherchée.
2.2.2. OPTIMISATION DE LA POLITIQUE DE MAINTENANCE.
1. La commande u peut prendre deux valeurs u = 0 signifie pas d’entretien,
u = 1 signifie un entretien. La matrice de transition de la
chaîne de Markov controlée X n est alors
⎛
M u =
⎜
⎝
1 − λ + uλ (1 − u)λ 0 · ·
uλ 1 − λ (1 − u)λ 0 ·
· · · · ·
uλ 0 · 1 − λ (1 − u)λ
λ 0 · 0 1− λ
⎞
⎟ .
⎠
Notant dx u = k x si u = 1 et 0 sinon, on veut résoudre
∞∑
min E 1
U (1 + µ) (c i=0
i+1 X n
+ d U n
X n
).
2. Pour résoudre ce problème on introduit la fonction de la programmation
dynamique
{ }
∞
v x = min E ∑ 1
[ ]
c
U (1 + µ)
i=0
i+1 Xn + d U n
X n
| X 0 = x .
v vérifie l’équation de la programmation dynamique
0 = min
u∈{0,1} [(Mu − (1 + µ)I )v + d u ] + c.
Explicitant cette équation de la programmation dynamique, on obtient
:
(λ + µ)v x = min {λv x+1 + c x ,λv 0 + k x } , ∀x = 0, ··· , E − 2.