Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

46 3. COMMANDE OPTIMALE STOCHASTIQUE
L’état du système sera la variable aléatoire pouvant prendre une des valeurs
M,1,2, ···, N indiquant que le matériel est en panne (M), ou donnant
son âge pouvant prendre les valeurs {1, 2, ··· , N}.
Pour ce système on peut supposer observer l’état 1 .
La commande u est la décision de remplacement : u = 1 indique le
remplacement, u = 0 le non remplacement.
La matrice de transition de la chaînedeMarkovdécrivant l’évolution de
l’état s’écrit alors :
⎛
⎞
0 1 0 · ·
p
M u 1 u q1 u r1 u 0 ·
=
⎜ p2 u q2 u 0 r2 u ·
⎟ ,
⎝ · · · · · ⎠
0 1 0 · ·
où p 0 x = λ x, p 1 x = 0, q0 x = 0, q1 x = 1, ru x = 1 − pu x − qu x .
Et donc la matrice de transition dépend du paramètre de commande u.
On associe un coût au fonctionnement du système constitué dela
somme du coût de remplacement du matérieletd’uncoût de défaillance
ayant lieu lorsque le système est à l’arrêt:
c u x = cu + d x ,
avec :
{
c u k1 sur u = 1 ,
=
0 ailleurs ,
⎧
⎨ 0 si x = 1, 2, ··· , N − 1 ,
d x = k
⎩ 2 si x = M ,
k 1 si x = N .
Le problème de commande consiste alors à minimiser, par exemple, le coût
actualisé du fonctionnement du système c.a.d. :
min E
u
+∞∑
n=0
1
(1 + λ) n+1 (cU n + d X n),
λ étant un nombre positif représentant un taux d’actualisation.
2. FORMULATION PRÉCISE DU PROBLÈME
On se donne la chaînedeMarkov(T , E, F, G, M uy , p 0 , c uy ) commandée
et observée avec :
• un temps n ∈ T = N ;
• un espace d’état E ={1, 2, ··· , E} ;
• un espace de sorties G ={1, 2, ··· , G} ;
• un espace d’entrée F ={1, 2, ··· , F} ;
1 Ce n’est pas toujours le cas, par exemple, pour un matériel de sécurité qui en général
ne marche pas sauf s’il y a un incident, on est incapable, en dehors des instants de test, de
savoir avec certitude s’il est en état de fonctionnement.