Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

CHAPITRE 3
COMMANDE OPTIMALE STOCHASTIQUE
1. INTRODUCTION ET EXEMPLES
Etant donnée une chaîne de Markov de matrice de transition dépendant
d’un paramètre appelé commande, une observation ne dépendant que de
l’état de la chaîne de manière markovienne, un critère qui est une fonctionnelle
de la trajectoire de cette chaîne, le problème consiste à rechercher la
commande ne dépendant que des observations passées réalisant le minimum
du critère. Pour illustrer ce type de problèmes prenons quelques exemples.
1.1. GESTION D’UN STOCK D’EAU
Etant donné le barrage décrit au chapitre précédent, on considère la politique
de gestion suivante :
{
1 si X
Z n =
n > a ,
0 si X n ≤ a ,
où a est un paramètre ou une fonction du temps à optimiser. La matrice de
transition de la chaînedeMarkovaalorslamême structure que précédemment.
Si l’on désigne par c Z n
X l’énergie produite changée de signe, lorsque
n
le stock est dans l’état X n et que l’on a turbiné Z n .Lecritère à optimiser
s’écrit :
{ }
∑ N−1
min E c Z n
X n|X 0 = x .
a
n=0
Dans cet exemple :
• l’état est la variable aléatoire X n ,
• l’observation est égale à X n ,
• la commande est le paramètre a.
1.2. PROBLÈME DE MAINTENANCE
On considère un matériel susceptible de tomber en panne : L’état de
fonctionnement est noté M, se panne est noté M.
Ce matériel est caractériséparsonâge x — temps passé depuis son dernier
remplacement. On supposera que tout matériel d’âge N est remplacé. A
chaque instant un matériel d’âge x a une probabilité λ x de tomber en panne
croissante avec son âge. A chaque instant on a la possibilité de remplacer
ou de conserver ce matériel.
45