Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

7. FILTRAGE ET COMMANDE EN OBSERVATION INCOMPLÈTE 145
2. Si on appelle q la probabilité conditionnelle d’un état connaissant le
passé des commandes et des observations jusqu’à l’étape n, laprobabilité
conditionnelle (q ′ (u))àl’étape n + 1dépend de la valeur de
la commande u prise à l’instant n et prend les valeurs
• q ′ (1) = qM 10 avec la probabilité 1 (probabilité pour que y =
0) ;
• q ′ (2) = ( 1 0 ) avec la probabilité q2 n (probabilité d’observer
une panne compte tenu de l’observation du passé, dans le cas
oùonatestélesystème);
• q ′ (2) = qM 22 /q 1 avec la probabilité q 1 (probabilité d’observer
le système en état de fonctionnement compte tenu des observations
passées, dans le cas oùonatestélesystème).
3. Le critère à optimiser
min
U
E [
n ∑
0
]
c U n
X n
où U n désigne la suite des décisions prises et X n la suite des états de
la chaîne de Markov avec
( )
0 k1
c =
,
k 0 k 0 + k 1 + k 2
oùlapremière colonne correspond à la commande 1 et la deuxième
colonne à la commande 2. Ce critère se réécrit en utilisant l’
espérance conditionnelle q n calculée à la question précédente
[ ]
n
min E ∑ ∑
q n x
U
cU n
x .
0
x
4. q n étant un processus de Markov l’équation de la programmation
dynamique en horizon fini s’écrit
v n (q) = min{v n+1 (qM 10 ) + q 2 k 0 ,
où
v n+1 (( 1 0 )) q 2 + v n+1 (qM 22 /q 1 )q 1 + q.c 2 } ,
v n (q) = min
U
[
N E ∑ ∑
k
x
q k x cU k
x
,
| q n = q
5. Pour résoudre ce problème il va falloir se ramener au contrôle d’une
chaîne de Markov ayant un nombre fini d’états et donc discretiser
l’ensemble q ∈ R 2 , q 1 + q 2 = 1, q 1 , q 2 ≥ 0enunensemblefinià
p + 1 valeurs en {[0, 1], [h,(p − 1)h], ··· , [1, 0]} avec h = 1/p et
approximer les sauts faits par l’espérance conditionnelle de telle sorte
qu’elle reste sur le maillage. On est ensuite ramené à un problème
classique de chaînes de Markov àétats finis dans le cas de l’observation
complète (l’espérance conditionnelle est en effet observé).
]
.