Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

7. RÉALISATION ET IDENTIFICATION 57
Si la chaîne de Markov a E états, q n est un processus aléatoire de sauts
vivant dans le simplexe :
{
}
n∑
Z E = x | x i = 1, x i ≥ 0, i = 1, ··· , n .
Ses sauts sont définis par :
i=1
q → qMy
qM y 1 avec la probabilité qMy 1 .
6.2. EQUATION DE LA PROGRAMMATION DYNAMIQUE
Nous nous plaçons maintenant dans le cadre général d’une chaîne de
Markov commandée en observation incomplète. Nous nous donnons donc
le 7-uple:
(T , E, F, G , M uy , p 0 , c uy )
L’état àmémoriser pour pouvoir appliquer la programmation dynamique
est la loi conditionnelle de l’état connaissant le passé des observations. La
récurrence en temps devient alors ∀q ∈ Z E :
[ }
qM
{v n+1 uy
v n (q) = min
u∈F
∑
y∈G
qM uy 1
]
qM uy 1 + (q, c uy )
L’argument du minimum donne une fonction de q qui est une fonction des
observations par l’intermédiaire du filtre optimal.
On remarque que la résolution de cette équation est d’un ordre de grandeur
plus difficile àrésoudre que l’équation de la programmation dynamique
dans le cas de l’observation complète. En effet si dans ce dernier cas
l’état est fini de cardinalité E, dans le cas de l’observation incomplète il est
de dimension E − 1. La discrétisation de cet espace en n points sur chaque
dimension conduit à une autre chaîne de Markov dont l’état est de cardinalité
n E−1 . Cette complexité est tellement grande que cette approche est, en
général, sans intérêt pratique.
.
7. RÉALISATION ET IDENTIFICATION
Pour pouvoir faire de la commande il faut connaître la loi de la chaîne
de Markov. Or bien souvent on ne la connaît pas. Par contre on observe
souvent une trajectoire d’un processus que l’on aimerait bien modéliser par
une chaîne de Markov. C’est le problème de l’identification. Nous donnons
deux résultats : le premier est un résultat purement algébrique donnant la
cardinalité de l’espace d’état dans le cadre le plus général, le second est
intéressant pratiquement, bien que trivial, il donne un estimateur de la matrice
de transition. Ce dernier n’est valable que dans le cas particulier de
l’observation complète.