Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

7. RÉALISATION ET IDENTIFICATION 59
On a donc montrélerangdeH est plus petit que E.
REMARQUE 7.2. La réciproque est un problème ouvert : si n = rg(H)
on sait trouver des matrices M y de rang n réalisant la série génératrice P
mais on ne sait pas les réaliser avec des matrices qui sont des matrices de
transition de chaînes de Markov.
7.2. IDENTIFICATION D’UNE CHAÎNE DE MARKOV DONT ON OBSERVE
L’ÉTAT
Ce problème est très simple. On considère la chaîne de Markov :
(T , E, M, p 0 )
On observe une trajectoire de l’état (X n , n ∈ T ) pendant un temps T fini,
on veut estimer M.
Pour cela notons :
• Nx T le nombre de fois où X n passe par x,
• Nxy T le nombre de fois où X n fait la transition xy.
THÉORÈME 7.3. Si la chaîne de Markov est irréductible l’estimateur :
ˆM xy = N T xy
N T x
, ∀x, y ∈ E ,
est un estimateur convergent, lorsque T →∞, asymptotiquement optimal.