Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

12 1. CHAÎNES DE MARKOV
• Y2
n une v.a. à valeurs dans {0, 1} indiquant la naissance d’un chat
entre i et i + 1:
{
P(Y n 2 = 1|X n 2 ) = ρ3 X2 n sur X2 n < E 2 ,
0 ailleurs ,
• Z1 n une v.a. à valeurs dans {0, 1} indiquant la mort d’une souris entre
i et i + 1,
P(Z n 1 = 1|X n 1 , X n 2 ) = ρ 2 X n 1 X n 2 ;
• Z2 n une v.a. à valeurs dans {0, 1} représentant la mort d’un chat entre
i et i + 1,
P(Z n 2 = 1|X n 1 , X n 2 ) = ρ 4
1 + X1
n .
La population de souris est alors comprise entre 0 et E 1 et évolue selon :
X n+1
1
= X n 1 + Y n 1 − Z n 1 .
La population de chats est comprise entre 0 et E 2 et évolue selon :
EXERCICE 2.1.
X n 2
X n+1
2
= X n 2 + Y n 2 − Z n 2 .
1. Quelles sont les variables aléatoires àmémoriser
pour rendre le processus markovien?
2. Quelle est la matrice de transtion correspondante?
3. Si l’on désigne par c n X
la consommation de grains des souris entre
1
n
les instants n et n+1, quelle est l’espérance mathématique de la perte
totale de grains c.a.d. quelle est la valeur de :
{ }
∑ N−1
E c n X |X 0 1 n 1 = x 0 1 , X 0 2 = x 0 2 ?
n=0
3. EQUATION DE KOLMOGOROV
3.1. EQUATION DE KOLMOGOROV EN AVANT
PROPOSITION 3.1. Si P désigne la mesure de probabilité d’une chaîne de
Markov de matrice de transition M et de loi d’entrée p 0 alors la loi marginale
p n x définie par P(Xn = x) est solution de :
{
p n = p n−1 M n−1 ,
p 0 (3.1)
donné.
PREUVE. Pardéfinition d’une loi marginale on a :
d’oùlerésultat.
p n x = ( p0 M 0 M 1 ...M n−1 ) x ,