Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

9
CHAPITRE 1
CHAÎNES DE MARKOV
1. DÉFINITIONS
Une chaînedeMarkovestdéfinie à partir du quadruplet (T , E, M n , p 0 )
où:
• E ={1, 2, ··· , E} désigne l’espace des états qui sera fini;
• n ∈ N = T le temps;
• M n , n ∈ T une famille de matrices E × E appelées matrices de
transition vérifiant :
M n xy
∑
M n xy
y∈E
≥ 0, ∀n ∈ T , ∀x, y ∈ E ,
= 1, ∀n ∈ T , ∀x ∈ E ;
• p 0 une probabilitésurE appelée loi initiale .
On appelle alors :
• = E T l’espace des trajectoires, ω ∈ ; X n (ω) = ω n les applications
coordonnées;
• F n = { P(E n ) ×{E, ∅} N} , n ∈ T la famille de tribus croissantes sur
rendant { les applications } coordonnées X j , j ≤ n mesurables;
⋃ ∞
• F = σ F n la tribu engendrée par les F n .
n=1
Sur (, F) une loi de probabilité sera dite markovienne si :
P(X n+1 = x n+1 |X n = x n , X n−1 = x n−1 , ..., X 0 = x 0 ) = M n x n x n+1 .
Si M n = M, ∀n ∈ T , on dira que la chaîne est homogène en temps. La
loi de probabilité sur l’espace des trajectoires est définie de façon unique
(grâce àunthéorème de Kolmogorov) par ses lois marginales de dimension
finie :
n∏
P(X n+1 = x n+1 , ··· , X 0 = x 0 ) = p 0 x
M k 0 x k x
. k+1
k=0
Pour illustrer ces définitions donnons quelques exemples.
2. EXEMPLES