Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Modélisation stochastique, Chaînes de Markov
continues
Classification
des états
Stephan Robert, HEIG-Vd
23 octobre 2009
1 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
1 Probabilités de transition
2 Générateur
3 Probabilités d’état
4 Comportement asymptotique
5 Classification des états
2 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Probabilités de transition
3 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Introduction
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
{X n } : suite de variables aléatoires prenant des valeurs
dans E = {0, 1, 2, . . . , m}, E dénombrable.
La probabilité de transition d’un état (i) à l’instant t à un
autre état (j) à l’instant t + τ ne dépend que de la
différence de temps τ :
Processus homogène :
P (X t+τ = j|X t = i) = p ij (τ)
P (X t+τ = j|X(t) = i) = P (X τ = j|X 0 = i) = p ij (τ)
4 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Probabilités de transition
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Matrice de transition :
⎛
P(t) =
⎜
⎝
p 00 (t) p 01 (t) ... p 0m (t)
p 10 (t) p 11 (t) ... p 1m (t)
... ... ... . . .
p m0 (t) p n1 (t) ... p mm (t)
⎞
⎟
⎠
Remarque :
⎛
P(0) =
⎜
⎝
p 00 (0) = 1 p 01 (0) = 0 ... p 0m (0) = 0
p 10 (0) = 0 p 11 (0) = 1 ... p 1m (0) = 0
... ... ... . . .
p m0 (0) = 0 p m1 (0) = 0 ... p mm (0) = 1
⎞
⎟
⎠
5 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Vecteur d’état
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Vecteur des probabilités d’état :
⃗π(t) = ( π 0 (t) π 1 (t) . . . π n (t) )
Jump et Holding times (processus de comptage et durées
d’attente)
6 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Chapman-Kolmogorov
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Chaîne de Markov régulière :
∞∑
i=0
T (i) = lim
n→∞ S(n) = ∞
Equations de Chapman-Kolmogorov
P(t + τ) = P(t)P(τ)
7 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Générateur
8 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Générateur
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
9 / 29
Soient les probabilités de transition :
P (X t+ɛ = j|X t = i) = p ij (ɛ) = 1 + q ij ɛ + o(ɛ)
P (X t+ɛ = j|X t = i) = p ij (ɛ) = q ij ɛ + o(ɛ)
i = j
i ≠ j
En négligeant pour l’instant o(ɛ), on peut écrire :
⎛
⎞
p 00 (ɛ) p 01 (ɛ) ... p 0m (ɛ)
P(ɛ) = ⎜ p 10 (ɛ) p 11 (ɛ) ... p 1m (ɛ)
⎟
⎝ ... ... ... . . . ⎠
p m0 (ɛ) p n1 (ɛ) ... p mm (ɛ)
⎛
⎞
1 + ɛq 00 ɛq 01 ... ɛq 0m
= ⎜ ɛq 10 1 + ɛq 11 ... ɛq 1m
⎟
⎝ ... ... ... . . . ⎠
ɛq m0 ɛq n1 ... 1 + ɛq mm
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Générateur (2)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
10 / 29
Probabilités de transition :
p 00 (ɛ) = 1 + ɛq 00
p 01 (ɛ) = ɛq 01
Intensités (“rates”) :
q 00 = lim ɛ→0 (p 00 ɛ − 1)/ɛ
q 01 = lim ɛ→0 p 01 (ɛ)/ɛ
Générateur :
Q =
⎛
⎜
⎝
Stephan Robert, HEIG-Vd
⎞
q 00 q 01 ... q 0m
q 10 q 11 ... q 1m
⎟
... ... ... . . . ⎠
q m0 q n1 ... q mm
Modélisation stochastique, Chaînes de Markov continues

Générateur (3)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Processus Markovien : Temps de séjour distribués
exponentiellement :
Approximation :
P (T i > ɛ) = e −ν iɛ
P (T i > ɛ) ≈ 1 − ν iɛ
1! + ν2 i ɛ2
2!
≈ 1 − ν i ɛ + o(ɛ)
− ...
11 / 29
On a :
Stephan Robert, HEIG-Vd
p ii (ɛ) ≈ 1 − ν i ɛ
Modélisation stochastique, Chaînes de Markov continues

Générateur (4)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Définition : q ii = −ν i
La représentation de la chaîne de Markov ayant un
générateur Q se fait de la façon suivante :
→ Une flèche part de l’état i pour aboutir à l’état j et est
marquée par q ij et montre l’intensité (rate) de transition
entre ces deux états.
Quand l’intensité (rate) est nulle alors aucune flèche n’est
dessinée
Temps de séjour moyen dans l’état i : −1/q ii
Quand la chaîne de Markov change d’état, la probabilité
de se retrouver ensuite dans l’état j est −q ij /q ii .
12 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Exemple
Outline
Probabilités
de transition
Chaîne de Markov continue à deux états :
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Modèle : File d’attente
13 / 29
0 : aucun client
1 : un client est en train de se faire servir
Temps moyen de service : 2 minutes
Temps moyen d’inoccupation du système : 3 minutes.
Stephan Robert, HEIG-Vd Modélisation stochastique, Chaînes de Markov continues

Exemple (2)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Donc nous avons :
−1/q 11 = 2 = 1/µ
−1/q 00 = 3 = 1/λ
( ) −λ λ
Q =
µ −µ
( −1/3 min
-1
1/3 min
=
-1 )
1/2 min -1 −1/2 min -1
Observation : La somme des éléments d’une ligne du
générateur est nulle.
14 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Exemple 2
Outline
Probabilités
de transition
Processus de naissance et de mort :
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
0
Q =
B
@
−λ 0 λ 0 0 0 0 0 0 ...
µ 1 −(λ 1 + µ 1) λ 1 0 0 0 0 ...
0 µ 2 −(λ 2 + µ 2) λ 2 0 0 0 ...
... ... ... ... ... ... ... ...
0 0 ... µ i −(λ i + µ i) λ i 0 ...
1
C
A
15 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Probabilités d’état
16 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Probabilité d’état
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
17 / 29
Définition : π i (t) = P (X t = i)
π i (t + ɛ) = P (X t+ɛ = i)
m∑
= P (X t+ɛ = i|X t = k)P (X t = k)
=
k=0
m∑
p ki (ɛ)π k (t)
k=0
et si soustrayons π i (t) de chaque côté, nous obtenons
m∑
π i (t + ɛ) − π i (t) = p ki (ɛ)π k (t) − π i (t)
=
k=0
m∑
p ki (ɛ)π k (t) + p ii (ɛ)π i (t) − π i (t)
k=0,k≠i
Stephan Robert, HEIG-Vd Modélisation stochastique, Chaînes de Markov continues

Probabilité d’état (2)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
et si nous divisons le tout par ɛ,
π i (t + ɛ) − π i (t)
= 1 m∑
ɛ
ɛ
Mais
k=0,k≠i
p ki (ɛ)π k (t) + (p ii (ɛ) − 1)π i (t)
lim ɛ→0 p ki (ɛ)/ɛ = q ki , k ≠ i et lim ɛ→0 (p ii (ɛ) − 1)/ɛ = q ii
18 / 29
dπ i (t)
dt
=
=
Stephan Robert, HEIG-Vd
m∑
k=0,k≠i
m∑
q ki π k (t)
k=0
q ki π k (t) + q ii π i (t)
Modélisation stochastique, Chaînes de Markov continues

Probabilité d’état (3)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Equations de Chapman-Kolmogorov
Sous forme matricielle :
d⃗π(t)
dt
= ⃗π(t)Q
19 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Comportement asymptotique
20 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Comportement asymptotique
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Observation : π i (t) → π i , i ∈ E quand t → ∞
Implication :
A l’équilibre :
d⃗π(t)
dt
= ⃗0
⃗πQ = ⃗0
Ces équations sont appelées les équations de balance.
21 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Exemple
Outline
Probabilités
de transition
Chaîne de Markov à deux états
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
22 / 29
Le générateur est donné par
( ) −λ λ
Q =
µ −µ
Equations de Chapman-Kolmogorov
)
(
dπ0 (t)
dt
dπ 1 (t)
dt
Stephan Robert, HEIG-Vd
= ( π 0 (t) π 1 (t) ) ( −λ λ
µ −µ
Modélisation stochastique, Chaînes de Markov continues
)

Exemple (2)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Développement :
dπ 0 (t)
+ (λ + µ)π 0 (t)
dt
= µ
dπ 1 (t)
+ (λ + µ)π 1 (t)
dt
= λ
Solutions générales (ED premier ordre) :
π 0 (t) = C 0 e −(λ+µ)t + µ
λ + µ
π 1 (t) = C 1 e −(λ+µ)t + λ
λ + µ
23 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Exemple (3)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
24 / 29
Au temps t = 0
π 0 (0) = C 0 + µ
λ + µ
π 1 (0) = C 1 + λ
λ + µ
En remplaçant nous obtenons :
(
µ
π 0 (t) =
λ + µ + π 0 (0) − µ )
e −(λ+µ)t
λ + µ
(
λ
π 1 (t) =
λ + µ + π 1 (0) −
λ )
e −(λ+µ)t
λ + µ
Quand t → ∞
π 0 = µ
λ + µ
Stephan Robert, HEIG-Vd
π 1 =
λ
λ + µ
Modélisation stochastique, Chaînes de Markov continues

Exemple 2
Outline
Probabilités
de transition
Processus de naissance et de mort
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
0
Q =
B
@
−λ 0 λ 0 0 0 0 0 0 ...
µ 1 −(λ 1 + µ 1) λ 1 0 0 0 0 ...
0 µ 2 −(λ 2 + µ 2) λ 2 0 0 0 ...
... ... ... ... ... ... ... ...
0 0 ... µ i −(λ i + µ i) λ i 0 ...
1
C
A
25 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Exemple 2 (2)
Outline
Probabilités
de transition
Equations de balance globales (⃗πQ = ⃗0) :
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
−π 0 λ 0 + π 1 µ 1 = 0
π 0 λ 0 − π 1 (λ 1 + µ 1 ) + π 2 µ 2 = 0
π 1 λ 1 − π 2 (λ 2 + µ 2 ) + π 3 µ 3 = 0
... = ...
Première équation :
π 1 = π 0
λ 0
µ 1
En remplaçant dans la deuxième équation :
26 / 29
λ 0 λ 1
π 2 = π 0
µ 1 µ 2
Stephan Robert, HEIG-Vd Modélisation stochastique, Chaînes de Markov continues

Exemple 2 (3)
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Généralement :
π i = π 0
λ 0 λ 1 ...λ i−1
µ 1 µ 2 ...µ i
Mais la somme de toutes les probabilités d’état est égale à 1 :
π 0 (1 +
∞∑
i=1
λ 0 λ 1 ...λ i−1
µ 1 µ 2 ...µ i
) = 1
27 / 29
Alors
si
π 0 =
∞∑
i=1
Stephan Robert, HEIG-Vd
1
1 + ∑ ∞
i=1
λ 0 λ 1 ...λ i−1
µ 1 µ 2 ...µ i
λ 0 λ 1 ...λ i−1
µ 1 µ 2 ...µ i
< ∞
Modélisation stochastique, Chaînes de Markov continues

Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Classification des états
28 / 29
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues

Classification des états, récurrence
Outline
Probabilités
de transition
Générateur
Probabilités
d’état
Comportement
asymptotique
Classification
des états
Définitions :
Un état j est dit accessible depuis l’état i si p ij (n) > 0,
n ≥ 0.
Si tous les états d’une chaîne de Markov sont accessibles,
on dit qu’ils appartiennent à une même classe et la chaîne
est dite irréductible.
Un état est dit récurrent si la probabilité d’y retourner est
égale à 1. Dans le cas contraire l’état est dit transitoire.
Observations :
29 / 29
Un état récurrent est visité un nombre infini de fois. Un
état transitoire n’est visité qu’un nombre fini de fois.
Une chaîne de Markov irréductible et apériodique est
ergodique.
Stephan Robert, HEIG-Vd
Modélisation stochastique, Chaînes de Markov continues