martingales discrètes, chaines de Markov, processus de Poisson

) Q(1, 1) = 0, Q(2, 1) = 0, Q(1, 2) = 1, Q(2, 2) = 1, écrire la matrice Q. Quoiqu’il se
passe, on va en 2 : c’est un point “absorbant” : que l’on parte de 1 ou de 2, de toutes
façons on va en 2 et on y reste....
c) Partant de 1, on va avec proba égale en 2 ou 3 ; et là on y reste.... écrire la matrice
Q. Y a-t-il des points absorbants ?
d) On va sûrement de 1 à 2 et réciproquement.... écrire la matrice Q. Y a-t-il des
points absorbants ?
2.2.2 Chaînes de Markov à espace d’états E dénombrable
Soit par exemple E = N et pour n ∈ N, Q(n, n + 1) = θ n , Q(n, 0) = 1 − θ n , avec θ n ∈]0, 1[.
On appelle T 0 le premier instant strictement positif où X n = 0. On l’appelle parfois le
“temps de retour”.
Exercice : donner la loi du temps d’arrêt T 0 en partant de 0.
P 0 (T 0 = 0) = 0; P 0 (T 0 = 1) = 1 − θ 0 ;
∀n ≥ 2, P 0 (T 0 = n) = P 0 (X 1 = 1, X 2 = 2, · · · , X n−1 = n−1, X n = 0) = θ 0 θ 1 · · · θ n−2 (1−θ n−1 ).
Preuve : le temps d’arrêt T 0 est à valeurs dans N ∗ .
P(T 0 = 1/X 0 = 0) = P(X 1 = 0/X 0 = 0) = 1 − θ 0 ,
P(T 0 = n/X 0 = 0) = P(X n = 0, X 1 , · · · , X n−1 ≠ 0/X 0 = 0) = θ 0 θ 1 · · · θ n−2 (1 − θ n−1 ).
Dans le cas où la suite (θ) est constante, la loi de T 0 est une loi géométrique de
1
paramètre 1 − θ donc de moyenne . 1−θ
Alors en partant de 0, on y revient sûrement une fois : c’est à dire que T 0 est presque
sûrement fini, la probabilité P 0 {T 0 < ∞} = 1, et la chaîne repassera presque sûrement en
0 un nombre infini de fois.... On dit que 0 est “récurrent”.
C’est encore le cas si Π n∈N θ n = 0, car {T 0 = ∞} est l’événement : aller de 0 à 1,
de 1 à 2, etc.
P 0 (T 0 = ∞) = Π n∈N θ n ; P 0 (T 0 < ∞) = 1 − Π n∈N θ n = 1.
Mais si Π n∈N θ n > 0, partant de 0 la probabilité que la chaîne y revienne une fois est
< 1 et la chaîne ne repassera presque sûrement en 0 qu’un nombre fini de fois et tend
presque sûrement vers l’infini. On dit que 0 est “transient”. En effet, sur {T 0 = n}, on
définit la nouvelle chaîne Y k = X n+k qui part de 0, on définit T 1 le temps de retour de Y
en 0, qui vérifie aussi P(T 1 < ∞) < 1 et sur (T 1 = ∞) Y k tend vers l’infini, donc X aussi.
On recherche alors P(X n → ∞).
P(T 1 = ∞) ∩ (T 0 < ∞) = P(T 1 = ∞)/T 0 < ∞)P(T 0 < ∞) = Π n θ k (1 − Π n θ k )
noté Π(1 − Π).
On fait ensuite une récurrence sur les temps d’arrêt T i temps du ième passage en 0 :
P(X n → ∞) = Π + Π(1 − Π) + Π(1 − Π) 2 + · · · + Π(1 − Π) n + · · · = 1.
23
•