martingales discrètes, chaines de Markov, processus de Poisson

2 Chaînes de Markov
2.1 Introduction
De nombreux phénomènes aléatoires ont la propriété suivante : la connaissance de l’état
du phénomène à un instant donné apporte sur le futur autant d’information que la connaissance
de tout le passé. Ce sont les processus de Markov, appelés “chaînes de Markov”
si ce sont des processus à temps discret. Par exemple
. gestion de stocks
. prix d’une action au temps t : P t+1 = P t (1 + r t+1 ) où r est le taux au temps t.
. dynamique linéaire : X k+1 = A k X k + B k ε k+1 .
. plus généralement, X k+1 = F (X n , ε k+1 ) où ε sont des variabbles aléatoires indépendantes.
On a ici des liens explicites, mais on peut avoir la donnée de la valeur d’une étape par
sa loi conditionnelle sachant la valeur à l’étape précédente.
2.2 Exemples
2.2.1 Chaînes de Markov homogènes à espace d’états fini
Ici, on prend pour espace d’état E = {1, 2, · · · , s}. La loi de passage d’une étape à l’autre
est donnée par la matrice dite “de transition” Q avec
(Q(i, j) = P(X n+1 = j/X n = i), 1 ≤ i, j ≤ s) dite aussi matrice stochastique, de taille
s × s. Ses termes sont positifs et représentent la probabilité que X n = j lorsque X n−1 = i.
Donc, la somme ∑ j Q(i, j) = 1. On obtient également par itération la transition Q n :
Q n (i, j) = ∑ ∑
· · · , ∑
Q(i, i 1 )Q(i 1 , i 2 ) · · · , Q(i n−1 , i n )
i 1 i 2 i n−1
c’est à dire que la matrice Q n est simplement la puissance nième de la matrice Q. Elle
représente la loi de X n sachant X 0 : Q n (i, j) = P(X n = j/X 0 = i). On peut ainsi faire
une étude algébrique de ces chaînes. Voici quelques cas simples où l’on imagine ce qui se
passe.
Exercices. Dans chaque exemple, écrire la matrice Q.
a) Q(1, 1) = θ, Q(1, 2) = 1 − θ, Q(2, 1) = 1 − θ ′ , Q(2, 2) = θ ′ où θ et θ ′ ∈]0, 1[. Montrer
que quelque soit le point de départ, on revient infiniment souvent en 1 et en 2.
P(∃n : X n = 1/X 1 = 1) = ∑ n≥1
P(X 2 = X 3 = · · · = X n−1 = 2, X n = 1/X 1 = 1)
= θ + ∑ (1 − θ)θ ′n−2 (1 − θ ′ ) = θ + (1 − θ)(1 − θ′ )
n≥2
(1 − θ ′ )
On peut terminer le calcul de la loi de X n lorsque θ = θ ′ en calculant la puissance nème
de la matrice Q.
22
= 1.