Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

14 1. CHAÎNES DE MARKOV
PREUVE. Ona:
{ }
∑ +∞
1
v x = E
(1 + λ) c n+1 X n|X 0 = x
=
n=0
1
(1 + λ) c x +
{
1 +∞
(1 + λ) E ∑
n=0
1
=
(1 + λ) c 1
x +
(1 + λ) E{v X 1|X 0 = x} ,
1
=
(1 + λ) c 1
x +
(1 + λ) (Mv) x ,
d’oùlerésultat.
,
}
1
(1 + λ) c n+1 X n+1|X 0 = x
,
3.4. EQUATION DE KOLMOGOROV ARRÊTÉ
On considère un problème du même type que celui du paragraphe précédent
mais cette fois arrêté avant l’infini selon une procédure pouvant
dépendredel’état présent.
DÉFINITION 3.4. Une v.a. ν : → R + est un temps d’arrêt si {ν = n} est
F n mesurable ∀n ∈ N.
EXEMPLE 3.5. Les deux variables aléatoires suivantes sont des temps
d’arrêt.
• ν(ω) = n, ∀ω ∈ .
• Etant donné un ensemble, B ⊂ E,ν B = inf{n : X n ∉ B} est un
temps d’arrêt appelé temps de sortie de l’ensemble B.
EXERCICE 3.6. Montrez que :
• ν B est effectivement un temps d’arrêt;
• par contre ν B − 1 (l’instant avant la première sortie) n’est pas un
temps d’arrêt.
PROPOSITION 3.7. Etant donnée la chaîne de Markov homogène de générateur
A, B ⊂ E, ν B le temps de sortie de B, la fonctionnelle :
{
νB
∑−1
v x = E
n=0
1
(1 + λ) n+1 c X n + 1
(1 + λ) ν B+1 X ν B |X 0 = x
est solution du problème de Dirichlet suivant
{
(A − λ)v + c = 0 sur B ,
v = /(1 + λ) sur ∁ B .
}
(3.4)
PREUVE. Il est immédiat d’adapter la preuve de la proposition
précédente. Donnons une autre preuve plus technique mais montrant des
idées utiles. Cette preuve consiste à trouver une interprétation stochastique
à la solution du problèmedeDirichlet.