Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

3. EQUATION DE KOLMOGOROV 13
3.2. EQUATION DE KOLMOGOROV ARRIÈRE
On considère l’évaluation de l’espérance mathématique d’une fonctionnelle
additive de la trajectoire sur un horizon fini c.a.d. sur un nombre
fini de périodes de temps. On évalue cette fonctionnelle par une équation
récurrente rétrograde.
PROPOSITION 3.2. Etant donnée une chaîne de Markov de matrice de transition
M n , la fonctionnelle :
{ }
N−1
v n x = E ∑
c j |X n = x
X j
j=n
est solution de l’équation récurrente de Kolmogorov arrière :
{
v
n−1
= c n−1 + M n−1 v n ,
v N = 0 .
(3.2)
PREUVE. Démontrons ce résultat pour n = 0. On a :
∑N−1
∏n−1
v 0 = ( M j )c n
n=0 j=0
grâce àl’équation de Kolmogorov avant et donc
v 0 = c 0 + M 0 (c 1 + M 1 (c 2 + M 2 (c 3 + ... + M N−1 c N−1 ))) ,
d’oùlerésultat.
3.3. EQUATION DE KOLMOGOROV ACTUALISÉE
On considèrelemême problème que précédemment mais cette fois sur
un horizon infini et un coût par période actualisé c.a.d. décroissant de façon
exponentielle avec le temps.
PROPOSITION 3.3. Etant donnée une chaîne de Markov homogène de matrice
de transition M, la fonctionnelle
{
∑ +∞
v x = E
est solution de l’équation :
n=0
1
(1 + λ) n+1 c X n|X 0 = x
(A − λ)v + c = 0 , (3.3)
où A = M − I est appellé générateur de la chaîne de Markov.
}