Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

44 2. CHAÎNES DE BELLMAN
THÉORÈME 4.3. Le coût marginal w n x = C(X n = x) de la chaîne de Bellman
est donnépar
w n+1 = w n ⊗ C def
= min
x∈E (wn x + C x.), w 0 = φ.
Le coût d’une chaîne de Bellman est normalisé ce qui signifie que son
infimum sur l’ensemble des trajectoires est 0. Dans certaines applications
on aimerait enlever cette restriction. On peut le faire en introduisant l’analogue
des fonctionnelles multiplicatives des trajectoires d’un processus stochastique.
THÉORÈME 4.4. La valeur
}
v n x
def
= M
{
N−1
∑
k=n
f (X k ) + (X N ) | X n = x
avec f, ∈ R E peut être calculée récursivement par
v n = F ⊗ C ⊗ v n+1 = f . + min(C .y + v n+1
y
y
), v N = ,
où F = diag f est définie par F xy = f x si x = y et +∞ sinon.