Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

4. PROGRAMMATION DYNAMIQUE COÛT ACTUALISÉ 51
cette itération en n est contractante car les M u sont des matrices stochastiques
donc de norme inférieure ou égale à1.
ITÉRATION SUR LES POLITIQUES OU ALGORITHME DE HOWARD
• ETAPE 2n − 1. A une stratégie s n on associe v n solution de:
(A sn − λ)v n + c sn = 0 .
Cette solution existe et est unique puisque A sn − λ est inversible car
A est le générateur d’une chaînedeMarkovetλ>0 et donc toutes
les valeurs propres de A sn − λ sont strictement négatives.
• ETAPE 2n. Auncoût v n on associe une nouvelle stratégie s n+1 : x ∈
E → u n+1 où:
u n+1 ∈ arg min
u∈F {[(Au − λ)v n ] x + c u x } ,
qui a bien un sens puisque F est compact et u → (A u , c u ) est continue.
On s’intéresse seulement àl’itération sur les politiques. On a construit
par cette méthode d’itération sur les politiques deux suites (v n ) n∈N, (s n ) n∈N.
On va montrer que v n est une suite décroissante positive qui admet une
limite solution de l’équation de la programmation dynamique. Dans la suite
on notera A n = A sn − λ, c n = c sn .
• LA SUITEv n EST ≥ 0 . On le voit grâce à l’interprétation stochastique
de v n . Montrons le également d’un point de vue analytique.
Supposons qu’il n’en soit pas ainsi. Alors min x vx
n < 0. Pour un
x réalisant le minimum on aurait à cause du principe du minimum
strictement négatif (A n v n ) x > 0 et comme c n x ≥ 0 on a une contradiction.
• LA SUITEv n EST DÉCROISSANTE. Eneffetona:
A n v n + c n = 0 .
Par différence entre deux équations successives on obtient :
A n v n − A n+1 v n+1 + c n − c n+1 = 0 ,
A n+1 (v n − v n+1 ) + (A n − A n+1 )v n + c n − c n+1 = 0 ,
et donc grâce aux étapes (2n) de l’algorithme, on a :
A n+1 (v n − v n+1 ) ≤ 0 .
Enfin par le même raisonnement que celui qui nous a permis de montrer
la positivitédev n ,ona:
v n − v n+1 ≥ 0 ⇒ v n ≥ v n+1 .
• LA LIMITEDEv n EST SOLUTION. La suite v n est décroissante minorée,
elle est donc convergente, notons v ∗ sa limite. L’ensemble F
étant compact l’ensemble des stratégies est compact comme produit