martingales discrètes, chaines de Markov, processus de Poisson

1.7 Algorithme de Robbins-Monro
Exemple : le dosage.
Il s’agit de déterminer le dosage optimal d’un produit chimique pour obtenir l’effet voulu ;
on sait, à cet effet, effectuer des tests.
Au dosage z ∈ R, on associe l’effet F (z, η), où η est une variable aléatoire dont la
réalisation dépend du test effectué (pas du dosage). L’effet moyen du dosage z est donné
par f(z) = E[F (z, η)] ; on suppose que f est strictement croissante et continue.
Soit a ∈ R l’effet désiré. On cherche à déterminer l’unique z ∗ tel que f(z ∗ ) = a. Pour cela
on construit une suite de variables aléatoires (Z n , n ∈ N) définie par récurrence :
Z n+1 = Z n − γ n [F (Z n , η n+1 ) − a]
où γ est une suite de réels positifs convergeant vers 0 et (η n ) est une suite de variables
aléatoires indépendantes de même loi que η. On va donner des hypothèses pour que cette
suite (Z n , n ∈ N) converge vers z ∗ .
Théorème 1.35 de ROBBINS-MONRO : Soit h ∈ C(R, R), (γ n ) une suite de réels positifs
et ε n des variables aléatoires de carré intégrable telles que si F n = σ(ε 1 , · · · , ε n ),
E(ε n+1 /F n ) = 0. On pose
Z n+1 = Z n + γ n [h(Z n ) + ε n+1 ], Z 0 donnée constante,
et on suppose
(i) ∑ ∑
n γ n = +∞ ; n γn 2 < +∞,
(ii) E(ε 2 n+1/F n ) ≤ c(1 + Zn),
2
(iii) |h(z)| 2 ≤ c(1+z 2 ) et il existe un unique z ∗ ∈ R : h(z ∗ ) = 0, (z−z ∗ )h(z) < 0, ∀z ≠ z ∗ .
Alors, la suite (Z n ) converge presque sûrement vers z ∗ .
Un exemple de h : z ↦→ a − f(z) dans l’exemple di dosage ci-dessus.
Preuve en exercice
Première étape : trouver une majoration de la forme
E[(Z n+1 − z ∗ ) 2 /F n ] ≤ (Z n − z ∗ ) 2 (1 + αγ 2 n) + γ 2 nβ.
En effet, d’une part les hypothèses montrent par récurrence que Z n est de carré intégrable
pour tout n, et d’autre part :
(Z n+1 − z ∗ ) 2 = (Z n − z ∗ ) 2 + 2γ n (Z n − z ∗ )(h(Z n ) + ε n+1 ) + γ 2 n(h(Z n ) + ε n+1 ) 2
que l’on conditionne par F n :
(1) E[(Z n+1 − z ∗ ) 2 /F n ] = (Z n − z ∗ ) 2 + 2γ n (Z n − z ∗ )h(Z n ) + γ 2 n[h(Z n ) 2 + E[ε 2 n+1/F n ]].
19