Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

136 8. PROBLÈMES
Dans le cas p = 1/2ona:
⎛
1 0 · 0 0
1 − 1/F 0 · 0 1/F
P =
⎜ · · · · ·
⎝ 1/F 0 · 0 1− 1/F
0 0 · 0 1
⎞
⎟ .
⎠
8. L’espérance mathématique de gain du joueur dans le cas p = 1/2
est :
Fχ 2 x 0
= x 0 .
5.2.2. MARTINGALES.
1. Soit B ⊂ E ={0, 1, ··· , F} on doit résoudre:
v x = max E(X νB | X 0 = x),
B
où ν B désigne le temps de sortie de B et X n la chaînedeMarkov
décrivant l’évolution de la fortune du joueur.
2. L’équation de la programmation dynamique correspondante s’écrit:
v x = max{x, [Mv] x }, ∀x ∈ E.
3. La solution de cette équation est:
v x = x.
4. Il est donc indifférent de s’arrêter ou de continuer puisque le max est
atteint simultanément par x et Mv.
5.2.3. SENSIBILITÉ AU BIAIS.
1. L’equation de Kolmogorov donnant l’espérance mathématique du
gain est:
v = Mv sur t, v 0 = 0, v F = F.
2. Cette équation vectorielle s’explicite complètement:
v x = 1/2[v x+1 + v x−1 + ɛ(v x+1 − v x−1 )]surt.
et donc en posant α = (1 − ɛ)/(1 + ɛ) on a:
v x = F 1 − αx
1 − α F .
3. Le développement asymptotique à 2 l’ordre est:
v x = x + ɛx(F − x) + o(ɛ).