Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

134 8. PROBLÈMES
7. Calculez explicitement le projecteur spectral sur l’espace propre associé
à la valeur propre 1 de la matrice M c.a.d. la matrice P stochastique
satisfaisant
PM = MP = P = P 2
dans le cas p = 1/2.
8. En déduire l’espérance mathématique de gain du joueur dans le cas
p = 1/2.
5.1.2. MARTINGALES. Les joueurs ont toujours rêvé de trouver la bonne
”martingale” leur permettant de gagner de l’argent grâce à une procédure
d’arrêt astucieuse. On se propose d’optimiser la procédure d’arrêt du jeu
(supposée restreinte ici à des temps de sortie d’ensemble d’états). On se
place dans le cas p = 1/2. A chaque instant on a donc maintenant la possibilité
des’arrêter ou de continuer (décision qu’il faut optimiser). Si on
s’arrête on conserve la fortune dont on dispose à cet instant.
1. Formulez le problème commande optimale stochastique correspondant.
2. Explicitez l’équation de la programmation dynamique correspondante.
3. Calculez la solution de l’équation de la programmation dynamique
correspondante.
4. En déduire qu’il n’y a pas de procédure d’arrêt permettant
d’améliorer les gains.
5.1.3. SENSIBILITÉ AU BIAIS. On suppose que la pièce a un biais p =
(1 + ɛ)/2. On est dans la situation du paragraphe 2 (on n’optimise pas
l’instant d’arrêt).
1. Donnez l’equation de Kolmogorov permettant de calculer
l’espérance mathématique du gain.
2. Calculez la solution de cette équation.
3. Calculez la sensibilité autour de ɛ = 0del’espérance de gain c.a.d.
la dérivée par rapport à ɛ de l’espérance de gain.
5.1.4. BIAIS INCONNU. On considère la nouvelle version du jeu de pile
ou face suivant. On prend une pièce dont on ne connait pas p puis on joue
en optimisant l’arrêt.
1. Donnez l’estimateur du maximum de vraisemblance de p.
2. Donnez l’équation de la programmation dynamique du problème en
observation incomplète correspondant en supposant que l’estimateur
du maximum de vraisemblance est égal àl’espérance conditionnelle
de p connaissant le passé des observations.
3. Montrez que la politique optimale d’arrêt n’est plus triviale.