Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

5.2.4. BIAIS INCONNU.
6. PROCESSUS DE CALCUL 137
1. L’estimateur du maximum de vraisemblance de p est obtenu en
maximisant par rapport p la vraisemblance C y n py (1 − p) n−y avec
y le nombre de fois où face a été obtenu dans un tirage de longueur
n dans lequel 0 ou F n’ont pas été atteint. On obtient ˆp = y/n.
2. L’équation de la programmation dynamique du problème en horizon
fini et en observation incomplète (en supposant que l’estimateur du
maximum de vraisemblance est égal àl’espérance conditionnelle de
p connaissant le passé des observations) est alors :
v n [x, p] = max{x, pv n+1 [x + 1,(np + 1)/(n + 1)]
+ (1 − p)v n+1 [x − 1, np/(n + 1)]},
∀n < N, ∀x ∈ [o, F], ∀ p ∈ [0, 1] ,
v n [0, p] = 0, v n [F, p] = F, ∀ p, ∀n < N,
v N [x, p] = x, ∀x, p.
3. Cette équation n’admet plus x pour solution et donc la politique optimale
d’arrêt n’est plus triviale. Il n’est plus indifférent de sarrêter
ou de continuer.
6. PROCESSUS DE CALCUL
On modélise un processus de calcul. On établit le lien avec un problèmes
de contrôle d’une chaîne de Markov. On évalue la relation entre le nombre
entrées et le nombre de sorties par des calculs dans l’algèbre min-plus.
6.1. LE PROCESSUS DE CALCUL
On considère un processeur constitué d’un multiplieur et d’un additionneur
séparépardesmémoires appelées A. Ce processeur est chargédefaire
le calcul ae n + b pour une suite infinie d’entrées e n . On suppose que les e n
peuvent s’accumuler dans des mémoires (appelées B) au fur et àmesurede
leurs arrivées avant leurs traitements. Le processus de calcul fonctionne de
la façon suivante.
1. Le multiplieur dès qu’il a terminé la multiplication précédente regarde
s’il existe une donnée e n à traiter et s’il a l’ autorisation de
commencer. Si c’est la cas il fait la multiplication qui dure 2 tops
d’horloge et il met le résultat dans une des mémoires A. Ce faisant il
a consommé une autorisation de multiplier.
2. L’additionneur dès qu’il a terminé l’addition précédente regarde s’il
y a une donnée dans A. Si c’est le cas il fait l’addition qui dure 1 top
d’horloge, affiche le résultat et envoie une nouvelle autorisation au
multiplieur dés que l’addition est terminée.
3. A l’instant initial le multiplieur dispose de 2 autorisations.