Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

10 1. CHAÎNES DE MARKOV
2.1. JEU DE PILE OU FACE
Les variables aléatoires X n représentent la fortune d’un joueur à pile ou
face à l’instant n dont l’évolution est régie par X n+1 = X n + Y n oùlesY n
forment une suite de variables aléatoires, dépendantes de X n ,à valeurs dans
{−1, 0, 1} et de lois :
X n = 0 0 < X n < E X n = E
P(Y n =−1|X n ) 0 1/2 0
P(Y n = 0|X n ) 1 0 1
P(Y n = 1|X n ) 0 1/2 0
Les X n ainsi définies sont à valeurs dans {0, 1, ..., E}. Lorsque X n = 0
le joueur est ruiné, il s’arrête. Lorsque X n = E il a gagné, il s’arrête
également. La chaîne de Markov décrivant l’évolution de la fortune du
X n
n
FIGURE 1. Trajectoire de la fortune du joueur
joueur est homogène en temps et de matrice de transition :
⎡
⎤
1 0 ··· 0
1
0 1 ···
2 2 M =
0 1 . .
⎢
2 .
⎥
⎣
1
.
0 1 ⎦
2 2
0 0 1
2.2. GESTION DE BARRAGE
On décrit ici l’évolution du niveau d’eau dans un barrage dont les apports
sont aléatoires et sur lequel on peut agir en turbinant de l’eau pour
produire de l’electricité. Y n représente les apports, X n la quantité d’eau
en stock, Z n la quantité turbinée. On suppose que les Y n sont des variables
aléatoires à valeurs dans {0, 1} indépendantes, de loi de probabilité
( p, 1 − p).
Les commandes
{
1 si X
Z n =
n > E/2 ,
0 si X n ≤ E/2 ,