Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

73
CHAPITRE 5
DÉCOMPOSITION
La méthode de la programmation dynamique est utile lorsque le nombre
d’états possibles n’est pas trop grand. Dans de nombreuses situations l’espace
d’état E est un produit cartésien d’ensembles finis, E = E 1 × E 2 ×
...×E I . Appelons “dimension” du système ce nombre I . Le nombre d’états
possibles E croit de façon exponentielle avec I . Il devient rapidement impossible
de stocker la solution même sur de gros ordinateurs. Le but de ce
chapitre est de montrer un exemple, très utilisédanslathéorie des files d’attente,
dans lequel la mesure invariante de la chaîne de Markov p x , x ∈ E
se factorise en p 1 ...p I et ceci malgrélaprésence de couplages entre les
x 1 x I
sous-systèmes. Dans cet exemple il est possible d’optimiser dans la classe
des feedbacks ne cassant pas cette structure (feedback locaux) avec des
coûts de stockage et de calcul raisonnables.
1. UN RÉSEAU DE FILES D’ATTENTE
On considère une famille de chaînes de Markov. Cette famille a l’interprétation
d’un réseau fermé de files d’attente. Chaque file a une capacité
limitée et présente une dérivation des clients de l’entrée vers la sortie lorsqu’on
sature la capacité de stockage. Précisons le modèle. Indexons par
x j
u j
r ij
x i
u i
FIGURE 1. Le système de files d’attente
i ∈ I = {1, 2,... ,I } les files d’attente. Chaque file a un état X i : le
nombre de clients en attente dans la file. On notera E i ={1, 2,... ,E i }
l’espace d’état correspondant. L’espace d’état du système complet est alors
E ={(x 1 , x 2 ,... ,x n ) ∈ ∏ ∑
E i : x i = E} ,
i∈I i∈I
où E est le nombre total de clients, constant, dans le système.