Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

6 TABLE DES MATIÈRES
On parle des chaînes de Markov d’un point de vue ancien, c.a.d plus
analytique que probabiliste. Les probabilités apparaissent surtout au niveau
de la modélisation des motivations. Les raisonnements sont analytiques sur
la loi de probabilitédéfinie. C’est la façon de faire de Pallu De La Barrière
dans son livre d’automatique, ou de Gantmacher dans son livre sur les matrices.
On favorise souvent les manipulations des matrices au détriment de
l’espérance conditionnelle. La raison est claire : la manipulation des matrices
est mieux connue que l’espérance conditionnelle — bien que cette
dernière s’applique à des situations beaucoup plus générales. De plus, le
point de vue probabiliste est beaucoup plus adapté àladémonstration de
théorèmes limites qu’aux méthodes numériques nécessaires aux calculs effectifs
— dès que l’on sort des quelques cas trés particuliers faisables àla
main. Enfin la manipulation matricielle est à la base de toute l’ingénierie
actuelle. Nous manipulerons, donc, surtout, les matrices stochastiques.
L’économie de temps faite par ces deux premiers choix permet d’aller
plus loin dans la résolution numérique des problèmes. Privilégier cette
résolution numérique est le troisième choix fait dans cet exposé. Il nous
semble, en effet, sûrement à tort, que ces problèmes sont, en fait, relativement
bien compris au fond. Par contre, il y a de grosses difficultés àles
appliquer, dans le cas général, y compris en utilisant de gros ordinateurs, du
fait de la complexité exponentielle du calcul avec la dimension du système.
Il faut structurer, simplifier, agréger pour diminuer cette complexité. Nous
avons indiqué quelques pistes dans cette direction : -méthodes de perturbations,
-séparation des variables.
Le quatrième choix privilégie l’algèbre à l’analyse. Depuis quelques
années, des structures algébriques sous-jacentes aux problèmes d’optimisation
sont apparues. Elles font apparaitre une dualité entre l’optimisation et
les probabilités. Chaque fois que cela a été possible, dans ce cadre introductif,
cette dualitéaété explicitée.
Enfin la commande des chaînes de Markov est plus développée dans ce
texte que la partie LQG. Ce choix a été fait pour deux raisons. Les structures
discrètes sont plus faciles à utiliser que les espaces gaussiens. La théorie
des systèmes est peu enseignée en dehors de certaines écoles d’ingénieur,
malgré son grand intérêt pratique et théorique. Nous avons voulu donner,
dans ce cours, seulement une ouverture à ce domaine.
Malgré son apparence spécialisée, cet exposé veut avoir une portée trés
générale. Les chaînes de Markov sont la meilleure illustration que nous
connaissons de la notion d’état.Lanécessitéderétroactions pour faire fonctionner
un système s’est imposée dès l’antiquitéetlaprogrammation dynamique
est le seul moyen général de les optimiser. La version détermiste,
temps continue, de l’équation de la programmation dynamique n’est autre
que l’équation d’Hamilton-Jacobi qui est centrale en mécanique analytique,
elle même centrale en physique. Les méthodes de perturbations ont acquis
depuis longtemps leurs lettres de noblesse en physique. Quant aux méthodes