Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

More documents

Recommendations

Info

132 8. PROBLÈMES qui caractérise complètement ν. En effet la première équation implique que ν est dans le noyau de M − I dont on sait qu’il est de dimension 1. La deuxième équation multipliée à gauche par p implique pν = u ∑ x xp x qui détermine complètement ν. 10. Puisque ν est dans le noyau de M − I et que ∑ x M ′ xx ′ = 1, ν un vecteur constant. On appellera encore ν la constante correspondante 11. Puisque ν = ∑ x xup x, ν s’interprète comme la moyenne du coût au sens de la mesure invariante p. 12. Le calcul explicite de ν revient a calculer la moyenne d’une loi géométrique tronquée. Notons: S(β) = ∑ β x . On a: x=0,E−1 βS ′ (β) = ∑ 0,E−1 xβ x . On en déduit : ν = uβS ′ (β)/S(β) , avec β = ρ/u et S(β) = (β E − 1)/(β − 1). 4.2.2. OPTIMISATION DE LA POLITIQUE DE GESTION. 1. Le problème de commande optimale stochastique s’écrit: ∞∑ v λ x = max E{ 1/(1 + λ) n+1 X n U n |X 0 = x} , {U n ,n=0,··· ,∞} n=0 où X n est la chaîne de Markov de matrice de transition M u = M. 2. L’équation de la programmation dynamique correspondante s’écrit: (1 + λ)v λ x = max 0≤u≤1−ρ (Mu v λ ) x + xu , ∀x . 3. La stratégie est du type bang-bang puisque (M u v λ ) x + xu est linéaire en u pour tout x. 4. L’équation définissant le premier terme du développement de la fonction de la programmation dynamique s’obtient comme précédemment en conservant les deux premiers termes du développement: ν = max 0≤u≤1−ρ Mu ν, ν x + w 0 x = max ((M u w 0 ) x + xu),∀x , u∈Ux ⋆ où U ⋆ désigne l’ensemble des u réalisant le minimum dans la première équation. La première équation implique que ν est un vecteur constant et que U ⋆ x = [0, 1 − ρ]
5. JEUX DE PILE OU FACE 133 (la première équation indique seulement que ν est constant et ne donne pas d’information sur u). Ces 2 équations peuvent donc se réécrire en une seule: rechercher la constante ν et w tels que ν + w x = max 0≤u≤1−ρ ((Mu w) x + xu),∀x . 5. Dans le cas où on a une contrainte de turbinage minimun (u ≥ γ , pour γ > 0) est imposée on pourra utiliser l’algorithme de Howard ou calculer explicitement la mesure invariante en utilisant le caractère bang-bang de la stratégie. 5. JEUX DE PILE OU FACE On considère le jeu de pile ou face dans le cas borné. Le joueur s’arrête lorsqu’il a perdu une somme donnée à l’avance ou lorsqu’il a obtenu un gain donné. Aprés quelques calculs sur ce problème. On vérifie qu’une politique d’arrêt optimal du jeu avant sa fin normale ne conduit à aucune amélioration de la moyenne des gains. On étudie l’influence d’un biais dans le tirage sur l’espérance de gain. On estime le biais. On résout le problème d’arrêt optimal en observation incomplète dans le cas où le biais n’est pas connu mais doit être estimé pendant le jeu. 5.1. ENONCÉ 5.1.1. ETUDE DE LA CHAÎNE DE MARKOV ASSOCIÉ AU JEU DE PILE OU FACE. On considère une pièce ayant la probabilité p de tomber sur face. On fait des tirages indépendants de la pièce. On commence le jeu avec une somme x 0 . Lorsque la pièce tombe sur face on gagne 1. Lorsque la pièce tombe sur pile on perd 1. Lorsque la fortune du joueur a atteint 0 ou F on n’a plus le droit de jouer. La fortune reste donc à la valeur atteinte pendant les étapes suivantes. 1. Donnez la matrice de transition de la chaîne de Markov représentant l’évolution de la fortune du joueur. On appellera M cette matrice. 2. Donnez l’équation satisfaite par la loi marginale p n x pour que la fortune soit au niveau x à l’instant n. 3. Decrivez les classes finales et transitoires de cette chaînedeMarkov. 4. Explicitez les mesures de probabilités invariantes extrêmales de cette chaîne (voir le paragraphe base du N (A ′ ) du chapitre 1 du polycopié). 5. On s’intéresse aux probabilités de gagner (terminer en F) etde perdre terminer en 0. Donner les équations permettant de calculer ces probabilités (voir le paragraphe base du N (A) du chapitre 1 du polycopié). 6. Calculer explicitement les probabilités de gagner et de perdre dans le cas p = 1/2.
Page 1 and 2:
Introduction à la Commande Stochas
Page 3 and 4:
3 Table des matières Chapitre 1. C
Page 5 and 6:
TABLE DES MATIÈRES 5 Ce cours est
Page 7 and 8:
TABLE DES MATIÈRES 7 de séparatio
Page 9 and 10:
9 CHAPITRE 1 CHAÎNES DE MARKOV 1.
Page 11 and 12:
2. EXEMPLES 11 définissent une pol
Page 13 and 14:
3. EQUATION DE KOLMOGOROV 13 3.2. E
Page 15 and 16:
Soit v solution de (3.4) on a alors
Page 17 and 18:
4. ETUDE ANALYTIQUE DES MATRICES 17
Page 19 and 20:
4. ETUDE ANALYTIQUE DES MATRICES 19
Page 21 and 22:
5. PROBLÈMES ERGODIQUES 21 ce qui
Page 23 and 24:
6. PROPRIÉTÉS COMBINATOIRES 23 un
Page 25 and 26:
7. BASE DE N (A ′ ) 25 mais −p
Page 27 and 28:
8. BASE DE N (A) 27 puisque le chem
Page 29 and 30:
29 CHAPITRE 2 CHAÎNES DE BELLMAN O
Page 31 and 32:
2. MATRICES DANS L’ALGÈBRE MAX-P
Page 33 and 34:
Page 35 and 36:
Page 37 and 38:
Page 39 and 40:
3. DÉCISION OPTIMALE 39 Nous prés
Page 41 and 42:
3. DÉCISION OPTIMALE 41 3.2. TRANS
Page 43 and 44:
4. CHAÎNES DE BELLMAN 43 TABLEAU 1
Page 45 and 46:
CHAPITRE 3 COMMANDE OPTIMALE STOCHA
Page 47 and 48:
2. FORMULATION PRÉCISE DU PROBLÈM
Page 49 and 50:
3. PROGRAMMATION DYNAMIQUE EN HORIZ
Page 51 and 52:
4. PROGRAMMATION DYNAMIQUE COÛT AC
Page 53 and 54:
5. PROGRAMMATION DYNAMIQUE ERGODIQU
Page 55 and 56:
6. COMMANDE EN INFORMATION INCOMPL
Page 57 and 58:
7. RÉALISATION ET IDENTIFICATION 5
Page 59 and 60:
7. RÉALISATION ET IDENTIFICATION 5
Page 61 and 62:
CHAPITRE 4 PERTURBATION ET AGRÉGAT
Page 63 and 64:
2. CHAÎNES DE MARKOV PERTURBÉES 6
Page 65 and 66:
2. CHAÎNES DE MARKOV PERTURBÉES 6
Page 67 and 68:
3. COMMANDE DES CHAÎNES DE MARKOV
Page 69 and 70:
Page 71 and 72:
Page 73 and 74:
73 CHAPITRE 5 DÉCOMPOSITION La mé
Page 75 and 76:
2. FACTORISATION DE LA MESURE INVAR
Page 77 and 78:
Page 79 and 80:
Page 81 and 82: 3. FEEDBACKS LOCAUX OPTIMAUX 81 se
Page 83 and 84: 3. FEEDBACKS LOCAUX OPTIMAUX 83 3.2
Page 85 and 86: 85 CHAPITRE 6 LE RÉGULATEUR LQG 1.
Page 87 and 88: 1. LE FILTRE DE KALMAN 87 2. Si on
Page 89 and 90: 1. LE FILTRE DE KALMAN 89 3. LES VA
Page 91 and 92: 2. LE PROBLÈME LQG 91 4. Y k (u),
Page 93 and 94: 3. LE RÉGULATEUR LQG EN OBSERVATIO
Page 95 and 96: 4. LE PROBLÈME LQG EN OBSERVATION
Page 97 and 98: 6. RAPPEL SUR LES VARIABLES ALÉATO
Page 99 and 100: CHAPITRE 7 PROPRIÉTÉS DES RÉGULA
Page 101 and 102: 2. PLACEMENT DE PÔLES PAR LE RÉGU
Page 103 and 104: système 2 J (U) = 1/(2π) 3. APPRO
Page 105 and 106: 4. SYSTÈMES POSITIFS ET ROBUSTESSE
Page 111 and 112: 5. RAPPEL SUR LA STABILITÉ 111 DÉ
Page 113 and 114: 5. RAPPEL SUR LA STABILITÉ 113 5.3
Page 115 and 116: 5. RAPPEL SUR LA STABILITÉ 115 d
Page 117 and 118: CHAPITRE 8 PROBLÈMES 1. UNE GESTIO
Page 119 and 120: 1. UNE GESTION DE STOCK 119 3. L’
Page 121 and 122: 2. MAINTENANCE D’UNE AUTOMOBILE 1
Page 127 and 128: 3. TRANSPORT 127 3. Donnez l’expr
Page 129 and 130: 4. GESTION DE RÉSERVOIR 129 2. Con
Page 131: 4. GESTION DE RÉSERVOIR 131 4.2. C
Page 135 and 136: 5. JEUX DE PILE OU FACE 135 5.2. CO
Page 137 and 138: 5.2.4. BIAIS INCONNU. 6. PROCESSUS
Page 139 and 140: 6. PROCESSUS DE CALCUL 139 8. En d
Page 141 and 142: 7. FILTRAGE ET COMMANDE EN OBSERVAT
Page 147 and 148: 8. STRATÉGIES 147 3. Calculez expl
Page 149 and 150: 9. CLOWN ÉQUILIBRISTE 149 avec ν
Page 151 and 152: 9. CLOWN ÉQUILIBRISTE 151 On rappe
Page 153 and 154: 9. CLOWN ÉQUILIBRISTE 153 3. Grâc
Page 155 and 156: 9. CLOWN ÉQUILIBRISTE 155 2. Montr
Page 157 and 158: LES ÉQUATIONS DU MOUVEMENT. 9. CLO
Page 159 and 160: 9. CLOWN ÉQUILIBRISTE 159 1. Pour
Page 161 and 162: 9. CLOWN ÉQUILIBRISTE 161 avec ⎛
Page 163 and 164: 9. CLOWN ÉQUILIBRISTE 163 2. La co
Page 165 and 166: 165 Notations N nombres entiers Z n
Page 167 and 168: NOTATIONS 167 P V,v,W K matrice sym
Page 169 and 170: 169 Bibliographie [1] D. DACUNHA-CA
Page 171 and 172: BIBLIOGRAPHIE 171 [48] J.-P. QUADRA
Page 173 and 174: 173 Index équation affine, 31 éta
Page 175: INDEX 175 coûts, 41 entrée borné
show all

Introduction à la commande stochastique v.0.9 - Jean-Pierre ...

Create successful ePaper yourself

Delete template?

Save as template?