ModÃ¨les de Markov triplets en restauration des signaux

More documents

Recommendations

Info

CHAPITRE III. ESTIMATION DES PARAMÈTRES◊ Étape (M) : une fois que nous avons évalué l’espérance, nous cherchons à lamaximiser par rapport à θ.On part d’une initialisation et on applique les deux étapes ci-dessus, ce qui donnele paramètre suivant. De proche en proche, on obtient une suite des estimées quel’on arrête selon divers critères. Ainsi que nous allons le voir dans la suite, l’étapede la maximisation est parfois malaisée; de plus, l’algorithme EM est relativementsensible à l’initialisation.Un autre algorithme itératif d’estimation a été proposé par M. Pieczynski dans[7, 89]. Il s’agit de l’algorithme « Estimation Conditionnelle Itérative » (IterativeConditional Estimation, en abrégé « ICE »). Cet algorithme est fondé sur l’existenced’un estimateur̂θ(x,y) de θ, à partir des données complètes, et sur la possibilitéde simulation de X selon sa loi conditionnelle aux observations y 1∶N et utilisantla valeur courante θ q de θ. Ainsi ICE est très générale et souvent plus facile àutiliser que EM. Par ailleurs, une étude de la convergence de l’algorithme ICE a étérécemment présentée par M. Pieczynski [95]. Une étude sur le lien entre EM et ICEa été proposée par M. Delmas [33] montrant leur équivalences dans certains cas desmodèles exponentiels.Nous allons présenter dans un premier temps ces algorithmes itératifs d’estimation,et dans un deuxième temps, nous les appliquerons aux modèles présentés dansles chapitres précédents.Dans toute la suite X=(X n ) 1∶N est processus aléatoire discret et Y=(Y n ) 1∶N unprocessus aléatoire continu. On note x=(x n ) 1∶N - respectivement y=(y n ) 1∶N - uneréalisation de X - respectivement de Y . Comme précédemment, on note Z=(Z n ) 1∶Nle couple(X,Y).III.1 L’algorithme EM et ses variantesL’algorithme EM ainsi que ses variantes sont des algorithmes itératifs. Noustrouvons dans la littérature plusieurs critères d’arrêt, qui peuvent être liés soit autemps d’exécution ou au nombre d’itérations de l’algorithme. D’autres critères d’arrêtpeuvent être liés à la stabilité de la solution obtenue, comme par exemple lanorme de la différence entre θ q+1 obtenu à l’itération q+1 et θ q obtenu à l’itérationq. Mentionnons également que le temps d’exécution dépend essentiellement de lataille du processus considéré, du nombre d’états du processus caché, ainsi que dutype d’algorithme d’optimisation choisi dans l’étape de maximisation.III.1.1 L’algorithme EML’idée de l’algorithme EM est d’utiliser la log-vraisemblance complète qui estfacile à calculer et à maximiser. Nous avons :L c (z∣θ)=logp(z∣θ)=logp(y∣θ)+logp(x∣y,θ)=L(y∣θ)+logp(x∣y,θ) (III.5)d’ou la relation entre la log-vraisemblance et la log-vraisemblance complète :42L(y∣θ)=L c (z∣θ)−logp(x∣y,θ).(III.6)
CHAPITRE III. ESTIMATION DES PARAMÈTRESL’algorithme EM procède d’une manière iterative pour maximiser la log-vraisemblancecomplète (III.4) en utilisant l’espérance conditionnelle de(X,Y). Supposons que àl’itération q, nous disposons de la valeur courante θ q de θ alors l’accroissement estdonné par :L(y∣θ)−L(y∣θ q )=L c (z∣θ)−L c (z∣θ q )+log[ p(x∣y,θq )p(x∣y,θ) ],(III.7)et l’espérance de l’accroissement, qui est une constante car elle ne dépend pas de X,est :L(y∣θ)−L(y∣θ q )=E θ q[L c (z∣θ)−L c (z∣θ q )∣Y=y]+E θ q[log[ p(x∣y,θq )]∣Y=y] (III.8)p(x∣y,θ)Le terme E θ q[log[ p(x∣y,θq )p(x∣y,θ) ]] s’appelle distance de Kullback de p(x∣y,θq ) par rapportà p(x∣y,θ), qui toujours positive ou nulle d’après l’inégalité de Jensen 1 .E θ q[log[ p(x∣y,θq )p(x∣y,θ) ]∣Y=y]≥0(III.9)Si on pose Q(θ,θ q )=E θ q[L c (Z∣θ)∣Y=y], nous obtenons l’inégalité suivante, du faitque (III.9) est positive ou nulle :L(y∣θ)−L(y∣θ q )≥Q(θ,θ q )−Q(θ q ,θ q )(III.10)il en résulte que toute valeur de θ qui fait croître Q(θ,θ q )−Q(θ q ,θ q ) fait aussi croîtreL(y∣θ). Et puisque Q(θ q ,θ q ) est une constante par rapport à θ, il suffit de maximiserQ(θ,θ q ) par rapport à θ, pour obtenir θ q+1 :θ q+1 =argmaxQ(θ,θ q ) (III.11)θ∈R MPour obtenir l’étape de maximisation nous pouvons utiliser les algorithmes de maximisationtel que la descente du gradient, le gradient conjugué ou encore l’algorithmede Newton Raphson dans le cas vectoriel. Finalement, le déroulement de l’algorithmeEM est le suivant :Algorithme III.1 Choix d’une valeur θ 0 comme valeur initiale;Répéter jusqu’à critère d’arrêt :◻ Étape (E) :Q(θ,θ q )=E[L c (X,Y∣θ)∣Y=y,θ q ]◻ Étape (M) : choisir θ q+1 tel que :θ q+1 =argmaxθ∈R M Q(θ,θ q )III.1.2 Variantes de l’algorithme EMLa mise en oeuvre de l’algorithme EM pose parfois des problèmes et pour simplifierson implémentation des variantes de ce dernier ont été proposées.1. Inégalité de Jensen : soit f une fonction convexe sur]a,b[ et X une v.a d’espérance fini, àvaleurs dans]a,b[ alors f(E[X])≤E[f(X)]43
Page 1:
École Doctorale SMPCThèse présen
Page 6 and 7: ABSTRACTis to extend these models t
Page 9 and 10: Table des matièresRésumé . . . .
Page 11 and 12: NotationsSymbolesN Nombre des obser
Page 13 and 14: IntroductionNotre travail se situe
Page 15 and 16: INTRODUCTIONgénéral que le modèl
Page 17 and 18: Chapitre IModèles de Markov Classi
Page 19 and 20: CHAPITRE I. MODÈLES DE MARKOV CLAS
Page 35: CHAPITRE I. MODÈLES DE MARKOV CLAS
Page 38 and 39: CHAPITRE II. MODÈLE DE MARKOV COUP
Page 53: Chapitre IIIEstimation des paramèt
Page 57 and 58: CHAPITRE III. ESTIMATION DES PARAM
Page 67: CHAPITRE III. ESTIMATION DES PARAM
Page 70 and 71: CHAPITRE IV. MODÈLE DE MARKOV TRIP
Page 96 and 97: •••••••CHAPITRE IV. M
Page 104 and 105:
CHAPITRE IV. MODÈLE DE MARKOV TRIP
Page 106 and 107:
Page 108 and 109:
Page 110 and 111:
Page 112 and 113:
CHAPITRE V. CHAÎNES CONDITIONNELLE
Page 114 and 115:
Page 116 and 117:
Page 118 and 119:
Page 120 and 121:
Page 122 and 123:
Page 124 and 125:
Page 126 and 127:
Page 128 and 129:
Page 130 and 131:
Page 132 and 133:
Page 135:
Annexe AK-meansL’algorithme K-mea
Page 139 and 140:
Annexe CVecteurs gaussiensDéfiniti
Page 141 and 142:
Bibliographie[1] C. Andrieu, M. Dav
Page 143 and 144:
BIBLIOGRAPHIE[31] O. L. V. Costa, M
Page 145 and 146:
BIBLIOGRAPHIE[66] P. Lanchantin, J.
Page 147 and 148:
BIBLIOGRAPHIE[99] W. Pieczynski and
show all

ModÃ¨les de Markov triplets en restauration des signaux

Create successful ePaper yourself

Delete template?

Save as template?