Mélanges de GLMs et nombre de composantes : application ... - Scor

3.1. Formalisation de la théorie
du mélange mais qui rend ψ non-identifiable pour des densités composantes appartenant à la
même famille paramétrique. Il faut donc ajouter une contrainte supplémentaire.
Soit f(y j ; ψ) = ∑ G
i=1 π if i (y j ; θ i ) et f(y j ; ψ ⋆ ) = ∑ G
i=1 π⋆ i f i(y j ; θi ⋆ ) deux membres d’une famille
paramétrique de mélange. Cette classe de mélanges finis est dite identifiable pour ψ ∈ Ψ si
f(y j ; ψ) = f(y j ; ψ ⋆ )
⇕
G = G ⋆ et on peut permuter les indicatrices de composantes
d’appartenance pour que π i = πi ⋆ et f i (y j ; θ i ) = f i (y j ; θi ⋆ ).
En général, nous ajoutons des contraintes pour palier au manque d’identifiabilité dû aux
permutations possibles entre composantes d’appartenance. Un détail important est à ajouter :
le manque d’identifiabilité est un problème important en analyse bayésienne des mélanges lors
de la simulation a posteriori de l’appartenance à un groupe donné, mais n’est pas préoccupant
dans le cadre de l’estimation par maximum de vraisemblance.
En dehors de l’identifiabilité, un autre problème à ne pas confondre est celui de l’identification
: est-ce facile de savoir à quelle composante appartient une observation donnée ?
La réponse dépend évidemment de la répartition des données. Une multimodalité prononcée
sera moins problématique que des données faiblement asymétriques, mais nous reviendrons
justement sur ce point dans le dernier chapitre.
3.1.3 Algorithme espérance-maximisation (EM)
Cet algorithme offre des propriétés très intéressantes pour l’optimisation de fonction de
vraisemblance complexe, sur un problème aux données manquantes. Ces propriétés ont été
démontrées dans un article célèbre de Dempster et al. (1977), qui a permis avec la révolution
informatique l’explosion de l’usage de ce type de modèle, qui jusque là demandait de complexes
et fastidieux calculs pour maximiser la vraisemblance. Nous donnons ici la version originelle
de cet algorithme et son idée, sachant qu’une multitude de développement ont depuis été
proposés pour traiter des problématiques particulières (convergence vers le maximum global,
dimension des données, y j manquantes, ...).
Le principe de base de cet algorithme est de transformer le problème aux données manquantes
en problème aux données complètes Y c = (Y T , Z T ) T où les Z j ∼ Mult G (1, π) et sont
i.i.d. La vraisemblance des données complètes pour une observation j vaut
f(y jc ; ψ) = Π G i=1[π i f i (y j ; θ i )] z ij
,
d’où la log-vraisemblance des donnés complètes sur l’échantillon entier log L c (ψ; y) = log(Π n j=1 f(y jc; ψ))
qui donne après développement :
log L c (ψ; y) =
n∑
j=1 i=1
G∑
z ij [log π i + log f i (y j ; θ i )]. (3.3)
73