Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
peut donc être un regroupement de composantes du mélange, typiquement si ces composantes
se ressemblent. Dans notre étude nous assimilerons les classes (clusters) aux composantes
du mélange, dans la mesure où notre objectif est justement d’obtenir un mélange final qui
permette de bien distinguer les groupes (composantes) entre eux. Les contraintes imposées
sur l’espace des paramètres jouent un rôle prépondérant dans la panoplie des formes que peut
prendre une composante. Pensons par exemple dans le cas gaussien à une contrainte sur la
matrice de covariance de type Σ i = σi 2 I, alors les composantes ne peuvent avoir qu’une forme
d’ellipsoide parallèle aux axes définissant l’espace des observations. Il sera donc important
de visualiser la contrainte imposée en fonction de la forme des clusters que nous souhaitons
considérer.
4.2.2 Le maximum de vraisemblance classifiante conditionnelle
L’estimation par maximum de vraisemblance classifiante conditionnelle fait intervenir une
nouvelle quantité : la vraisemblance classifiante conditionnelle. Cette fonction est issue de la
vision donnée par l’algorithme EM, et se rapproche de la vraisemblance des données complètes
dont nous avons parlé dans la section précédente. Dans cette partie nous exhibons dans un
premier temps le lien entre vraisemblance des données observées et vraisemblance des données
complètes, afin d’en avoir une interprétation et une représentation plus précises. Puis nous
développons un exemple qui non seulement explicite la différence majeure avec l’estimation
par maximum de vraisemblance, mais expose également les nouveaux problèmes auxquels nous
sommes confrontés avec l’utilisation de cette fonction. L’accent est ensuite mis sur l’étude des
propriétés de convergence de l’estimateur découlant de cette quantité, grâce aux théorèmes
résultant de la théorie asymptotique classique que nous adaptons à notre contexte d’étude.
De la vraisemblance à la vraisemblance classifiante conditionnelle (L cc )
Plusieurs auteurs ont tenté d’exploiter le lien entre la vraisemblance des données observées
et la vraisemblance des données complètes. De ces études ont émergé un bon nombre d’algorithmes
divers et variés, dont le plus connu est le CEM (Classification EM). Cet algorithme,
proposé par Celeux and Govaert (1992), consiste à ajouter une étape d’affectation des observations
par la règle MAP entre les étapes Espérance et Maximisation de l’algorithme EM.
L’optimisation est facilitée puisque les probabilités conditionnelles a posteriori d’appartenir à
telle ou telle composante disparaissent dans l’expression à maximiser. Quelques années auparavant,
Hathaway (1986) avait déjà remarqué qu’un terme spécifique apparaissait dans l’écriture
de la vraisemblance aux données complètes, ou vraisemblance classifiante : ∀ψ G ∈ Ψ G ,
ln L c (ψ G ; y, z) =
=
n∑
j=1 i=1
n∑
j=1 i=1
G∑
z ij ln (π i f N (y j ; θ i ))
G∑
(
z ij ln
= ln L(ψ G ; y) +
π i f N (y j ; θ i )
∑ G
k=1 π kf N (y j ; θ k )
} {{ }
τ i (y j ;ψ G )
n∑
j=1 i=1
)
+
=1
{ }} {
(
n∑ G∑
G
)
∑
z ij ln π k f N (y j ; θ k )
j=1 i=1
k=1
} {{ }
ln L(ψ G ;y)
G∑
z ij ln τ i (y j ; ψ G ) (4.8)
119