Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
une telle configuration, ICL a ≥ ICL b . Effectivement, ∀ψ g ∈ Ψ g , ∀y ∈ R d ,
−Ent(ψ g ; y) =
≤
=
g∑
τ i (y; ψ g ) ln τ i (y; ψ g )
i=1
g∑
max (τ k(y; ψ g )) ln τ i (y; ψ g )
k∈{1,...,g}
g∑
ẑi MAP (y; ψ g ) ln τ i (y; ψ g ).
i=1
i=1
Ce résultat montre que ICL a pénalise davantage que ICL b un modèle dont l’affectation des
observations aux composantes est incertaine. Biernacki (2000) et McLachlan and Peel (2000)
ont montré à travers divers exemples simulés et réels que le critère ICL est plus robuste que
le critère BIC lorsque le modèle est mal spécifié (ce qui est souvent le cas dans la réalité).
Certes, BIC et ICL ont un comportement similaire quand les composantes du mélange sont
bien séparées ; mais ICL pénalise fortement les modèles mélanges dans le cas inverse (tout en
tenant compte de la complexité du modèle) alors que BIC ne pénalise que la complexité des
modèles.
Le principal problème dans cette définition d’ICL est qu’il n’existe de fait aucune relation
évidente entre la théorie du maximum de vraisemblance et le terme d’entropie. En outre, le
critère défini comme tel n’est pas satisfaisant au regard des théoriciens car ses propriétés n’ont
pas pu être prouvées : par exemple, il n’est pas consistant au sens où BIC l’est. Même dans le
cas où la distribution théorique appartient à la classe de modèles étudiés, ICL ne garantit pas
de retrouver le bon nombre de composantes. Dans ces deux premières définitions, la pénalité
du critère ICL comprend deux termes : l’entropie et la pénalisation du BIC en ln(n). Nous
pouvons d’ailleurs remarquer que cette pénalité ne satisfait pas les conditions de Nishii (1988)
car elle n’est pas négligeable devant n.
En effet, d’après la loi des grands nombres,
1
n Ent(ψ P
g; y) −→ E f 0 [Ent(ψ g ; Y )] .
Nous en déduisons que Ent(ψ g ; y) = O(n E f 0 [Ent(ψ g ; Y )]), et donc que n et Ent(ψ g ; y) sont
du même ordre.
Ainsi et jusqu’à très récemment, il existait clairement un gouffre entre l’intérêt pratique
que suscitait ce critère et ses justifications théoriques. C’est alors que Baudry (2009) proposa
une nouvelle version du critère ICL, dont la définition est liée à l’estimateur du maximum de
vraisemblance classifiante ML cc E :
M ICLc =
(
arg min − ln L cc (
M g∈{M 1 ,...,M m}
ˆψ
MLccE
g
) + K g
2 ln n
} {{ }
pen ICLc
)
En introduisant cette idée dans le cadre des mélanges gaussiens, Baudry (2009) démontre
de manière rigoureuse que le nombre de composantes sélectionné via ce critère converge faiblement
vers le nombre théorique de composantes ; dès lors que nous nous intéressons à des
problématiques de clustering. Le paragraphe qui suit énonce de manière succinte les conditions
de convergence d’un critère de sélection pénalisé dans un cadre général.
134
.