Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
composantes gaussiennes car la “bracketing entropy” reste finie sous certaines conditions. Les
contraintes sur les frontières de l’espace de paramètres compact sont fixées grâce aux limites
de la fonction de vraisemblance classifiante conditionnelle et de sa dérivée, un sujet sur lequel
nous reviendrons lors de l’étude des mélanges de régressions linéaires.
De manière plus générale, la convergence forte de l’estimateur ML cc E vers l’ensemble Ψ b G
va nous permettre de poursuivre sur l’étude de la convergence du critère ICL c appliqué à cet
estimateur. Comme précédemment, cette étude s’effectuera d’abord dans un cadre général,
puis nous verrons comment étendre ces résultats au contexte des mélanges de GLMs.
4.2.3 Le critère de sélection ICL
Biernacki (2000) essaie de contourner la difficulté du BIC à sélectionner le bon nombre de
classes, particulièrement dans le cas d’un modèle mélange mal spécifié. Il veut imiter l’approche
du BIC en remplaçant la vraisemblance observée par la vraisemblance classifiante. Il s’attend
donc non seulement à trouver un critère qui permette de prendre en compte la qualité de la
classification ; mais aussi à éliminer le problème de surestimation du nombre de composantes
du mélange, un écueil souvent observé en pratique avec l’utilisation des critères AIC et BIC.
Ce problème de surestimation s’interpréte facilement dans le cadre de mélange gaussien : si
certaines observations sont proches les unes des autres mais n’ont pas la forme d’une ellipsoïde
(en se plaçant dans le plan), AIC et BIC sélectionneront un modèle qui consacrera plusieurs
composantes à ces observations puisque l’objectif est de “coller” au mieux à la densité des
données. Pourtant ces données ne semblent représenter qu’un groupe homogène, et seule une
composante du mélange devrait y être affectée dans un objectif de clustering.
Le critère ICL fait partie de la classe des critères d’information pénalisés (comme AIC et
BIC), ou plus exactement appartient aux critères de classification. Il a été spécialement conçu
dans ce but précis, ce qui en fait un critère particulièrement adapté aux questions de clustering
d’une population. A l’inverse des critères AIC et BIC qui sélectionnent le modèle qui estime au
mieux la densité des observations (via la distance KL), ICL recherche plutôt le “vrai” nombre
de groupes (clusters) dans une population donnée. Il vise à établir le meilleur compromis
entre qualité d’estimation de cette densité et confiance dans l’affectation des observations aux
différentes composantes du mélange. Il s’agit donc d’un estimateur “sur mesure”, qui s’inscrit
exactement dans le sens que nous voulons donner à l’utilisation des mélanges dans notre
problématique opérationnelle. Une attention particulière doit être apportée à la définition de
la pénalité car des nuances existent : les premiers travaux considéraient l’entropie comme partie
intégrante de la pénalité mais aucun résultat théorique n’a pu être démontré sous cet angle de
vue (malgré des résultats prometteurs dans les applications pratiques, Biernacki et al. (2006)).
Baudry (2009) propose alors d’étudier la vraisemblance classifiante conditionnelle qui intègre
l’entropie à la source, et redéfinit le critère ICL en l’associant à cette nouvelle vraisemblance.
La pénalité devient du même coup identique à celle du BIC, et l’estimateur utilisé dans
l’expression du critère ICL diffère de l’estimateur classique du maximum de vraisemblance.
Historique
Le choix du modèle mélange revient dans le contexte de notre étude au choix du nombre de
composantes de ce mélange. En reprenant nos notations, cette remarque nous amène à considérer
l’ensemble de modèles {M 1 , ..., M m }, où M g (g ∈ 1, m) est un mélange à g composantes,
132