Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
est qu’il n’existe pour le moment pas de meilleure méthode de sélection de mélange quelle que
soit la nature de celui-ci. Leur étude sur la détermination du nombre de composantes dans le
cas de mélange de régressions (Oliviera-Brochado and Vitorino Martins (2008)) par diverses
techniques illustre très bien ce propos, de même que le papier de Sarstedt et al. (2011).
Dans le cadre de modèles mélanges où l’on souhaite explicitement décrire la structure de la
population et où l’objectif est de trouver le nombre de composantes, la plupart des auteurs
(McLachlan and Peel (2000), Fraley and Raftery (1998)) s’accordent à dire que le critère BIC
donne de meilleurs résultats que le critère AIC puisqu’il recherche le quasi-vrai modèle. La
convergence du BIC pour estimer l’ordre d’un mélange gaussien a notamment été démontrée
dans Keribin (1999). Néanmoins Celeux and Soromenho (1996) précisent qu’il existe de
meilleurs critères de sélection que les critères classiques majoritairement utilisés dans la littérature
pour réaliser une classification. Le critère ICL, que nous avons choisi d’étudier dans
la suite de cette thèse, en est un. La très grande majorité des travaux se sont concentrés sur
les propriétés de ce critère dans le cadre gaussien (Baudry (2009)), mais n’ont pas abordé
le contexte des mélanges de GLMs. Une panoplie d’études sur simulation et données réelles
dans Baudry (2009) suggèrent un meilleur comportement d’ICL par rapport au BIC dans une
optique de clustering. Nous présentons dans la section suivante quelques notions phares grâce
à l’usage des mélanges de lois normales. La question de la convergence du critère de sélection
ICL pour des mélanges gaussiens sera également abordée.
4.2.1 Introduction avec les mélanges gaussiens
Avant de présenter l’étude sur les mélanges de GLMs, nous proposons d’introduire la
problématique avec des mélanges gaussiens. Ce choix nous parait pertinent dans la mesure où
il est plus facile de comprendre les nouveaux concepts sur des objets que nous avons l’habitude
de manipuler, les mélanges gaussiens étant somme toute des mélanges relativement classiques.
La densité d’une loi normale multivariée N (µ, Σ) par rapport à la mesure de Lebesgue λ sur
R d est donnée par
∀y ∈ R d , ∀µ ∈ R d , ∀Σ ∈ S d +, f N (y; µ, Σ) =
1
√ e − 1
(2π) d 2 (y−µ)T Σ −1 (y−µ) ,
2 det Σ
où S d + est l’ensemble des matrices symétriques définies positives sur R d . On note θ le vecteur
de paramètres θ = (µ, Σ). Comme nous l’avons vu au chapitre 3, nous pouvons exprimer
la densité d’un mélange gaussien dans le cas général (distribution mélangeante discrète ou
continue) par rapport à la mesure de Lebesgue comme
∫
f(y) =
f N (y; θ)dν(θ)
dλ-p.s.,
où ν est la distribution de probabilité sur l’espace des paramètres.
Nous nous restreignons à l’étude des mélanges finis, donc avec support fini. Autrement dit
nous avons ν = ∑ G
i=1 π iδ θi ; avec δ θi la mesure de Dirac en θ, {θ 1 , ..., θ G } le support de ν, et
les π i ∈ [0, 1] telles que ∑ G
i=1 π i = 1. L’ensemble des G-uplets (π 1 , ..., π G ) qui satisfont cette
condition est noté par la suite Π G .
Les composantes du mélange sont les f N (.; θ i ), et les poids sont les π i . Comme dans le chapitre
3, l’ensemble des paramètres est représenté par le vecteur ψ = (π 1 , ..., π G , ξ T ) ∈ Ψ avec
116