Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
ξ T = (θ1 T , ..., θT G
). Nous avons donc finalement pour un mélange gaussien discret
∀G ∈ N ∗ , ∀ψ G ∈
(
Π G × (R d ) G × (S d +) G) , f(.; ψ G ) =
G∑
π i f N (.; θ i ). (4.7)
Nous pouvons ainsi définir l’ensemble des mélanges gaussiens à G composantes comme l’ensemble
des densités qui appartiennent à
{
}
G∑
M G = f(.; ψ G ) = π i f N (.; θ i ) | ψ G = (π 1 , ..., π G , θ 1 , ..., θ G ) ∈ Ψ G ,
i=1
avec Ψ G ⊂ Π G × (R d × S d +) G . Notons par la suite Θ G = (R d × S d +) G .
En fait, Baudry (2009) considère un sous-ensemble de M G pour pouvoir mener à bien l’étude
d’un nouvel estimateur ainsi que ses propriétés de convergence. Il propose le nouvel ensemble
˜M G =
{(π 1 f N (.; θ 1 ), ..., π G f N (.; θ G )) | (π 1 , ..., π G ) ∈ Π G , (θ 1 , ..., θ G ) ∈ (R d × S d +) G}
afin d’éviter les problèmes de non-identifiabilité (dus aux possibles permutations) qui empêchent
un “mapping” unique entre l’espace des paramètres et l’ensemble des modèles mélanges
qui en sont issus. Comme discuté en section 3.1.2, la non-identifiabilité peut s’éviter en
imposant des contraintes sur les paramètres (π 1 < ... < π G par exemple). Dans la pratique,
Keribin (1999) se satisfait de l’identifiabilité “faible” (autorisation du “label switching”) pour
obtenir ses résultats de convergence du maximum de vraisemblance : imposer π i > 0 (∀i) et
θ i ≠ θ k (i ≠ k) dans le contexte des mélanges gaussiens suffit à la garantir. Baudry (2009)
travaille dans l’ensemble ˜M G et ne suppose donc pas d’hypothèse garantissant l’identifiabilité
faible ou forte des mélanges.
Comme vu dans les parties 3.1.1 et 3.1.3, les données complètes pour l’individu j sont les
paires (Y j , Z j ) dont la densité est donnée ici par
f(y j , z j ; ψ G ) =
G∏
[π i f N (y j ; θ i )] z ij
.
i=1
En effet, nous pouvons vérifier que la loi de ce couple définit bien la loi mélange de l’équation
(4.7) pour Y, sachant que Z est une loi multinomiale (les Y 1 , ..., Y n , de même que les
Z 1 , ..., Z n , sont des échantillons i.i.d.). Cette remarque est la clef de voûte pour l’implémentation
de l’algorithme EM qui maximise la log-vraisemblance du vecteur Y tout en considèrant
le problème aux données complètes. Redner and Walker (1984) prouvent la monotonie et la
convergence de cet algorithme, qui en font aujourd’hui l’outil le plus utilisé pour ce type de
problème. Les auteurs avertissent toutefois les utilisateurs du comportement parfois étrange
de l’algorithme EM pour calibrer des mélanges, à cause de problèmes bien connus (valeurs
initiales de l’algorithme, non-convexité de la vraisemblance, convergence vers des maxima
locaux, bornitude) liés à la complexité de la fonction de vraisemblance. Ces difficultés sont
d’autant plus flagrantes que les composantes du mélange ne sont pas bien séparées, donc que
la multimodalité des données n’est pas évidente. Malheureusement ce sera bien souvent le cas
dans les applications.
D’un point de vue pratique, la convergence vers un maximum local s’explique soit par des
valeurs initiales de l’algorithme mal choisies ; soit par un petit groupe d’observations très
i=1
117