Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Exemple 1. Considérons un mélange gaussien d-multivarié M G à G composantes, avec la
paramétrisation donnée par la représentation spectrale des mélanges : nous pouvons écrire la
matrice de covariance de chaque composante comme Σ i = λ i D i A i D ′ i où D i est l’orientation de
la composante, et λ i A i est sa forme (Biernacki (2009) et McLachlan and Peel (2000) p.110).
Nous imposons la contrainte que Ψ G ⊂ Π G × Θ G soit un ensemble compact, par exemple :
∀i ∈ 1, ..., G,
π i ≥ π min ,
λ min ≤ λ i ≤ λ max ,
∀k ∈ 1, d, µ min ≤ µ k i ≤ µ max,
∀k ∈ 1, d, a min ≤ A k i ≤ a max,
où A i est la matrice de diagonale (A 1 i , ..., Ad i ). Ce modèle a pour dimension
K G = (G − 1)
} {{ }
poids
+ Gd }{{}
moyennes
d(d + 1)
+ G .
} {{ 2 }
covariances
Nous avons vu qu’il est indispensable d’avoir un mélange identifiable (section 3.1.2), ce
qui nous oblige en fait à considérer l’espace
{
˜M G = (π 1 f N (.; θ 1 ), ..., π G f N (.; θ G )) | (π 1 , ..., π G ) ∈ Π G , (θ 1 , ..., θ G ) ∈ Θ G ⊂ (R d × S d +) G} .
C’est d’autant plus vrai que nous allons dorénavant travailler avec la vraisemblance classifiante
conditionnelle, qui nécessite de connaître les distributions de chaque composante pour
correctement définir l’entropie. Les contraintes imposées à l’espace des paramètres doivent
donc notamment garantir cette identifiabilité.
Par analogie avec la méthode du maximum de vraisemblance, nous pouvons définir un
nouvel estimateur à partir de la vraisemblance L cc . Afin de garder une certaine logique, cet
estimateur est appelé “estimateur du maximum de vraisemblance classifiante conditionnelle”
et est noté ML cc E. De la même manière que l’estimateur du maximum de vraisemblance mais
en adaptant le raisonnement, l’estimateur du maximum de vraisemblance classifiante ML cc E
pour un modèle M G satisfait
ψ MLccE
G
= arg max
ψ G ∈Ψ G
E f 0[ln L cc (ψ G , Y )],
estimé naturellement de manière empirique par la loi des grands nombres :
ˆψ MLccE
1
n∑
G
= arg max ln L cc (ψ G ; y j ).
ψ G ∈Ψ G
n
En développant l’expression de la log-vraisemblance classifiante conditionnelle pour des mélanges
gaussiens, les contraintes que nous devons imposer sur l’espace des paramètres (pour
que celle-ci ne diverge pas) deviennent quasiment évidentes. En effet, ln L cc (ψ G ; y j ) vaut pour
une observation y j
( G (
)
∑
) G∑ π i f N (y j ; θ i )
ln π i f N (y j ; θ i ) + ∑ G
i=1
i=1 k=1
} {{ }
π kf N (y j ; θ k ) ln π i f N (y j ; θ i )
∑ G
k=1 π . (4.10)
kf N (y j ; θ k )
} {{ }
ln L(ψ G ;y j )
−Ent(ψ G ;y j )
122
j=1