Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
de dimension K g . La densité du mélange M g est
∀g ∈ N ∗ , ∀ψ g ∈
(
Π g × (R d × S d +) g) , f Mg (y; ψ g ) =
g∑
π i f(y; θ i ).
La première définition du critère ICL diffère de celle que nous allons considérer : Biernacki
(2000) part du même principe que le critère BIC et sélectionne pami les modèles {M 1 , ..., M m }
le modèle tel que
(
M ICL = arg min
M g∈{M 1 ,...,M m}
− max
= arg min
M g∈{M 1 ,...,M m}
i=1
ln f Mg (Y, Z; ψ g ) + K )
g
ψ g∈Ψ g 2 ln n
(
− max ln L c (ψ g ; Y, Z) + K )
g
ψ g∈Ψ g 2 ln n .
Pour cela, il utilise l’approximation de Laplace sur la vraisemblance classifiante L c (ψ g ; y, z).
En pratique, le vecteur Z n’est pas observé et il choisit donc de le remplacer par les affectations
a posteriori ẐMAP ( ˆψ
MLE
g ). De plus, il considère que ˆψ
MLE
g ≃ arg max ψg L c (ψ g ; Y, Z) lorsque
n est grand. Ces considérations, discutables, amènent ainsi au modèle sélectionné suivant
(
M ICLa = arg min
M g∈{M 1 ,...,M m}
− ln f Mg (Y, ẐMAP ;
= arg min
M g∈{M 1 ,...,M m}
= arg min
M g∈{M 1 ,...,M m}
(
− ln L c (
⎛
− ln L(
⎜
⎝
MLE ˆψ g ) + K )
g
2 ln n
MLE ˆψ g ; Y, ẐMAP ) + K )
g
2 ln n
ˆψ
MLE
g
; y) −
n∑
g∑
j=1 i=1
Ẑ MAP
ij
ln τ i (y j ;
MLE ˆψ g ) + K g
2 ln n
.
⎟
⎠
} {{ }
pen ICLa (K g)
⎞
De leur côté, McLachlan and Peel (2000) proposent de remplacer Z par τ i (y;
obtiennent ainsi le critère
(
M ICLb = arg min
M g∈{M 1 ,...,M m}
− ln f Mg (Y, τ(
= arg min
M g∈{M 1 ,...,M m}
= arg min
M g∈{M 1 ,...,M m}
(
− ln L cc (
(
− ln L(
MLE ˆψ g );
MLE ˆψ g ; Y, τ(
ˆψ
MLE
g
) + Ent(
MLE ˆψ g ) + K )
g
2 ln n
MLE ˆψ g )) + K )
g
2 ln n
MLE ˆψ g
) + K g
2 ln n
} {{ }
pen ICLb (K g)
)
.
ˆψ
MLE
g ). Ils
En fait ICL a et ICL b ne sont vraiment différents en pratique que si les observations ne sont
pas affectées à une composante avec une grande confiance ; nous pouvons montrer que dans
133