Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
L’annexe D détaille l’étude des limites de ces deux termes dans les différentes configurations
possibles, sachant que
1
f N (y j ; θ i ) =
(2π) d √ e − 1 2 (y j−µ i ) T Σ −1
2 det Σi
i (y j −µ i ) .
En prenant le cas unidimensionnel pour simplifier (det Σ i devient σi 2 ), nous avons :
σi 2 ⎫
→ 0
σi 2 → +∞ ⎪⎬
µ i → −∞ ⇒ ln L cc (ψ G ; y j ) et/ou ∂ ln L cc(ψ G ; y j )
diverge(nt).
∂θ
µ i → +∞
i
⎪⎭
π i → 0
Ces limites, obtenues astucieusement ou par développements limités dans le but de lever les
formes indéterminées rencontrées, suggèrent que les situations critiques correspondent majoritairement
à des paramètres qui ne seraient pas bornés.
Objectif du ML cc E
L’exemple suivant permet de se rendre compte de la différence fondamentale entre l’estimateur
ML cc E et l’estimateur MLE, ce dernier minimisant la distance KL entre la distribution
à estimer f(.; ψ G ) et la distribution théorique f 0 (.).
Exemple 2. (Baudry). La densité théorique f 0 est celle d’une loi normale centrée réduite
unidimensionnelle N (0, 1) (d = 1). Considérons le modèle
{ 1
M =
2 f N (.; −µ, σ 2 ) + 1 }
2 f N (.; µ, σ 2 ); µ ∈ R, σ 2 ∈ R +∗ .
Aucune contrainte supplémentaire n’est imposée.
Même dans un modèle extrêmement simple où σ 2 serait fixée, il est impossible de trouver
l’expression du ML cc E ! Par contre, nous pouvons le calculer numériquement, et nous obtenons
(µ MLccE , σ 2,MLccE ) = (0.83, 0.31).
Ce résultat signifie que l’estimateur ML cc E construit un mélange à deux composantes tel que
E f 0[ln L cc (µ, σ 2 )] est maximisée en un point unique (à un “label switch” près). Cependant, cet
estimateur ne correspond en rien à l’estimateur MLE car celui-ci aurait donné l’estimation
(µ MLE , σ 2,MLE ) = (0, 1). En effet cette estimation minimise la distance KL à la densité
théorique, et cette densité obtenue par MLE ne serait rien d’autre que la densité théorique
elle-même !
Cet exemple illustre parfaitement le but de l’estimateur ML cc E, qui n’est pas de retrouver
la distribution théorique des données même lorsqu’elle est contenue dans le modèle considéré
(ce qui est le cas ici). L’estimateur MLE n’ayant pas de règle pour désigner deux classes (composantes)
adéquates pour ce modèle, il construirait les deux mêmes composantes 1 2 f N (.; 0, 1)
exactement superposées, et l’affectation des observations à l’une ou l’autre de ces composantes
serait complètement arbitraire (avec probabilité de 1/2, d’où une entropie maximale). En revanche
le compromis recherché par le ML cc E, qui pénalise cette trop grande entropie, amène
123