Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
Convergence de critère de sélection
Soient g b le nombre optimal de composantes du mélange, et g le nombre de composantes
d’un modèle M g . Un critère de sélection pénalisé convergent doit normalement satisfaire à la
fois
⎧
⎪ ⎨
⎪ ⎩
∀g < g b ,
∀g ≥ g b ,
sup E f 0 [ln L cc (ψ)] > sup E f 0 [ln L cc (ψ)] ,
ψ∈Ψ g b
ψ∈Ψ g
sup E f 0 [ln L cc (ψ)] > sup E f 0 [ln L cc (ψ)] .
ψ∈Ψ g b
ψ∈Ψ g
Autrement dit, le biais des autres modèles par rapport au meilleur modèle M g b est stationnaire.
La procédure a un but d’identification : elle doit permettre de retrouver le “vrai”
nombre de clusters g b . Les résultats de cette partie sont directement inspirés et adaptés de
van der Vaart (1998), Massart (2007) et Baudry (2009). Nous formulons en premier lieu un
théorème de convergence général de critère de sélection basé sur l’emploi d’un M-estimateur.
Théorème 7. (Consistance faible de critère de sélection).
Soit {M g } 1≤g≤m une collection de modèles de paramètres {ψ g } 1≤g≤m ∈ {Ψ g } 1≤g≤m et de
dimension {K g } 1≤g≤m , avec Ψ g ⊂ R Kg . Ces modèles sont classés dans un ordre croissant de
complexité, avec K 1 ≤ K 2 ≤ ... ≤ K m .
Quel que soit g, posons Ψ b g = arg max
ψ g∈Ψ g
E f 0 [ln L cc (ψ g )]. Soit ψ b g ∈ Ψ b g.
Supposons que
Alors
(H1-C)
(H2-C)
(H3-C)
(H4-C)
en considérant
g b = min ( [
arg max E f 0 ln Lcc (Ψ b g) ] ) ;
1≤g≤m
∀g ∈ 1, m, soit ˆψ g ∈ Ψ g . De plus,
ˆψ g est défini tel que L n ( ˆψ g ) ≥ L n (ψ b g) − ξ n où
ˆψ g satisfait : L n ( ˆψ
[
g ) −→ E f 0 ln Lcc (ψ b
n→∞
g) ] p.s. ;
{
ξn ≥ 0 p.s.
ξ n −→
n→∞
0 p.s.
⎧
⎨pen(K g ) > 0 et pen(K g = o P (1) quand n → +∞;
∀g ∈ 1, m,
(
)
P
⎩n
pen(K g ) − pen(K g
′ ) −→ ∞ quand g >
n→+∞ g′ ;
(
n L n ( ˆψ g ) − L n ( ˆψ
)
g b)
[
= O P (1) quel que soit g ∈ arg max E f 0 ln Lcc (Ψ b g) ] ;
1≤g≤m
ĝ = arg min{−L n ( ˆψ g ) + pen(K g )},
1≤g≤m
P(ĝ ≠ g b ) −→
n→∞
0.
D’un point de vue des hypothèses, (H1-C) permet d’identifier le nombre de composantes
du modèle à choisir. Elle recommande de sélectionner un modèle parcimonieux, c’est à dire
le modèle de plus petite dimension parmi des modèles de performance équivalente. (H3-C)
définit les conditions que doit satisfaire la pénalité du critère de sélection, tandis que (H2-C)
on a
135