Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
à trouver une autre estimation des paramètres : en découle une plus grande confiance dans
l’assignation des observations à l’une ou l’autre des composantes. Nous distinguons également
le bémol de l’utilisation de cet estimateur : si les données ne sont pas issues d’un mélange,
il est clairement moins bon que l’estimateur MLE par définition (car ce dernier minimise la
distance KL a la quasi-vraie distribution).
Convergence de l’estimateur ML cc E
Avant toute chose rappelons que nous considérons un modèle paramétrique M G de dimension
K G , de paramètre ψ G ∈ Ψ G tel que Ψ G ⊂ R K G. Oublions également le contexte des
mélanges et introduisons les notations suivantes :
– ∀ψ G ∈ R K G, ‖ψ G ‖ ∞ = max
1≤k≤K G
|ψ k G |, où ψk G est la ke coordonnée de ψ G dans la base
canonique de R K G
;
– ∀ψ G ∈ Ψ G , ∀ ˜Ψ G ⊂ Ψ G , notons d la distance d(ψ G , ˜Ψ G ) = inf
˜ψ G ∈ ˜Ψ G
‖ψ G − ˜ψ G ‖ ∞ .
Nous avons vu que l’estimateur ML cc E peut être approché par le M-estimateur suivant :
ˆψ MLccE
G
1
n∑
= arg max ln L cc (ψ G ; y j )
ψ G ∈Ψ G
n
j=1
} {{ }
L n(ψ G ;Y )
Le théorème de convergence de l’estimateur ML cc E se place dans un cadre très général et
provient d’une adaptation des résultats de van der Vaart (1998) et Baudry (2009). van der
Vaart (1998) donne les hypothèses de convergence faible d’un M-estimateur pourvu que celuici
existe ! Notre version de ce théorème permet d’expliciter les conditions suffisantes pour la
convergence forte d’un M-estimateur vers le meilleur paramètre dans un problème d’optimisation
de log-vraisemblance classifiante conditionnelle.
Théorème 4. Soit Ψ G ⊂ R K G
et ln L cc : Ψ G × R d → R.
Si nous avons les trois hypothèses suivantes :
– (H1-A) : ∃ψG b ∈ Ψ [
G tel que E f 0 ln Lcc (ψG b ; Y )] = max E f 0 [ln L cc (ψ G ; Y )] ;
ψ G ∈Ψ G
[
– (H2-A) : ∀ɛ > 0, sup E f 0 [ln L cc (ψ G ; Y )] < E f 0 ln Lcc (ψ b
{ψ G ; d(ψ G ,Ψ b G )>ɛ} G ; Y )] ,
}
où Ψ b G
{ψ = G b : E [
f 0 ln Lcc (ψG b ; Y )] = max E f 0 [ln L cc (ψ G ; Y )] .
ψ G ∈Ψ G
∣
– (H3-A) : ∀ψ G ∈ Ψ G , sup
L n (ψ G ; Y ) − E f 0 [ln L cc (ψ G ; Y )] ∣ −→ 0 p.s. ;
ψ G ∈Ψ n→∞ G
Alors,
en définissant ˆψ G = ˆψ G (Y 1 , ..., Y n ) ∈ Ψ G tel que ∃n 0 ∈ N, ∀n ≥ n 0 ,
.
L n ( ˆψ G ; Y ) ≥ L n (ψ b G; Y ) − ξ n
avec
124
{
ξn ≥ 0 p.s.
ξ n −→
n→∞
0 p.s.
, nous avons d( ˆψ G , Ψ b G ) −→
n→∞ 0
p.s.