Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
la nécessité de développer de nouvelles méthodes de sélection de modèle dans un contexte
global, par opposition aux récents développements de l’époque qui ne s’appliquaient qu’à une
certaine classe de modèles. Il introduit la notion de critère d’information, en ce sens que sa
démarche est complètement liée à l’étude de la distance KL. Le succès d’Akaike (1973) vient
notamment du pont établi entre la théorie du maximum de vraisemblance, base théorique
largement reconnue par les statisticiens pour l’estimation paramétrique, et le critère AIC. De
plus ce critère ne nécessite pas de calcul supplémentaire en dehors des calculs inhérents à la
méthode du maximum de vraisemblance, ce qui est un avantage non-négligeable au vu des
performances calculatoires des outils informatiques de l’époque.
L’idée novatrice d’Akaike est de choisir comme estimateur final parmi un ensemble d’estimateurs
ˆψ (pour une densité de probabilité f(y; ψ)) celui qui maximise la log-vraisemblance
espérée. Autrement dit, il cherche
( [
M AIC = arg max E (Y, ψg) ˆ ln f Mg (Y ; ˆψ
])
g )
M g∈{M 1 ,...,M m}
( [∫
])
= arg max E ψg ˆ ln f Mg (Y ; ˆψ g )f(Y ; ψ 0 )dy . (4.1)
M g∈{M 1 ,...,M m}
Y
L’égalité ci-dessus vient de l’hypothèse d’indépendance entre les lois de Y et de ˆψ g , ce qui
permet d’avoir
f (Y, ψg) ˆ (y, ˆψ g ) = f Y (y; ψ 0 )f ψg ˆ ( ˆψ g ).
L’auteur différencie sa méthode de celle du maximum de vraisemblance en justifiant du fait
que cette dernière ne s’intéresse à l’estimation du paramètre ψ g du modèle M g que pour
une réalisation donnée des observations : ainsi ˆψg (Z) maximise ln f Mg (z; ψ g ) pour une seule
réalisation de Z (clairement ˆψ g est une statistique de Z). Ainsi, la méthode du maximum de
vraisemblance ne nécessite aucune connaissance sur ψ 0 , le paramètre théorique de la densité
de la loi de Y.
Pour comparer sans perte d’efficacité un modèle général donné par f Mg (.; ψ g ) avec le modèle
théorique f(.; ψ 0 ), il utilise le célèbre ratio de vraisemblance τ(y) = f Mg (y; ψ g )/f(y; ψ 0 ) qui
détermine par l’introduction d’une fonction Φ la discrimination en y entre ψ g et ψ 0 . Nous en
déduisons immédiatement la discrimination moyenne dans le cas où ψ 0 est “vrai” (donc Y a
effectivement pour densité f(y; ψ 0 )) :
∫
D(ψ g , ψ 0 , Φ) = f(y; ψ 0 )Φ(τ(y))dy = E Y [Φ(τ(Y ))].
Y
Comment choisir Φ pour définir cette discrimination moyenne ? En effectuant un développement
de Taylor à l’ordre 2 de la fonction composée Φ(τ(y)) pour ψ g au voisinage de ψ 0 , nous
obtenons sous certaines conditions de régularité de Φ et en remarquant que le terme d’ordre
1 s’annule (la vraisemblance est maximisée en ψ 0 donc sa dérivée en ce point vaut 0) :
D(ψ g , ψ 0 , Φ) = E Y
[Φ(1) + 1 ]
2 Φ′′ (1)(ψ g − ψ 0 ) T I(ψ 0 )(ψ g − ψ 0 ) + o(‖ψ g − ψ 0 ‖ 2 ) ,
= Φ(1) + 1 2 Φ′′ (1)(ψ g − ψ 0 ) T J(ψ 0 )(ψ g − ψ 0 ) + o(‖ψ g − ψ 0 ‖ 2 ). (4.2)
où
∫
J(ψ 0 ) =
Y
[ (∂ ) ( ) ]
ln fMg (y; ψ g ) ∂ ln fMg (y; ψ g ) T
f(y; ψ 0 )dy.
∂ψ g ψ g=ψ
∂ψ 0 g ψ g=ψ 0
108