Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
moyen des log-vraisemblances (autrement dit l’estimation du maximum de vraisemblance)
converge en probabilité vers l’estimation du maximum d’entropie (ou minimum de négentropie,
donc minimum en distance KL).
Ne disposant que de ˆψ g (Z) comme estimation du maximum de vraisemblance dans le
modèle M g , Akaike choisit d’approcher
R(ψ 0 ) = E Z [D( ˆψ 0 (Z), ψ 0 )] par E Z [D( ˆψ g (Z), ψ 0 )].
Il reste à déterminer le biais introduit par cette approximation, et le fait d’utiliser les mêmes
données pour estimer le maximum de vraisemblance qui sert ensuite à évaluer la “distance”
D( ˆψ g (Z), ψ 0 ). D’après (4.4) et (4.5), nous avons
[
E Z 2 d KL
(f(y; ψ 0 ), f Mg (y; ˆψ
)]
g (Z)) = 2 E Y [ln f(Y ; ψ 0 )] − 2 E (Y,Z) [ln f Mg (Y ; ˆψ g (Z))]
Donc
D’où
E (Y,Z) [ln f Mg (Y ; ˆψ g (Z))] =
indép. du modèle
{ }} { [
E Y [ln f(Y ; ψ 0 )] −E Z d KL
(f(y; ψ 0 ), f Mg (y; ˆψ
)]
g (Z))
1/2 E Z [D( ˆ ψ g(Z),ψ 0 )]
{
1
n ln L( ˆψ
[
}} {
g (Z)) = E Y [ln f(Y ; ψ 0 )] − E Z d KL
(f(y; ψ 0 ), f Mg (y; ˆψ
)]
g (Z)) .
Il faut donc évaluer le biais donné par
[ ∫
1
B(K g ) = E Z
n ln L( ˆψ g (Z); Y ) −
Y
]
f(y; ψ 0 ) ln f Mg (y; ˆψ g (Z))dy . (4.6)
Pour estimer ce biais, il définit une norme (‖.‖ 0 ) et un produit scalaire (< ., . > 0 ) à partir de
l’information de Fisher J(ψ 0 ), via l’approximation quadratique de D(ψ g , ψ 0 , Φ) par W (ψ g , ψ 0 )
obtenue en utilisant la formule de Taylor (avec Φ(1) = −2 ln(1) = 0) :
W (ψ g , ψ 0 ) = (ψ g − ψ 0 ) T J(ψ 0 )(ψ g − ψ 0 ).
Ainsi pour un modèle M g , il obtient par Pythagore :
D( ˆψ g (Z), ψ 0 ) ≃ W ( ˆψ g (Z), ψ 0 ) = ‖ ˆψ g (Z) − ψ 0 ‖ 2 0
= ‖ψ 0|Kg − ψ 0 ‖ 2 0 + ‖ ˆψ g (Z) − ψ 0|Kg ‖ 2 0;
avec ψ 0|Kg la projection de ψ 0 sur Ψ Kg , la métrique de l’information.
Pour estimer R(ψ 0 ), il utilise donc E Z [W ( ˆψ g (Z), ψ 0 )]. Finalement après évaluation des différents
termes, il trouve
nE Z [W ( ˆψ g (Z), ψ 0 )] ≃ n ˆD n ( ˆψ g (Z), ˆψ 0 (Z)) + 2 K g
}{{}
− K m ,
≃ B(K g)
où K g est la dimension du modèle M g étudié, K m la dimension maximale. Cette expression
ayant K m identique pour tous les sous-modèles considérés, la pénalité retenue est 2K g .
Finalement, le critère AIC est plus connu sous la forme analogue
et le modèle sélectionné satisfait :
AIC g = −2 ln(f Mg (Y, ˆψ g )) + 2K g ,
M AIC =
arg min AIC g .
M g∈{M 1 ,...,M m}
110