Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Cette proposition reste valable sous certaines conditions (satisfaites chez nous) pour des
fonctions L dépendantes de n. La fonction L vaut sur l’ensemble des observations Y j indépendantes
L(u) = L n (ψ g ) = f(ψ g)
n
= 1 n
n∑
j=1
ln(f Mg (Y j , ψ g )) + ln(P (ψ g|M g ))
n
Notons ψg ⋆ = arg max L n (ψ g ), et H ψ ⋆ g
l’opposé de la matrice hessienne des dérivées partielles
ψ g∈ψ g
d’ordre 2 de L n (ψ g ) en ψ g ,
[ ∂ 2 ]
L n (ψ g )
H ψ ⋆ g
= −
∂ψg∂ψ i g
l | ψg=ψ ⋆,
g
i,l
Alors nous avons
( )
P (Y |M g ) = e f(ψ⋆ g
2π Kg
( )
) 2
‖Hψ ⋆
n
g
‖ − 1 1
2 + O , d’où
n
ln(P (Y |M g )) = ln(f Mg (Y, ψg)) ⋆ + ln(P (ψg|M ⋆ g )) + K g
2 (ln 2π − ln n) − 1 ( ) 1
2 ln(‖H ψg ⋆‖) + O .
n
Reste donc à calculer ψg ⋆ et H ψ ⋆ g
. Quand n → ∞, ln(f Mg (Y, ψ g )P (ψ g |M g )) croît alors que
ln(P (ψ g |M g )) reste constant ; donc ce dernier terme a tendance à disparaître.
Asymptotiquement, ψg ⋆ peut être remplacé par l’estimateur du maximum de vraisemblance
ˆψ g défini par ˆψ 1
g = arg max
n f M g
(Y, ψ g ). Nous procédons de même pour le calcul de H ψ ⋆ g
, ce
ψ g∈Ψ g
qui nous renvoie au calcul de la matrice d’information de Fisher que nous noterons J ˆψg
. Ces
approximations introduisent un terme d’erreur en n −1/2 , ce qui donne au final quand n → ∞ :
ln(P (Y |M g )) =
tend vers −∞ avec n
{ }} {
ln(f Mg (Y, ˆψ g )) − K g
2 ln n + ln(P ( ˆψ g |M g )) + K g
2 ln 2π − 1 2 ln(‖J ‖) ˆψg
} {{ }
borné
( ) 1
+O √n
C’est à partir de cette équation que nous retrouvons la forme du critère BIC, par des considérations
asymptotiques et en négligeant le terme borné et le terme d’erreur :
ln(P (Y |M g )) ≃ ln(f Mg (Y, ˆψ g )) − K g
ln n.
2
Le terme de pénalité en ln n est ainsi issu de l’approximation de Laplace.
Afin d’uniformiser avec les critères déjà existants, le critère BIC est donné par
et le modèle sélectionné satisfait :
BIC g = −2 ln(f Mg (X, ˆψ g )) + K g ln n,
M BIC =
arg min BIC g .
M g∈{M 1 ,...,M m}
Nous avons considéré que la loi a priori des modèles était uniforme. Dans le cas contraire,
un terme supplémentaire apparait mais cette configuration est relativement rare. Par contre
le premier des deux termes que nous négligeons (terme borné) s’apparente à une erreur systématique
de l’approximation, qui pourrait se révéler préoccupante car non-négligeable dans
certains cas.
112