Mélanges de GLMs et nombre de composantes : application ... - Scor

4.1.4 Notion de consistance pour la dimension
4.1. Théorie de l’information et sélection de modèle
Le critère BIC Nous pouvons montrer de manière rigoureuse que le critère BIC associé à
l’estimateur du maximum de vraisemblance est consistant, dans le sens où il sélectionne parmi
un ensemble de modèles le modèle qui tend à être le modèle théorique. Notons au passage que
la pénalité du critère BIC satisfait les conditions de Nishii (1988) évoquées en section 4.1.3.
Il est également intéressant de donner une interprétation intuitive de cette “consistance
pour la dimension”, grâce à la notion de quasi-vrai modèle. Supposons que les modèles M 1 ,
M 2 , ..., M m sont emboîtés ; et notons ˆd KL (f 0 , M g ) la plus petite distance KL de f 0 au modèle
M g :
ˆd KL (f 0 , M g ) = inf d KL (f 0 (.), f Mg (., ψ g )).
ψ g∈Ψ g
ˆd KL est logiquement décroissante en fonction de la dimension K g associée au modèle M g .
Soit M t le modèle à partir duquel cette distance ne diminue plus (il y a toujours existence
de ce modèle). Selon le critère de distance KL, M t est préférable à tous les sous-modèles M g
(g ∈ 1, t−1) puisqu’il est plus fidèle à f 0 . De la même façon, M t est préférable à tous les surmodèles
M g (g ∈ t + 1, m) car ils sont plus complexes sans pour autant apporter davantage
de précision (risque “d’overfitting”). On dit que le critère BIC est consistant pour ce modèle
M t particulier, appelé quasi-vrai modèle. Nous nous intéressons à l’étude de la différence
Cas où g < t :
BIC g − BIC t , g ≠ t et n → ∞.
BIC g − BIC t = −2 ln(f Mg (Y, ˆψ g )) + K g ln n −
[
−2 ln(f Mt (Y, ˆψ
]
t )) + K t ln n
= −2 ln(f Mg (Y, ˆψ g )) + 2 ln(f Mt (Y, ˆψ t )) + (K g − K t ) ln n
⎡
⎤
= 2n ⎣− 1 n∑
ln(f Mg (y j ,
n
ˆψ g )) + 1 n∑
ln(f Mt (y j ,
n
ˆψ t )) ⎦ + (K g − K t ) ln n
⎡
= 2n ⎣ 1 n
j=1
(
)
n∑ f 0 (y j )
ln
f Mg (y j , ˆψ
− 1
g ) n
j=1
j=1
( )
n∑
⎤ f 0 (y j )
ln
f Mt (y j , ˆψ
⎦ + (K g − K t ) ln n.
t )
D’après Ripley (1995), les deux sommes sont des estimateurs consistants de ˆd KL (f 0 , M g ) et
ˆd KL (f 0 , M t ). Nous obtenons
[
BIC g − BIC t ≃ 2n ˆdKL (f 0 , M g ) − ˆd
]
KL (f 0 , M t ) + (K g − K t ) ln n.
Asymptotiquement, le premier terme en n domine par rapport au deuxième terme en ln n,
et tend vers +∞ lorsque n → ∞. Cela signifie que les modèles M g sont asymptotiquement
disqualifiés car le BIC doit être minimisé, or BIC g >> BIC t . Nous ne tendons donc pas à
sous-estimer la dimension réelle du modèle.
Cas où g > t : le terme 2 ln(f Mg (Y, ˆψ g )) − 2 ln(f Mt (Y, ˆψ t )) correspond à la statistique du
rapport de vraisemblance pour des modèles emboîtés, qui sous l’hypothèse H 0 (selon laquelle
ψ = ˆψ t ) suit asymptotiquement une loi du χ 2 à (K g − K t ) degrés de liberté. D’où
j=1
BIC g − BIC t ≃ −χ 2 (K g−K t) + (K g − K t ) ln n.
113