Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Ici le second terme domine et tend vers +∞ lorsque n → ∞, donc les modèles M g sont encore
une fois disqualifiés.
Pour résumer, c’est donc le terme en ln n obtenu par l’approximation de Laplace qui
permet au critère BIC de converger ! Que se passe-t-il si la famille des modèles considérée est
mal spécifiée (i.e. que le modèle théorique n’appartient pas à cette famille) ? L’hypothèse liée
à cette question n’apparait nulle part dans la construction du critère BIC, pourtant certains
auteurs l’ont posé sans justifier son utilité. Ce que nous savons, c’est que le BIC converge
en probabilité vers le quasi-vrai modèle lorsqu’il est unique. Cependant, le quasi-vrai modèle
peut être très éloigné en distance KL du modèle théorique.
Le critère AIC De nombreux papiers comparent les performances obtenues par AIC et BIC
en termes de sélection de modèle, dans le but de désigner un “meilleur” critère. En réalité,
ces deux critères ne sont pas comparables car ils poursuivent deux objectifs bien différents.
BIC cherche à maximiser la probabilité a posteriori que le modèle sélectionné soit le modèle
théorique, alors que AIC essaie d’atteindre le meilleur compromis biais-variance.
Dans la pratique, BIC sélectionne rapidement des modèles de dimension plus petite que AIC
(dès que n > 7 car ln(7) ≃ 2 dans le terme de pénalité). Il est alors logique de se poser la
question de la consistance pour la dimension du critère AIC. Comme nous l’avons vu dans la
construction du critère, le modèle retenu est :
M AIC =
arg min (−2 ln f Mg (Y, ˆψ g ) + 2K g ).
M g∈{M 1 ,...,M m}
Avec le même raisonnement asymptotique que celui utilisé dans le cas du BIC, nous pouvons
montrer que AIC n’est pas consistant pour la dimension. En effet,
g < t : AIC g − AIC t ≃ 2n[ ˆd KL (f 0 , M g ) − ˆd KL (f 0 , M t )] + 2(K g − K t )
g > t : AIC g − AIC t ≃ −χ 2 K g−K t
+ 2(K g − K t )
Dans le premier cas, les modèles M g sont asymptotiquement disqualifiés pour les mêmes
raisons que précédemment. Par contre, la probabilité de disqualifier les modèles “surdimensionnés”
ne tend pas vers 0 dans le deuxième cas, puisque le terme de pénalité ne diverge
pas. AIC n’est donc pas consistant pour la dimension. Cependant, AIC a d’autres propriétés
intéressantes. Rappelons que ce critère a pour objectif de minimiser l’espérance de la distance
KL :
[ ∫ ( ) ]
f 0 (y)
M AIC = arg min E ln
M g∈{M 1 ,...,M m} Y f Mg (y, ˆψ
f 0 (y)dy
g )
(
[ ∫ (
= arg min ˆd KL (f 0 fMg (y, ¯ψ
) ])
g )
, M g ) + E ln
M g∈{M 1 ,...,M m}
Y f Mg (y, ˆψ
f 0 (y)dy ,
g )
avec ¯ψ g est la valeur de ψ g qui minimise la distance KL entre f 0 et f Mg (., ψ g ).
Dans cette dernière expression, le premier terme désigne le biais (distance du modèle M g à f 0 )
alors que le deuxième terme mesure la variance (difficulté d’estimer f Mg (y, ¯ψ g )). Le modèle
sélectionné par AIC réalise donc le meilleur compromis biais-variance parmi l’ensemble des
modèles, et est dit à ce titre efficace. Contrairement à ce qui est souvent dit, AIC dépend de
la taille d’échantillon n car il somme sur les échantillons la distance KL entre f 0 et f Mg (., ¯ψ g ).
114