Mélanges de GLMs et nombre de composantes : application ... - Scor

4.1. Théorie de l’information et sélection de modèle
est “emboîtée” dans une régression à q covariables si p < q, ...). Il n’est donc pas optimal de
choisir son modèle sur la seule valeur de la vraisemblance puisque le modèle sélectionné sera
systématiquement le plus complexe. Par conséquent, un critère de vraisemblance pénalisée
classique est toujours de la forme
MLE
IC(K g ) = − ln L( ˆψ g ) + pen(K g ),
où K g est la dimension du modèle (sa complexité), ˆψMLE g est l’estimateur du maximum de
vraisemblance, et pen(K g ) la pénalité. Dans ce contexte, nous cherchons le modèle donné par
ˆK =
Conditions suffisantes de convergence
arg min IC(K g ).
K g∈{K 1 ,...,K m}
Nishii (1988), toujours dans le même article, déroule des propriétés de convergence du
modèle ˆM sélectionné (par ce type de critère d’information pénalisé) vers le modèle théorique
M 0 de Y. Pour cela, il suffit que la pénalité du critère satisfasse les deux conditions énoncées
dans le théorème qui suit.
Théorème 3. (Nishii). Soit ˆM un modèle sélectionné via un critère d’information de type
IC(K g ) = −2 ln L( ˆψ g ) + c n K g , où ˆψ g , L( ˆψ g ) et K g sont respectivement l’estimateur du quasimaximum
de vraisemblance, la quasi-vraisemblance et la dimension du modèle M g . Ainsi ˆM
minimise
IC(K g ) = − ln L( ˆψ g ) + c n K g ,
pour n observations et des modèles emboîtés M g = {M 1 , ..., M m } de dimension K g = {K 1 , ..., K m }
(par définition, un modèle est dit emboîté dans un autre s’il est un cas particulier de cet autre
modèle plus général). Si c n satisfait les deux conditions
1
lim
n→∞ n c c n
n = 0 et lim
n→∞ ln ln n = +∞,
Alors ˆM converge fortement vers le quasi-vrai modèle M 0 , donc lim
n→∞
ˆM = M 0 p.s.
La première condition garantit que le modèle sélectionné ne sous-estime pas le nombre
théorique de composantes, tandis que la deuxième sert à limiter la surestimation de ce même
nombre de composantes. En effet “c n négligeable devant n” permet de ne pas trop pénaliser
la vraisemblance quand n grandit, alors que “ln ln n négligeable devant c n ” provoque l’effet
inverse : il faut donc trouver un juste milieu dans le poids de la pénalité. Nishii montre
également des résultats de convergence faible en relaxant la deuxième hypothèse sur c n .
Nishii déduit de son étude que le critère AIC n’est pas consistant, alors que le critère BIC l’est
fortement. Nous présentons ci-dessous la construction de ces deux critères de vraisemblance
pénalisée afin de visualiser concrètement les raisons de leur convergence (ou non), ainsi que
leurs spécificités.
Le critère AIC
Nous nous appuyons dans ce paragraphe sur l’article d’origine, Akaike (1973), tout en reprenant
les notations introduites depuis le début du chapitre. Dans son papier Akaike relève
107