Mélanges de GLMs et nombre de composantes : application ... - Scor

4.1. Théorie de l’information et sélection de modèle
Le critère BIC
La plupart des publications utilisent le critère BIC comme critère de sélection de modèle.
Dans le domaine de la médecine par exemple, Mun et al. (2008) sélectionnent par BIC un
mélange gaussien multivarié pour modéliser le risque d’une prise abusive d’alcool en fonction
de certains facteurs environnementaux. Nous suivons dans ce paragraphe les excellentes présentations
de Raftery (1994) et Lebarbier and Mary-Huard (2004) de l’article à l’origine du
critère BIC (Schwarz (1978)).
Dans un contexte bayésien nous considérons les modèles M g et les paramètres ψ g comme
des variables aléatoires. Ils admettent donc des distributions a priori, respectivement P (M g ) et
P (ψ g |M g ), ce qui serait utile pour intégrer des informations particulières que nous connaîtrions
au préalable (bien que souvent P (M g ) soit non-informative, c’est à dire uniforme). De toute
façon cette information n’apparaît pas dans la composition finale du critère BIC, pour des
raisons d’approximation asymptotique.
Le modèle M g sélectionné par BIC maximise la probabilité a posteriori P (M g |Y ), d’où :
M BIC =
arg max P (M g |Y ).
M g∈{M 1 ,...,M m}
BIC cherche donc à sélectionner le modèle le plus probable au vu des données.
D’après la formule de Bayes, nous avons :
P (M g |Y ) = P (Y |M g)P (M g )
.
P (Y )
La loi a priori des modèles M g est supposée non-informative : P (M 1 ) = P (M 2 ) = ... =
P (M m ). Nous réalisons donc qu’il suffit de calculer P (Y |M g ) pour effectuer notre choix. Ainsi
par la formule des probabilités totales, il vient
∫
P (Y |M g ) = P (Y, ψ g |M g )dψ g
ψ
∫
g
= P (Y |ψ g , M g )P (ψ g |M g )dψ g (Bayes)
ψ
∫
g
= f Mg (Y, ψ g )P (ψ g |M g )dψ g ,
ψ g
où f Mg (Y, θ g ) est la vraisemblance du modèle M g de paramètre ψ g . Cette intégrale peut
s’exprimer sous la forme
P (Y |M g ) =
∫
e f(ψg) dψ g
ψ g
, où f(ψ g ) = ln(f Mg (Y, ψ g )P (ψ g |M g )).
Cette formule nous fait naturellement penser à celle de la transformée de Laplace, d’où l’utilisation
de la méthode d’approximation de Laplace pour calculer cette probabilité.
Proposition 6. (Approximation de Laplace). Soit une fonction L : R d → R telle que L est
C 2 sur R d et atteint un unique maximum sur R d en u ⋆ . Alors
∫
R
( ) d
e nL(u) du = e nL(u⋆ ) 2π 2 ′′
‖−L (u ⋆ )‖ − 1 2 + O(n −1 )
n
111