Mélanges de GLMs et nombre de composantes : application ... - Scor

3.1. Formalisation de la théorie
satisfait, en général L c (ψ (k+1) ) − L c (ψ (k) ) plus petit qu’un certain seuil. Toutefois cette procédure
d’arrêt n’est pas toujours satisfaisante, c’est pourquoi Lindstrom and Bates (1988) et
Bohning et al. (1994) proposent une amélioration basée sur le critère d’accélération de Aitken.
Pour détecter la pertinence des estimations trouvées, il n’existe pas de méthode prédéfinie : la
solution consiste à regarder à la fois la valeur de la vraisemblance, les valeurs des π i estimées
et les matrices de covariance (voir les exemples p.100 de McLachlan and Peel (2000)).
La vitesse de convergence de l’algorithme EM dépend de la proportion d’information manquante
sur ψ, du fait que l’on observe seulement les réalisations de Y au lieu d’observer
conjointement Y et Z. Plus cette proportion est grande, plus l’algorithme est lent. Nous ne
discutons pas des variantes de l’EM qui permettent de contourner les problèmes de valeurs
initiales de l’algorithme, mais le lecteur intéressé trouvera des références intéressantes dans
McLachlan and Peel (2000).
3.1.4 Evaluation du nombre de composantes
L’évaluation du bon nombre de composantes d’un modèle mélange a toujours été difficile
et le problème n’est pas encore vraiment résolu. Les mélanges ont principalement deux
fonctions : fournir une classification basée sur une modélisation ; et définir une méthode semiparamétrique
permettant de modéliser des formes de distribution inconnues, comme une alternative
à la méthode des noyaux. Mais dans ces deux approches, comment choisir G ?
Nous avons pu constater la séparation du problème de l’évaluation de G et celui de l’estimation
des paramètres, dans le sens où l’on fixe d’abord G avant de lancer l’estimation. Nous faisons
cela pour plusieurs valeurs de G. L’usage commun pour trouver G est :
– de considérer des critères de sélection tels que le critère d’information de Akaike (AIC)
ou le Bayesian Information Criterion (BIC),
– de se servir du test du ratio de vraisemblance (LRT),
mais il existe aussi des techniques non-paramétriques, ou encore la méthode des moments,
l’approche basée sur le Kurtosis de la distribution... Les références à toutes ces techniques sont
disponibles dans l’ouvrage de McLachlan and Peel (2000). Nous ne discutons pas davantage
des critères AIC et BIC car leur présentation exhaustive suivra dans le chapitre 4.
En revanche nous souhaitons préciser (très succintement) en quoi consiste le LRT dans
le cadre des mélanges, sans pour autant entrer dans trop de détails. Ce test a pour but de
trouver la plus petite valeur convenable de G, avec comme hypothèses nulle et alternative :
[ H 0 : G = G 0 contre H 1 : G = G 1 ] , avec G 1 > G 0 .
En pratique nous prenons G 1 = G 0 + 1 et nous continuons d’ajouter des composantes tant
que l’accroissement de la valeur de la vraisemblance est substantiel. Soient ˆψ 1 l’estimateur par
maximum de vraisemblance (MLE) de ψ sous H 1 , et ˆψ 0 le MLE sous H 0 . Nous notons
−2 log λ = 2[log L( ˆψ 1 ) − log( ˆψ 0 )] = 2 log ˆψ 1
ˆψ 0
.
Si λ est suffisamment petit, ou si −2 log λ est suffisamment grand, il parait logique de pouvoir
rejeter H 0 . Malheureusement ici, nous ne connaissons pas la distribution nulle de −2 log λ
dans le cas général, car les conditions de régularité nécessaires (Cramér (1946)) aux résultats
asymptotiques du MLE ne sont pas satisfaites (voir Ghosh and Sen (1985)). Les travaux
pionniers de Wolfe (1971) justifient par exemple l’usage de la simulation pour calculer la p-
valeur de ce test. Plus globalement, ce problème complexe nécessite bien plus de détails :
75