Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
correspondant au modèle paramétrique sous-jacent à Y. Nous y associons ψ 0 son paramètre
théorique. Lorsque le modèle est correctement spécifié (la densité théorique appartient à la
famille paramétrique étudiée), f 0 (y) = f(y; ψ 0 ). Dans le cas contraire, on dira que f(y; ψ 0 )
est le quasi-vrai modèle.
Convergence de l’estimateur MLE
A la suite des travaux de Doob (1934) et Cramér (1946), Wald (1949) étudie la convergence
de l’estimateur du maximum de vraisemblance pour des distributions de probabilité dépendant
d’un unique paramètre. Il formule huit hypothèses (en fait 7 car la dernière est une implication
d’une des sept premières) qui permettent d’aboutir aux propriétés de convergence de cet estimateur
vers le paramètre théorique de la distribution des données. Néanmoins l’ensemble de
ses résultats reposent sur l’hypothèse que le modèle a été correctement spécifié. C’est le point
de départ d’une période de recherche intense dans ce domaine, qui aboutit notamment aux
travaux de Redner (1981) et Nishii (1988) dans le contexte des mélanges. Le premier cité étend
les résultats de Wald (1949) au cas où la distribution théorique des données est représentée
par plus d’un paramètre, incluant ainsi les distributions qui souffrent du problème d’identifiabilité.
Il prend l’exemple des modèles mélange et démontre la convergence de l’estimateur
du maximum de vraisemblance lorsque l’espace des paramètres est supposé compact, ce qui
permet de garantir l’existence d’un tel estimateur. Redner suppose à quelques différences près
les mêmes hypothèses que Wald (1949) (sans les hypothèses 1 et 8 mais en en introduisant
une nouvelle).
Nishii (1988) se concentre sur le fait que le modèle théorique est inconnu de l’observateur, ce
qui augmente considérablement les chances de mauvaise spécification du modèle. Dans un tel
cadre, a-t-on toujours les mêmes propriétés ? Il montre la convergence forte de l’estimateur
du maximum de vraisemblance vers le paramètre théorique en montrant que maximiser la
vraisemblance revient à minimiser la distance KL entre la quasi-vraie distribution et la famille
paramétrique considérée (voir son exemple p. 393-394). Nishii (1988) suppose pour cela que
l’espace des paramètres est convexe et adopte une approche différente de Wald (1949). Dans
sa preuve, il formule essentiellement des hypothèses sur la dérivabilité et l’intégrabilité de la
fonction de vraisemblance, ce qui lui permet de prouver cette convergence par un développement
de Taylor. Nous verrons qu’un parallèle évident pourra être fait entre les hypothèses que
nous formulerons pour nos résultats et celles de Nishii (1988) (section 2).
4.1.3 Critères de sélection pénalisés
Rappelons que Y = (Y 1 , Y 2 , ..., Y n ) est un échantillon de n variables aléatoires continues
indépendantes, de densité inconnue f 0 . Nous désirons estimer f 0 , et disposons d’un ensemble
fini de m modèles au choix {M 1 , M 2 , ..., M m }. L’objectif d’un critère de sélection est donc de
trouver le meilleur modèle parmi cet ensemble. Nous nous plaçons dans un cadre paramétrique
(comme c’est le cas tout au long de la thèse) où chaque modèle M g (g ∈ 1, m) de dimension
K g (nombre de paramètres libres) correspond à une densité f Mg , avec pour paramètre ψ g . Soit
Ψ g l’espace de dimension K g , où ψ g ∈ Ψ g .
Un critère de vraisemblance pénalisée empêche la sélection d’un modèle sur la seule valeur
de la vraisemblance obtenue. En effet, celle-ci s’accroît logiquement lorsque le modèle
se complexifie, notamment lorsque les modèles considérés sont emboîtés (un mélange à deux
composantes est “emboîté” dans un mélange à trois composantes, une régression à p covariables
106