Mélanges de GLMs et nombre de composantes : application ... - Scor

3.1. Formalisation de la théorie
En général, G est fini mais inconnu et doit donc être estimé inférentiellement à partir des
données. Les probabilités d’appartenance à tel ou tel groupe doivent être estimées en même
temps, de même que les densités f i (.) de chaque composante. Pour comprendre l’interprétation
de la modélisation par mélange, une bonne méthode consiste à essayer de le générer. Pour
simuler la variable Y j , nous définissons la variable Z j d’appartenance à une composante par
⎧
1 avec probabilité π 1 si l’individu j appartient au groupe 1,
⎪⎨
2 avec probabilité π 2 si l’individu j appartient au groupe 2,
Z j =
...
⎪⎩
G avec probabilité π G si l’individu j appartient au groupe G,
et la densité conditionnelle de Y j est donnée par f Yj |Z j =i(y j ) = f i (y j ). Nous pouvons donc
voir Z j comme le vecteur aléatoire Z j = (Z j1 , Z j2 , ..., Z jG ) T où
{
1 si la composante d’appartenance de Y j dans le mélange est la i e ,
Z ij = (Z j ) i =
0 sinon.
Ainsi, Z j suit une loi multinomiale et l’on note Z j ∼ Mult G (1, π) avec π = (π 1 , ..., π G ) T . Nous
avons donc
P (Z j = z j ) = π z 1j
1 ...πz Gj
G .
Les mélanges peuvent être vus comme une alternative entre un modèle complètement paramétrique
et un modèle non-paramétrique. Dans le cas non-paramétrique, nous retrouvons
l’estimateur à noyau de la densité en prenant G = n composantes (où n est le nombre d’observations),
des poids tous égaux π = 1/n et f i (y j ) = 1 h k( y j−y i
h
) où k(.) est une densité. A
l’inverse, si l’on fixe G = 1 composante, alors le modèle devient complètement paramétrique.
Nous nous intéressons dans la suite aux cas où G ∈ 1; n.
Nous l’avons dit en introduction : la multimodalité des données peut ne pas provenir d’un
mélange. Il est possible de détecter ceci par l’usage du test du ratio de vraisemblance, mais
la difficulté vient du fait que nous ne connaissons pas la distribution de la statistique de test
sous l’hypothèse nulle dans ce cadre-là. Nous utilisons alors une approche de reéchantillonage
qui permet d’obtenir une p-valeur de test sans connaître cette statistique (McLachlan and
Peel (2000), p.75). La clef pour l’estimation des paramètres d’un mélange est de reformaliser
le problème de données incomplètes sous forme d’un problème aux données complètes : en
effet, nous ne connaissons pas le groupe d’appartenance de chaque observation dans la réalité,
mais l’introduction de la variable Z j va nous permettre de mener directement l’estimation par
maximum de vraisemblance par l’algorithme espérance-maximisation (EM). Dans un contexte
bayésien (le nôtre est fréquentiste), cette vision du problème permet d’estimer les paramètres
par des méthodes de type MCMC (Monte Carlo Markov Chain).
En résumé, nous observons y = (y 1 , ..., y n ), réalisations de Y = (Y 1 , ..., Y n ) issues de la
même densité mélange donnée par (3.1). Ces observations sont i.i.d. et nous avons
Y 1 , ..., Y n ∼ F = F (Y j ).
⎛ ⎞
(y 1 , z 1 )
Les données complètes, notées y c , s’exprimeraient donc comme y c = ⎜(y 2 , z 2 )
⎟
⎝ ... ⎠ .
(y n , z n )
71