Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
proches les unes des autres qui vont constituer une composante dont la covariance va tendre
vers 0, provoquant l’explosion de la vraisemblance et privilégiant cette solution à celle du
maximum global. Il faut alors par exemple fixer une borne inférieure sur la variance des
composantes. Concrètement, des résultats asymptotiques montrent que ce problème tend à
disparaitre lorsque n → +∞. Théoriquement, la difficulté majeure dans le cas de mélanges
gaussiens provient de la non-bornitude de la vraisemblance (ou sa dérivée) lorsque nous nous
plaçons aux frontières de notre espace des paramètres. D’où l’idée de considérer l’espace des
paramètres dans un ouvert, mais nous y reviendrons plus tard. La vraisemblance des densités
appartenant à l’ensemble M G vaut
∀ψ G ∈ Ψ G , L(ψ G ; y 1 , ..., y n ) = L(ψ G ) =
n∏
j=1 i=1
G∑
π i f N (y j ; θ i ).
Sachant que le maximum de vraisemblance préconise de choisir ˆψ G ∈ arg max L(ψ G ) comme
ψ G ∈Ψ G
meilleur estimateur des paramètres, nous concevons aisément qu’un problème se pose si
L(ψ G ) → +∞... Il faut donc restreindre l’espace des paramètres en supposant par exemple
qu’il est compact (Redner (1981)), ce qui permet de garantir a priori l’existence d’un tel estimateur.
La difficulté de considérer un tel espace est d’en choisir les nouvelles frontières, en
prenant le risque que la distribution théorique des données en devienne exclue (si tant est
qu’elle appartienne effectivement à la famille considérée !). Plusieurs propositions émergent
alors, dépendant essentiellement de la paramétrisation du modèle mélange en question (Baudry
(2009), p.29).
Revenons maintenant à l’algorithme EM de calibration du mélange : l’idée de cet algorithme
est de transformer le problème (en passant aux données complètes) dans le but de
simplifier l’étape d’optimisation. En effet, il est bien plus facile de maximiser une somme de
logarithmes que de maximiser le logarithme d’une somme. Mathématiquement, nous avions
∀ψ G ∈ Ψ G ,
L(ψ G ; y) =
n∏
j=1 i=1
G∑
π i f N (y j ; θ i ) qui devient L c (ψ G ; y, z) =
n∏
j=1 i=1
G∏
(π i f N (y j ; θ i )) z ij
.
Ainsi la log-vraisemblance à maximiser est ln L c (ψ G ) = ∑ n
j=1
∑ G
i=1 z ij ln (π i f N (y j ; θ i )).
Nous appelons cette quantité la log-vraisemblance complète : maximiser la log-vraisemblance
complète est équivalent (à un terme près) à maximiser la log-vraisemblance des données observées
y. Concrètement nous maximisons séparément et un à un le logarithme de chaque densité
gaussienne par rapport aux observations qui y sont assignées, ce qui est numériquement très
simple. Comme Z n’est pas observée, nous maximisons plus exactement E Z [ln L c (ψ; Y, Z)|Y ] ;
d’où l’étape E de l’algorithme EM (voir section 3.1.3 pour la description détaillée de l’algorithme).
Notion de classe : cluster ou composante ?
Nous voulons effectuer une classification non-supervisée à partir de notre modèle mélange.
A partir de cette observation, il est important de préciser ce que nous entendons par “classe” :
une “classe” est-elle une composante ? Un regroupement de composantes ? Qu’est-ce qu’un
cluster ? Généralement, un cluster est un regroupement visuel : il s’agit d’individus proches
les uns des autres d’un point de vue géométrique si nous les projetons dans un plan. Un cluster
118