Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
où β i = (β i0 , β i1 , ..., β ip ) T et X j = (1, X j1 , X j2 , ..., X jp ).
En considérant un lien identité et une erreur gaussienne dans un modèle mélange de GLMs,
nous retombons sur le cas des mélanges gaussiens auxquels nous ajoutons une dépendance en
fonction de variables explicatives (par l’équation de régression). C’est tout l’intérêt de la
présentation des résultats sur mélanges gaussiens qui a été faite au préalable, et qui va nous
servir d’inspiration pour les résultats à venir. Cette densité de mélange nous permet d’exprimer
la vraisemblance classifiante conditionnelle pour les mélanges de régressions linéaires pour une
observation y j . Rappelons que
ln L cc (ψ G ; y j ) = ln L(ψ G ; y j ) +
(
)
G∑ π i f N (y j ; µ i , σi 2 ∑ )
G
k=1 π k f N (y j ; µ k , σk 2) ln π i f N (y j ; µ i , σi 2 ∑ )
G
k=1 π k f N (y j ; µ k , σk 2) .
i=1
D’où en développant
⎛
G∑
ln L cc (ψ G ; y j ) = ln ⎝
G∑
i=1
1
π i √
2πσi
2
G∑ 1
π k √
2πσk
2
k=1
i=1
(
exp − 1 2
(
exp − 1 2
1
π i √
2πσi
2
(
exp − 1 2
(y j − X j β i ) 2 ) ⎞ ⎠ +
σ 2 i
(y j − X j β i ) 2 ) ⎛
1
σi
2 π i √
2πσi
2
(y j − X j β k ) 2 ) ln
⎜ G∑ 1
⎝
σk
2 π k √
k=1 2πσk
2
(
exp − 1 2
(
exp − 1 2
(y j − X j β i ) 2 ) ⎞
σi
2 (y j − X j β k ) 2 )
.
⎟
⎠
σ 2 k
Clairement, les mêmes contraintes que celles sur les mélanges gaussiens doivent être imposées
: ces contraintes sur µ i et σ 2 i sont répercutables sur β i et σ 2 i , et donc aussi sur θ i et φ i .
L’annexe D.1.2 détaille les calculs des limites de L cc . Nous obtenons finalement que :
– la variance σ 2 i doit rester bornée, donc φ i doit également être bornée ;
– σ 2 i ne doit pas tendre vers 0, ce qui induit la même contrainte pour φ i ;
– les coefficients de régression β i des composantes doivent rester bornés (|β i | ≠ ∞). Sachant
que θ i = µ i = Xβ i , nous en déduisons que θ i doit aussi rester borné.
Pour résumer, il faut se placer dans un espace compact bien choisi pour assurer la bornitude
de la log-vraisemblance classifiante conditionnelle ainsi que de sa dérivée. Si les contraintes
sur les paramètres θ i et φ i se révèlent être relativement similaires après l’étude de toutes les
classes de GLMs, il sera ainsi possible de formuler des résultats généraux de convergence de
l’estimateur ML cc E pour cette grande famille.
Mélange de régressions de Poisson
Un autre choix de modélisation de l’erreur pourrait être une loi de Poisson lorsque nous
nous intéressons à des données de comptage. La loi de Poisson est à valeurs dans l’ensemble
des entiers naturels, et son paramètre µ appartient à l’ensemble des réels strictement positifs.
Le tableau 4.2 donne la correspondance entre le paramètre µ et les paramètres de tendance et
de dispersion de la famille exponentielle.
152