Mélanges de GLMs et nombre de composantes : application ... - Scor

4.3. Extension aux mélanges de GLMs
Notre objectif est d’étudier le comportement de la vraisemblance classifiante conditionnelle
pour chaque classe de fonction appartenant à la famille des GLMs. Les fonctions a(), b(),
et c() constituent également un intérêt certain dans le but de potentiellement identifier des
similitudes (entre les différents GLMs) sur les restrictions à imposer, afin de conserver de
bonnes propriétés pour la fonction de vraisemblance. A la fin de ce panorama, nous devons
être capables de formuler les contraintes à imposer sur l’espace des paramètres de chaque classe
de fonctions de la famille exponentielle, ainsi que sur les fonctions auxiliaires utilisées dans
la densité générale (4.23). Nos résutats sont exprimés pour une réponse Y unidimensionnelle
dans un but de simplification d’écriture, mais sont généralisables au cas où Y ∈ R d .
Mélange de régressions linéaires
La loi Normale fait partie de la famille exponentielle, et constitue à ce titre un choix
possible de modélisation de l’erreur dans un modèle linéaire généralisé. Le support de la loi
Normale est la droite des réels, et ses paramètres µ et σ 2 appartiennent respectivement à
l’ensemble des réels et aux réels strictement positifs. Ainsi, une variable aléatoire Y de loi
normale N (µ, σ 2 ), dont la densité vaut
f N (y; µ, σ 2 ) =
(
1
√ exp − 1 (y − µ) 2 )
2πσ 2 2 σ 2 ,
admet une représentation sous forme de famille exponentielle. En effet, en considérant que la
densité de Y est également donnée par
{ }
yθ − b(θ)
f(y; θ, φ) = exp
+ c(y, Φ) ,
a(Φ)
⎧
θ = µ, d’où l’ensemble de définition pour θ : θ ∈ R,
⎪⎨ b(θ) = θ2
avec
2 = µ2
2 , d’où b(θ) ∈ R+ ,
φ = a(φ) = σ 2 , d’où l’ensemble de définition pour φ : φ ∈ R +∗ ,
⎪⎩ c(y; φ) = − 1 ( )
y
2
2 σ 2 + ln 2πσ2 , d’où c(y; φ) ∈ R;
nous retrouvons après quelques calculs la densité originelle d’une gaussienne.
Lorsque nous travaillons avec des mélanges de régressions linéaires, la densité pour une
observation peut s’écrire sous la forme suivante (en reprenant nos notations) après quelques
calculs : ∀ψ G ∈ Ψ G ,
f(y j ; ψ G ) = L(ψ G ; y j ) =
=
=
G∑
π i f N (y j ; µ i , σi 2 )
i=1
G∑
i=1
G∑
i=1
1
π i √
2πσi
2
1
π i √
2πσi
2
(
exp − 1 2
(
exp − 1 2
(y j − µ i ) 2 )
σ 2 i
(y j − X j β i ) 2
σ 2 i
)
,
151