Mélanges de GLMs et nombre de composantes : application ... - Scor

Annexe D
Espace des paramètres des GLMs
D.1 Mélange de régressions linéaires
D.1.1
Décomposition de la log-vraisemblance L cc
La log-vraisemblance classifiante conditionnelle log L cc (ψ G ; y j ) peut s’écrire pour une observation
y j comme la somme de deux termes :
A
{ }} {
{
( G∑
( }} {
1
log L cc (ψ G ; y j ) = log π i √ exp − 1 (y j − X j β i ) 2 ) )
i=1 2πσi
2 2 σi
2 +
(
1
π i √ exp − 1 (y j − X j β i ) 2 ) ⎛
1
G∑ 2πσi
2 2 σi
2 π i √
2πσi
2
(
∑
i=1 G
k=1 π 1
k √ exp − 1 (y j − X j β k ) 2 ) log
⎜∑ ⎝ G
2πσk
2 2 σk
2 k=1 π 1
k
} {{ }
b i =A i / P k A k
A i
√
2πσ 2 k
(
exp − 1 2
(
exp − 1 2
(y j − X j β i ) 2 ) ⎞
σi
2 (y j − X j β k ) 2 )
.
⎟
⎠
} {{ }
}
B i =b i log b i
{{ }
B= P i B i
σ 2 k
D.1.2
Calcul des limites et des cas critiques
Etudions les limites de A et B (dans le cas unidimensionnel pour simplifier) dans les différentes
configurations possibles. Nous devons ainsi calculer et exprimer :
1. lim
π i →0 + log L cc(ψ G ; y j ) ;
2. lim log L cc(ψ G ; y j ) et lim log L cc(ψ G ; y j ) ;
β i →+∞ β i →−∞
3. lim log L cc (ψ G ; y j ) et lim log L cc (ψ G ; y j ).
σi 2→0+ σi 2→+∞ 225