Mélanges de GLMs et nombre de composantes : application ... - Scor

D.5. Mélange d’Inverses Gaussiennes
On a donc lim B = K ′ , et la dérivée de l’entropie explose puisqu’elle n’est pas dérivable
β i →+∞
en 0 (or lim b i = 0).
β i →+∞
⇒ Finalement, il vient
Calcul de la limite :
lim log L ∂ log L cc (ψ G ; y j )
cc(ψ G ; y j ) = K et lim
= +∞.
β i →+∞ β i →+∞ ∂β i
lim log L cc(ψ G ; y j )
β i →−∞
→ Tout d’abord, lim A i = +∞. Il faut donc regarder comment se comporte B i pour être
β i →−∞
fixé sur une éventuelle forme indéterminée dans la limite de la log-vraisemblance classifiante
conditionnelle.
→ La limite de B i débouche sur une forme indéterminée, que nous levons en écrivant le terme
b i différemment :
b i = 1 −
G∑ ⎢
π k exp ⎣ 1 σk
2
⎡
k=1
k≠i
Ainsi, lim b i = 1 ⇒
β i →−∞
Finalement
⎡
∑ G
k=1 π ⎢
k exp ⎣ 1 σk
2
⎛
⎜
⎝− 1 2 σ2 k log(2πσ2 k y3 j ) − 1 2
⎛
⎜
⎝− 1 2 σ2 k log(2πσ2 k y3 j ) − 1 2
lim B i = 0. Nous avons donc
β i →−∞
lim log L cc(ψ G ; y j ) = +∞.
β i →−∞
(
y j −
√
1
y j
X j β k
X j β k
) 2
(
y j −
√
1
y j
X j β k
lim B = K.
β i →−∞
X j β k
) 2
⎞⎤
⎟⎥
⎠⎦
⎞⎤.
⎟⎥
⎠⎦
Calcul de la limite :
lim log L cc (ψ G ; y j )
σi 2→0+ → Premièrement, remarquons que
possible de reformuler A i pour éviter celle-ci, ce qui donne
⎡ ⎛
⎢
A i = π i exp ⎣ 1 σi
2
lim A i = 0 est une forme indéterminée. De ce fait il est
σi 2→0+ ⎜
⎝− 1 2 σ2 i log(2πσ 2 i y 3 j ) − 1 2
(
y j −
√
1
y j
X j β i
X j β i
) 2
⎞⎤
⎟⎥
⎠⎦ .
Dans cette expression, il est relativement immédiat que deux cas se distinguent :
⎧ y j
⎪⎨ si > 0 alors lim A i = 0,
X j β i σi 2
y →0 j ⎪⎩ si < 0 alors lim A i = +∞.
X j β i σi 2→0 → Reste donc à vérifier que la limite de B i diverge dans le premier cas et converge dans le
deuxième pour éviter une nouvelle forme indéterminée. En reprenant le précédent développement
de b i , nous trouvons :
2→0 σi 2
⎧ y j
⎪⎨ si > 0 alors lim b i = +∞ ⇒ lim B i = +∞,
X j β i σi y →0 j ⎪⎩ si < 0 alors lim b i = 1 ⇒ lim B i = 0.
X j β i σi 2→0 σi 2→0 233