Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 3. Mélange de régressions logistiques
Etape espérance Traitement de la donnée z j non observable par l’espérance conditionnelle
de log L c (ψ; y), sachant ce que nous observons y. Soit ψ(0) la valeur initiale de ψ. Nous
calculons
Q(ψ, ψ (0) ) = E ψ (0)[log L c (ψ) | y],
or log L c (ψ) est linéaire en z ij , donc l’étape espérance requiert uniquement le calcul de
E[Z ij | y]. Nous avons
E ψ (k)[Z ij | y] = P ψ (k)(Z ij = 1 | y) = τ i (y j ; ψ (k) ), (3.4)
avec τ i la probabilité a posteriori à l’étape k d’appartenir à la composante i. En injectant (3.4)
dans (3.3), nous pouvons calculer à l’étape (k + 1) l’expression de Q :
Q(ψ, ψ (k) ) =
Q(ψ, ψ (k) ) =
n∑ G∑
E[Z ij | y] × [log π i + log f i (y j ; θ i )],
j=1 i=1
n∑
j=1 i=1
G∑
τ i (y j ; ψ (k) ) [log π i + log f i (y j ; θ i )], (3.5)
avec grâce à (3.1.1),
τ i (y j ; ψ (k) ) = π (k) f i (y j ; θ (k)
i
)
i
f(y j ; ψ (k) ) = π(k) i
f i (y j ; θ (k)
i
)
∑ G
h=1 π(k) h
f h(y j ; θ (k)
h ).
Etape maximisation A l’étape k + 1, nous voulons maximiser globalement Q(ψ, ψ (k) ) par
rapport à ψ sur Ψ, pour donner une estimation ψ (k+1) . Dans le cas des mélanges finis, nous
estimons séparément les proportions et les densités composantes. Il vient :
⎧
⎪⎨ π (k+1)
i
= 1 ∑ n
n j=1 τ i(y j ; ψ (k) ) : moyenne empirique des probabilités a posteriori,
⎪⎩ ξ (k+1) est obtenu en résolvant ∑ n ∑ G
j=1 i=1 τ i(y j ; ψ (k) ) δ log f i(y j ; θ i )
= 0.
δξ
La propriété de d’accroissement monotone de la vraisemblance des données complètes Q(ψ, ψ (k) )
à chaque étape garantit la convergence de la vraisemblance vers une valeur stationnaire (maximum
local ou global). En effet, en notant L la vraisemblance d’un modèle mélange, on a :
Theorem 3.1.1. (Propriété fondamentale de l’algorithme EM).
∀ψ, ψ ′ ∈ Ψ
Q(ψ ′ , ψ) ≥ Q(ψ, ψ) ⇒ L(ψ ′ ) ≥ L(ψ),
avec égalité si et seulement si Q(ψ ′ , ψ) = Q(ψ, ψ) et τ i (y; ψ) = τ i (y; ψ ′ ) pour tout i et presque
tout x.
La log-vraisemblance observée étant la log-vraisemblance des données complètes moins un
terme toujours négatif d’après l’inégalité de Jensen, le même résultat de convergence est applicable
pour les données observées.
Nous répétons successivement ces étapes jusqu’à ce que le critère d’arrêt de l’algorithme soit
74