Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 3. Mélange de régressions logistiques
Grâce à la formule de Bayes, nous pouvons calculer la probabilité a posteriori d’appartenir
à telle ou telle composante du mélange :
τ i (y j ) = π i
f i (y j )
f(y j ) ,
pour i = 1, .., G et j = 1, ..., n.
En pratique nous estimons les π i par leur moyenne empirique (sauf au départ de l’algorithme
où ils sont fixés arbitrairement, cf section 3.1.3), i.e. ˆπ i = ∑ n
j=1 z ij/n où les z ij sont déterminés
par la règle du maximum a posteriori ; et les paramètres des composantes du mélange grâce
aux données qui y appartiennent.
Une formulation paramétrique d’un modèle mélange peut s’écrire de la manière suivante
f(y j ) = f(y j ; ψ) =
G∑
π i f i (y j ; θ i ), (3.2)
i=1
avec ψ = (π 1 , ..., π G−1 , ξ T ) T et ξ T = (θ1 T , ..., θT G
). Nous noterons Ψ l’espace des paramètres
de ψ. Faisons l’hypothèse que les composantes appartiennent à la même famille paramétrique
(mais ce n’est pas une généralité), et considérons une distribution mélangeante discrète H(θ)
définie par H(θ) = P (θ = θ i ) = π i pour i=1,...,G. Alors le modèle mélange se reécrit comme
∫
f(y j ; H) = f(y j ; θ)dH(θ).
Cette généralisation de l’écriture du mélange permet d’appréhender son expression avec une
mesure de probabilité plus générale pour H, qui peut être une loi continue (souvent une loi
Gamma (modèle Poisson-Gamma) ou une loi Beta (modèle Beta-Binomial)).
Il existe dans la littérature plusieurs techniques d’estimation de la distribution mélange : la
méthode graphique, la méthode des moments, la méthode des distances minimum, l’approche
bayésienne et le maximum de vraisemblance. Cette grande variété est due au fait que nous
n’avons pas de formules explicites pour les estimateurs, qui sont calculés itérativement par
divers algorithmes. D’autre part, la taille n de l’échantillon doit être relativement grande pour
garantir les propriétés asymptotiques des mélanges.
3.1.2 Identifiabilité
L’estimation de ψ sur la base des observations y j n’a de sens que si ψ est identifiable.
La définition de l’identifiabilité dans le cadre des mélanges diffère un peu du cas classique
dans la mesure où il y a la notion supplémentaire de composantes. Intuitivement, un modèle
est identifiable si des valeurs distinctes de ψ déterminent des membres distincts de la famille
paramétrique associée à ψ (il ne peut pas y avoir deux paramètres différents qui donnent
le même modèle à l’arrivée). Formellement, f(y j ; ψ) est une famille paramétrique de densité
identifiable dans le cadre classique si
f(y j ; ψ) = f(y j ; ψ ′ ) ⇔ ψ = ψ ′
Pour les mélanges, cette seule définition ne suffit pas car on peut avoir une classe de mélange
identifiable sans pour autant avoir identifiabilité sur ψ. Il suffit pour comprendre cela de
permuter les composantes d’appartenance (les “labels”), ce qui ne change pas la densité globale
72