Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Evidemment, cette relation reste vraie en toute généralité : nous sommes ici dans le cas de
mélanges gaussiens car nous présenterons les idées sous cet angle pour en faciliter la compréhension,
mais nous travaillerons ensuite avec des mélanges de GLMs.
Le terme d’entropie
Le terme qui lie les deux vraisemblances est très proche de ce que l’on appelle couramment
l’entropie. Initialement, la fonction d’entropie est définie comme suit :
∀ψ G ∈ Ψ G , ∀y j ∈ R d , Ent(ψ G ; y j ) = −
G∑
τ i (y j ; ψ G ) ln τ i (y j ; ψ G ).
Ainsi nous réalisons que cette fonction résulte de l’espérance de la variable aléatoire Z (non
observée) prise dans le deuxième membre de (4.8). D’où le nom et la définition de la vraisemblance
classifiante conditionnelle :
ln L cc (ψ G ; Y ) = E Z [ln L c (ψ G ; Y, Z)]
=
n∑ G∑
ln L(ψ G ; Y ) + E Z [Z ij |Y j ] ln τ i (Y j ; ψ G )
avec Ent(ψ G ; Y ) = ∑ n
j=1 Ent(ψ G; Y j ).
i=1
j=1 i=1
= ln L(ψ G ; Y ) − Ent(ψ G ; Y ), (4.9)
Voyons maintenant le comportement de la fonction d’entropie avec des antécédents τ i qui ne
sont rien d’autre que des probabilités. L’objectif est d’étudier
Ent : [0, 1] G → R
τ = (τ 1 , ..., τ G ) → Ent(τ) = − ∑ G
i=1 τ i ln τ i
Si nous traçons le graphe de cette fonction en supposant qu’il y a deux composantes dans le
mélange (toujours sous la contrainte sur Π G ), nous obtenons la figure 4.1. L’interprétation en
est relativement simple : l’entropie est maximale en cas d’équiprobabilité, et minimale lorsque
la probabilité d’être dans l’une ou l’autre des classes vaut 1. Ce terme peut être vu comme
une pénalisation de la vraisemblance observée, comme le montre l’équation (4.9). Ainsi, plus
la probabilité de classer une observation dans l’un ou l’autre des groupes est équirépartie, plus
la pénalité est grande. Nous pénalisons donc fortement un manque de confiance lors de la
classification via la règle MAP (après calibration du mélange). Au contraire, si les probabilités
a posteriori de classer les observations dans telle ou telle composante tendent vers 0 ou 1, alors
la pénalisation est minime. La vraisemblance classifiante conditionnelle est donc quasiment
équivalente à la vraisemblance des données observées lorsque l’information disponible dans
l’échantillon permet de construire un mélange dans lequel les observations sont clairement
affectées aux composantes. Notons d’ailleurs que dans le cas d’homogénéité (1 composante),
ces deux vraisemblances sont identiques.
Remarquez l’analogie avec la méthode CART développée au chapitre 1 : il est très intéressant
de constater que la fonction d’entropie correspond précisément à la mesure d’hétérogénéité de
l’échantillon définie par la fonction d’impureté dans CART (l’index de Gini) ! Nous ne sommes
donc pas étonnés d’une telle interprétation, puisque ces idées sont totalement concordantes.
120