Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
d’une loi théorique de densité f 0 (inconnue). Le critère BIC, que nous utilisons au chapitre 3
comme critère de sélection de modèle, est connu pour ses propriétés de convergence vers cette
loi théorique. Cependant seul un de nos deux objectifs est visé par ce critère, notre étude
suggérant d’autre part une éventuelle surestimation du nombre de composantes des mélanges
dans certains cas (ex. : les composantes 2, 4 et 5 pour les produits Ahorro, annexe C.2.4).
Dans l’optique où nous voudrions comprendre quels sont les grands types de réaction des assurés
face à un changement de contexte économique ou une modification contractuelle, nous
devons les classer selon des comportements bien différenciés. L’idée d’utiliser les modèles mélanges
comme outil pour la classification non-supervisée n’est pas nouvelle, et certains des
avantages de cette méthode sont notamment résumés dans Biernacki (2009). Afin de tirer
au mieux parti de ce type de modélisation, il est nécessaire de s’attarder sur la question de
sélection de modèle et donc indirectement sur le choix du nombre de composantes du mélange.
Après quelques rappels sur les notions essentielles de la théorie de l’information et du
maximum de vraisemblance, ce chapitre développe l’étude théorique et pratique du critère de
sélection ICL (Integrated Classification Likelihood) dans le cadre des mélanges de modèles
linéaires généralisés (GLM). Ce critère, qui semble avoir été introduit à la fin des années 1990
dans l’article de Biernacki and Govaert (1997), se révèle être particulièrement bien adapté à la
classification par modèle mélange. En particulier, nous démontrons les propriétés de convergence
du critère ICL pour des mélanges de GLM sous certaines conditions. Pour ce faire nous
présentons un nouvel estimateur, le maximum de vraisemblance classifiante conditionnelle,
défini pour la première fois dans Baudry et al. (2008). La régression logistique faisant partie
des modèles GLM, nos résultats théoriques seront directement applicables dans le contexte de
notre étude opérationnelle.
4.1 Théorie de l’information et sélection de modèle
La question de sélection de modèle est un problème classique de statistique qui a été largement
étudié par la communauté scientifique. Ce problème vient du fait que l’inférence pour
l’estimation d’un modèle paramètrique nous amène très fréquemment à considérer non pas un
modèle en particulier mais un ensemble de modèles. Naturellement, l’étape suivante consiste
à faire un choix parmi ces modèles sur la base d’une argumentation rigoureuse, basée dans
la littérature sur la théorie de l’information. Les statisticiens ont principalement développé
des méthodes de minimisation de critère d’information pénalisé : c’est ainsi qu’apparaissent
parmi bien d’autres les plus célèbres AIC (Akaike Information Criterion, Akaike (1973)), C p
de Mallows dans le contexte de la régression par moindres carrés (Mallows (1974)), et BIC
(Bayesian Information Criterion, Schwarz (1978)) dans un contexte bayésien. Ces critères, très
largement diffusés, font toutefois appel à des hypothèses et des justifications théoriques bien
souvent omises dans la plupart des applications. Nous nous proposons donc de reformaliser
leur construction et le contexte de leur utilisation, basée sur l’estimation par maximum de
vraisemblance. La compréhension des notions phares qu’ils sous-tendent sera un élément-clef
de la définition et de l’étude théorique du nouveau critère développé en section 4.2.3.
4.1.1 Distance de Kullback-Leibler
Il y a un bon demi siècle, Kullback and Leibler (1951) introduisent la distance de Kullback-
Leibler (notée distance KL dans la suite) comme mesure de la proximité entre deux distributions
de probabilité. Ils s’intéressent à la question de discrimination statistique entre deux
104