Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Epaisseur limite des queues de distribution
Nous avions fait remarquer lors de la discussion sur l’hypothèse (H1-A) que la queue de
distribution de f 0 ne doit pas s’avérer trop épaisse. En effet, l’intégrale paramétrique en ψ G
donnée par l’espérance (sous f 0 ) de la log-vraisemblance classifiante conditionnelle doit être
continue. Le théorème de convergence dominée permet de garantir une telle continuité sous
certaines conditions, en l’occurrence que la fonction sous l’intégrale soit bornée par une fonction
indépendante de ψ G qui soit elle-même intégrable. En des termes plus mathématiques, nous
voulons étudier E f 0 [ln L cc (ψ G , y)] donnée par ∫ Y ln L cc(ψ G , y)f 0 (y)dy.
L’objectif est donc de borner la fonction g(ψ G , y) = ln L cc (ψ G , y)f 0 (y) par une fonction h
telle que h = h(y) et h intégrable dans Y. Pour visualiser intuitivement ce résultat, nous
considérons le supremum en ψ G de la fonction ln L cc (qui ne dépend donc plus de ψ G ). Ce
supremum se comporte pour les grandes valeurs de y comme la vraisemblance ln L cc tant
que ψ G est compact. De plus, le terme d’entropie dans la vraisemblance L cc ne pose aucun
problème d’intégration dans le passage à l’espérance car nous avons toujours (grâce à la limite
lim
x→0 x ln x = 0) : ∀y ∈ R d , 0 ≤ Ent(ψ G ; y) ≤ ln G.
Nous allons donc considérer la vraisemblance des données observées dans ce raisonnement, sans
se soucier du comportement du terme entropique. A l’aide de ces deux remarques il devient
bien plus simple de trouver la fonction h, bien que les calculs soient longs et fastidieux. Nous
en donnons pour ainsi dire directement certains résultats, qui n’ont pas vocation à fournir la
fonction h la moins contraignante possible mais plutôt à donner une idée de la forme de la
queue de distribution limite.
( En pratique avec des mélanges de régressions linéaires, il suffit par exemple que f 0 (y) =
o 1
), ce qui est largement raisonnable en réalité si l’on pense à la densité gaussienne comme
y 3
loi qui sous-tend les données observées. Clairement cette loi a un comportement asymptotique
qui tend plus vite vers 0 en l’infini puisqu’il est en exponentielle. Pour le cas des régressions
de Poisson, le terme en factorielle pose problème : en effet la factorielle ( l’emporte ) sur l’exponentielle
en l’infini, ce qui suggère de prendre f 0 de la forme f 0 (y) = o 1
y!
. Cette densité est
en revanche beaucoup moins anodine et ne reflète en général pas la réalité, car la décroissance
de la queue de la densité se fait ici à une vitesse supérieure à une décroissance exponentielle !
Il en est de même lorsqu’on nous étudions les mélanges de régressions logistiques, à cause
du coefficient binomial qui comporte également un terme en factorielle (y!). A contrario, les
mélanges de régression Gamma, ainsi que les mélanges d’inverses gaussiennes, ne semblent
pas poser de souci quant à la queue de la densité inconnue f 0 . Respectivement, nous devrions
admettre que f 0 (y) = o( 1 y ), et que f 0 (y) = o( 1 ). Ces considérations sont tout à fait plausibles
y 2
au regard des densités usuelles d’observations que nous manipulons.
Convergence du ML cc E et consistance de ICL c , mélange de GLMs
Nous sommes maintenant en mesure d’expliciter le théorème de convergence de l’estimateur
par maximum de vraisemblance classifiante conditionnelle (qui est un M-estimateur) dans le
cadre des mélanges de GLMs. Ces hypothèses reposent effectivement sur des propriétés de
la fonction de vraisemblance classifiante conditionnelle et de sa dérivée, qui sont directement
vérifiables par calcul. Le nouveau théorème en question est le suivant :
158