Mélanges de GLMs et nombre de composantes : application ... - Scor

4.1. Théorie de l’information et sélection de modèle
échantillons, et la motivation de leur travail est de définir une “distance” ou “divergence” entre
deux populations statistiques en termes de mesure d’information. Pour cela, les auteurs supposent
donnés deux espaces probabilisés (Y, Y, ν i ), i = 1, 2 ; tels qu’il existe une mesure de
probabilité dominante notée λ. D’après le théorème de Radom-Nikodym, il existe des densités
uniques f i , i = 1, 2, λ-mesurables avec 0 < f i (y) < ∞ [λ], telles que pour i = 1, 2,
∫
ν i (E) = f i (y)dλ(y), ∀E ∈ Y.
E
En notant H i (i = 1, 2) l’hypothèse selon laquelle l’observation y est issue de la population
dont la mesure de probabilité est ν i , ils définissent “ln f 1(y)
” comme l’information de y pour la
f 2 (y)
discrimination entre H 1 et H 2 . C’est ainsi qu’est créée la “distance” KL, résumé de l’information
moyenne d’une observation pour la discrimination entre H 1 et H 2 :
∫
d KL = I(1 : 2) = I 1:2 (Y ) = dν 1 (y) ln f ∫
1(y)
f 2 (y) = f 1 (y) ln f 1(y)
f 2 (y) dλ(y).
Kullback and Leibler (1951) soulignent également le lien entre leur mesure et l’information de
Fisher par l’introduction de la “divergence”. En réalité cette mesure de Kullback-Leibler n’est
pas une distance (elle ne satisfait pas toutes les propriétés d’une distance), mais elle permet
de mesurer la différence d’information entre deux populations et a d’intéressantes propriétés.
Notamment,
Lemme 1. I(1 : 2) est presque partout définie positive, donc I(1 : 2) ≥ 0 avec égalité si et
seulement si f 1 (y) = f 2 (y) [λ].
Démonstration. La preuve est consultable dans l’article d’origine, Kullback and Leibler (1951).
Dans les paragraphes à venir, nous montrons l’importance du lien entre la distance KL et la
théorie du maximum de vraisemblance, qui repose finalement sur cette mesure de l’information.
Beaucoup d’autres travaux utilisent également cette théorie, dont le critère de sélection de
modèle AIC que nous détailllons au 4.1.3.
4.1.2 Estimateur du maximum de vraisemblance (MLE)
L’estimation par maximum de vraisemblance repose sur certaines justifications dont il est
indispensable d’avoir conscience. Ces justifications, souvent écartées par ses très nombreux
utilisateurs, s’imposent pourtant comme la base théorique à de nouveaux développements
potentiels. Nous proposons ici de revenir sur les conditions qui garantissent dans un cadre
paramétrique la convergence de l’estimateur du maximum de vraisemblance vers le paramètre
théorique à estimer. Notre objectif est de se familiariser avec ces notions, avant de présenter
la définition d’un nouvel estimateur qui se révéle plus adapté dans notre contexte, et dont les
propriétés de convergence sont prouvées dans le champ de notre étude.
Notations
Nous notons dans le reste du chapitre f(y; ψ) la densité de la famille paramétrique considérée
pour modéliser les données Y. Notons f 0 (y) la densité théorique de Y, inconnue et
105