Mélanges de GLMs et nombre de composantes : application ... - Scor

Présentation de la thèse
{ }
avec Ψ G ⊂ Π G × (R d ) 2G yθi − b(θ i )
, et f glm (y; θ i , φ i ) = exp
+ c(y; φ i ) .
a(φ i )
Par l’étude des propriétés de la vraisemblance classifiante conditionnelle ainsi que celles des
lois de la famille exponentielle qui interviennent dans les modèles GLM, nous prouvons la
convergence forte de l’estimateur ML cc E vers l’oracle, meilleur paramètre théorique pour
l’optimisation de la vraisemblance classifiante conditionnelle avec des mélanges. Les conditions
nécessaires à ces résultats sont des conditions de régularité sur la log-vraisemblance
classifiante conditionnelle, couplées à des conditions de compacité et/ou convexité sur l’espace
des paramètres Ψ G . Il s’ensuit le théorème de convergence suivant (les notations sont
introduites dans les chapitres) :
Théorème 1. Plaçons nous dans l’ensemble de modèles M G .
Soit l’espace des paramètres Ψ G de dimension K G , tel que Ψ G ⊂ R K G.
Soit log L cc : Ψ G × R d → R. Soit Ψ O G un ouvert de RK G
sur lequel log L cc est bien définie, et
tel que Ψ G ⊂ Ψ O G .
Si nous avons les trois hypothèses suivantes :
Alors,
(H1-B) : Supposons Ψ G compact. Alors Ψ b G = ψG b : ψG b = arg max E f 0 [log L cc (ψ G ; Y )]
ψ G ∈Ψ G ( (H2-B) : Supposons que L ′ ∂ log Lcc
(y) = sup
< ∞.
ψ G ∈Ψ O ∣∣
∂ψ G
G
)(ψ G ;y)
∣∣ ∞
(H3-B) : Supposons également que ‖L ′ ‖ 1 < ∞.
∃n 0 ∈ N, ∀n ≥ n 0 , ∀ψG b ∈ Ψb G , en définissant ˆψML ccE
G
=
G
(Y 1 , ..., Y n ) ∈ Ψ G un
estimateur qui maximise presque la vraisemblance classifiante conditionnelle tel que
1
n log L cc(
{
ˆψ
MLccE
MLccE ˆψ
G
; Y ) ≥ 1 n log L cc(ψG; b Y ) − ξ n
}
.
avec
{
ξn ≥ 0 p.s.
ξ n −→
n→∞
0 p.s.
, nous avons d(
MLccE ˆψ
G
, Ψ b G ) −→ 0 p.s.
n→∞
En ce qui concerne la problématique de sélection de modèle, nous nous intéressons au
critère de sélection ICL, taillé sur mesure pour la question de classification et défini initialement
comme
M ICL =
arg min
M g∈{M 1 ,...,M m}
⎛
⎝− log L(
MLE ˆψ g ; y) −
n∑
g∑
j=1 i=1
Ẑ MAP
ij
log τ i (y j ;
⎞
MLE ˆψ g ) + K g
2 log n ⎠ ,
où les M g sont des modèles mélanges emboîtés (un mélange à deux composantes est emboîté
dans un mélange à trois composantes, et ainsi de suite).
Ce critère, qui n’était pas consistant pour l’estimation du nombre de composantes d’un mélange
lorsqu’il était basé sur l’estimateur du maximum de vraisemblance, le devient sous certaines
conditions en utilisant l’estimateur ML cc E. Nous démontrons ainsi que le critère ICL appliqué
16