Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
La démonstration de ce lemme repose sur l’utilisation du théorème des accroissements finis
(TAF) qui nous permet d’encadrer la log-vraisemblance L cc , et l’hypothèse de convexité de
l’espace des paramètres qui nous permet de construire la grille de pas ɛ. En effet, en nous
plaçant dans le plan pour plus de facilité, le TAF garantit qu’il existe un point sur l’intervalle
ouvert considéré pour lequel la dérivée est égale à la pente entre les extrémités de ce même
intervalle. En prenant le supremum de cette dérivée, l’inégalité est immédiate. Nous utilisons
dans la démonstration un ensemble ˜Ψ G borné avec ˜Ψ G ∈ Ψ G : cela ne pose aucun problème car
nous utiliserons ce lemme localement autour de ψG b (cf démonstration du théorème 4). D’autre
part, il n’y aucune raison pour que l’hypothèse de convexité soit vraie en toute généralité
pour l’espace des paramètres. Nous avons d’ailleurs souvent parlé précédemment d’espace de
paramètres compact, car la compacité est une propriété très intéressante lors de l’étude de
fonctions continues (comme le sont les densités des lois continues que nous manipulons). Il
apparait donc utile d’étendre ce résultat en proposant le lemme suivant.
Lemme 3. (Bracketing entropy, cas compact).
Soit r ∈ N ∗ . Soient K G ∈ N ∗ et Ψ G ⊂ R K G
un ensemble compact.
Soit Ψ O G un ouvert de RK G
tel que Ψ G ⊂ Ψ O G et ln L cc : Ψ O G × Rd −→ R.
La fonction ψ ∈ Ψ O G ↦→ ln L cc(ψ; y) est supposée C 1 (f 0 -presque partout) sur Ψ O G .
Supposons que
( )
L ′ ∂ ln Lcc
(y) = sup
< ∞ f 0 dλ − p.s.,
ψ∈Ψ O ∣∣
∂ψ
G
(ψ;y)
∣∣ ∞
[
‖L ′ ‖ r = E f 0 L ′ (Y ) r] 1 r
< ∞;
Alors ∃Q ∈ N ∗ ,
(
∀ ˜Ψ G ⊂ Ψ G , ∀ɛ > 0, N [ ] (ɛ, {ln L cc (ψ) : ψ ∈ ˜Ψ
( ′
‖L ‖ r diam
G }, ‖.‖ r ) ≤ max Q
˜Ψ
)
)
G
KG
, 1 .
ɛ
Dans cette version, l’espace des paramètres est supposé être compact. Le prix d’une telle
hypothèse est l’apparition d’une constante Q qui mesure en fait la non-convexité de cet espace.
Q dépend typiquement de la géométrie de Θ (Q = 1 si Θ est convexe). Nous remarquons que
l’ensemble compact considéré est inclu dans un ouvert sur lequel la propriété sur le supremum
de la dérivée de la vraisemblance L cc est toujours valable.
Démonstration. Soient B 1 , ..., B Q un nombre fini de boules ouvertes qui permettent de couvrir
l’ensemble Ψ G , telles que ⋃ Q
q=1 B q ⊂ Ψ O G . En supposant que Ψ G est compact, nous avons toujours
ce résultat (propriété de Borel-Lebesgue). Ainsi (et en notant conv l’enveloppe convexe),
Ψ G =
Q⋃
(B q ∩ Ψ G ) ⊂
q=1
Q⋃
q=1
conv(B q ∩ Ψ G ).
( )
∀q, conv(B q ∩ Ψ G ) est convexe, et sup
∂ ln Lcc
∣∣
∂ψ
ψ G ∈conv(B q ∩ Ψ G )
(ψ;y)
∣∣ ≤ L ′ (y) car conv(B q ∩
∞
Ψ G ) ⊂ B q ⊂ Ψ O G . Nous appliquons alors le lemme 2 à (B q ∩ ˜Ψ G ) ⊂ conv(B q ∩ Ψ G ) et nous
129