Mélanges de GLMs et nombre de composantes : application ... - Scor

4.2. Sélection de modèle mélange
Définition. Soient r ∈ N ∗ , et l, u ∈ L r (P).
Le crochet [l, u] est l’ensemble des fonctions g ∈ G / ∀y ∈ R d , l(y) ≤ g(y) ≤ u(y).
[l, u] est un ɛ-crochet si ‖l − u‖ r = E [|l − u| r ] 1 r ≤ ɛ.
On note N [ ] (ɛ, G, L r (P)) le nombre minimal d’ɛ-crochets pour couvrir G.
L’entropie associée ou “bracketing entropy”, notée E [ ] (ɛ, G, L r (P)), correspond au logarithme de
N [ ] (ɛ, G, L r (P)).
En fait, la “bracketing entropy” est une mesure L r de la complexité de la classe de fonctions
G. Cette définition permet de se placer dans un cadre où contrôler les bornes du crochet revient
à contrôler les fonctions qui y appartiennent. Il existe un résultat de van der Vaart (1998) (dont
la preuve est au chapitre 19) qui stipule un lien entre la “bracketing entropy” d’un ensemble
lié à une classe de fonction et la propriété d’être P-Glivenko Cantelli pour cette même classe
de fonctions :
Théorème 5. Toute classe G de fonctions mesurables telles que E [ ] (ɛ, G, L 1 (P)) < ∞ pour
tout ɛ > 0 est P-Glivenko Cantelli.
Pour obtenir l’hypothèse de convergence uniforme presque sûre, nous allons donc considérer
la norme L 1 (P). Il suffit maintenant de trouver sous quelles conditions la classe des
fonctions définies par la vraisemblance classifiante conditionnelle des mélanges de GLMs a
une “bracketing entropy” finie, auquel cas nous détiendrons l’hypothèse (H3-A). Suivant les
propriétés de l’espace des paramètres, il existe deux lemmes qui amènent à un tel résultat.
Nous les présentons et en discutons ci-après. Dans toute la suite, la notation (∂ ln L cc / ∂ψ)
désigne le vecteur des dérivées partielles de la log-vraisemblance classifiante conditionnelle par
rapport à chacune des composantes du vecteur ψ.
Lemme 2. (Bracketing entropy, cas convexe).
Soit r ∈ N ∗ . Soient K G ∈ N ∗ et Ψ G ⊂ R K G
un ensemble convexe.
Soit Ψ O G un ouvert de RK G
tel que Ψ G ⊂ Ψ O G et ln L cc : Ψ O G × Rd −→ R.
La fonction ψ ∈ Ψ O G ↦→ ln L cc(ψ; y) est supposée C 1 (f 0 -presque partout) sur Ψ O G .
Supposons que
∣∣ ∣∣∣∣ ∣∣∣∣ ( )
L ′ ∂ ln Lcc
(y) = sup
< ∞ f 0 dλ − p.s.,
ψ∈Ψ G
∂ψ
(ψ;y)
∣∣ ∞
[
‖L ′ ‖ r = E f 0 L ′ (Y ) r] 1 r
< ∞;
Alors (avec ˜Ψ G borné)
∀ ˜Ψ G ⊂ Ψ G , ∀ɛ > 0, N [ ] (ɛ, {ln L cc (ψ) : ψ ∈ ˜Ψ G }, ‖.‖ r ) ≤ max
( (‖L ′
‖ r diam ˜Ψ
)
)
G
KG
, 1 .
ɛ
Nous retiendrons que dans le cas d’un espace de paramètres convexe, la “bracketing entropy”
reste bornée tant que certaines conditions de régularité sont satisfaites pour la dérivée de
la log-vraisemblance classifiante conditionnelle. Ce résultat s’inspire de la propriété de fonction
lipschitzienne énoncée dans van der Vaart (1998) (p. 271) et Baudry (2009) dans le cadre
général du contraste.
127