Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
Avec ce théorème, nous contrôlons le supremum d’un processus empirique sur une certaine
classe de fonctions f grâce à des bornes supérieures sur les moments des fonctions dans F,
une grille qui couvre F, et donc le nombre de crochets nécessaires à une telle couverture. Ce
théorème lie grosso modo le supremum du processus empirique avec la complexité de la classe
de fonctions considérée. Nous ne démontrons pas ces résultats ici, mais le lecteur intéressé
pourra consulter l’ouvrage de Massart (2007). Grâce à ces résultats, nous pouvons maintenant
formuler le lemme suivant.
Lemme 8. Soit K g ∈ N ∗ et Ψ g ⊂ R Kg supposé convexe.
Soit Ψ O g un ouvert de R Kg tel que Ψ g ⊂ Ψ O g . Soit ln L cc : Ψ O g × R d −→ R.
Supposons que
- ψ g ∈ Ψ O g ↦→ ln L cc (ψ g ; y) est f 0 dλ - presque partout C 1 sur Ψ O g .
Soit ψg b ∈ Ψ g tel que E f 0[ln L cc (ψg; b Y )] = max E f 0[ln L cc (ψ g ; Y )].
ψ
⎧
g∈Ψ g
⎪⎨ L(y) = sup | ln L cc (ψ g ; y) | < ∞ f 0 dλ-p.s.,
ψ g∈Ψ g
- Supposons que
⎪⎩ ‖L‖ ∞ = ess sup L(Y ) < ∞.
Y ∼f
⎧
0 ∣∣ ∣∣∣∣ ∣∣∣∣ ( ⎪⎨
∂ ln
L ′ Lcc
(y) = sup
< ∞ f
- Supposons que
ψ g∈Ψ g
∂ψ g
)(ψ 0 dλ-p.s.,
g;y)
∣∣ ⎪⎩
∞
‖L ′ ‖ 2 = E f 0[L ′ (Y ) 2 ] 1 2 < ∞.
Alors ∃ α > 0 tel que ∀n, ∀β > 0, ∀η > 0,
( (
S n ln Lcc (ψ g ) − ln L cc (ψg) b )
)
P sup
ψ g∈Ψ g
‖ψ g − ψg‖ b 2 ∞ + β 2 ≤ h(L, L ′ , α, β, η, K g ) ≥ 1 − e −η
où h(L, L ′ , α, β, η, K g ) = α (‖L ′
β 2 ‖ 2 β √ nK g + (‖L‖ ∞ + ‖L ′ ‖ 2 β)K g + ‖L ′ √
)
‖ 2 nηβ + ‖L‖∞ η .
En réalité, ce résultat est la clef de l’hypothèse (H4-C) puisqu’il fournit un moyen de
contrôler la distance S n qui nous intéresse. Nous proposons ci-dessous une preuve de ce lemme
afin d’expliciter les étapes du raisonnement.
Démonstration. Vu que nous utilisons le lemme 7 et le théorème 8 dans cette démonstration,
nous devons normalement nous plier aux hypothèses qu’ils requièrent, à savoir que la
classe des fonctions de vraisemblance classifiante conditionnelle soit dénombrable. Néanmoins,
nous pourrions vérifier que ces résultats peuvent être appliqués à un sous-ensemble dense de
{ln L cc (ψ g ) : ψ g ∈ Ψ g } qui contienne ψ b g, ce qui permet ensuite de généraliser à l’espace entier.
Soit le processus empirique centré :
S n ln L cc (ψ g ; Y ) = n L n (ψ g ; Y ) − n E f 0[ln L cc (ψ g ; Y )]
=
n∑ (
ln Lcc (ψ g ; Y j ) − E f 0[ln L cc (ψ g ; Y )] )
j=1
Considérons une variable muette α ; et gardons en tête que toutes les probabilités et espérances
sont formulées sous f 0 dλ. Soit ψg b [
∈ Ψ g tel que E f 0 ln Lcc (ψg; b Y ) ] = sup E f 0 [ln L cc (ψ g ; Y )].
ψ g∈Ψ g
140