Mélanges de GLMs et nombre de composantes : application ... - Scor

Chapitre 4. Sélection de mélange de GLMs
dominée, la continuité est assurée tant que la distribution f 0 n’a pas de queue trop épaisse
(voir section 4.3.3).
L’hypothèse (H2-A) signifie que l’ensemble Ψ b G
est discret, et que les paramètres que nous
considérons se situent toujours à une distance positive de cet ensemble. Elle est aussi garantie
sous l’hypothèse de compacité de Ψ G . En effet, ψ G ↦→ E f 0[ln L cc (ψ G ; Y )] atteint
son maximum sur l’espace Ψ G \{ψ G ∈ Ψ G : d(ψ G , Ψ b G
) > ɛ}. Cet espace est fermé et borné si
Ψ G est compact, donc le supremum est nécessairement inférieur à E f 0[ln L cc (ψG b )].
L’hypothèse (H3-A) est une hypothèse très forte, inspirée du théorème de Glivenko-Cantelli
pour les fonctions de répartition. Cette généralisation stipule la convergence uniforme de la
moyenne empirique de la log-vraisemblance classifiante conditionnelle vers son espérance mathématique,
et nécessite l’étude approfondie de la classe des fonctions considérées
(L cc ). Dans la suite, nous détaillons davantage cette hypothèse qui fait intervenir de nouvelles
notions de mesure de complexité.
Résultats auxiliaires fondamentaux Comme nous l’avons vu, la convergence presque
sûre du ML cc E vers le meilleur paramètre ne coule pas de source : en effet, elle nécessite de
démontrer un résultat de convergence uniforme. Afin de prouver cette convergence uniforme,
nous introduisons les notations suivantes :
– Soit r
{
∈ N ∗ ∪ {∞}, et g : R d → R. ‖g‖ r est la norme L r de g par rapport à f 0 ,
si r < ∞ : ‖g‖
avec
r = E f 0 [|g(Y )| r ] 1 r ;
sinon : ‖g‖ ∞ = ess sup Y ∼f 0|g(Y )| où ess sup Z∼P Z = inf{z : P(Z ≤ z) = 1}.
– Soit une application linéaire t : R K G
→ R.
‖t‖ ∞ est la norme usuelle sur un espace vectoriel normé : ‖t‖ ∞ =
– ∀ ˜Ψ G borné tel que ˜Ψ G ⊂ R K G, diam ˜Ψ G = sup
ψ 1 ,ψ 2 ∈ ˜Ψ G
‖ψ 1 − ψ 2 ‖ ∞ .
max
ψ G ∈R K G
t(ψ G )
.
‖ψ G ‖ ∞
Autant les hypothèses (H1-A) et (H2-A) apparaissent comme presque triviales si l’espace
des paramètres est compact, autant (H3-A) aurait besoin d’être explicitée en des termes plus
communs. Un certain nombre de résultats vont nous être utiles pour garantir cette hypothèse.
Le but de cette section est de présenter un ensemble de définitions et de lemmes qui permettront
de substituer (H3-A) par de nouvelles hypothèses, vérifiables de manière plus directe.
A ce titre, nous donnons la définition d’une classe de fonctions P-Glivenko Cantelli :
Définition. Une classe G de fonctions mesurables g : R d −→ R est P-Glivenko Cantelli si et
seulement si ∣∣∣∣∣∣ ∣ ∣∣∣∣∣
1
n
n∑
g(Y i ) − E [g(Y )]
:= sup
1
∣∣ g∈G ∣n
G
j=1
n∑
g(Y i ) − E [g(Y )]
∣ −→ 0
j=1
p.s.,
où Y 1 , ..., Y n est un échantillon de distribution P et l’espérance sur Y est prise par rapport à
la distribution P.
A la vue de cette définition, l’objectif est évident : prouver que la vraisemblance L cc est une
classe de fonctions P-Glivenko Cantelli nous permettrait de retrouver immédiatement (H3-A).
Pour démontrer cette propriété, nous introduisons la notion de “bracketing entropy” (Dudley
(1999)) :
126