Cours de Statistique asymptotique

Cours de Statistique
asymptotique
1

Table des matières
1 Introduction to M-estimation 4
1.1 Density Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 A real example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Convergences en Statistique Asymptotique 7
2.1 Caractérisation de la convergence en loi et Théorème de l’image continue . . 7
2.2 Variables uniformément tendues . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Quelques rapports entre différents modes de convergences . . . . . . . . . . . 11
2.4 Les symboles o P et O P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Fonctions caractéristiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.6 Représentation presque sûre . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 La méthode Delta ou ∆-method 16
3.1 Le résultat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.1 Variance empirique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.2 Test sur la variance d’une loi normale . . . . . . . . . . . . . . . . . . 18
3.3 Stabilisation de la variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4 Développements à l’ordre supérieur . . . . . . . . . . . . . . . . . . . . . . . 19
4 Méthodes classiques d’estimation par la Méthode des moments 21
4.1 Principe d’estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.2 Intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5 Les M- et les Z-estimateurs 25
5.1 Définitions et exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Consistance des M- et Z-estimateurs . . . . . . . . . . . . . . . . . . . . . . 27
5.3 Normalité asymptotique des M- et Z-estimateurs . . . . . . . . . . . . . . . . 32
5.4 Maximum de vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.5 Entropie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
6 Ingalits uniformes de dviation (concentration) 42
6.1 Chebychev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.2 Hoeffding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.3 Bernstein . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.4 Symtrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
7 Annexes 43
7.1 Intégrale supérieure et probabilité extérieure . . . . . . . . . . . . . . . . . . 43
7.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
7.1.2 Intégrale supérieure . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
7.2 Processus empiriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2

7.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
7.2.2 Théorèmes de Glivenko-Cantelli et Donsker . . . . . . . . . . . . . . 46
7.2.3 Processus empirique indexé par des fonctions . . . . . . . . . . . . . . 46
7.2.4 Entropie et entropie à crochet . . . . . . . . . . . . . . . . . . . . . . 48
7.3 Symétrisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3.1 Espaces d’Orlicz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7.3.2 Glivenko-Cantelli et entropie sans crochet . . . . . . . . . . . . . . . 55
7.4 Conditions pour qu’une classe F soit Donsker. . . . . . . . . . . . . . . . . . 56
7.4.1 Utilisation de l’entropie sans crochet . . . . . . . . . . . . . . . . . . 56
3

1 Introduction to M-estimation
1.1 Density Estimation
X 1 , . . . , X n ∼ i.i.d p θ ∗
density with respect to Lebesgue measure λ on R. Empirical measure
n∑
P n = 1 n
i=1
δ Xi
Maximum Likelihood estimator
∫
ˆθ n = arg max
θ∈Θ
log p θ dP n
Note that Θ can be a set of parameters (parametric estimation) or an infinite set which is
hence a notation to the set of densities {p θ , θ ∈ Θ}.
Using the mere definition of the estimator we get
∑
log p θ ∗
≤ 0 (1)
i
To measure the distance between two densities, a common tool is Kullback distance defined
as
K(p θ , p θ ∗) = E log p θ
≥ 0, (2)
p θ ∗
thanks to Jensen’s Inequality.
Let g θ = log p θ ∗
p θ
, and using (1) we get
∫ ∫
0 ≥ dP gˆθn n = dP gˆθn n + K(pˆθ, p θ ∗) − K(pˆθ, p θ ∗)
Leading to
1
K(pˆθ, p θ ∗) ≤
∣n
i=1
pˆθ
n∑
(X (gˆθn i ) − (X Egˆθn i ))
∣ .
A Uniform Law of Large Number is needed since we want
P
sup(g θ (X i ) − Eg θ (X i )) −→ 0.
θ∈Θ
Another distance : Hellinger distance
h 2 (p θ , p θ ∗) = 1 ∫
( √ p θ − √ ∫
p θ ∗) 2 √pθ
dµ = 1 − p θ ∗dµ.
2
4

Lemme 1
h 2 (p θ , p θ ∗) ≤ 1 2 K(p θ, p θ ∗).
Proof:
The proof comes from the inequality
∀v > 0,
1
2 log v ≤ √ v − 1.
1.2 Regression Model
The model is the regression model :
Y i = g 0 (z i ) + W i , i = 1, . . . , n,
with g 0 ∈ G. Define the empirical norm P n = 1 n
∑ n
i=1 δ z i
and the corresponding scalar
product n . We consider the following M-estimator
Lemme 2
ĝ n = arg min ‖y − 1
g∈G g‖2 n = arg min
g∈G n
n∑
(Y i − g(z i )) 2 .
i=1
‖ĝ n − g 0 ‖ 2 n ≤ 2 < W, ĝ n − g 0 > n .
Our objective is to prove results of the following type
(
)
P sup | < W, g − g 0 > n | ≥ δ n −→ 0.
g∈G
In this case, the set G is said to satisfy the uniform law of large numbers.
1.3 A real example
X i = (Y i , Z i ) ∈ {0, 1} × N
where Y i = 1 if the individual i has a job (0 otherwise) while Z is the number of years of
study. The two random variables are linked by the following relation
Our aim is to estimate θ.
P(Y = 1|Z = z) = F (θ 0 z), F (x) = ex
1 + e x .
ˆθ = arg max ∑ i
p θ (Y i |Z i )
where p θ (y|z) is the conditional likelihood given by
∫
p θ (y|z) = F Y (θ 0 z)(1 − F (θ 0 z)) 1−Y =
p θ (y|z)dP n ,
5

with
Write
P n = 1 n
n∑
δ Xi .
i=1
l θ (y, z) = ∂ ∂θ log p θ(y|z)
= z(y − F (θ 0 z))
Note that
Set
El θ0 (Y, Z) = 0.
g θ = − l θ(y, z) − l θ0 (y, z)
θ − θ
{
0
z F (θz)−F (θ 0z)
θ−θ
=
0
if θ ≠ θ 0
z 2 F (θ 0 z)(1 − F (θ 0 z)) otherwise
Then using the definition of ˆθ we get
n∑
lˆθ(X i ) = 0
i=1
6

2 Convergences en Statistique Asymptotique
2.1 Caractérisation de la convergence en loi et Théorème de l’image
continue
Lemme 3 (Portmantau) Pour tous vecteurs aléatoires X n et X les conditions suivantes
sont équivalentes :
(i) P(X ( n ≤ x) ) → P(X ( ≤ x) ) en tout point de continuité de x ↦→ P(X ≤ x).
(ii) E f(X n ) → E f(X) pour toute fonction f continue bornée.
( ) ( )
(iii) E f(X n )
(
→ E f(X)
) (
pour toute fonction f Lipschitzienne bornée.
)
(iv) lim inf E f(X n ) ≥ E f(X)
( ) (
pour toute fonction f continue positive.
)
(v) lim inf P X n ∈ G
(
≥ P
)
X ∈ G
(
pour tout ouvert G.
)
(vi) lim sup P
(
X n ∈ F
)
≤ P
(
X ∈ F
)
pour tout fermé F .
( )
(vii) P ∈ B → P X ∈ B pour tout borélien B vérifant P X ∈ δB = 0, où
X n
δB = ¯B − ˚B.
Preuve :
(i) =⇒ (ii) On commence par supposer que la fonction de répartition de X est continue.
Alors (i) implique que pour tout rectangle fermé I, P(X n ∈ I) → P(X ∈ I).
Soit f une fonction continue bornée (par homogénéité on peut supposer que ‖f‖ ∞ = 1).
Soit ɛ > 0 fixé et I un rectangle fermé vérifiant P(X /∈ I) ≤ ɛ. Comme I est compact la
fonction f est uniformément continue sur I. Ainsi il existe η > 0 tel que |x − y| ≤ η =⇒
|f(x) − f(y)| ≤ ɛ, ∀(x, y) ∈ I 2 . Par compacité on peut recouvrir I par un nombre fini de
boules (I j ) j=1...p de rayon η de telle sorte que sur chaque I j , f varie au plus de ɛ.
On choisit un point x j dans chaque I j et on définit la fonction f ɛ := ∑ p
j=1 f(x j)1l Ij . Alors
sur I, ‖f − f ɛ ‖ ∞ ≤ ɛ.
( )
|E f(X n )
( )
− E f ɛ (X n )
( ) ( )
|E f ɛ (X n ) − E f ɛ (X) | ≤
( )
| ≤ ɛ + P X n /∈ I ,
p∑
)
∣
∣P
(X n ∈ I j
j=1
( ) ( ) ( )
|E f(X) − E f ɛ (X) | ≤ ɛ + P X /∈ I ≤ 2ɛ.
( )∣ ∣∣
− P X ∈ I j |f(xj )|,
( ) ( )
( )
Par hypothèse P X n /∈ I → P X /∈ I , ainsi pour n assez grand P X n /∈ I ≤ 2ɛ.
De même ∑ ( ) )
)
)
p
j=1 |P X n ∈ I j − P
(X ∈ I j ||f(x j )| ≤ p sup j |P
(X n ∈ I j − P
(X ∈ I j | ≤ ɛ.
Ce qui prouve le résultat lorsque la fonction de répartition de X est continue.
Dans le cas général, le nombre de points de discontinuités de la fonction de répartition est
au plus dénombrable, quitte à élargir un peu le rectangle I on peut supposer que la frontière
de I ne possède pas de points de discontinuités. De même quitte à rétrécir les boules, on
7

peut supposer que leurs frontières ne possèdent pas de points de discontinuités.
(ii) =⇒ (iii) est évident.
(ii) =⇒ (iv) Soit f une fonction continue positive. Soit M un réel positif, on définit la
fonction f M par f M (x) = inf(f(x), M). Cette fonction est continue positive et bornée par
M, de plus f M ≤ f. On a pour tout n, E ( f M (X n ) ) ≤ E ( f(X n ) ) . Par ii) le terme de gauche
converge vers E ( f M (X) ) . On en déduit que E ( f M (X) ) ≤ lim inf E ( f(X n ) ) . On conclut par
convergence monotone.
(iv) =⇒ (ii) Soit f une fonction continue bornée alors les fonctions f + ‖f‖ ∞ et ‖f‖ ∞ − f
sont continues positives. Par iv)
E ( f(X) ) + ‖f‖ ∞ ≤ lim inf E ( f(X n ) ) + ‖f‖ ∞ ,
‖f‖ ∞ − E ( f(X) ) ≤ ‖f‖ ∞ − lim sup E ( f(X n ) ) .
On en déduit que lim E ( f(X n ) ) = E ( f(X) ) .
(iii) =⇒ (v) Soient G un ouvert de R k et M un entier strictement positif. On définit
la fonction f M (x) = inf ( 1, Md(x, G c) . Cette fonction est M−lipschitzienne et bornée par
1. La suite de fonctions f M est une suite croissante convergeant vers 1l G . Par iii) on sait
que lim n E ( f M (X n ) ) = E ( f M (X) ) . Comme P ( X n ∈ G ) ≥ E ( f M (X n ) ) , on en déduit que
lim inf P ( X n ∈ G ) ≥ E ( f M (X) ) . On conclut par convergence monotone.
v) ⇐⇒ vi) Immédiat en passant au complémentaire.
vi) =⇒ vii) Soit B un borélien tel que P ( X ∈ ∂B ) = 0. On a
P ( X n ∈ ˚B ) ≤ P ( X n ∈ B ) ≤ P ( X n ∈ ¯B ) .
On applique vi) à ¯B et v) à ˚B puis on remarque P ( X ∈ ˚B ) = P ( X ∈ B ) = P ( X ∈ ¯B ) .
vii) =⇒ i) C’est immédiat il suffit de considérer un point x de continuité de la fonction de
répartition de X et B =] − ∞, x].
Théorème 1 (Théorème de l’image continue) Soit g une fonction R k dans R m continue
en tout point d’un ensemble C vérifiant P ( X ∈ C ) = 1. Alors
i) Si X n L −→
n
X. Alors g(X n ) L −→
n
g(X).
ii) Si X n P −→
n
X. Alors g(X n ) P −→
n
g(X).
iii) Si X n
P.S.
−−→
n
Preuve :
iii) Évident.
ii) Soient ɛ > 0 et δ > 0,
X. Alors g(X n ) P.S.
−−→
n
g(X).
P ( ‖g(X n ) − g(X)‖ ≥ ɛ ) ≤ P ( ‖g(X n ) − g(X)‖ ≥ ɛ, ‖X n − X‖ ≤ δ ) + P ( ‖X n − X‖ ≥ δ ) . (3)
Le deuxième terme du membre de droite tend vers zéro par hypothèse.
Soit B δ = {x, ∃y, ‖x − y‖ ≤ δ, ‖g(x) − g(y)‖ ≥ ɛ}, alors (3) devient
lim sup P ( ‖g(X n ) − g(X)‖ ≥ ɛ ) ≤ P ( X ∈ B δ
)
.
8

Or P ( X ∈ B δ
)
≤ P
(
X ∈ Bδ ∩ C ) + P ( X ∈ C c) . Le premier terme tend vers zéro lorsque
δ tend vers zéro par continuité.
i) On va appliquer vi) du Lemme de Portmanteau.
Soit F un fermé de R m . {g(X n ) ∈ F } = {X n ∈ g −1 (F )} 1 . Commençons par montrer que
g −1 (F ) ⊂ g −1 (F ) ⊂ g −1 (F ) ∪ C c .
La première inclusion est triviale. Soit x ∈ g −1 (F ) alors il existe une suite x n de points de
g −1 (F ) convergent vers x, si x ∈ C alors par continuité g(x n ) converge vers g(x) comme F
est fermé g(x) ∈ F . Sinon x ∈ C c .
On en déduit que lim sup P ( g(X n ) ∈ F ) ≤ lim sup P ( X n ∈ g −1 (F ) ) , par Portmanteau on a
lim sup P ( g(X n ) ∈ F ) ≤ P ( X ∈ g −1 (F ) ) . Or P ( X ∈ g −1 (F ) ≤ P ( X ∈ g −1 (F ) ) +P ( X ∈ C c) .
Remarque 1 En analysant la preuve, on voit que dans i) et ii) si la variable X est une
constante c, on a juste besoin de la continuité de g en ce point c.
2.2 Variables uniformément tendues
Remarquons que pour toute variable aléatoire X et tout ɛ > 0, il existe M > 0 tel que
P ( ‖X‖ > M ) ≤ ɛ. C’est-à-dire que toute variable est tendue.
Définition 1 Soit F = {X a , a ∈ A} une famille de vecteurs aléatoires. F est dite uniformément
tendue si
∀ɛ > 0, ∃M > 0, sup P ( ‖X a ‖ > M ) ≤ ɛ.
a∈A
Lemme 4 (Helly) Soit (F n ) n une suite de fonctions de répartitions de R k . Alors il existe
une sous-suite F nj et une fonction F positive croissante continue à droite bornée par un,
telle que F nj converge vers F en tout point x de continuité de F .
Remarque 2
1. Si de plus lim x→−∞ F (x) = 0 et lim x→+∞ F (x) = 1 alors F est une fonction de
répartition.
F
2. Si F n’est pas constante égale à zéro et si lim −∞ F (x) = 0 alors
de répartition.
‖F ‖ ∞
est une fonction
Preuve :
Soit Q k l’ensemble des vecteurs de R k à coordonnées rationnelles. Q k étant dénombrable on
peut l’ordonner, Q k = {q 1 , q 2 , . . .}. La suite de réels (F n (q 1 )) n est bornée (F n (q 1 ) ∈ [0, 1] ∀n),
on peut donc en extraire une sous-suite convergente. Notons (n 1 j) j la sous-suite de (n) qui
l’indexe et G(q 1 ) la limite. De la même manière, de (n 1 j) j , on peut extraire une sous-suite
fermé
1 Comme g est continue seulement sur un ensemble C de P X −mesure égale à un g −1 (F ) n’est pas forcément
9

(n 2 j) j telle que F n 2
j
(q 2 ) −→ G(q 2 ) et, ainsi de suite, F n i
j
(q i ) −→ G(q i ). La queue de la suite
diagonale (n j ) j = (n j j ) j appartient à toutes les suites n i j, au sens où ∀i, (n j j ) j≥i ⊂ (n i j) j .
Ainsi pour tout i, F n
j(q i ) −→ G(q i ) car F
j
n i
j
(q i ) −→ G(q i ). Notons que G est croissante (par
passage à la limite dans F n
j
j
(q i ) ≤ F n
j(q i+1 )).
j
Soit x un réel. Définissons F (x) = inf q>x G(q). Par construction F est croissante. F est
également continue à droite : pour tout x et tout ɛ > 0 il existe un rationnel q tel que x < q
et G(q) < F (x) + ɛ. Si x ≤ y < q, alors F (y) ≤ G(q) < F (x) + ɛ, d’où F (y) − F (x) < ɛ, ce
qui prouve la continuité à droite.
Soit x un point de continuité de F et soit ɛ > 0. Prenons un y < x tel que F (x) − ɛ < F (y).
Il existe des rationnels r et s vérifiant y < r < x < s, F (y) ≤ G(r) et G(s) < F (x) + ɛ. En
mettant bout à bout ces inégalités, on a F (x) − ɛ < G(r) ≤ G(s) < F (x) + ɛ. Considérons
l’inégalité F n (r) ≤ F n (x) ≤ F n (s) et prenons la limite selon la sous-suite (n j j ), on obtient :
F (x) − ɛ < G(r) = lim F n
j(r) ≤ lim inf F
j
n
j(x)
j
≤ lim sup F n
j(x) ≤ lim F
j
n
j(s) = G(s) < F (x) + ɛ.
j
D’où lim j F n
j(x) = F (x), ce qui achève la preuve.
j
Théorème 2 (Prohorov) Soit (X n ) une suite de vecteurs aléatoires.
1. Si X n L −→
n
X , alors la famille {X n , n ∈ N} est uniformément tendue.
2. Si la famille {X n , n ∈ N} est uniformément tendue alors il existe une sous-suite qui
converge en loi vers X.
Preuve :
1. Fixons ɛ > 0, soit M > 0 tel que P ( ‖X‖ > M ) ≤ ɛ. Quitte à augmenter un peu
M on peut supposer que la fonction de répartition de ‖X‖ est continue en M. Par
Portmanteau, on sait qu’il existe N > 0 tel que pour tout n > N, P ( ‖X n ‖ > M ) ≤
P ( ‖X‖ > M ) + ɛ ≤ 2ɛ. Pour i ≤ N il existe M i > 0 tel que P ( ‖X i ‖ > M i
)
≤ 2ɛ. Alors
si K = sup i {M, (M i ) i }, on a sup n P ( ‖X n ‖ > K ) ≤ 2ɛ.
2. C’est un corollaire du lemme de Helly. On note F n la fonction de répartition de X n .
Par Helly on sait qu’il existe une sous-suite F nj qui converge vers une fonction F qui
ressemble à une fonction de répartition. Il reste à montrer que F est bien une fonction
de répartition, c’est à dire que lim −∞ F (x) = 0 et lim ∞ F (x) = 1. Soit ɛ > 0, comme
les X n sont uniformément tendues on peut trouver M > 0 (point de continuité de F )
vérifiant F n (M) ≥ 1 − ɛ pour tout n. Par passage à la limite on a F (M) ≥ 1 − ɛ, pour
tout ɛ > 0. Ce qui prouve lim ∞ F (x) = 1. Un argument similaire donne la limite en
−∞.
Remarque 3 On peut voir ce théorème comme une version aléatoire d’un résultat déterministe
bien connu : toute suite convergente est bornée et de toute suite bornée on peut extraire une
sous-suite convergente.
10

2.3 Quelques rapports entre différents modes de convergences
Théorème 3 Soient (X n ) n , (Y n ) n et X, Y des vecteurs aléatoires, soit c une constante.
Alors
p.s.
P r
i) Si X n −−→ X alors X n −→ X.
n n
ii) Si X n
iii) X n
P r
−→
n
X alors X n L −→
n
X.
P r
−→
n
c si et seulement si X n L −→
n
c.
iv) Si X n L −→
n
X et d(X n , Y n ) P r
−→
n
0 alors Y n L −→
n
X.
v) (Slutsky) Si X n L −→
n
X et Y n
P r
−→
n
c alors (X n , Y n ) L −→
n
(X, c).
vi) Si X n
P r
P r
−→ X et Y n −→
n n
Y alors (X n , Y n ) P r
−→
n
(X, Y ).
Preuve :
i) Soit B = {ω, X n (ω) → X(ω)}. Soit ɛ > 0 fixé. Soit A n = ⋃ m≥n {d(X m, X) ≥ ɛ}. Pour
tout ɛ > 0, la suite A n est décroissante. Si ω ∈ B, il existe n tel que pour tout m ≥ n
d(X n , X) ≤ ɛ. C’est à dire que ω ∈ A c n. Par suite on en déduit que P ( )
A n → 0. On conclut
en remarquant que {ω, d(X n (ω), X(ω)) ≥ ɛ} ⊂ A n .
ii) On peut voir ii) comme une conséquence de iv), mais nous allons en donner une preuve
directe.
Soient f une fonction continue bornée, M > 0 un majorant de f et ɛ > 0.
(
) (
) (
)
E |f(X n ) − f(X)| = E |f(X n ) − f(X)|1l |Xn−X|≥η + E |f(X n ) − f(X)|1l |Xn−X| 0 et B = B(c, ɛ) la boule ouverte de centre
c et de rayon ɛ. P ( d(X n , c) ≥ ɛ ) = P ( X n ∈ B c) .
Or B c est un fermé ainsi lim sup P ( d(X n , c) ≥ ɛ ) ≤ P ( c ∈ B c) = 0.
iv) Soit f une fonction de lipschitz bornée, on note L la constante de lipschitz et M un
majorant de f.
E ( |f(X n ) − f(Y n )| ) ≤ ɛLP ( |X n − Y n | ≤ ɛ ) + 2MP ( |X n − Y n | ≥ ɛ ) .
Le deuxieme terme tendant vers zéro, on en déduit que le terme de droite tend vers zéro.
On conclut en utilsant l’inégalité triangulaire |E ( f(Y n ) − f(X) ) | ≤ |E ( f(Y n ) − f(X n ) ) | +
|E ( f(X n ) − f(X) ) |.
v) Commençons par remarquer que d ( (X n , Y n ), (X n , c) ) = d(Y n , c), ainsi en utilisant iv)
L
il suffit de montrer que (X n , c) −→ (X, c). Soit f une fonction continue bornée (x, y) ↦→
f(x, y) alors la fonction x ↦→ f(x, c) est continue bornée. Par Portmanteau, on en déduit
E ( f(X n , c) ) → E ( f(X, c) ) .
vi) Trivial ! ! !
Grâce au théorème de l’image continue et v) on obtient aisément le théorème suivant :
11

Théorème 4 (Slutsky) Soient X n , X, Y n des vecteurs aléatoires et c un vecteur constant.
L
L
Si X n −→ X et Y n −→ c, alors
L
i) X n + Y n −→ X + c.
L
ii) Y n X n −→ cX.
iii) Yn −1 L
X n −→ c −1 X.
Le statut de c n’est pas forcément clair dans i) c doit être un vecteur de la même taille que
X. Tandis que dans ii) et iii) c’est un scalaire (non nul dans iii)).
Lemme 5 (Convergence uniforme des fonctions de répartitions et convergence en loi)
L
On suppose X n −→ X et que la fonction de répartition de X est continue. Alors
sup |P ( X n ≤ x ) − P ( X ≤ x ) | → 0.
x
Preuve:
On se place en dimension 1, en dimension supérieure l’idée de la preuve est la même. On
note F et F n les fonctions de répartitions de X et X n . Soient ɛ > 0 et un entier k tels que
1
k ≤ ɛ. Comme F est continue, il existe x 1, . . . , x k tels que F (x i ) = i k . Soit x i−1 ≤ x ≤ x i ,
par monotonie on a
F n (x) − F (x) ≤ F n (x i ) − F (x i−1 ) ≤ F n (x i ) − F (x i ) + 1 k
F n (x) − F (x) ≥ F n (x i−1 ) − F (x i ) ≤ F n (x i−1 ) − F (x i−1 ) − 1 k
Ainsi |F n (x) − F (x)| ≤ sup i |F n (x i ) − F (x i )| + 1 . On conclut en notant que le premier terme
k
tend vers 0 (le sup est pris sur un ensemble fini).
2.4 Les symboles o P et O P
Nous introduisons ici des notations très utiles par la suite.
• X n = o P (1) signifie que X n converge vers 0 en probabilité. Plus généralement X n = o P (R n )
signifie que X n = Y n R n avec Y n convergeant vers 0 en probabilité.
• X n = O P (1) signifie que la famille (X n ) n est uniformément tendue. Plus généralement
X n = O P (R n ) signifie que X n = Y n R n avec la famille (Y n ) n uniformément tendue.
Le lemme suivant nous autorisera dans la suite à remplacer des quantités déterministes par
des quantités aléatoires dans les relations o et O.
Lemme 6 Soit X n une suite de vecteurs aléatoires qui converge vers zéro en probabilité.
Alors pour tout p > 0, et toute fonction R telle que R(0) = 0,
1. R(h) = o(‖h‖ p ) =⇒ R(X n ) = o P (‖X n ‖ p ).
2. R(h) = O(‖h‖ p ) =⇒ R(X n ) = O P (‖X n ‖ p ).
12

Preuve:
On définit g(h) = R(h) si h ≠ 0 et par g(0) = 0. Alors R(X
‖h‖ p n ) = g(X n )‖X n ‖ p .
1. La fonction g est continue en zéro par construction, on en déduit par le théorème de
P
l’image continue que g(X n ) −→ g(0) = 0.
2. Par hypothèse il existe M > 0 et δ > 0 tels que |g(h)| ≤ M dès que ‖h‖ ≤ δ. Ainsi
P ( |g(X n )| > M ) ≤ P ( ‖X n ‖ > δ ) . Le dernier terme tend vers zéro par hypothèse et
par suite g(X n ) est tendue.
2.5 Fonctions caractéristiques
Définition 2 Soit X un vecteur aléatoire de R k et t ∈ R k , la fonction caractéristique de X
est définie par
φ X (t) = E ( exp(i < t, X >) ) .
Théorème 5 (Paul Lévy)
1. Soient (X n ) n et X des vecteurs aléatoires de R k . Alors il y a équivalence entre
(a) X n
L
−→ X
(b) φ Xn (t) → φ X (t), ∀t ∈ R k .
2. Si φ Xn (t) → φ(t), ∀t ∈ R k et si φ est continue en 0, alors φ est la fonction caractéristique
d’un vecteur aléatoire X et X n −→
L
X.
Preuve:
1. (a) =⇒ (b) Il suffit de constater que pour tout t, x ↦→ exp(i < t, x >) est continue
bornée.
(b) =⇒ (a) Il suffit de montrer 2) car la fonction caractéristique est continue en 0.
2. Admettons momentanément que X n est uniformément tendue. Alors par Prohorov, il
existe une sous-suite de X n qui converge en loi vers une variable aléatoire Y. C’est à
dire que φ Xnk (t) → φ Y (t), ∀t ∈ R k . Par unicité de la limite, on en déduit que φ Y = φ.
De plus ceci implique que toute sous-suite de X n convergeant en loi, converge vers Y .
Ainsi, il existe un et un seul point d’accumulation au sens de la convergence en loi.
Ceci implique que X n converge en loi vers Y . En effet supposons par l’absurde que X n
ne converge pas en loi vers Y , il existe donc un point x de continuité de la fonction de
répartition de Y , tel que P ( X n ≤ x ) ↛ P ( Y ≤ x ) . Il existe donc ɛ > 0 et une sous-suite
n k tels que |P ( X nk ≤ x ) − P ( Y ≤ x ) | ≥ ɛ. Mais comme (X n ) est uniformément tendue
X nk l’est aussi, on peut donc par Prohorov en extraire une sous-suite qui converge en
loi vers Y , ce qui est contradictoire.
13

Montrons maintenant que X n est uniformément tendue. Cela va découler de la continuité
de φ en 0. On peut supposer que X n ∈ R, car la tension composante par composante
entraine la tension d’un vecteur. Soient x et δ > 0,
(
1l |δx|>2 ≤ 2 1 − sin(δx) )
= 1 δx δ
On remplace x par X n et on prend l’espérance
P ( |δX n | > 2 ) ≤ 1 δ
∫ δ
−δ
E(1 − cos(tX n )dt ≤ 1 δ
∫ δ
−δ
(1 − cos(tx)dt.
∫ δ
−δ
Re(1 − E ( exp(itX n ) ) dt.
Par hypothèse l’intégrand converge ponctuellement vers Re(1 − φ(t)), par convergence
∫
dominée l’intégrale converge vers 1 δ
Re(1 − φ(t))dt. Soit ɛ > 0 par continuité de φ
δ −δ
en zéro, il existe δ > 0, tel que |t| ≤ δ implique |1 − φ(t)| ≤ ɛ. Pour ce δ, l’intégrale
limite est plus petite que 2ɛ. Il existe N tel que pour tout n ≥ N, P ( |δX n | > 2 ) ≤
Re(1 − φ(t))dt + ɛ. Ce qui achève la preuve.
1
δ
∫ δ
−δ
Lemme 7 (Admis) Deux vecteurs aléatoires X et Y de R k sont de même loi si et seulement
si leurs fonctions caractéristiques sont égales.
Proposition 1 (Loi faible des grands nombres) Soient Y 1 , . . . , Y n des v.a.i.i.d. de fonctions
caractéristiques φ. Alors Y n −→ µ, si φ est différentiable en zéro et iµ = φ ′ P
(0).
Preuve:
Par hypothèse φ(t) = 1 + tφ ′ (0) + o(t) (lorsque t tend vers zéro).
E ( exp(itY n ) ) = φ n ( t n ) = (1 + t n iµ + o( t n ) ) n
→ exp(itµ).
L
Ainsi par Paul Levy Y n −→ µ. Or la convergence en loi vers une constante est équivalente à
la convergence en proba vers cette constante.
Remarque 4 i) Si E|Y 1 | < ∞ alors on montre par convergence dominée que φ ′ (t) existe
pour tout t et que φ ′ (0) = iE(Y 1 ).
ii) La réciproque de la proposition est vraie (ref 127 p 52).
Proposition 2 (Théorème de la limite central) Soient Y 1 , . . . , Y n des v.a.i.i.d. vérifiant
E(Y 1 ) = 0 et E(Y 2
1 ) = 1 alors √ nY n converge en loi vers une v.a. de loi N (0, 1).
Preuve:
Toujours par Lebesgue, on peut dériver deux fois φ(t) et on montre que φ ′′ (0) = −E(Y1 2 ).
E ( exp(it √ nY n ) ) = φ n ( √ t (
) = 1 − 1 t 2
n 2 n iE(Y 2 ) + o( t ) (
n )n → exp − 1 )
2 t2 E(Y 2 ) .
Ce qui prouve le résultat par Paul Levy.
14

2.6 Représentation presque sûre
Théorème 6 (Admis) Supposons qu’une suite (X n ) n de vecteurs aléatoires converge en loi
vers un vecteur aléatoire X 0 . Alors, il existe un espace de probabilité ( Ω, A, P ) , des vecteurs
aléatoires ( )
X 0 , (X n ) n , vérifiant que pour tout n ≥ 0, Xn et X n sont de même lois et que
p.s.
−→ X 0 .
X n
15

3 La méthode Delta ou ∆-method
3.1 Le résultat
Soit T n un estimateur de θ, on désire estimer le paramètre φ(θ) où φ est une fonction
connue. Il est naturel d’estimer φ(θ) par φ(T n ). On peut alors se demander comment les
propriétés asymptotiques de T n se transfèrent à φ(T n ).
Le théorème de l’image continue fournit déjà une première réponse à la question. Mais il ne
répond pas à la question suivante : si √ n ( T n − θ ) L
−→ X a-t-on √ n ( φ(T n ) − φ(θ) ) L
−→ Y ?
Si φ est linéaire, le résultat est vrai avec Y = φ(X).
On sent ici que c’est la partie linéaire de φ qui va être importante, c’est à dire la différentielle
de φ. En effet en première approximation si T n est proche de θ on a √ n ( φ(T n ) − φ(θ) ) ≈
Dφ(θ)( √ n(T n − θ)). Ainsi on s’attend à ce que √ n ( φ(T n ) − φ(θ) ) L
−→ Dφ(θ)(X).
Théorème 7 (Méthode Delta) Soit φ une application de R k dans R m différentiable en θ.
Soit T n des vecteurs aléatoires de R k (à valeurs dans le domaine de définition de φ) et (r n ) n
une suite de nombres réels tendant vers ∞. Alors
(
r n φ(Tn ) − φ(θ) ) L
−→ Dφ(θ)(T );
(
dès que r n Tn − θ ) L
(
−→ T. De plus la différence entre r n φ(Tn ) − φ(θ) ) et Dφ(θ) ( r n (T n − θ) )
converge vers zéro en probabilité.
Preuve:
L
Comme la suite r n (T n − θ) −→ T , par Prohorov, elle est uniformément tendue. De plus par
le théorème de Slutsky T n − θ −→ P
0. Soit R(h) = φ(θ + h) − φ(θ) − Dφ(θ)(h), par définition
de la différentielle R(h) = o(‖h‖). On applique alors le Lemme 6,
φ(T n ) − φ(θ) − Dφ(θ)(T n − θ) = R(T n − θ) = o P (‖T n − θ‖).
On multiplie les deux membres de l’égalité par r n ,
r n φ(T n ) − r n φ(θ) − r n Dφ(θ)(T n − θ) = r n o P (‖T n − θ‖).
r n o P (‖T n − θ‖) = o P (r n ‖T n − θ‖). De plus, comme r n (T n − θ) est uniformément tendue,
on en déduit que o P (r n ‖T n − θ‖) = o P (1) 2 . Ceci achève la preuve de la deuxième partie
du théorème. De plus Dφ(θ) est linéaire donc continue, donc par le théorème de l’image
continue, on a
L
r n Dφ(θ)(T n − θ) −→ Dφ(θ)(T ).
On conclut alors en appliquant le théorème 3, point 4.
2 On écrit o P (r n ‖T n − θ‖) = r n ‖T n − θ‖Z n avec Z n = o P (1) puis on fixe ɛ > 0 et on prend M tel que
P ( r n ‖T n − θ‖ > M ) < ɛ. On montre alors aisément que ∀η > 0, P ( r n ‖T n − θ‖Z n > η ) → 0.
16

Remarque 5 On applique souvent la méthode Delta dans le cas où T n est un estimateur de
θ et la loi de T est gaussienne. Dans ce cas, si φ est différentiable en θ et si
√ (
n Tn − θ ) L
−→ N (0, V ),
alors
3.2 Applications
√ n
(
φ(Tn ) − φ(θ) )
3.2.1 Variance empirique
L
−→ N (0, Dφ(θ)V Dφ(θ) T ).
Commençons par rappeler le Théorème central limite multidimensionnel.
Théorème 8 Soient Y 1 , Y 2 , . . . des vecteurs ) aléatoires i.i.d. de R k d’espérance µ et de matrice
de covariance Σ = E
((Y 1 − µ)(Y 1 − µ) ∗ . Alors √ L
n(Y n − µ) −→ N k (0, Σ).
Preuve:
Soit t ∈ R k , Notons Z n = √ n(Y n − µ) par le théorème central limite classique t ∗ Z n
N (0, t ∗ Σt). On conclut alors par un résultat classique sur les vecteurs gaussiens.
Soient X 1 , . . . , X n des v.a. i.i.d.. On définit Sn 2 = n ∑ −1 n
i=1 (X i − X n ) 2 . Un rapide calcul
montre que l’on peut écrire Sn 2 = φ(X n , Xn), 2 avec φ(x, y) = y−x 2 . On suppose que X 1 possède
ses quatre premiers moments et on note α i le moment d’ordre i. Si on pose Y i = (X i , Xi 2 )
dans le théorème précédent, on obtient
√ n
((
Xn
X 2 n
)
−
(
α1
α 2
))
L
−→ N 2
(( 0
0
) (
α2 − α1 ,
2 α 3 − α 1 α 2
α 3 − α 1 α 2 α 4 − α2
2
))
.
L’application φ est différentiable en tout point, de différentielle Dφ(x, y)(h, k) = −2xh + k.
On applique le théorème 7 :
√ (
n S
2
n − (α 2 − α1) ) 2 L
−→ N (0, −4α1 4 − α2 2 + 8α1α 2 2 − 4α 1 α 3 + α 4 ).
Si α 1 = 0 (c’est-à-dire si les observations sont centrées), alors √ n ( )
Sn−α 2 L
2 −→ N (0, α 4 −α2).
2
On peut d’ailleurs supposer sans perte de généralité
∑
que les observations sont centrées. En
effet, si on pose Z i = X i − α 1 , on montre que 1 n
n i=1 (Z ∑
i − Z n ) 2 = 1 n
n i=1 (X i − X n ) 2 , donc
Sn 2 est inchangée. Notons par µ k = EZi
k le moment centré d’ordre k des X i . Alors
√ ( )
n S
2 L
n − µ 2 −→ N (0, µ 4 − µ 2 2).
On peut aussi exprimer ce résultat sous la forme suivante :
√ S 2
n(
n L
− 1) −→ N (0, κ + 2),
µ 2
où κ = µ 4 /µ 2 2 − 3 est le kurtosis (ou coefficient d’aplatissement de la distribution des X i ).
Remarquons enfin que par Slutsky, le résultat est inchangé si on considère l’estimateur sans
biais de la variance (obtenu en divisant ∑ n
i=1 (X i − X n ) 2 par n − 1).
17
L
−→

3.2.2 Test sur la variance d’une loi normale
Rappel 1 On rappelle les points suivants :
1. Soient U 1 , . . . , U k des v.a. i.i.d. de loi N (0, 1). Alors la v.a. Z = U 2 1 + . . . + U 2 k est
appelée loi du Chi-deux à k degrés de libertés ; on la note χ 2 (k).
2. Si les X i sont de lois N (m, σ 2 ) alors n S2 n
est une variable du Chi-deux à (n − 1) degrés
σ 2
de libertés.
3. Le théorème central limite assure que
χ 2 n−1 − (n − 1)
√ 2n − 2
L
−→ N (0, 1).
Supposons que l’on désire tester l’hypothèse nulle H 0 que la variance σ 2 d’un n-échantillon
X 1 , . . . , X n est inférieure ou égale à 1. Si les X i sont gaussiennes, on rejette H 0 si nSn 2 dépasse
le quantile d’ordre (1 − α) d’un χ 2 (n − 1), que l’on notera χ 2 1−α(n − 1). Toujours dans le cas
gaussien, le niveau de ce test est exactement α. Mais que se passe-t-il si les X i ne sont plus
gaussiennes ?
Nous avons en main deux convergences en loi, l’une provenant du T.C.L. l’autre de la méthode
Delta. Notons χ 2 α le réel x tel que P(χ 2 n−1 > x) = α et u α son équivalent gaussien. Le T.L.C.
implique χ2 α√ −(n−1)
2n−2
→ u α . Ainsi le niveau du test du Chi-deux vérifie
P {µ2 =1}(
nS
2
n > χ 2 α
) ( √n (S 2
= P
n
− 1 ) > χ2 α − n
)
√ → 1 − Φ ( √
u α 2 )
√ .
µ 2 n κ + 2
Ainsi, le test est de niveau asymptotique α si et seulement si κ = 0.
3.3 Stabilisation de la variance
Soient T n et Θ ⊂ R tels que pour tout θ ∈ Θ, √ n ( T n −θ ) L
−→ N ( 0, σ 2 (θ) ) . La convergence
en loi a lieu ici sous P θ . Pour un θ fixé, un intervalle de confiance de niveau de confiance
asymptotique 1 − 2α pour θ est de la forme
(
Tn − u 1−α
σ(θ)
√ n
, T n + u 1−α
σ(θ)
√ n
)
,
où u 1−α est le quantile d’ordre 1 − α de la loi normale centrée réduite. Le problème de ces
intervalles est qu’ils dépendent du paramètre inconnu σ(θ). Une première solution est de
remplacer cette quantité par un estimateur. La seconde est de transformer notre problème
en un problème où la variance de la loi limite ne dépend plus de θ.
Soit φ une fonction différentiable. On considère maintenant le paramètre η = φ(θ), que
l’on estime naturellement par φ(T n ). La méthode Delta assure que √ n ( φ(T n ) − φ(θ) ) L
(
)
−→
N 0, {φ ′ (θ)} 2 σ 2 (θ) . On choisit (sous réserve d’existence) φ de telle sorte que {φ ′ (θ)} 2 σ 2 (θ) ≡
1, c’est-à-dire φ ′ (θ) = 1
σ(θ)
. On obtient ensuite un intervalle de confiance de niveau asymptotique
1−α pour φ(θ). On en déduit un intervalle de confiance pour θ en utilisant la croissance
de φ (φ ′ (θ) = 1
σ(θ) > 0). 18

Exemple 1
Soit (X 1 , Y 1 ), . . . , (X n , Y n ) un échantillon i.i.d. d’une loi normale bivariée de coefficient de
corrélation ρ. Le coefficient de corrélation empirique est défini par :
( ) ( )
Xi − X n Yi − Y n
ˆρ n =
√ (
1
n
∑ n
i=1
1
n
∑ n
i=1
(
Xi − X n
) 2
) (
1
n
∑ n
i=1
(
Yi − Y n
) 2
) .
On montre, dans le cas d’un échantillon de la loi normale bivariée, que √ L
n(ˆρ n − ρ) −→
N (0, (1 − ρ 2 ) 2 ) (dans le cas général, l’expression, beaucoup plus compliquée, fait intervenir
les quatre premiers moments des lois de X et Y ). On peut déduire de ce résultat et du
théorème de Slutsky un intervalle de confiance asymptotique pour ρ, néanmoins les calculs
sont compliqués par la présence d’un terme ˆρ 2 n.
Une autre solution consiste à utiliser la méthode Delta et une transformation qui stabilise la
variance. En appliquant le principe décrit ci-dessus, on cherche φ telle que φ ′ (ρ) = 1 . Or
1−ρ 2
1
1 − ρ = 1 [ 1
2 2 1 − ρ + 1 ]
,
1 + ρ
( )
d’où on pose φ(ρ) = 1 ln 1+ρ
= arctanhρ. On en déduit un intervalle de confiance de
2
1−ρ
niveau asymptotique 1 − α pour ρ (u 1−
α désigne le quantile d’ordre 1 − α de la loi N (0, 1)) :
2 2
[ (
tanh arctanh(ˆρ n ) − u ) (
1− α 2
√ , tanh arctanh(ˆρ n ) + u )]
1− α 2
√ .
n n
3.4 Développements à l’ordre supérieur
Le résultat présenté par le théorème 7 repose sur un développement de Taylor à l’ordre
1. Cependant, lorsque Dφ(θ) est nulle, la loi limite est dégénérée en 0. Il est alors intéressant
de pousser le développement à un ordre supérieur.
Dans le cas unidimensionnel, un développement de Taylor à l’ordre 2 appliqué à T n s’écrit :
Si φ ′ (θ) = 0, on a
φ(T n ) = φ(θ) + (T n − θ)φ ′ (θ) + 1 2 (T n − θ) 2 φ ′′ (θ) + o P (‖(T n − θ) 2 ‖).
k n (φ(T n ) − φ(θ)) = k n
2 (T n − θ) 2 φ ′′ (θ) + o P (k n ‖(T n − θ) 2 ‖).
Si √ k n (T n − θ) L −→
n
N (0, σ 2 (θ)), alors
k n (T n − θ) 2 L −→
n
σ 2 (θ)χ 2 1.
Par le même raisonnement que précédemment, on conclut que
k n (φ(T n ) − φ(θ)) L −→
n
1
2 σ2 (θ)φ ′′ (θ)χ 2 1. (4)
19

Exemple 2
Soit X 1 , . . . , X n n copies indépendantes de la loi B(p) (0 < p < 1). On note q = 1 − p et ¯X n
la moyenne empirique des X i (i = 1, . . . , n). Alors :
√ n( ¯Xn − p) L −→
n
N (0, pq).
Un estimateur de la variance pq est T n = φ( ¯X n ) = ¯X n (1 − ¯X n ). Quelle est la distribution
asymptotique de cet estimateur ? Si p ≠ 1/2, alors φ ′ (p) ≠ 0 et d’après le théorème ? ?,
√ n(Tn − pq) L −→
n
N (0, pq(1 − 2p) 2 ) si p ≠ 1/2.
En revanche, φ ′ ( 1) = 0. Cependant, 2 φ′′ ( 1 ) = −2, d’où d’après (4),
2
n(T n − pq) −→ L − 1
n 4 χ2 1.
Exemple 3
Supposons que √ n ¯X n −→ L
n
N (0, 1). Que peut-on dire de la distribution asymptotique de
cos ¯X n ?
20

4 Méthodes classiques d’estimation par la Méthode
des moments
4.1 Principe d’estimation
Notation 1 Soit X une variable aléatoire de loi P θ (θ ∈ Θ). On note :
1. E θ [f(X)] = ∫ f(x)dP θ (x) := P θ f.
2. P n f = 1 n
∑ n
i=1 f(X i) où P n = 1 n
∑ n
i=1 δ X i
est la mesure empirique.
3. G n f := √ n ( P n f − P θ f ) .
Soient X 1 , . . . , X n un n−échantillon de loi P θ , où θ est un paramètre se promenant dans Θ.
Si θ est de dimension k, on peut l’estimer en cherchant la solution du système d’équations
⎧
⎪⎨
∑
1 n
n i=1 f 1(X i ) = E θ f 1 (X 1 )
.
⎪⎩ ∑
1 n
n i=1 f k(X i ) = E θ f k (X 1 )
pour des fonctions f 1 , . . . , f k intégrables fixées. Le choix f j (x) = x j conduit à la méthode
des moments classiques. L’idée de la méthode repose sur le fait que les moments empiriques
1
n
∑ n
i=1 f j(X i ) sont de bons estimateurs des moments théoriques E θ f j (X 1 ). Donc si Θ ⊂ R k ,
une valeur de θ pour laquelle k moments empiriques sont égaux aux k moments théoriques
correspondants semble être une estimation raisonnable du paramètre.
Définition 3 Soit θ ∈ Θ ⊂ R k un paramètre k dimensionnel et soit f = (f 1 , . . . , f k ) un
vecteur composé de fonctions intégrables. Soit e l’application de Θ dans R k définie par e(θ) =
P θ f. On appelle estimateur de type moment associé à f, une solution notée ˆθ n (lorsqu’elle
existe) du sytème d’équations (d’inconnue θ)
Exemple 4
P n f = e(θ).
Soit le modèle (R, {N (m, σ 2 ); (m, σ 2 ) ∈ R × R + \{0}}). Un estimateur de θ = (m, σ 2 ) par la
méthode des moments est obtenu en résolvant le système d’équations d’inconnue θ
∑ n
i=1 X i = E θ X 1 = m
{ 1
n
d’où
1
n
∑ n
i=1 X2 i = E θ X 2 1 = σ 2 + m 2
{ m = Xn
σ 2 = 1 n
∑ n
i=1 X2 i − X n
2
= S
2
n
On en déduit qu’un estimateur de (m, σ 2 ) par la méthode des moments est (X n , S 2 n).
21

L’idée à la base de la méthode des moments est la loi des grands nombres, il est donc
légitime d’imaginer que l’estimateur des moments aura, sous certaines conditions, de bonnes
propriétés asymptotiques.
On note la différentielle de e en θ par De(θ).
Théorème 9 Supposons que θ ↦→ e(θ) soit bijective, C 1 au voisinage de θ 0 et telle que
De(θ 0 ) soit inversible. On suppose de plus que P θ0 ‖f‖ 2 < ∞. Alors l’estimateur de type
moment ˆθ n existe avec une probabilité (sous θ 0 ) tendant vers un et vérifie
√ (
L
n(ˆθn − θ 0 ) −→ N 0, De(θ 0 ) −1 Σ [ De(θ 0 ) −1] ) T
,
où Σ = P θ0
(
f − e(θ0 ) )( f − e(θ 0 ) ) T
.
Remarque 6 Les hypothèses de ce théorème peuvent paraître en première lecture étranges,
mais elles sont en faite naturelles. En effet, ceux sont les hypothèses minimales pour pouvoir
appliquer la méthode Delta.
Preuve:
On rappelle la notation e(θ) = P θ f. e étant bijective ˆθ n = e −1 (P n f). Par le théorème central
limite multidimensionnel on a
√ ( )
L
n P n f − e(θ 0 ) −→ N k (0, Σ)
avec Σ = P θ0
(
f −e(θ0 ) )( f −e(θ 0 ) ) T
. Les hypothèses nous permettent d’appliquer le théorème
d’inversion local à e : il existe des voisinages U de θ 0 et V de e(θ 0 ) tels que e : U → V soit
un difféomorphisme. ˆθ n = e −1 (P n f) existe quand P n f ∈ V , or par la loi forte des grands
nombres, P n f converge presque sûrement vers e(θ 0 ), donc avec probabilité tendant vers 1,
P n f appartient à V , et ˆθ n existe. On conclut en appliquant la méthode Delta à e −1 .
4.2 Intervalles de confiance
Supposons que nous souhaitons estimer la quantité T = Ef ( X) dans le cas où f est bornée
par la constante M. Soit T n l’estimateur de substitution des moments et pour α ∈ (0, 1),
nous cherchons t n,α pour que [T n −t n,α , T n +t n,α ] soit un IC au niveau α. Il suffit de remarquer
que
P(T ∈ [T n − t n,α , T n + t n,α ]) = P(T n − T ∈ [−t n,α , t n,α ])
= P(| 1 n∑
(f(X i ) − Ef(X))| ≤ t n,α ).
n
Cette inégalité s’apparente à une inégalité de déviation et peut être controllée au moyen du
Théorème suivant :
i=1
22

Théorème 10 (Inégalité d’Hoeffding) Soient Y 1 , . . . , Y n n variables aléatoires indépendantes
telles ques
E(Y i ) = 0 a i ≤ Y i ≤ b i .
Alors pour tout λ > 0
Preuve:
– 1 Méthode :
P(
P(|
n∑
2λ 2
Y i ≥ λ) ≤ exp(−∑ n
i=1 (b i − a i ) ) 2
i=1
n∑
2λ 2
Y i | ≥ λ) ≤ 2 exp(−∑ n
i=1 (b i − a i ) ) 2
i=1
Y =
a
b − a (b − Y ) + b (Y − a)
b − a
e tY ≤ b − Y
b − a eta + Y − a
b − a etb
log Ee tY ≤ L(u) := [βe −αu + αe βu ]
with α = −a/(b − a), β = b/(b − a) and u = t(b − a). Notons que
Donc
Finalement on obtient
L(0) = 0 L ′ (0) = 0 L ′′ (u) ≤ 1 4 .
L(u) ≤ u2
2
1
4 ≤ t2 (b − a) 2
8
P(S n ≥ η) ≤ exp(−tη) exp( 1 8
n∑
t 2 (b i − a i ) 2 )
i=1
On finit par choisir
– 2 Méthode :
t =
4η
∑ n
i=1 (b i − a i ) 2 .
a < Y < b ⇒ |Y − a + b
2 | ≤ b − a
2
(b − a)2
Var(Y ) ≤ .
2
λ(Y −EY )
ψ Y (λ)Ee
ψ ′ λ(Y −EY )
Y (λ)E(Y − EY )e
ψ ′′
Y (λ)E(Y − EY ) 2 e λ(Y −EY ) .
23

Ainsi on applique cette ingalit Y i = f l (X i ) − Ef l (X i ) et on obtient un intervalle de
confiance au niveau α de
[T n − t n,α , T n + t n,α ],
√
8M
2
t n,α =
n
log(2/α)
24

5 Les M- et les Z-estimateurs
5.1 Définitions et exemples
Soit X 1 , . . . , X n une suite finie de v.a. i.i.d. de loi P , définies sur un espace probabilisé
(Ω, C, P). En statistique, on parle de n-échantillon de loi P . Chaque X i est une observation.
Dans les problèmes d’estimation, la loi image de P par X, à savoir P , est inconnue. On
sait simplement qu’elle est issue d’une famille de lois P = {P θ ; θ ∈ Θ} où Θ est un espace
métrique muni d’une distance d. On cherche à estimer la valeur θ attachée à la loi P de X.
Les M-estimateurs forment une classe très générale d’estimateurs, qui comprend notamment
les estimateurs du maximum de vraisemblance et des moindres carrés. L’objet de ce chapitre
est de traiter des propriétés asymptotiques de telles suites d’estimateurs. Nous nous
intéressons à la consistance et à la normalité asymptotique de ces estimateurs.
Définition 4 Une suite d’estimateurs (T n ) de θ est dite consistante si pour tout θ ∈ Θ,
T n
P
−→ θ,
ce qui s’écrit encore T n = θ + o P (1) (pour simplifier, on dira souvent estimateur, au lieu de
suite d’estimateurs).
P
Remarque 7 Si T n −→ θ, la probabilité P(‖T n − θ‖ < t) tend vers 1 pour tout t > 0.
Considérons maintenant la probabilité P(r n ‖T n −θ‖ < t), où (r n ) est une suite de réels strictement
positifs. On s’attend à ce que cette probabilité tende vers 0 (respectivement 1) lorsque r n
tend vers +∞ suffisamment rapidement (respectivement lentement). On peut alors imaginer
qu’il existe une suite (r n ) ”intermédiaire”, tendant vers +∞, pour laquelle P(r n ‖T n −θ‖ < t)
tende vers une valeur strictement comprise entre 0 et 1. Une telle suite définit la vitesse de
convergence de (T n ) vers θ.
Définition 5 Soit (r n ) une suite de réels strictement positifs tendant vers +∞. Un estimateur
T n de θ est dit r n -consistant si, pour tout θ ∈ Θ, r n (T n − θ) = O P (1).
Remarque 8 En multipliant (T n − θ) par r n , on créé ”un effet de compensation” qui permet
d’affiner l’étude du comportement asymptotique de l’estimateur T n . Cette démarche est
analogue à celle adoptée lorsque l’on passe de la loi des grands nombres au théorème central
limite.
Définition 6 La suite (T n ) est dite asymptotiquement normale s’il existe une suite de réels
strictement positifs (r n ) telle que r n → ∞, et
∀θ ∈ Θ, r n (T n − θ) L −→
n
N (0, V (θ)).
V (θ) est appelée la matrice de variance-covariance asymptotique de la suite (r n (T n − θ)).
25

Remarque 9 Notons qu’un estimateur asymptotiquement normal est consistant. En effet,
T n − θ = 1 · r n (T n − θ).
r n
Comme 1
r n
converge vers 0 et que r n (T n − θ) converge en loi, le produit converge en loi vers
la constante 0, et donc également en probabilité.
Définition 7
1. Soit M n une fonction définie sur Θ, à valeurs réelles, et dépendant des observations.
On dit que ˆθ n est un M-estimateur si M n (ˆθ n ) ≥ sup θ∈Θ M n (θ) − o P (1).
2. Soit Ψ n une fonction définie sur Θ, à valeurs dans un espace vectoriel normé (L, ‖ · ‖),
et qui dépend des observations. On dit que ˆθ n est un Z-estimateur si ‖Ψ n (ˆθ n )‖ = o P (1).
Remarque 10
1. L’hypothèse M n (ˆθ n ) ≥ sup θ∈Θ M n (θ) − o P (1) signifie que ˆθ n est presque un maximum
de M n . L’hypothèse ‖Ψ n (ˆθ n )‖ = o P (1) signifie que ˆθ n est presque un zéro de Ψ n .
2. La fonction M n est souvent de la forme M n (θ) = 1 n
∑ n
i=1 m θ(X i ), où m θ est une fonction
réelle.
La fonction Ψ n est souvent de la forme Ψ n (θ) = 1 n
∑ n
i=1 ψ θ(X i ), où ψ θ est à valeurs
vectorielles. Lorsque θ ∈ R k , ψ θ est généralement composée de k fonctions coordonnées
ψ θ,j et on résoud le système
Exemple 5
⎧
⎨
⎩
∑
1 n
n i=1 ψ θ,1(X i ) = 0
∑
. . .
1 n
n i=1 ψ θ,k(X i ) = 0.
Soit X 1 , . . . , X n n observations indépendantes et de même loi. La méthode du maximum de
vraisemblance consiste à maximiser en θ la log-vraisemblance 1 n
∑ n
i=1 log f(x i; θ), où f(x; θ)
désigne la densité de probabilité des X i .
L’estimateur correspondant est appelé estimateur du maximum de vraisemblance, c’est
un M-estimateur associé à la fonction m θ (x) = log f(x; θ). L’estimateur du maximum de
vraisemblance est souvent déterminé en résolvant un système d’équations de vraisemblance :
1
n
n∑
i=1
∂
∂θ j
log f(x i ; θ) = 0 (j = 1, . . . , k) si θ = (θ 1 , . . . , θ k ).
L’estimateur du maximum de vraisemblance peut être vu dans ce cas comme un Z-estimateur
associé à la fonction ψ θ (x) = ∂ ∂θ log f(x; θ), et ψ θ,j est la j-ième dérivée partielle de log f(x; θ).
Réciproquement, un Z-estimateur peut être vu comme un M-estimateur : si Ψ n (ˆθ n ) = 0,
alors ˆθ n maximise la fonction θ ↦−→ −‖Ψ n (θ)‖.
26

Exemple 6
Soit X 1 , . . . , X n un n-échantillon d’une loi de moyenne θ. La moyenne empirique est un
Z-estimateur de θ : X n est en effet solution de l’équation Ψ n (θ) = 0, avec Ψ n (θ) =
1
n
∑ n
i=1 ψ θ(X i ) et ψ θ (X i ) = X i − θ.
Exemple 7
Soit X 1 , . . . , X n (les X i sont supposés distincts) un n-échantillon d’une loi de médiane θ.
La médiane empirique est solution de l’équation Ψ n (θ) = ∑ n
i=1 ψ θ(X i ) = 0 avec ψ θ (X i ) =
signe(X i − θ), c’est donc un Z-estimateur 3 de θ.
5.2 Consistance des M- et Z-estimateurs
Le théorème suivant énonce des conditions suffisantes pour la consistance d’une suite de
M-estimateurs obtenus par maximisation du critère empirique M n .
Théorème 11 Si la suite de fonctions aléatoires (M n (θ)) satisfait à la condition de convergence
P
sup |M n (θ) − M(θ)| −→ 0, (5)
θ∈Θ
où M est une fonction de Θ dans R, admettant un maximum unique en θ 0 ∈ Θ tel que
∀ɛ > 0,
sup
{θ:d(θ,θ 0 )≥ɛ}
M(θ) < M(θ 0 ), (6)
alors toute suite de variables aléatoires (ˆθ n ) telle que M n (ˆθ n ) ≥ sup θ∈Θ M n (θ) − o P (1)
converge en probabilité vers θ 0 .
Preuve : On décompose puis on majore M(θ 0 )−M(ˆθ n ) (quantité positive car θ 0 est l’unique
maximum de M) de la façon suivante :
M(θ 0 ) − M(ˆθ n ) = M(θ 0 ) − M n (θ 0 ) + M n (θ 0 ) − M n (ˆθ n ) + M n (ˆθ n ) − M(ˆθ n )
≤
2 sup |M n (θ) − M(θ)| + M n (θ 0 ) − M n (ˆθ n ).
θ∈Θ
Si M n (ˆθ n ) ≥ sup θ∈Θ M n (θ) − o P (1), alors M n (ˆθ n ) ≥ M n (θ 0 ) − o P (1), d’où M(θ 0 ) − M(ˆθ n ) ≤
2 sup θ∈Θ |M n (θ) − M(θ)| + o P (1) = o P (1).
Soit ɛ > 0. D’après (6), il existe η > 0 tel que si d(θ, θ 0 ) ≥ ɛ, on a M(θ) < M(θ 0 ) − η.
Donc {d(ˆθ n , θ 0 ) ≥ ɛ} ⊂ {M(ˆθ n ) < M(θ 0 ) − η} et P(d(ˆθ n , θ 0 ) ≥ ɛ) ≤ P(η < M(θ 0 ) − M(ˆθ n )).
D’après ce qui précède, P(d(ˆθ n , θ 0 ) ≥ ɛ) −→ 0.
On trouve beaucoup de versions différentes de ce théorème, selon que l’on suppose ou
non l’unicité du maximum ou du minimum, la compacité de l’espace des paramètres. Une
version très souvent utilisée est la suivante.
3 la fonction signe est définie de la manière suivante : signe(x) = −1, 0, 1 selon que x < 0, x = 0, x > 0.
27

Théorème 12 Supposons que l’on regarde (pour s’habituer à l’autre cas de figure, couramment
employé pour les modèles d’ajustement comme la régression) un estimateur minimisant
le contraste empirique, en supposant qu’il existe et qu’il est unique. Si en outre
1. Θ est un compact de R k
2. M n (θ)
P
−→ M(θ) pour tout θ ∈ Θ
3. θ ↦→ M n (θ) et θ ↦→ M(θ) sont continues
4. Soit
W n (η) =
sup |M n (α) − M n (β)|.
|α−β|≤η
Alors il existe 2 suites décroissantes tendant vers 0 (η k , ɛ k ) telles que
lim P[W n(η k ) > ɛ k ] = 0.
n→+∞
Alors toute suite de variables aléatoires (ˆθ n ) telle que M n (ˆθ n ) ≤ inf θ∈Θ M n (θ)+o P (1) converge
en probabilité vers θ 0 .
Preuve : Sans perte de gnralit, on suppose que M(θ 0 ) = 0.
Soit B une boule centre en θ 0 de rayon r > 0. Il existe ε > 0 tel que ∀θ ∈ Θ \ B, M(θ) > 2ε.
En effet, M est continue sur Θ\B qui est un compact de R k . Elle y admet donc un minimum.
Or M admet un unique minimum θ 0 sur B et θ 0 n’appartient pas Θ \ B, ce minimum est
strictement plus grand que M(θ 0 ) = 0.
Comme ε k → 0, il existe k ∈ N tel que ε k ε. Par compacit de Θ \ B, il existe N ∈ N ∗ ,
k→+∞
N⋃
(θ 1 , . . . , θ N ) ∈ (Θ \ B) N tels que Θ \ B ⊂ B(θ i , η k ).
Soit α ∈ Θ \ B. Il existe i ∈ [|1, N|] tel que α ∈ B(θ i , η k ).
Soit n ∈ N. On a
i=1
M n (α) = M n (α) − M n (θ i ) + M n (θ i )
M n (θ i ) − |M n (α) − M n (θ i )|
inf M n(θ i ) − W n (η k ).
i∈[|1,N|]
} {
}
Or
{ˆθn /∈ B ⊂ M n (ˆθ n ) inf M n(θ i ) − W n (η k ) .
i∈[|1,N|]
Or M n (θ 0 ) M n (ˆθ n ) car ˆθ n = ArgminM n (θ).
θ∈Θ
} {
}
Donc
{ˆθn /∈ B ⊂ M n (θ 0 ) inf M n(θ i ) − W n (η k ) .
i∈[|1,N|]
28

Donc
(
)
P(ˆθ n /∈ B) P W n (η k ) inf M n (θ i ) − M n (θ 0 )
i∈[|1,N|]
(
)
P W n (η k ) ε k , inf M n(θ i ) − M n (θ 0 ) ε k
i∈[|1,N|]
(
)
+ P W n (η k ) inf M n(θ i ) − M n (θ 0 ), inf M n(θ i ) − M n (θ 0 ) < ε k
i∈[|1,N|] i∈[|1,N|]
(
)
P (W n (η k ) ε k ) + P inf M n(θ i ) − M n (θ 0 ) < ε k .
i∈[|1,N|]
Par hypothse, P (W n (η k ) ε k )
De plus,
→ 0.
n→+∞
(
)
P inf M n(θ i ) − M n (θ 0 ) < ε k
i∈[|1,N|]
N∑
P (M n (θ i ) − M n (θ 0 ) < ε k ) .
i=1
P
Or M n (θ i ) − M n (θ 0 ) −→ M(θ i ) 2ε k .
Donc, pour tout δ > 0, P (M(θ i ) − δ M n (θ i ) − M n (θ 0 ) M(θ i ) + δ) → 1.
On pose δ = ε k . On a alors
P (M n (θ i ) − M n (θ 0 ) ε k ) P (M(θ i ) − ε k M n (θ i ) − M n (θ 0 ) M(θ i ) + ε k ) → 1.
Donc P (M n (θ i ) − M n (θ 0 ) < ε k ) → 0.
D’o
ˆθ n
P
−→ θ 0 .
Pour les Z-estimateurs, on dispose du théorème suivant :
Théorème 13 Soit Ψ n (θ) une suite de fonctions aléatoires et Ψ une fonction de Θ dans L
telles que
sup ‖Ψ n (θ) − Ψ(θ)‖ −→ P
0,
θ∈Θ
∀ɛ > 0, inf ‖Ψ(θ)‖ > 0 = ‖Ψ(θ 0)‖. (7)
{θ:d(θ,θ 0 )≥ɛ}
Alors toute suite de variables aléatoires ˆθ n telle que ‖Ψ n (ˆθ n )‖ = o P (1) converge en probabilité
vers θ 0 .
Preuve : Il suffit d’appliquer le théorème 11 avec M n (θ) = −‖Ψ n (θ)‖ et M(θ) = −‖Ψ(θ)‖.
Mais on peut aussi re-démontrer ce résultat entièrement, à titre d’exercice... Soit ɛ > 0.
D’après (7), il existe η > 0 tel que si d(θ, θ 0 ) ≥ ɛ, on a ‖Ψ(θ)‖ > η. Donc {d(ˆθ n , θ 0 ) ≥ ɛ} ⊂
29

{‖Ψ(ˆθ n )‖ > η} et P(d(ˆθ n , θ 0 ) ≥ ɛ) ≤ P(‖Ψ(ˆθ n )‖ > η).
Ensuite, Ψ(ˆθ n ) = Ψ(ˆθ n ) − Ψ n (ˆθ n ) + Ψ n (ˆθ n ). Il vient
‖Ψ(ˆθ n )‖ ≤ ‖Ψ(ˆθ n ) − Ψ n (ˆθ n )‖ + ‖Ψ n (ˆθ n )‖
≤
sup ‖Ψ n (θ) − Ψ(θ)‖ + ‖Ψ n (ˆθ n )‖ = o P (1) + ‖Ψ n (ˆθ n )‖.
θ∈Θ
Si ‖Ψ n (ˆθ n )‖ = o P (1), alors ‖Ψ(ˆθ n )‖ = o P (1) et P(d(ˆθ n , θ 0 ) ≥ ɛ) −→ 0.
Remarque 11 La condition (7) est une condition d’identifiabilité. Il peut être parfois utile
de considérer la condition suivante :
pour toute suite (θ n ) ∈ Θ, ‖Ψ(θ n )‖ −→ 0 implique ‖θ n − θ 0 ‖ −→ 0.
Notons que pour simplifier les notations, nous avons utilisé la même notation ‖ · ‖ pour
désigner les normes sur L et Θ.
Remarque 12 Lorsque les fonctions M n (θ) (resp. Ψ n (θ)) s’expriment comme des moyennes
empiriques : M n (θ) = 1 n
∑ n
i=1 m θ(X i ) (resp.Ψ n (θ) = 1 n
∑ n
i=1 ψ θ(X i )), la convergence uniforme
du théorème 11 (resp. 13) est équivalente à dire que la classe de fonctions {m θ : θ ∈ Θ}
(resp. {ψ θ : θ ∈ Θ}) est de Glivenko-Cantelli (voir l’annexe sur les processus empiriques).
Exemple 8 (Estimateur de Kaplan-Meier)
Supposons que l’on souhaite estimer la fonction de survie S 0 (t) = P(T > t) d’une variable
aléatoire positive T (de densité f 0 ), que l’on interprétera par exemple comme la durée de fonctionnement
d’un équipement industriel. On considère ce problème d’estimation dans un cadre
de durées censurées à droite, c’est-à-dire, on observe n répliques indépendantes (U i , ∆ i ) n i=1,
où U i = min(T i , C i ), C i est une variable aléatoire positive dite de censure, indépendante de
T i , et ∆ i = 1 {Ti ≤C i }. On note f C et S C respectivement la densité et la fonction de survie de
C. Notons que S 0 (0) = S C (0) = 1.
Notons ˜T j (j = 1, . . . , m n ) les instants distincts d’évènements non censurés observés.
L’estimateur de Kaplan-Meier Ŝn de S 0 est donné par :
Ŝ n (t) = ∏ ( ∑ n
i=1
1 −
∆ )
i1 {Ui = ˜T j }
∑ n
i=1 1 .
{U i ≥ ˜T j }
j: ˜T j ≤t
Supposons qu’il existe 0 < τ < ∞ et η > 0 tels que S 0 (τ) ≥ η et S C (τ) > 0. Nous noterons
Θ l’espace de toutes les fonctions de survie S restreintes à l’intervalle [0, τ], et telles que
S(0) = 1 et S(τ) ≥ η. Θ sera muni de la norme uniforme ‖ · ‖ ∞ .
On peut montrer que l’estimateur de Kaplan-Meier est solution de l’équation Ψ n (Ŝn) = 0,
où Ψ n : Θ −→ Θ est définie par Ψ n (S)(t) = P n ψ S,t , où
ψ S,t (U, ∆) = 1 {U>t} + (1 − ∆)1 {U≤t} 1 {S(U)>0}
S(t)
S(U) − S(t).
30

P
Posons Ψ(S)(t) = P ψ S,t . On peut montrer que sup S∈Θ ‖Ψ n (S) − Ψ(S)‖ ∞ −→ 0 (ceci sera
justifié plus tard en utilisant des arguments étudiés dans la suite de ce cours). On calcule
[
]
S(t)
P ψ S,t = P(U > t) + E 1 {T >C} 1 {C≤t} 1 {S(C)>0} − S(t)
S(C)
∫ t ∫ ∞
S(t)
= S 0 (t)S C (t) + 1 {S(c)>0}
S(c) f C(c)f 0 (x) dxdc − S(t)
= S 0 (t)S C (t) +
0
∫ t
Il est immédiat de vérifier que Ψ(S 0 )(t) = 0.
0
c
S 0 (c)
S(c) 1 {S(c)>0}f C (c) dc · S(t) − S(t)
Soit (S n ) une suite de Θ, et posons h n (t) = S 0 (t)/S n (t) − 1. Alors on vérifie que
sup |Ψ(S n )(t)| = sup |u n (t) · S n (t)|,
t∈[0,τ]
t∈[0,τ]
où u n (t) = h n (t)S C (t) + ∫ t
0 h n(c)f C (c) dc. Par hypothèse, il existe η > 0 tel que pour tout
t ∈ [0, τ], S n (t) ≥ η, donc sup t∈[0,τ] |Ψ(S n )(t)| ≥ sup t∈[0,τ] |u n (t)| · η. Donc si ‖Ψ(S n )‖ ∞ −→ 0,
alors sup t∈[0,τ] |u n (t)| −→ 0.
Un peu de calcul montre que h n (t) = u n (t)/S C (t) − ∫ t
0 [S2 C (c)]−1 u n (c)f C (c) dc. On en déduit
facilement une majoration de sup t∈[0,τ] |h n (t)|, puis on montre, en utilisant la convergence
uniforme de u n , que sup t∈[0,τ] |h n (t)| −→ 0, d’où ‖S n − S 0 ‖ ∞ −→ 0.
Remarque 13 Les conditions énoncées dans les deux théorèmes précédents peuvent être
affaiblies de multiples façons. En voici un exemple lorsque Θ ⊂ R, où l’on affaiblit l’hypothèse
de convergence uniforme de Ψ n vers Ψ.
Proposition 3 Supposons que :
1. ∀θ ∈ Θ, Ψ n (θ)
P
−→ Ψ(θ),
2. ∀θ ∈ Θ, θ ↦−→ Ψ n (θ) est continue et s’annule seulement en ˆθ n ,
ou : 2’. θ ↦−→ Ψ n (θ) est croissante, telle que Ψ n (ˆθ n ) = o P (1),
3. il existe θ 0 tel que : ∀ɛ > 0, Ψ(θ 0 − ɛ) < 0 < Ψ(θ 0 + ɛ).
Alors (ˆθ n ) converge en probabilité vers θ 0 .
Preuve:
– Supposons tout d’abord 2. Soit ɛ > 0. Si Ψ n (θ 0 − ɛ) < 0 < Ψ n (θ 0 + ɛ), alors θ 0 − ɛ <
ˆθ n < θ 0 + ɛ, d’après 2. et le théorème des valeurs intermédiaires. D’où
(
P (Ψ n (θ 0 − ɛ) < 0, Ψ n (θ 0 + ɛ) > 0) ≤ P θ 0 − ɛ < ˆθ
)
n < θ 0 + ɛ .
31

On montre facilement que P (Ψ n (θ 0 − ɛ) < 0, Ψ n (θ 0 + ɛ) > 0) −→ 1. En effet, d’après
P
1. et 3., Ψ n (θ 0 − ɛ) −→ Ψ(θ 0 − ɛ) < 0, i.e.
∀η > 0, P (Ψ(θ 0 − ɛ) − η < Ψ n (θ 0 − ɛ) < Ψ(θ 0 − ɛ) + η) → 1.
Posons η = −Ψ(θ 0 −ɛ) > 0. Il vient P (2Ψ(θ 0 − ɛ) < Ψ n (θ 0 − ɛ) < 0) → 1. Or {2Ψ(θ 0 −
ɛ) < Ψ n (θ 0 − ɛ) < 0} ⊂ {Ψ n (θ 0 − ɛ) < 0} d’où P (Ψ n (θ 0 − ɛ) < 0) → 1. De même,
P (Ψ n (θ 0 + ɛ) > 0) → 1. On en déduit que
P (Ψ n (θ 0 − ɛ) < 0, Ψ n (θ 0 + ɛ) > 0) = P (Ψ n (θ 0 − ɛ) < 0) + P (Ψ n (θ 0 + ɛ) > 0)
−P (Ψ n (θ 0 − ɛ) < 0 ∪ Ψ n (θ 0 + ɛ) > 0) −→ 1.
(
)
D’où P |ˆθ n − θ 0 | < ɛ −→ 1, ce qui achève la démonstration.
– Supposons maintenant 2’. Soit η > 0. On a {|ˆθ n − θ 0 | > η} = {ˆθ n > θ 0 + η} ∪ {ˆθ n <
θ 0 − η} ⊂ {Ψ n (ˆθ n ) ≥ Ψ n (θ 0 + η)} ∪ {Ψ n (ˆθ n ) ≤ Ψ n (θ 0 − η)} car Ψ n est croissante. De
là, on déduit
P(|ˆθ n − θ 0 | > η) ≤ P(Ψ n (θ 0 + η) − Ψ n (ˆθ n ) ≤ 0) + P(0 ≤ Ψ n (θ 0 − η) − Ψ n (ˆθ n )).
P
Or Ψ n (θ 0 − η) − Ψ n (ˆθ n ) −→ Ψ(θ 0 − η) < 0. Par le même raisonnement que ci-dessus,
P(0 ≤ Ψ n (θ 0 − η) − Ψ n (ˆθ n )) −→ 0. De même, P(Ψ n (θ 0 + η) − Ψ n (ˆθ n ) ≤ 0) −→ 0. D’où
P(|ˆθ n − θ 0 | > η) −→ 0.
Exemple 9 (Médiane)
La médiane empirique ˆθ ∑
n est solution de Ψ n (θ) = 1 n
n i=1 signe(X i −θ) = 0. La loi des grands
P
nombres assure que ∀θ, Ψ n (θ) −→ Ψ(θ) = E[signe(X − θ)] = P(X > θ) − P(X < θ). On
s’attend donc à ce que (ˆθ n ) converge en probabilité vers un θ 0 tel que Ψ(θ 0 ) = 0, soit tel que
P(X > θ 0 ) = P(X < θ 0 ). Ce θ 0 est la médiane de la loi des X i .
On note que Ψ n est décroissante. D’après la proposition 3, ˆθ
P
n −→ θ 0 si ∀ɛ > 0, Ψ(θ 0 + ɛ) <
0 < Ψ(θ 0 − ɛ), i.e. si P(X > θ 0 + ɛ) < P(X < θ 0 + ɛ) et P(X > θ 0 − ɛ) > P(X < θ 0 − ɛ). Ceci
sera vérifié si ∀ɛ > 0, P(X < θ 0 − ɛ) < 1 < P(X < θ 2 0 + ɛ).
5.3 Normalité asymptotique des M- et Z-estimateurs
Le premier théorème présenté énonce les ”conditions classiques” (Cramer, 1946) sous lesquelles
une suite consistante de Z-estimateurs est asymptotiquement normale. Ces conditions
sont trop restrictives pour certaines applications et nous présenterons ensuite des théorèmes
énonçant des conditions moins fortes. Le théorème qui suit a l’avantage de se démontrer
facilement.
Soit X 1 , X 2 , . . . une suite de v.a. i.i.d. de loi P sur un espace mesurable (X , A). Nous nous
intéressons à la normalité asymptotique d’une suite d’estimateurs (ˆθ n ) du paramètre θ attaché
à la loi P .
On suppose que θ appartient à un ouvert Θ de R. ˆθ n est obtenu comme solution de l’équation
Ψ n (θ) = 0, où Ψ n (θ) = 1 n
∑ n
i=1 ψ θ(X i ). On note P ψ θ = E [ψ θ (X)] = ∫ X ψ θ(x) dP (x).
32

Théorème 14 Supposons que θ ↦→ ψ θ (x) est C 2 pour tout x, et que, pour tout θ dans un
voisinage de θ 0 , | ¨ψ θ (x)| ≤ h(x), avec P h < ∞. Supposons que P ψ θ0 = 0, que P |ψ θ0 | 2 < ∞,
et que P ˙ψ θ0 est inversible. Soit une suite ˆθ n telle que ∀n, Ψ n (ˆθ n ) = o P (1/ √ n), et ˆθ
P
n −→ θ 0 .
Alors
Preuve:
√ n(ˆθn − θ 0 )
(
L
−→ N 0,
(P ˙ψ
) )
−2
θ0 P ψ
2
θ0
.
o P (1/ √ n) = Ψ n (ˆθ n ) = Ψ n (θ 0 ) + (ˆθ n − θ 0 ) ˙Ψ n (θ 0 ) + 1 2 (ˆθ n − θ 0 ) 2 ¨Ψn (˜θ n ),
où ˜θ n est compris entre θ 0 et ˆθ n , d’où
√ n(ˆθn − θ 0 ) =
o P (1) − √ nΨ n (θ 0 )
˙Ψ n (θ 0 ) + 1 2 (ˆθ n − θ 0 ) ¨Ψ n (˜θ n )
(8)
P
D’après la loi des grands nombres, Ψ n (θ 0 ) −→ P ψ θ0 = 0, et le TCL assure que √ nΨ n (θ 0 )
converge en loi vers N ( )
0, P ψθ 2 0 . Par Slutsky, le numérateur de (8) converge en loi vers
P
N ( )
0, P ψθ 2 0 . De plus, ˙Ψn (θ 0 ) −→ P ˙ψ θ0 . Avec probabilité tendant vers 1,
| ¨Ψ 1
n∑
n (˜θ n )| =
(X ¨ψ˜θn i )
∣n
∣ ≤ 1 n∑
|
n
¨ψ˜θn (X i )| ≤ 1 n∑
P
h(X i ) −→ P h.
n
i=1
i=1
Donc ¨Ψ n (˜θ n ) = O P (1) (on vérifie facilement que si Y n = O P (1) et pour tout n ∈ N, |X n | ≤
|Y n |, alors X n = O P (1)). D’où (ˆθ n −θ 0 ) ¨Ψ n (˜θ n ) = o P (1)O P (1) = o P (1). Ainsi, ˙Ψ n (θ 0 )+ 1(ˆθ 2 n −
θ 0 ) ¨Ψ
P
n (˜θ n ) −→ P ˙ψ θ0 . D’après le théorème de Slutsky, √ L
n(ˆθ n − θ 0 ) −→ N (0, (P ˙ψ θ0 ) −2 P ψθ 2 0
).
i=1
Remarque 14 Pour pouvoir appliquer ce théorème à une suite consistante de M−estimateurs
ˆθ n = argmax θ
1
n
∑ n
i=1 m θ(X i ), il faut que θ ↦→ m θ soit C 3 . Nous énoncerons dans la suite un
théorème qui ne nécessite pas une hypothèse aussi forte.
Avant de donner un théorème affaiblissant les conditions du théorème 14, nous allons démontrer
un lemme et donner un exemple.
Lemme 8 Soit F une classe de fonctions mesurables, supposée Donsker, ˆfn une suite de
fonctions aléatoires à valeurs dans F, et f 0 ∈ L 2 (P ) (i.e. P f0 2 < ∞). Supposons que
∫
( ˆfn (x)−f 0 (x)) 2 dP (x) converge en probabilité vers 0. Alors, G n ( ˆf
P
L
n −f 0 ) −→ 0 et G n ˆfn −→
G P f 0 .
Par ”fonction aléatoire à valeurs dans F”, on entend que ˆf n est une fonction définie sur
le même espace de probabilité (Ω, C, P) que les X i et que pour tout ω ∈ Ω, ˆfn (ω) ∈ F
33

(alors x ↦→ ˆf n (ω, x) est mesurable). Souvent, ˆfn (x, ω) est fonction des observations X i et
ˆf n (x, ω) = ˆf n (x, X 1 (ω), . . . , X n (ω)). On note, pour un ω fixé (que l’on ne fera plus figurer
dans l’écriture), P ˆf n = ∫ X ˆf n (x, X 1 , . . . , X n ) dP (x), P n ˆfn = 1 n
∑ n
i=1 ˆf n (X i , X 1 , . . . , X n ), et
G n ˆfn = √ n(P n ˆfn − P ˆf n ).
Le TCL ne peut pas s’appliquer directement à la suite G n ˆfn , mais si les fonctions ˆf n sont
”suffisamment régulières”, son résultat reste valable d’après le lemme 8.
Preuve:
Supposons (sans perte de généralité) que f 0 ∈ F (sinon, on considère la classe F ∪ {f 0 }).
Définissons h : l ∞ (F) × F → R de la manière suivante : ∀(z, f) ∈ l ∞ (F) × F, h(z, f) =
z(f) − z(f 0 ). On munit l ∞ (F) de la norme ‖z‖ = sup f∈F |z(f)| et F de la norme L 2 (P ) :
‖f‖ 2,P = (P f 2 ) 1/2 . Alors h est continue en tout (z, f) tel que z soit continue en f. En effet,
supposons que (z n , f n ) converge vers (z, f) dans l ∞ (F)×F. Alors z n converge uniformément
vers z. Donc
h(z n , f n ) = z n (f n ) − z n (f 0 ) = z(f n ) − z(f 0 ) + o(1),
et h(z n , f n ) −→ h(z, f) si z(f n ) −→ z(f), donc si z est continue en f.
On a supposé que ˆf
P
L
n −→ f 0 dans (F, ‖ · ‖ 2,P ). De plus, F étant Donsker, G n −→ G P
dans l ∞ (F), d’où (G n , ˆf
L
n ) −→ (G P , f 0 ) dans l ∞ (F) × F. On admettra sans démonstration
que presque toutes les trajectoires de G P sont continues sur F. Donc h définie ci-dessus est
continue en presque tous les (G P , f 0 ). Par le théorème de l’image continue, h(G n , ˆf
L
n ) −→
h(G P , f 0 ) = 0 soit G n ( ˆf
L
n − f 0 ) −→ 0. D’où G n ( ˆf
P
L
n − f 0 ) −→ 0 et G n ˆfn −→ G P f 0 .
Exemple 10
Soit un échantillon i.i.d. X 1 , . . . , X n de loi P et de fonction de répartition F (on suppose
pour simplifier les notations que la moyenne P x des X i vaut 0). Un estimateur naturel de
l’erreur absolue moyenne est donné par
M n = 1 n
n∑
|X i − X n |.
i=1
M n peut s’écrire sous la forme P n ˆfn , où ˆf n (x) := ˆf n (x; X n ) = |x − X n | est une fonction
aléatoire
√
(elle dépend de ω au travers de X n (ω)). On souhaite déterminer la loi limite de
n(Mn − P |x|) = √ (P n ˆfn − P |x|). Pour ω ∈ Ω fixé, x ↦→ ˆf n (x; X n (ω)) appartient à
l’ensemble F = {f θ : x ↦→ f θ (x) = |x − θ|, θ ∈ Θ}, où Θ est borné dans R. Supposons que
P x 2 < ∞.
On vérifie que |f θ1 (x) − f θ2 (x)| = ||x − θ 1 | − |x − θ 2 || ≤ m(x)|θ 1 − θ 2 |, où m ≡ 1 et
P m 2 = 1, et ∫ fθ 2 dP ≤ P x2 + θ 2 < ∞, d’où F est une classe de Donsker d’après l’exemple
(13).
On a
∫
∫
( ˆf n (x) − |x|) 2 dP (x) =
∫
(|x − X n | − |x|) 2 dP (x) ≤
34
|X n | 2 dP (x) = |X n | 2 p.s.
−→ 0,

donc d’après le lemme 8, G n |x − X n | − G n |x| −→ 0, ce que l’on peut écrire
( )
√ 1
n∑
n |X i − X n | − P |x − X n | = G n |x| + o P (1).
n
D’où
i=1
√ n(Mn − P |x|) = √ n(M n − P |x − X n | + P |x − X n | − P |x|)
P
= √ n(P |x − X n | − P |x|) + √ n(M n − P |x − X n |)
= √ n(P |x − X n | − P |x|) + G n |x| + o P (1)
Si θ ↦→ P |x − θ| = ∫ |x − θ| dP (x) est dérivable en 0, sa dérivée en 0 vaut 2F (0) − 1, et
d’après la méthode delta, √ n(P |x − X n | − P |x − P x|) = [2F (0) − 1] √ n(X n − P x) + o P (1),
soit √ n(P |x − X n | − P |x|) = [2F (0) − 1]G n x + o P (1). Donc √ n(M n − P |x|) = [2F (0) −
1]G n x + G n |x| + o P (1), et √ n(M n − P |x|) converge en loi vers une gaussienne centrée de
variance var([2F (0) − 1]X 1 + |X 1 |).
Théorème 15 Soit Θ un ouvert de R k . Supposons que la classe de fonctions de X dans R k
F = {ψ θ : θ ∈ Θ} soit P -Donsker, que θ ↦→ P ψ θ soit différentiable en θ 0 (θ 0 est tel que
P ψ θ0 = 0), et de dérivée V θ0 inversible. Supposons que P ‖ψ θ0 ‖ 2 < ∞. Si P n = o ψˆθn P (1/ √ n),
P
ˆθ n −→ θ 0 , et ∫ (x) − ψ ‖ψˆθn θ0 (x)‖ 2 dP (x) converge en probabilité vers 0, alors
√ n(ˆθn − θ 0 ) = −V −1 1
n∑
θ 0
√n ψ θ0 (X i ) + o P (1).
Par suite,
i=1
√ L
n(ˆθn − θ 0 ) −→ N ( 0, V −1 P (ψ θ0 ψθ T 0
)(V −1
θ 0
) ) T .
θ 0
Preuve:
On a : G n = √ n(P ψˆθn n − P ), et par hypothèse, √ nP ψˆθn
ψˆθn n = o ψˆθn P (1) et P ψ θ0 = 0, d’où
G n = o ψˆθn P (1) − √ nP + √ nP ψ ψˆθn θ0 = − √ n(P − P ψ ψˆθn θ0 ) + o P (1).
P
De plus, d’après le Lemme 8, G n − G ψˆθn n ψ θ0 −→ 0 d’où G n = G ψˆθn n ψ θ0 + o P (1). En
combinant ces deux résultats, on a donc
− √ n(P ψˆθn
− P ψ θ0 ) = G n ψ θ0 + o P (1). (9)
P ψ θ est différentiable en θ 0 d’où P ψ θ0 +h − P ψ θ0 = V θ0 h + R(h), où R(h) = o(‖h‖) quand
h → 0. D’après le lemme 6, et puisque ˆθ
P
n −→ θ 0 , on peut remplacer h par ˆθ n − θ 0 , et donc
Ainsi (9) devient
P ψˆθn
− P ψ θ0 = V θ0 (ˆθ n − θ 0 ) + o P (‖ˆθ n − θ 0 ‖).
− √ nV θ0 (ˆθ n − θ 0 ) = o P ( √ n‖ˆθ n − θ 0 ‖) + G n ψ θ0 + o P (1). (10)
On a alors − √ n(ˆθ n −θ 0 ) = o P ( √ n‖ˆθ n −θ 0 ‖)+O P (1), d’où √ n‖ˆθ n −θ 0 ‖ ≤ o P ( √ n‖ˆθ n −θ 0 ‖)+
O P (1), puis √ n‖ˆθ n − θ 0 ‖(1 − o P (1)) = O P (1). Finalement, √ n‖ˆθ n − θ 0 ‖ = O P (1) et donc
o P ( √ n‖ˆθ n − θ 0 ‖) = o P (1). De (10), on déduit donc que − √ nV θ0 (ˆθ n − θ 0 ) = G n ψ θ0 + o P (1).
V θ0 étant supposée inversible, le résultat s’en déduit.
35

Remarque 15 Soit X 1 , . . . , X n (les X i sont supposés distincts) un n-échantillon d’une loi
de médiane θ. La médiane empirique est solution de l’équation P n ψ θ = 0 avec ψ θ (x) =
signe(x − θ). La classe de fonctions F = {ψ θ (x) = sign(x − θ), θ ∈ Θ} (Θ ouvert de R)
est Donsker (on le montre de la même manière que dans l’exemple 12). Ainsi le théorème
précédent s’applique et la médiane empirique est asymptotiquement normale.
Dans ce qui suit, l’espace des paramètres Θ n’est plus supposé être un sous-ensemble de
R k , ni Ψ n être de la forme P n ψ θ . Ψ n : Θ ↦→ L est une fonction aléatoire entre deux espaces
de Banach (on ne fait pas figurer dans la notation l’espace de probabilité sous-jacent) et
un ˆθ n qui vérifie (approximativement) Ψ n (ˆθ n ) = 0 est un Z-estimateur de θ. Si θ était
jusqu’alors un paramètre fini-dimensionnel, le théorème qui va suivre va nous permettre de
traiter des modèles statistiques indexés par des paramètres ”infini-dimensionnels” (modèles
semi-paramétriques par exemple). Ψ n ”estime” en général une fonction fixée Ψ : Θ ↦→ L
qui s’annule en θ 0 . Le théorème qui suit énonce des conditions sous lesquelles √ n(ˆθ n − θ 0 )
converge en loi.
On rappelle que θ ↦→ Ψ(θ) est Fréchet-différentiable en θ 0 s’il existe une application
linéaire continue ˙Ψ θ0 : Θ ↦→ L telle que Ψ(θ) − Ψ(θ 0 ) − ˙Ψ θ0 (θ − θ 0 ) = o(‖θ − θ 0 ‖) quand
θ → θ 0 .
Théorème 16 Soient Ψ n et Ψ respectivement une suite de fonctions aléatoires et une fonction
de Θ dans L. On suppose que Ψ(θ 0 ) = 0, que θ ↦→ Ψ(θ) est Fréchet-différentiable en
θ 0 , que sa différentielle ˙Ψ −1
θ0 admet une inverse continue ˙Ψ
θ 0
, que Ψ n (ˆθ n ) = o ∗ P (n−1/2 ) et que
P
ˆθ ∗
n −→ θ 0 . On suppose que √ n(Ψ n − Ψ)(θ 0 ) converge en loi vers Z tendu et que
√ n(Ψn − Ψ)(ˆθ n ) − √ n(Ψ n − Ψ)(θ 0 ) = o ∗ P (1 + √ n‖ˆθ n − θ 0 ‖).
Alors
√ n ˙Ψθ0 (ˆθ n − θ 0 ) = − √ n(Ψ n − Ψ)(θ 0 ) + o ∗ P (1)
et √ n(ˆθ n − θ 0 ) converge en loi vers −
Preuve:
On a
˙Ψ θ0
˙Ψ
−1
θ 0
Z.
√ n(Ψ(ˆθn ) − Ψ(θ 0 )) = √ n(Ψ(ˆθ n ) − Ψ n (ˆθ n )) + √ nΨ n (ˆθ n ) − √ nΨ(θ 0 )
= √ n(Ψ(ˆθ n ) − Ψ n (ˆθ n )) + o ∗ P (1)
= − √ n(Ψ n − Ψ)(θ 0 ) + o ∗ P (1 + √ n‖ˆθ n − θ 0 ‖). (11)
admet une inverse continue donc il existe un c > 0 tel que ‖ ˙Ψ θ0 (θ − θ 0 )‖ > c‖θ − θ 0 ‖
pour tous θ, θ 0 . Ceci combiné avec la Fréchet-différentiabilité de θ ↦→ Ψ(θ) en θ 0 nous permet
d’écrire
c‖θ − θ 0 ‖ < ‖ ˙Ψ θ0 (θ − θ 0 )‖ = ‖ ˙Ψ θ0 (θ − θ 0 ) − Ψ(θ) + Ψ(θ 0 ) + Ψ(θ) − Ψ(θ 0 )‖
≤
o(‖θ − θ 0 ‖) + ‖Ψ(θ) − Ψ(θ 0 )‖,
36

d’où c‖θ − θ 0 ‖ + o(‖θ − θ 0 ‖) ≤ ‖Ψ(θ) − Ψ(θ 0 )‖. Combinons ce résultat avec (11), il vient :
c √ n‖ˆθ n − θ 0 ‖ + o ∗ P ( √ n‖ˆθ n − θ 0 ‖) ≤ √ n‖Ψ(ˆθ n ) − Ψ(θ 0 )‖
≤
√ n‖(Ψ n − Ψ)(θ 0 )‖ + o ∗ P (1 + √ n‖ˆθ n − θ 0 ‖),
d’où
√ n‖ˆθn − θ 0 ‖(c + o ∗ P (1)) ≤ O P (1) + o ∗ P (1 + √ n‖ˆθ n − θ 0 ‖).
On en déduit que ˆθ n est √ n-consistant pour θ 0 en norme. Maintenant, par la Fréchetdifférentiabilité
de θ ↦→ Ψ(θ), on a
√ n(Ψ(ˆθn ) − Ψ(θ 0 )) = √ n ˙Ψ θ0 (ˆθ n − θ 0 ) + o ∗ P ( √ n‖ˆθ n − θ 0 ‖) = √ n ˙Ψ θ0 (ˆθ n − θ 0 ) + o ∗ P (1),
et d’après (11), √ n ˙Ψ θ0 (ˆθ n − θ 0 ) = − √ n(Ψ n − Ψ)(θ 0 ) + o ∗ P (1). On conclut en utilisant la
−1
continuité de ˙Ψ
θ 0
.
On admettra le théorème suivant, qui énonce des conditions pour la normalité asymptotique
d’une suite de M-estimateurs (i.e. d’estimateurs obtenus en maximisant une fonction
θ ↦→ P n m θ ) consistante pour le maximum θ 0 de θ ↦→ P m θ .
Théorème 17 Soit Θ un ouvert de R k . Soit x ↦→ m θ (x) une fonction mesurable, telle que
θ ↦→ m θ (x) soit différentiable en θ 0 pour P -presque tout x (on note sa dérivée ṁ θ0 (x)). On
suppose qu’il existe un voisinage U de θ 0 tel que pour tous θ 1 , θ 2 ∈ U, on ait
|m θ1 (x) − m θ2 (x)| ≤ l(x)‖θ 1 − θ 2 ‖,
où l : x ↦→ l(x) est une fonction mesurable vérifiant P l 2 < ∞. On suppose que θ ↦→ P m θ
admet un développement de Taylor d’ordre 2 au point θ 0 (θ 0 maximum de θ ↦→ P m θ ) et que
sa dérivée seconde est inversible. Si P n ≥ sup mˆθn θ P n m θ − o P (1/n) et ˆθ
P
n −→ θ 0 , alors
√ n(ˆθn − θ 0 ) = −V −1
θ 0
1 √n
n∑
ṁ θ0 (X i ) + o P (1).
i=1
Par suite,
√ n(ˆθn − θ 0 )
L
−→ N (0, V −1
θ 0
P ṁ θ0 ṁ T θ 0
V −1
θ 0
).
5.4 Maximum de vraisemblance
L’estimateur du maximum de vraisemblance (emv) est un exemple de M-estimateur.
Ses propriétés asymptotiques se déduisent des résultats énoncés ci-dessus. Néanmoins, du
fait de son importance, nous soulignons maintenant les points spécifiques à la méthode du
maximum de vraisemblance. Un premier point concerne la condition selon laquelle la fonction
M : Θ −→ R a un maximum unique en θ 0 . Dans le cadre de l’emv, cette condition est une
condition d’identifiabilité.
37

Définition 8 Soit un modèle statistique paramétré (X, A, {P θ ; θ ∈ Θ}). Une valeur du paramètre
θ 0 ∈ Θ est identifiable si ∀θ ≠ θ 0 , P θ ≠ P θ0 . Le modèle est identifiable si pour tout
(θ 1 , θ 2 ) ∈ Θ 2 tel que θ 1 ≠ θ 2 , P θ1 ≠ P θ2 .
Définition 9 L’information de Küllback d’une loi P = f · µ contre une loi Q = g · µ est
définie par
∫ ( ) f
K(P, Q) = f log dµ.
g
(On pose ln a 0 = +∞ si a ∈ R+∗ ).
Propriétés 1 L’information de Küllback vérifie les propriétés suivantes :
1. Pour tout (P, Q) ∈ P 2 , K(P, Q) ≥ 0.
2. K(P, Q) = 0 ⇔ P = Q.
Définition 10 On appelle distance de Hellinger entre les probabilités P et Q (de densités
respectives f et g par rapport à µ) la quantité
H(P, Q) =
√ ∫ ( √
f −
√ g
) 2
dµ.
Propriétés 2 La distance de Hellinger vérifie les propriétés suivantes :
1. H 2 (P, Q) = 2 ( 1 − ∫ √ fg dµ ) . En particulier, H(P, Q) ≤ √ 2.
2. H 2 (P, Q) ≤ K(P, Q).
Preuve :
1. trivial
2. ∀x ≥ 0, log x ≤ 2( √ (
x − 1), d’où log
∫
( ) ∫
g
f log dµ ≤ 2
f
D’où H 2 (P, Q) ≤ K(P, Q).
g
f
)
(√ )
≤ 2 g − 1 . Puis
f
f√ g
f dµ − 2 = 2 ∫ √fg
dµ − 2 = −H 2 (P, Q).
Soit X 1 , . . . , X n un n-échantillon de loi P θ0 . L’emv de θ 0 est obtenu en maximisant la fonction
θ ↦−→ ∑ n
i=1 log f(X i; θ), ou encore
θ ↦−→ M n (θ) = 1 n
n∑
i=1
log f(X i; θ)
f(X i ; θ 0 ) .
[ ]
La fonction limite M est dans ce cas M(θ) = E θ0 log f(X;θ)
f(X;θ 0 )
résultat suivant :
38
= −K(P θ0 , P θ ). On montre le

[ ]
Propriétés 3 La fonction θ ↦−→ M(θ) = E θ0 log f(X;θ)
f(X;θ 0
a un maximum unique en θ
)
0 si et
seulement si θ 0 est identifiable.
Preuve : M(θ) ≤ 0 et M(θ 0 ) = 0 donc M atteint son maximum en θ 0 . De plus,
5.5 Entropie
M(θ) = 0 ⇔ K(P θ , P θ0 )
⇔
⇔
P θ = P θ0
θ = θ 0 si θ 0 est identifiable.
Nous allons voir une autre condition pour avoir des classes de Glivenko Cantelli en tudiant
l’entropie mtrique.
Définition 11 Soit G un ensemble de fonctions. On dfinit N(δ, G, ‖.‖) comme le nombre minimal
de boules (pour la norme ‖.‖) de rayon δ qui sont ncessaires pour recouvrir l’ensemble
G. L’entropie mtrique H(δ, G, ‖.‖) est dfinie par H(δ, G, ‖.‖) = ln N(δ, G, ‖.‖).
( ) 4R + δ
Lemme 9 L’entropie d’une boule de rayon R dans R d , note B d (R), est majore par d ln .
δ
Preuve : On va construire une suite de points de la boule par rcurrence de la manire
suivante : on prend un point c 0 dans cette boule puis on essaie de trouver un point c 1 de
cette boule tel que d(c 0 , c 1 ) > δ. On continue jusqu’ obtenir une suite maximale (c j ) de
points de B d (R) qui vrifie ∀i ≠ j, ‖c i − c j ‖ > δ.
∀x ∈ B d (R), ∃ i tel que x ∈ B(c i , δ), sinon x serait un autre point de la suite (c j ) suppose
N⋃
maximale. Ainsi, par compacit de la boule B d (R), il existe N tel que B d (R) ⊂ B(c j , δ).
On va regarder les boules B(c i , δ ). 4
N⋃
On a B(c j , δ 4 ) ⊂ B d(R+ δ 4 ) en considrant le cas o l’un des points c j se situe sur la frontire
j=1
N⋃
de la boule. Ainsi V ol( B(c j , δ 4 )) ≤ V ol(B d(R + δ 4 )).
j=1
Or V ol(B d (R)) = k d R d o k d = π d 2
Γ(1+ d ). Comme les boules B(c i, δ ) sont disjointes, on a
4
2
N⋃
V ol( B(c j , δ 4 )) = Nk d( δ 4 )d . D’o l’ingalit N ≤ (R+ δ 4 )d
.
( δ 4 )d
j=1
D’o le rsultat :
H(δ, B d (R), ‖.‖) ≤ d ln( 4R + δ ).
δ
j=1
39

Définition 12 L’espace de Sobolev H s est l’espace des fonctions drivables s fois dont les
drives successives sont dans L 2 (R).
Proposition 4 L’entropie d’une boule de l’espace de Sobolev H s de rayon R est de l’ordre
( ) 1
1
s
8R
de ln
δ δ .
Preuve : Pour calculer cette entropie, on va utiliser la dcomposition en srie de Fourier des
fonctions de H s . Soit f ∈ H s . Alors f s’crit f = ∑ c n e n . Comme la s me drive de f est dans
L 2 (R), on a ∑ n 2s c 2 n < ∞.
Soit H s (R) = {f = ∑ c n e n , ∑ n 2s c 2 n ≤ R} une boule de H s de rayon R, soit f ∈ H s (R)
et soit δ > 0. On cherche le nombre de fonctions f j ncessaires pour qu’il existe j tel que
‖f − f j ‖ ≤ δ.
Pour tout entier N > 0, on peut crire f sous la forme f = f N +f −f N , avec f N = ∑ c n e n .
n≤N
Ainsi ‖f − f j ‖ ≤ ‖f N − f j ‖ + ‖f − f N ‖. Nous allons montrer qu’il existe des entiers N pour
lesquels ‖f − f N ‖ ≤ δ . Il suffira donc de prendre ‖f 2 N − f j ‖ ≤ δ . 2
Puisque (e n ) est une base orthonorme, on a ‖f − f N ‖ 2 = ‖ ∑ n>N
c n e n ‖ 2 = ∑ n>N
c 2 n = ∑ n>N
c 2 nn 2s n −2s .
Ainsi, ‖f − f N ‖ 2 ≤ N −2s ∑ n>N
c 2 nn 2s ≤ N −2s R. Donc, pour tout N vrifiant N −2s R ≤ δ2 4
(soit
N ≥ ( 4R ) 1 δ 2 2s ), on a ‖f − f N ‖ ≤ δ . 2
N∑
Les fonctions f N = c n e n sont caractrises par les coefficients rels (c n ) n=0,...,N . Ainsi, on
n=0
essaie de recouvrir une boule de R N+1 de rayon R par des boules de rayon δ . Par le lemme
2
) N+1 = ( 8R+δ ) N+1 . D’o H( δ , B δ
2 N+1(R), ‖ · ‖) ≤
prcdent, on a N( δ , B 2 N+1(R), ‖ · ‖) ≤ ( 4R+ δ 2
δ
2
(N + 1) ln( 8R+δ
Donc
δ
) et N ≥ ( 4R
δ 2 ) 1 2s .
H(δ, H s (R), ‖ · ‖) ∼
δ→0
( 1 δ ) 1 s ln(
8R
δ ).
Remarque 16 Sur cette formule, on voit que, lorsque s augmente, l’entropie diminue. Donc
plus l’espace est rgulier, plus il est facile d’avoir un contrle dessus.
Définition 13 Soit G un ensemble de fonctions. On suppose qu’on a une famille de (g L j , g U j ),
j ∈ [|1, N|], telle que, pour toute fonction g ∈ G, il existe un indice j tel que g L j g g U j et
||g L j − g U j || 1 δ.
On dfinit N B (δ, G, ||.||) comme le nombre minimal de fonctions qui sont ncessaires pour
recouvrir l’ensemble G par les cylindres (g L j , g U j ) de taille δ pour la norme ||.||. L’entropie
crochets H B (δ, G, ||.||) est dfinie par H B (δ, G, ||.||) = ln N B (δ, G, ||.||).
Proposition 5 Soit G un ensemble de fonctions tel que H B (δ, G, ||.|| L 1 (P )) < +∞. Alors G
est de Glivenko-Cantelli.
40

Preuve : Soit N = N B (δ, G, L 1 (P)). Comme H B (δ, G, L 1 (P)) < ∞ on a N < ∞.
Soit g ∈ G. On veut montrer que sup |P n g − Pg| tend en probabilit vers 0. Pour cela, on va
g∈G
tudier le cylindre dans lequel se situe g. On sait qu’il existe j ∈ 1, . . . , N tel que gj
L ≤ g ≤ gj
U
et ‖gj
U − gj L ‖ 1 ≤ δ. On a donc
∫ ∫
∣∫
∣∣∣
|P n g − Pg| =
∣ g dP n − g dP
∣ = g d(P n − P)
∣ .
Comme g ≤ g U j , on a ∫ g d(P n − P) ≤ ∫ g U j dP n − ∫ g U j dP + ∫ g U j dP − ∫ g dP.
D’o ∫ g d(P n − P) ≤ ∫ g U j d(P n − P) + ∫ (g U j − g) dP.
Comme g ≥ g L j , | ∫ g d(P n − P) − ∫ g U j d(P n − P)| ≤ | ∫ (g U j − g L j ) dP| ≤ ‖g U j − g L j ‖ 1 ≤ δ.
D’o ∫ g d(P n − P) ≤ ∫ g U j d(P n − P) + δ.
En utilisant cette fois une minoration de g par g L j , on obtient
∫
∫
g d(P n − P) ≥
∫
∫
gj L d(P n − P) + (gj L − g) dP ≥
∫
gj L d(P n − P) + (gj L − gj U ) dP.
D’o | ∫ gj L d(P n − P) − ∫ g d(P n − P)| ≤ | ∫ (gj U − gj L ) dP| ≤ ‖gj U − gj L ‖ 1 ≤ δ.
D’o ∫ g d(P n − P) ≥ ∫ gj L d(P n − P) − δ.
Finalement, on a ∫ gj L d(P n − P) − δ ≤ ∫ g d(P n − P) ≤ ∫ ∫
∫
gj U d(P n −
∫
P) + δ.
Ainsi, ∀δ > 0, max gj
L d(P n − P) − δ ≤ sup g d(P n − P) ≤ max gj U d(P n − P) + δ.
j=1...N
g∈G
j=1...N
Par la loi des grands nombres applique aux fonctions gj U et gj L , ∫ gj U ∫
d(P n − P) et
∫
g
L
j d(P n − P) convergent en probabilit vers 0. N tant fini, on a donc max gj U d(P n − P)
∫
j=1...N
et max gj
L d(P n − P) convergent en probabilit vers 0, d’o le rsultat cherch.
j=1...N
41

6 Ingalits uniformes de dviation (concentration)
6.1 Chebychev
Proposition 6 Soit X une variable alatoire relle. Pour toute fonction ϕ : R → R + croissante,
alors P(X > a) E[ϕ(X)] .
ϕ(a)
6.2 Hoeffding
Proposition 7 Soient (X 1 , . . . , X n ) des variables indpendantes relles telles que, pour tout
i ∈ [|1, n|], a i X i b i .
n∑
(
)
2λ 2
Alors, pour tout λ > 0, P( X i > λ) exp −∑ n
i=1 (a .
i − b i ) 2
6.3 Bernstein
i=1
Proposition 8 Soient (X 1 , . . . , X n ) des variables relles telles que, pour tout i ∈ [|1, n|],
E[X i ] = 0 et σ 2 i = E[X 2 i ].
S’il existe K tel que, pour tout m ∈ N, E[|X i | m ] m!
2 Km−2 σ 2 i , alors
P(
n∑
(
)
a 2
X i a) exp −
2(aK + b 2 )
i=1
o b 2 =
n∑
σi 2 .
i=1
6.4 Symtrisation
Soit X une variable alatoire valeurs dans X . On en prend des copies indpendantes :
(X 1 , . . . , X n ) et (X 1, ′ . . . , X n). ′ On note P n = 1 n∑
δ Xi et P ′ n = 1 n∑
δ X ′
n
n
i
. On note galement
G = {g : X → R}. Enfin, on pose ‖P n − P‖ G = sup|P n g − Pg|.
g∈G
On va utiliser des rsultats sur ‖P n − P ′ n‖ G pour contrler ‖P n − P‖ G .
Lemme 10 (Symtrisation en moyenne) E [‖P n − P‖ G ] E [‖P n − P ′ n‖ G ] .
(
Lemme 11 (Symtrisation en probabilit) Si, pour tout g ∈ G, P
1
2 , alors P (‖P n − P‖ G > δ) 2P
i=1
(
‖P n − P ′ n‖ G > δ 2
)
.
i=1
‖P n g − Pg‖ > δ )
2
42

7 Annexes
7.1 Intégrale supérieure et probabilité extérieure
7.1.1 Introduction
Soit T un ensemble. On note l ∞ (T ) l’espace des fonctions définies sur T , à valeurs réelles,
et bornées. On munit l ∞ (T ) de la norme uniforme ‖ · ‖ T : si z ∈ l ∞ (T ), ‖z‖ T := sup t∈T |z(t)|.
L’espace l ∞ (T ) intervient naturellement dans l’étude des processus stochastiques à trajectoires
bornées.
Rappelons qu’un processus stochastique indexé par T est une collection {X(t), t ∈ T }
de variables aléatoires X(t) : Ω → X définies sur le même espace de probabilité (Ω, B, P).
Fixons l’aléa ω ∈ Ω qui génère tout le processus. La fonction t ∈ T → X(t)(ω) := X(t, ω)
est appelée trajectoire du processus. Si chacune des trajectoires est bornée, on peut aussi
voir le processus comme une v.a. X : Ω −→ l ∞ (T ) à valeurs dans l’espace des trajectoires.
Néanmoins, il faut prendre garde au fait que X, considéré comme une application de Ω
dans l ∞ (T ), n’est plus forcément mesurable. Par exemple, considérons le processus {X(t) =
1 {U≤t} , t ∈ [0, 1]}, où U a la loi uniforme sur [0, 1]. Prenons Ω = [0, 1], B les boréliens de
[0, 1] et P la loi uniforme sur [0, 1]. Une autre façon d’envisager ce processus consiste à le voir
comme une application X : [0, 1] −→ l ∞ ([0, 1]). Munissons l ∞ ([0, 1]) de sa tribu borélienne.
Notons H ⊂ [0, 1] une partie qui ne soit pas un borélien, et posons A = ∪ s∈H B s ( 1 ), où
2
B s ( 1) = {g ∈ 2 l∞ ([0, 1]) : ‖g − f s ‖ [0,1] < 1} est la boule ouverte de centre f 2 s : t ↦−→ 1 {s≤t} et
rayon 1. A est un ouvert de 2 l∞ ([0, 1]). Notons maintenant que ‖f s1 − f s2 ‖ [0,1] vaut 0 ou 1,
selon que s 1 = s 2 ou s 1 ≠ s 2 . Alors X −1 (A) = {u ∈ [0, 1] : X(u) ∈ A} = H. Comme H n’est
pas un borélien, X n’est pas mesurable.
Ce problème intervient notamment dans l’étude des processus empiriques, dont voici un
exemple. Soit U 1 , . . . , U n des variables aléatoires i.i.d. de loi uniforme sur [0, 1]. Considérons,
pour t ∈ [0, 1], la fonction (aléatoire)
et posons
F n (t) = 1 n
n∑
1 [0,t] (U i ),
i=1
X n (t) = √ n ( F n (t) − t ) .
Nous venons de voir que l’on pouvait considérer F n et X n comme des fonctions aléatoires
de [0, 1] n dans l ∞ ([0, 1]). Elles sont même à valeurs dans l’espace (de Skorohod) D([0, 1]) ⊂
l ∞ ([0, 1]) des fonctions càdlàg sur [0, 1]. On peut montrer qu’aucune de ces deux applications
n’est mesurable lorsque D([0, 1]) est muni de la norme uniforme. La tribu borélienne D sur
D([0, 1]) est trop grande, et l’on a pas Xn
−1 (D) ⊂ B n . Ce problème de mesurabilité se pose
souvent lorsque l’espace des trajectoires n’est pas séparable.
La définition classique de la convergence en loi ne peut donc être utilisée pour le processus
empirique X n , vu comme une fonction aléatoire à valeurs dans (D([0, 1]), ‖ · ‖ [0,1] ). On peut
imaginer plusieurs approches pour lever ce problème :
1. Affaiblir la topologie de D([0, 1]), par exemple en le munissant de la topologie de
Skorohod (voir Skorohod, Billingley, Dudley),
43

2. Affaiblir la définition de convergence en loi. Par exemple, Pyke et Shorack proposent
de considérer seulement les fonctions f continues bornées pour lesquelles f(X n ) est
une application mesurable.
Ces différentes approches ne permettent malheureusement pas de traiter les processus empiriques
généraux. Nous allons maintenant présenter l’idée introduite par Hoffmann-Jorgensen,
qui permet d’échapper aux contraintes de mesurabilité des processus et de taille des tribus.
7.1.2 Intégrale supérieure
Définition 14 Soit (Ω, A, P) un espace de probabilité et T une application quelconque de Ω
dans R. T n’est pas supposée mesurable. L’intégrale supérieure de T par rapport à P est :
E ∗ T = inf{EU : U ≥ T, U : Ω → R mesurable et EU existe }.
Remarque 17 “EU existe” signifie qu’au moins l’une des deux quantités EU − ou EU + est
finie, où U + = max(U, 0) et U − = max(−U, 0). Dans ce cas, EU = EU + − EU − . Il se peut
donc que E ∗ T = ±∞.
L’existence d’un “majorant mesurable minimal” T ∗ de T est assurée par le lemme suivant.
Ce majorant mesurable minimal est unique à une égalité P-ps près.
Lemme 12 (admis) Soit T : Ω −→ R. Il existe une application mesurable T ∗ : Ω −→ R
telle que
1. T ∗ ≥ T ,
2. pour toute applicaton mesurable U : Ω −→ R telle que T ≤ U p.s., on a T ∗ ≤ U p.s..
De plus, si T ∗ vérifie 1. et 2., et si ET ∗ existe, E ∗ T = ET ∗ .
Soit (D, d) un espace métrique muni de sa tribu borélienne T . On note C b (D) l’ensemble des
fonctions réelles continues, bornées, et définies sur D. Soit (Ω n , A n , P n ) une suite d’espaces de
probabilité et pour chaque n, soit X n : Ω n −→ D une application quelconque (en particulier,
nous ne supposons pas que les X n sont mesurables). Soit X : (Ω, A, P) → (D, T ) une
application mesurable. Nous définissons la convergence faible de la suite (X n ) vers X de la
manière suivante :
Définition 15 La suite (X n ) converge faiblement vers l’application mesurable X si
∀f ∈ C b (D),
E ∗ f(X n ) −→ Ef(X).
Un cas particulier d’intégrale supérieure est la probabilité (mesure) extérieure, obtenue en
appliquant la définition 14 à T = 1 B , pour B ⊂ Ω quelconque, non nécessairement mesurable.
Notons que la langue anglaise utilise le même terme “outer” pour désigner l’intégrale
supérieure (“outer integral”, aussi appelée “outer expectation”) et la probabilité extérieure
(“outer probability”).
Définition 16 La probabilité extérieure d’un sous-ensemble quelconque B de Ω est
P ∗ (B) = inf{P(A) : B ⊂ A, A ∈ A}.
44

Le lemme suivant donne les liens entre intégrale et probabilité extérieures.
Lemme 13 (Admis) Soit B un sous-ensemble quelconque de Ω. Alors
1. P ∗ (B) = E ∗ 1 B ,
2. il existe un ensemble mesurable B ∗ ⊃ B tel que P(B ∗ ) = P ∗ (B), et on a 1 B ∗ = (1 B ) ∗ .
Remarque 18 On définit de manière analogue les notions d’intégrale inférieure et de probabilité
intérieure, en remplaçant inf par sup et U ≥ T par U ≤ T dans les définitions
précédentes. On note E ∗ l’intégrale inférieure, et on a E ∗ T = −E ∗ (−T ). Le lecteur intéressé
pourra se reporter au chapitre 1.2 de l’ouvrage de van der Vaart et Wellner (1996).
Définition 17 (Autres modes de convergence) Soit X n : Ω −→ D une suite d’applications
et X : Ω −→ D une application mesurable.
1. X n converge en P ∗ -probabilité vers X si pour tout ɛ > 0, P ∗ (d(X n , X) > ɛ) −→ 0. On
P
note X ∗
n −→ X.
2. X n converge *-p.s. vers X si il existe une suite de v.a. (∆ n ) telle que d(X n , X) ≤ ∆ n
∗−p.s.
pour tout n, et ∆ n converge p.s. vers 0. On note X n −→ X.
7.2 Processus empiriques
7.2.1 Introduction
Un processus empirique est un processus stochastique basé sur un échantillon aléatoire.
Soit X 1 , X 2 , . . . une suite de variables aléatoires réelles i.i.d. de loi P , définies sur l’espace probabilisé
(Ω, C, P). On note F la fonction de répartition de P , définie par F (t) = P ((−∞, t]) =
P({ω : X(ω) ≤ t}). A l’échantillon X 1 , . . . , X n , on associe une mesure empirique P n (ω) définie
par
n∑
P n (ω) = 1 n
i=1
δ Xi (ω)
et une fonction de répartition empirique F n (ω)(·) : R → [0, 1] définie par
F n (ω)(t) = P n (ω)(] − ∞, t]) = 1 n
n∑
i=1
1 {Xi (ω)≤t}.
Notons bien que P n est une variable aléatoire à valeurs dans l’ensemble des lois de probabilité
sur R, et que F n est une variable aléatoire à valeurs dans l’ensemble des fonctions de
répartition sur R.
Pour tout ω ∈ Ω, P n (ω) est donc une probabilité sur R, de fonction de répartition F n (ω)(·).
Par la suite, on omettra ω dans les notations. Ainsi, on notera P n (A) = 1 n
∑ n
i=1 δ X i
(A) =
card{i ≤ n : X i ∈ A}/n et F n (t) = P n (] − ∞, t]) = 1 n
∑ n
i=1 1 {X i ≤t}.
On appelle processus empirique réel la quantité α n = √ n (F n − F ). Une réalisation α n (ω)
de la fonction aléatoire α n est une fonction t ↦−→ α n (t) appelée trajectoire du processus.
45

Pour tout t, les variables aléatoires 1 {Xi ≤t} sont des Bernoulli B(F (t)) indépendantes,
donc nF n (t) est binomiale B(n, F (t)), de sorte que
De plus,
E(F n (t)) = F (t) et V(F n (t)) =
F (t)(1 − F (t))
.
n
∀t ∈ R,
F n (t) −→ p.s.
L
F (t) et α n (t) −→ N (0, F (t)(1 − F (t))).
Le TCL multivarié assure de plus que pour tout (t 1 , . . . , t k ) ∈ R k , (α n (t 1 ), . . . , α n (t k ))
converge en loi vers un vecteur gaussien centré, de matrice de variance-covariance (V i,j ), où
V i,j = F (t i ∧ t j ) − F (t i )F (t j ) (V i,j = cov(1 {X≤ti }, 1 {X≤tj }) = P(X ≤ t i , X ≤ t j ) − F (t i )F (t j )).
7.2.2 Théorèmes de Glivenko-Cantelli et Donsker
La quantité aléatoire sup t∈R |F n (t) − F (t)| = ‖F n − F ‖ ∞ est connue sous le nom de
statistique de Kolmogorov-Smirnov et le résultat suivant est connu sous le nom de :
Théorème 18 (Théorème de Glivenko-Cantelli, 1933) Soit X 1 , X 2 , . . . une suite de
variables aléatoires i.i.d. de fonction de répartition F . Alors
‖F n − F ‖ ∞
p.s.
−→ 0.
De même, on peut s’interroger sur l’existence d’un théorème central limite “uniforme”, ou
“fonctionnel”. On note D[−∞, ∞] l’espace des fonctions càdlàg (espace de Skorohod) muni
de la norme du supremum.
Théorème 19 (Théorème de Donsker, 1952) Soit X 1 , X 2 , . . . une suite de v.a. i.i.d. de
fonction de répartition F . Alors la suite de processus empiriques α n converge en loi dans
D[−∞, ∞] vers un processus gaussien G F centré et de fonction de covariance
cov(G F (s), G F (t)) = E(G F (s)G F (t)) = F (s ∧ t) − F (s)F (t), ∀s, t ∈ R.
Les théorèmes de Glivenko-Cantelli et Donsker pour le processus empirique réel peuvent être
vus comme des cas particuliers de résultats généraux pour des processus empiriques indexés
par des classes de fonctions.
7.2.3 Processus empirique indexé par des fonctions
Considérons de nouveau X, X 1 , X 2 , . . . une suite de variables aléatoires i.i.d. de loi P sur
(X , A), et soit F ⊂ L 1 (P ) une classe de fonctions mesurables de X dans R. Notons :
∫
∀f ∈ F, P f = Ef(X) =
Le processus stochastique
f dP et P n f = 1 n
√ n(Pn − P )(f), f ∈ F
n∑
∫
f(X i ) =
i=1
f dP n .
46

où √ ∑
n(P n −P )(f) = √ 1 n
n i=1 (f(X i)−P f), s’appelle processus empirique (centré normalisé)
indexé par F. On le notera par la suite G n = √ n(P n − P ), ou {G n f, f ∈ F}. C’est une
fonction aléatoire de F dans R.
Si X = R, le processus {α n (t), t ∈ R} peut être ré-exprimé comme {G n f, f ∈ F}, où
F = {1 {x≤t} , t ∈ R}. Ainsi, on peut voir le processus empirique réel comme indexé par t ∈ R
ou par f ∈ F.
Pour f ∈ F, la loi forte des grands nombres assure que P n f −→ p.s.
P f, et une classe de
fonctions F pour laquelle une version uniforme de ce résultat existe est appelée classe de
Glivenko-Cantelli.
Définition 18 (Classe de Glivenko-Cantelli) Une classe F ⊂ L 1 (P ) de fonctions mesurables
f : X −→ R est dite P-Glivenko-Cantelli si
‖P n − P ‖ F = sup |P n f − P f| ∗−p.s.
−→ 0.
f∈F
Remarque 19 Une classe de fonctions Glivenko-Cantelli fournit une loi des grands nombres
uniforme, car
lim sup
1
n∑
f(X i ) − Ef(X)
n→∞ ∣n
∣ = 0 p.s.
f∈F
contrôle une infinité de loi des grands nombres simultanément.
i=1
Remarque 20 La distance aléatoire ‖P n − P ‖ F n’est pas forcément mesurable, d’où l’utilisation,
pour contourner cette difficulté, de la convergence ∗−p.s.. Fest aussi dite P-Glivenko-
Cantelli lorsque la convergence a lieu en P ∗ −probabilité.
Par le TCL, on a G n f −→ L
N (0, P (f − P f) 2 ) (si P f 2 < ∞), et d’après le TCL multidimensionnel,
on a pour tout ensemble fini (f 1 , . . . , f k ) de fonctions de F telles que P fi 2 < ∞,
(G n f 1 , . . . , G n f k )
L
−→ (Gf 1 , . . . , Gf k ),
où (Gf 1 , . . . , Gf k ) est un vecteur gaussien sur R k , d’espérance nulle et de covariances P (f i f j )−
P f i P f j .
Nous supposerons par la suite que
sup |f(x) − P f| < ∞, ∀x ∈ X ,
f∈F
de sorte que le processus G n soit à valeurs dans l ∞ (F), que l’on munira de la norme ‖H‖ F =
sup f∈F |H(f)|. Nous allons nous intéresser à la convergence faible de G n dans l ∞ (F).
Rappelons qu’une suite de processus {Z n (f), f ∈ F} converge en loi dans l ∞ (F) vers le
processus {Z(f), f ∈ F} si pour toute fonction h continue et bornée de l ∞ (F) dans R, on
a : E ∗ h(Z n ) −→ Eh(Z).
Le théorème suivant donne des CNS pour la convergence en loi du processus {Z n (f), f ∈
F}.
47

Théorème 20 (Convergence en loi de processus) La suite de processus {Z n (f), f ∈
F} converge en loi dans l ∞ (F) si et seulement les conditions suivantes sont vérifiées :
– Pour toute famille finie f 1 , . . . , f k de F, (Z n (f 1 ), . . . , Z n (f k )) converge en loi dans R k
(convergence des marginales finies-dimensionnelles),
– La famille ( Z n (f), f ∈ F ) est asymptotiquement équicontinue, c’est-à-dire ∀ɛ >
0, ∀δ > 0, il existe un recouvrement fini de F : F = ∪ N i=1F i tel que
lim sup n P ∗ (
sup
i
)
sup |Z n (f) − Z n (g)| ≥ ɛ ≤ δ.
f∈F i , g∈F i
Définition 19 (Classe de Donsker) Une classe F ⊂ L 2 (P ) de fonctions mesurables f :
X −→ R est dite P-Donsker si la suite de processus {G n f, f ∈ F} converge en loi dans
l’espace l ∞ (F) vers un processus {Gf, f ∈ F}. Le processus limite G est un processus gaussien
centré de fonction de covariance cov(Gf 1 , Gf 2 ) = P (f 1 f 2 ) − P f 1 P f 2 , appelé P -pont
brownien.
Remarque 21 Une classe de Donsker fournit un TCL uniforme car le TCL usuel
( )
√ 1
n∑
L
n f(X i ) − P f −→ N (0, var(f(X)))
n
i=1
est vérifié “conjointement” pour tous les f ∈ F.
L
Remarque 22 Par continuité de la norme, la convergence en loi de G n implique ‖G n ‖ F −→
‖G‖ F , donc n −1/2 L
‖G n ‖ F −→ 0. D’où la convergence en probabilité, et finalement, ‖P n −
P
P ‖ F −→ 0, donc toute classe de Donsker est aussi une classe de Glivenko-Cantelli.
Exemple 11 (Le processus empirique réel)
Soit F = {f t = 1 (−∞,t] , t ∈ R} la classe des indicatrices des demi-droites (−∞, t]. On voit
aisément que P n f t = n ∑ −1 n
i=1 1 {X i ≤t} = F n (t), donc le processus empirique indexé par F se
ramène au processus empirique réel α n , et la classe F est Donsker.
7.2.4 Entropie et entropie à crochet
Soit E une classe de fonctions f : X → R, munie d’une norme ‖ · ‖, et soit F ⊂ E. On
rappelle que pour 1 ≤ r < ∞, L r (P ) désigne l’ensemble des fonctions g : X → R telles
que ‖g‖ r,P = [ ∫ X |g(x)|r dP (x)] 1/r < ∞. Pour une classe F, être ou ne pas être de Glivenko-
Cantelli ou de Donsker dépend de la “taille” de cette classe. Dans le paragraphe suivant,
nous donnons un moyen de mesurer la taille d’une classe.
Définition 20
1. Si ɛ > 0, on note N(ɛ, F, ‖ · ‖) le nombre minimum de boules de rayon ɛ nécessaires
pour recouvrir F (i.e. F ⊂ ∪ N(ɛ,F,‖·‖)
i=1 B(f i , ɛ), pour des points f i ∈ E. Notons que les
centres des boules ne sont pas forcément des points de F).
On appelle entropie (sans crochet) de F la quantité
(
log N ( ɛ, F, ‖ · ‖ )) .
48

2. Pour deux fonctions l et u, le crochet [l, u] est l’ensemble des fonctions f telles que
l ≤ f ≤ u.
3. Un ɛ−crochet pour la norme ‖ · ‖ est un crochet vérifiant ‖u − l‖ ≤ ɛ.
( )
4. On note N [] ɛ, F, ‖ · ‖ le nombre minimum de ɛ−crochets nécessaires pour recouvrir
F (les bornes des crochets ne sont pas forcément des points de F). On appelle entropie
à crochet la quantité
( ( ) )
log N [] ɛ, F, ‖ · ‖ .
Remarque 23 Si la norme possède la propriété de Riesz (|f| ≤ |g| =⇒ ‖f‖ ≤ ‖g‖) alors
on a
N ( ɛ, F, ‖ · ‖ ) ≤ N []
(
2ɛ, F, ‖ · ‖
)
.
En effet, si f appartient au 2ɛ−crochet [l, u], alors f appartient à la boule de centre l+u
2
et
rayon ɛ. Il n’existe pas en général d’inégalité inverse.
Définition 21 (Fonction enveloppe) On dit qu’une fonction mesurable F : X → R + est
une enveloppe de F si sup f∈F |f(x)| ≤ F (x), ∀x.
Théorème 21 (Entropie à crochet) Soit F une classe de fonctions mesurables. Si pour
tout ɛ > 0, N []
(
ɛ, F, L1 (P ) ) < ∞, alors F est P -Glivenko-Cantelli.
Preuve:
Soit ɛ > 0. Par hypothèse il existe un nombre fini de ɛ−crochets [l i , u i ] qui recouvrent F et
tels que P (u i − l i ) < ɛ. Ainsi pour toute fonction f ∈ F, il existe un crochet [l i , u i ] contenant
f, c’est-à-dire l i ≤ f ≤ u i . Alors
(P n − P )f ≤ (P n − P )u i + P (u i − f) ≤ (P n − P )u i + ɛ.
Un raisonnement analogue permet de montrer que
d’où
min(P n − P )l i − ɛ ≤ (P n − P )f ≤ max(P n − P )u i + ɛ,
i
i
‖P n − P ‖ F = sup
f∈F
|P n f − P f| ≤ | max
i
(P n − P )u i | + | min(P n − P )l i | + 2ɛ
i
puis
‖P n − P ‖ ∗ F ≤ | max(P n − P )u i | + | min(P n − P )l i | + 2ɛ.
i
i
Par la loi forte des grands nombres, le terme de droite tend presque sûrement vers 2ɛ (ne
pas oublier que les min et max sont pris sur un nombre fini de fonctions). D’où
pour tout ɛ > 0, d’où ‖P n − P ‖ ∗ F
lim sup ‖P n − P ‖ ∗ F ≤ 2ɛ p.s
n
p.s.
−→ 0.
49

Remarque 24 Une classe finie de fonctions intégrables est Glivenko-Cantelli.
On définit l’intégrale entropique à crochet à l’échelle δ (δ > 0) comme la quantité
J [] (δ, F, L 2 (P )) =
∫ δ
0
√
log N [] (ɛ, F, L 2 (P )) dɛ.
Intuitivement, une classe F sera Donsker si l’entropie à crochet log N [] (ɛ, F, L 2 (P )) ne ”croît
pas trop vite quand ɛ tend vers 0”. L’intégrale entropique à crochet permet de mesurer cette
vitesse.
Théorème 22 (admis) Soit F une classe de fonctions mesurables. Si F admet une enveloppe
F telle que P F 2 < ∞, et si J [] (∞, F, L 2 (P )) < ∞, alors F est P-Donsker.
Exemple 12
Le processus empirique indexé par F = {f t = 1 (−∞,t] , t ∈ R} est le processus empirique
réel. Pour tout ɛ > 0, on peut trouver un ensemble fini de réels −∞ = t 1 < t 2 < . . . <
t m = ∞ tels que F (t j −) − F (t j−1 ) ≤ ɛ pour tout 1 < j ≤ m, F (t 1 ) = 0, F (t m −) = 1, où
F (t−) = lim s↑t F (s). On peut choisir les t j de sorte que m ≤ 1 + 1 . Considérons la collection
ɛ
de crochets {[l j , u j ], 1 < j ≤ m}, avec l j (x) = 1 (−∞,tj−1 ](x) et u j (x) = 1 (−∞,tj )(x) (notons que
u j /∈ F). Tout f ∈ F appartient à un crochet [l j , u j ] et ‖u j − l j ‖ 1,P = F (t j −) − F (t j−1 ) ≤ ɛ.
D’où N [] (ɛ, F, L 1 (P )) < ∞ pour tout ɛ > 0, et F est Glivenko-Cantelli.
Les ɛ-crochets que l’on vient d’introduire vérifient
‖u j − l j ‖ 2,P = (‖u j − l j ‖ 1,P ) 1 2 ≤ ɛ
1
2 .
D’où le nombre de L 2 (P ) ɛ-crochets nécessaires pour recouvrir F est majoré par 1 + 1 ɛ 2
puisqu’un L 1 (P ) ɛ 2 -crochet est un L 2 (P ) ɛ-crochet. Notons
√
que pour ɛ ≥ 1, le nombre de
log(1 + 1 ) dɛ < ∞. En utilisant le
ɛ 2
crochets nécessaires est 1. J [] (∞, F, L 2 (P )) sera fini si ∫ 1
0
fait que log(1+x) ≤ 1+log x pour x ≥ 1/(exp(1)−1)(≈ 0.582), et le changement de variable
√
u = 1 + log( 1 ), on montre que ∫ 1
ɛ 2 0
√
2π. Donc F est Donsker.
√
log(1 + 1 ɛ 2 ) dɛ est majorée par 2 ∫ ∞
0
u 2 exp(− u2
2 ) du =
Exemple 13
Soit F = {f θ : θ ∈ Θ} ⊂ L 2 (P ) une classe de fonctions mesurables indexée par un ensemble
borné Θ de R d . On suppose qu’il existe une fonction mesurable m telle que
∀θ 1 , θ 2 ∈ Θ,
|f θ1 (x) − f θ2 (x)| ≤ m(x)‖θ 1 − θ 2 ‖
et ‖m‖ 2,P < ∞. Alors F est Donsker.
On peut recouvrir Θ par des boules de centres θ i et rayon δ (i = 1, . . . , K (diamΘ/δ) d ),
où les θ i constituent une grille de pas δ sur Θ. Alors ∀θ ∈ Θ, il existe un θ i tel que
‖θ − θ i ‖ ≤ δ, ce qui entraîne que f θi (x) − δm(x) ≤ f θ (x) ≤ f θi (x) + δm(x). Chaque
50

f θ ∈ F est donc inclus dans un crochet [f θi − δm, f θi + δm] de taille ‖f θi + δm − (f θi −
δm)‖ 2,P = 2δ‖m‖ 2,P , et N [] (2δ‖m‖ 2,P , F, L 2 (P )) ≤ K (diamΘ/δ) d d’où N [] (ɛ, F, L 2 (P )) ≤
K (2‖m‖ 2,P · diamΘ/ɛ) d ≤ cste/ɛ d .
Notons que pour ɛ ≥ 2‖m‖ 2,P diamΘ, le nombre de crochets nécessaires est 1. En effet,
soit f θ ∈ F. On a : ‖θ 1 − θ‖ ≤ diamΘ d’où |f θ1 (x) − f θ (x)| ≤ m(x) diamΘ. Ainsi, f θ
est dans le crochet [f θ1 − m diamΘ, f θ1 + m diamΘ], et ce pour tout f θ ∈ F. De plus,
‖f θ1 + m diamΘ − (f θ1 − m diamΘ)‖ 2,P = 2‖m‖ 2,P diamΘ.
D’où ∫ ∞
√
0 log N[] (ɛ, F, L 2,P ) dɛ < ∞ et F est Donsker.
Cas de la loi forte
Notation 2 Soit Q une mesure de probabilité et F une classe de fonction on note
‖Q‖ F = sup{Q|f| : f ∈ F}.
Cas du T.C.L.
Soit H n ∈ l ∞ (F) c’est à dire que H n : F → R et que sup f∈F |H n (f)| < ∞.
Définition 22 (Convergence en loi de processus) On dit que H n converge en loi vers
H dans l ∞ (F) si
• H est une variable aléatoire de l ∞ (F).
• Pour toute famille finie f 1 , . . . , f k de F on a
(
Hn (f 1 ), . . . , H n (f k ) ) L
−→ ( H(f 1 ), . . . , H(f k ) ) .
• La famille ( H n (f), f ∈ F ) est asymptotiquement équicontinue. C’est à dire ∀ɛ > 0, ∀δ > 0,
il existe un recouvrement fini de F = ∪ N i=1F i tel que
( )
lim P ∗ sup sup |H n (f) − H n (g)| ≥ ɛ ≤ δ.
n i f∈F i , g∈F i
Remarque 25 Cette définition n’est pas la définition “classique” de la convergence en loi
des processus. En général on définit la convergence en loi des processus comme on le fait
pour la convergence en loi des variables aléatoires (les espaces qui interviennent alors sont
assez obscurs). La définition que nous donnons est dans ce cas une façons de caractériser la
convergence en loi.
Remarque 26 Si H n = G n alors on connait la loi des finies dimensionnelles par le T.L.C.
vectoriel N k (0, Σ) avec Σ i,j = P(f i −Pf i )P(f j −Pf j ). Alors si on l’équicontinuité asymptotique
le processus limite est un processus Gaussien appelé le pont Brownien.
Définition 23 (Classes de Donsker) On appelle classe de Donsker toute classe de fonction
F telle G n −→ G dans l ∞ L
(F).
Remarquons que si F est de cardinal fini, elle est de Donsker.
51

7.3 Symétrisation
Soient ɛ 1 , . . . , ɛ n des variables aléatoires i.i.d. de Rademacher (i.e. P(ɛ i = 1) = P(ɛ i =
−1) = 1/2). On suppose de plus les (ɛ i ) i indépendantes des (X i ) i .
Le processus empirique centré est défini par
f ↦→ (P n − P)f = 1 n
n∑ (
f(Xi ) − Pf ) .
i=1
Le processus empirique symétrisé est défini par
f ↦→ P o nf = 1 n
n∑
ɛ i f(X i ).
i=1
Si on conditionne par rapport à X i on voit que les deux processus sont centrés.
Lemme 14 (Symétrisation Admis) Pour toute fonction φ convexe croissante et toute
classe de fonction F mesurable, on a
)
)
E ∗ φ
(‖P n − P‖ F ≤ E ∗ φ
(2‖P o n‖ F .
7.3.1 Espaces d’Orlicz
La preuve du Théorème 23 qui donne une condition par une classe F d’être Glivenko-
Cantelli en fonction du nombre d’entropie sans crochet est beaucoup plus technique que
la preuve précédente et nécessite l’introduction des normes d’Orlicz que nous présentons
maintenant brièvement.
Définition 24 Soit ψ une fonction convexe croissante vérifiant ψ(0) = 0, et X une variable
aléatoire. On définit alors la norme d’Orlicz de X par
(
‖X‖ ψ = inf{C > 0 : E ψ ( |X| ) ) ≤ 1}.
C
Remarque 27
• Si ψ(x) = |x| p , pour p ≥ 1, on retrouve la norme L p .
• Dans la suite on utilisera les normes d’Orlicz pour les fonctions ψ p (x) = exp(|x| p ) − 1.
Lemme 15 On a pour p ≤ q
‖X‖ p ≤ ‖X‖ ψp
‖X‖ ψp ≤ ‖X‖ ψq
(
log 2
) p/q.
52

Preuve:
La première inégalité devient une ( évidence une fois que l’on a remarqué que pour x ≥ 0, x p ≤
ψ p (x), en effet on a alors 1 ≤ E ψ ( |X|
) ) avec C = ‖X‖
C
p .
Considérons la fonction φ définie pour x ≥ 0 et p ≤ q par
(
)
φ(x) = exp ln 2 1−p/q ln(x + 1) p/q − 1.
( (
Alors on a φ ψ q ln 2 1/q x )) (
= ψ p ln 2 1/p x ) . Supposons que φ soit concave alors par Jensen
pour tout C > 0 on a (
Eψ ) (
p CX ln 2
1/p
≤ φEψ ) q CX ln 2
1/q
.
Pour C = ‖X‖ ψq ln 2 −1/q , le terme de droite vaut 1 car φ(1) = 1. Et on en déduit alors que
‖X‖ ψp ≤ ‖X‖ ψq ln 2 p/q .
Il reste maintenant à montrer que φ est concave. On écrit φ(x) = exp ( g(x) ) − 1 avec
g(x) = c ln(x + 1) d (c et d < 1), φ sera concave si g ′ (x) 2 + g ′′ (x) ≤ 0. Calculons les dérivées
de g,
Comme
g ′ ln(x + 1) d
(x) = cd
(x + 1) ln(x + 1) et d d − ln(x + 1) − 1
g′′ (x) = cd ln(x + 1)
(x + 1) 2 ln(x + 1) d
g ′ (x) 2 ln(x + 1) d (
+ g ′′ (x) = cd
cd ln(x + 1) + d − ln(x + 1) − 1 ) ,
(x + 1) 2 ln(x + 1) d
on voit que son signe ne dépend que du signe de h(x) = cd ln(x + 1) + d − ln(x + 1) − 1.
Comme c = ln 2 1−p/q et d = p/q, un calcul rapide montre que h(x) ≤ 0. Ce qui achève la
preuve.
Lemme 16 Soit ψ une fonction convexe croissante non nulle vérifiant ψ(0) = 0 et
lim sup ψ(x)ψ(y)/ψ(cxu) < ∞
x,y→∞
pour une constante c > 0. Alors pour toutes variables aléatoires X 1 , . . . , X m ,
‖ max
1≤i≤m X i‖ ψ ≤ Kψ −1 (m) max
i
‖X i ‖ ψ ,
où K est une constante dépendant seulement de ψ.
Preuve:
On commence par supposer que pour x ≥ 1 et y ≥ 1, ψ(x)ψ(y) ≤ ψ(cxu). Dans ce cas
ψ(x/y) ≤ ψ(cx)/ψ(y) pour tout x ≥ y ≥ 1. Ainsi pour tout y ≥ 1 et tout C,
( |Xi |
) [ ψ(c|Xi |/C)
max ψ ≤ max
+ ψ( |X ]
i|
Cy
ψ(y) Cy )1l { |X i ≤ ∑ ψ(c|X i |/C)
+ ψ(1).
|
Cy

On prend C = c max i ‖X i ‖ ψ , et on intègre
( max |Xi |
)
Eψ
≤
Cy
Si ψ(1) ≤ 1 2 , on choisit y = ψ−1 (2m) et alors
Ainsi
m
ψ(y) + ψ(1).
( max |Xi |
)
Eψ
≤ 1.
Cy
‖ max |X i |‖ ψ ≤ ψ −1 (2m)c max ‖X i ‖ ψ .
Sinon il existe τ > 0, tel que φ(x) = ψ(τx) vérifie φ(1) ≤ 1/2. On applique le résultat à φ et
on conclut en remarquant que
‖X‖ ψ ≤ ‖X‖ φ /τ = ‖X‖ ψ /τ.
Lemme 17 (Hoeffding) Soient a 1 , . . . , a n des constantes et ɛ 1 , . . . , ɛ n des variables aléatoires
de Rademacher. Alors
P ( ∣ ∣ ∣
∑
ɛi a i
∣ ∣∣ > x
)
≤ 2 exp
(
−
x 2
2‖a‖ 2 )
,
‖a‖ est la norme eucliedienne des a i . De plus, ‖ ∑ ɛ i a i ‖ ψ2 ≤ √ 6‖a‖.
Preuve:
En utilisant un développement en séries entières de la fonction exponentielle on montre que
E exp(λɛ) ≤ exp(λ 2 /2). On utilise Markov pour montrer que pour tout λ > 0
P ( ∑
a i ɛ i > x ) ≤ exp(−λx) exp ( λ 2 ‖a 2 ‖/2 ) .
i
On optimise alors en λ pour obtenir la borne exponentielle. La majoration de la norme ψ 2
est un conséquence directe du lemme suivant.
Lemme 18 Si p ≥ 1 et X vérifie P(|X| > x) ≤ K exp(−Cx p ) alors ‖X‖ ψp ≤ ((1+K)/C) 1/p .
Preuve:
On applique Fubini
E ( exp(D|X| p ) − 1 ) ∫ |X| p
= E De Ds ds =
0
On applique ensuite l’hypothèse et on conclut aisément.
∫ ∞
0
P(|X| > s 1/p )De Ds ds.
54

7.3.2 Glivenko-Cantelli et entropie sans crochet
Définition 25 Une classe F est dite P−mesurable si pour tout n et tout vecteur (e 1 , . . . , e n ) ∈
{−1, 1} n , l’application
n∑
(X 1 , . . . , X n ) ↦→ ‖ e i f(X i )‖ F
est mesurable dans le complété de ( Ω n , A n , P n) .
Théorème 23 (Entropie sans crochet) Soit F une classe de fonctions P−mesurable,
soit F une fonction enveloppe pour F vérifiant P ∗ F < ∞.
Soit F M = {f1l {F ≤M} , f ∈ F}. Si pour tout ɛ > 0 et tout M > 0
i=1
log N ( ɛ, F M , L 1 (P n ) ) = o ∗ P(n)
Alors ‖P n − P‖ ∗ F
Cantelli.
converge vers zéro p.s. et en espérance. En particulier F est Glivenko-
Preuve:
On commence par appliquer le lemme de symétrisation avec φ(x) = x
E ∗ ‖P n − P‖ F ≤ 2E ∗ ‖ 1 n
n∑
ɛ i f(X i )‖ F .
i=1
Comme F est P−mesurable et que les ɛ i sont indépendant des X i le E ∗ du terme de droite
est une vraie espérance et on peut donc appliquer Fubini.
Apparté :
Si on n’avait pas l’hypothèse de P−mesurabilité,
on aurait une espérance extérieure pour laquelle
Fubini n’est pas valable, en effet pour pouvoir
appliquer Fubini on a besoin d’hypothèses de
mesurabilités assez fortes.
E ∗ ‖P n − P‖ F ≤ 2E X E ɛ ‖ 1 n
n∑
ɛ i f(X i )‖ F .
i=1
On écrit maintenant f(X i ) = f(X i )1l {F ≤M} + f(X i )1l {F >M} puis on utilise correctement
l’inégalité triangulaire :
E ∗ ‖P n − P‖ F ≤ 2E X E ɛ ‖ 1 n
n∑
ɛ i f(X i )‖ FM + 2P ∗ F 1l {F >M} .
i=1
Pour M suffisament grand le deuxième terme du membre de droite est aussi petit que l’on
veut, donc pour montrer la convergence L 1 , il nous reste a montrer que le premier terme du
membre de droite converge vers zéro pour tout M fixé. Soit R, un recouvrement de F M par
55

des boules de rayon ɛ, on note G l’ensemble des centres de ces boules. Ainsi toute fonction
f ∈ F il existe g ∈ G, ‖f − g‖ ≤ ɛ. Le cardinal de G est par construction N ( ɛ, F M , L 1 (P n ) )
et
E ɛ ‖ 1 n∑
ɛ i f(X i )‖ FM ≤ E ɛ ‖ 1 n∑
ɛ i f(X i )‖ G + ɛ.
n
n
i=1
Par lemme 15 on peut majorer la norme L 1 par la norme de Orlics ψ 2 , puis on utilise
l’inégalité maximale (lemme 16), on obtient
E ɛ ‖ 1 n
n∑
ɛ i f(X i )‖ FM
i=1
i=1
√
≤ C 1 + log N ( ɛ, F M , L 1 (P n ) ) sup
f∈G
On aplique maintenant Hoeffding (lemme 17) et on obtient,
E ɛ ‖ 1 n
n∑
ɛ i f(X i )‖ FM
i=1
‖ 1 n
n∑
ɛ i f(X i )‖ ψ2 |X + ɛ.
i=1
√
≤ C 1 + log N ( ɛ, F M , L 1 (P n ) )√ 6
n sup
Or par hypothèse sur F M les fonctions sont bornées par M et donc
E ɛ ‖ 1 n
n∑
ɛ i f(X i )‖ FM
i=1
f∈G
(P n f 2 ) 1/2 + ɛ.
√
≤ C 1 + log N ( ɛ, F M , L 1 (P n ) )√ 6
n M + ɛ.
Par hypothèse
∑
le membre de droite converge en P ∗ probabilité vers ɛ et par suite
E ɛ ‖ 1 n
n i=1 ɛ if(X i )‖ FM converge en P ∗ probabilité vers zéro. Par convergence dominée son
espérance par rapport aux (X i ) i converge vers zéro. On vient de prouver la convergence en
moyenne, on obtient la convergence p.s. en remarquant que ‖P n −P‖ ∗ F est une sous-martingale
inverse (cette dernière affirmation n’est pas triviale on renvoie le lecteur à l’ouvrage de Van
der Vaart et Wellner lemme 2.4.5 page 124 pour une preuve de celle-ci).
7.4 Conditions pour qu’une classe F soit Donsker.
7.4.1 Utilisation de l’entropie sans crochet
Définition 26 (Condition d’entropie uniforme) Soient F une classe de fonctions et F
une enveloppe, on dit que F vérifie la condition d’entropie uniforme si
∫ ∞ √
sup log N ( ɛ‖F ‖ Q,2 , F, L 2 (Q) ) dɛ < ∞.
Q
0
Le sup est pris sur toutes les mesures de probabilités Q dont le support est discret fini sur
(χ, A) avec n‖F ‖ Q,2 = inf F 2 dQ > 0.
Théorème 24 Soit F une classe de fonctions vérifiant la condition d’entropie uniforme.
Pour δ > 0 on définit la classe F δ = {f − g : f, g ∈ F, ‖f − g‖ P,2 < δ}. On suppose que les
classes F δ et F ∞ sont P−mesurable. Si P ∗ F 2 < ∞, alors F est P−Donsker.
56