Chapitre 5 Classification des statistiques - ENS de Cachan ...

Chapitre 5Classification des statistiquesCe chapitre présente quelques uns des concepts phares de la statistique qui,notamment, ouvrent des portes dans la quête de l’estimateur VUMSB.Le modèle statistique étudié dans ce chapitre est (H n ,{P θ } θ∈Θ ), avecΘ ⊂ R d et H ⊂ R k . Le paramètre d’intérêt est g(θ) avec g : Θ → R p unefonction connue.5.1 EfficacitéDans cette section, on suppose en outre que le modèle (H n ,{P θ } θ∈Θ ) est régulier,dominé par µ, de vraisemblance L n et d’information de Fisher I n . Parailleurs, la fonction g est à valeurs réelles, i.e. le paramètre d’intérêt g(θ) estréel.Définition. L’estimateur ĝ est dit régulier si il est d’ordre 2 etH n ĝ∇L n(.;θ)dµ = ∇ H n ĝL n(.;θ)dµ .Remarque. En pratique, l’intérêt de cette définition réside dans la remarquesuivante : si l’estimateur régulier ĝ est sans biais, E θ ĝ = θ pour chaque θ ∈ Θ,et doncH n ĝ∇L n(.;θ)dµ = ∇E θ ĝ = 1.55

56 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESComme le montre le résultat qui suit, le risque quadratique est uniformémentminoré dans la famille des estimateurs réguliers et sans biais, nous donnantainsi une vitesse plancher.Théorème 5.1.1. [CRAMER-RAO] Si ĝ est un estimateur régulier et sansbiais, alors pour tout θ ∈ Θ :R(θ;ĝ) ≥ ∇g(θ) I n (θ) −1 ∇g(θ).Le minorant ∇g(θ) I n (θ) −1 ∇g(θ) s’appelle borne de Cramer-Rao.Exemple. Dans le modèle statistique ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) du jeu de pileou face de la section 1.1, l’estimateur ¯X n construit à partir d’un échantillon(X 1 ,···,X n ) de la loi B(θ) ⊗n vérifie (cf section 2.3) :R(θ; ¯X n )=θ(1 − θ).nPar ailleurs, l’information de Fisher I n de ce modèle a été calculée dans lasection 4.5 :nI n (θ)=θ(1 − θ) .Ainsi, le risque quadratique de l’estimateur ¯X n atteint la borne de Cramer-Rao du modèle. Par ailleurs, on vérifie sans peine que tout estimateur ˆθ duparamètre de ce modèle est régulier. En conséquence,R(θ; ˆθ) ≥R(θ; ¯X n ) ∀θ ∈ Θ,i.e. ¯X n est VUMSB, une propriété déjà obtenue dans la section 2.3.Preuve du théorème 5.1.1. Soit θ ∈ Θ. L’estimateur ĝ étant régulier et sansbiais,∇g(θ)=∇E θ ĝ = ĝ∇L n(.;θ)dµ.H nComme ∇lnL n (.;θ)=∇L n (.;θ)/L n (.;θ) et E θ ∇lnL n (.;θ)=0 par régularitédu modèle, il vient :∇g(θ) = E θ ĝ∇lnL n (.;θ)= E θĝ− g(θ)∇lnLn (.;θ).

5.1. EFFICACITÉ 57Pour u ∈ R d , on déduit de l’inégalité de Cauchy-Schwarz queu,∇g(θ) 2 = E θĝ− g(θ)u,∇lnLn (.;θ) 2≤ R(θ;ĝ)E θ u,∇lnL n (.;θ) 2 ,car V θ (ĝ) =R(θ;ĝ) d’après la décomposition biais-variance (Proposition2.3.1). Or, par définition de l’information de Fisher,E θ u,∇lnL n (.;θ) 2 = u E θ ∇lnL n (.;θ)∇lnL n (.;θ) uet donc, si u = I n (θ) −1 ∇g(θ) := u I n (θ)u,E θ u,∇lnL n (.;θ) 2 = ∇g(θ) I n (θ) −1 ∇g(θ).De plus, ce même choix pour u donne u,∇g(θ) = ∇g(θ) I n (θ) −1 ∇g(θ).En conclusion,R(θ;ĝ) ≥ ∇g(θ) I n (θ) −1 ∇g(θ),d’où le théorème. Définition. L’estimateur ĝ sans biais d’ordre 2 est dit efficace si son risquequadratique atteint la borne de Cramer-Rao du modèle, i.e. pour tout θ ∈ Θ :R(θ;ĝ)=∇g(θ) I n (θ) −1 ∇g(θ).Lorsqu’un estimateur efficace existe, la borne de Cramer-Rao nous fournitun majorant pour la plus petite erreur quadratique dans la famille des estimateurssans biais d’ordre 2. En particulier, si ĝ est un estimateur VUMSB,R(θ;ĝ) ≤ ∇g(θ) I n (θ) −1 ∇g(θ) ∀θ ∈ Θ.Les estimateurs efficaces sont souvent simples à caractériser, comme lemontre le résultat qui suit.Proposition 5.1.2. L’estimateur ĝ régulier et sans biais est efficace si, etseulement si, il existe une fonction ψ : Θ → R d telle que pour tout θ ∈ Θ :ĝ = g(θ)+ψ(θ) ∇lnL n (.;θ) P θ -p.s.

58 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESDans le cas du modèle statistique ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) notamment,l’expression de sa vraisemblance (cf section 4) montre que la moyenne empiriqueest efficace.Exemple. Considérons le modèle statistique régulier (R n ,{N (0,θ) ⊗n } θ>0 ).Si, pour θ > 0, (X 1 ,···,X n ) ∼N(0,θ) ⊗n , l’estimateur des momentsˆθ = 1 nn∑ Xi2i=1de θ est sans biais et régulier. Par ailleurs, la vraisemblance L n du modèlepour la mesure de Lebesgue s’écrit :L n (X 1 ,···,X n ;θ)=Sa log-vraisemblance vérifie doncPar suite,et ˆθ est donc efficace.∇lnL n (X 1 ,···,X n ;θ)=ˆθ = θ + 2θ 21(2πθ) n/2 exp − 12θn2θ 2 1nn∑i=1n ∇lnL n(X 1 ,···,X n ;θ),n∑i=1Xi2 .Xi 2 − θ .Preuve de la proposition 5.1.2. Soient θ ∈ Θ et u = I n (θ) −1 ∇g(θ). La bornede Cramer-Rao s’écrit (cf preuve du théorème 5.1.1) :u,∇g(θ) 2E θ u,∇lnL n (.;θ) 2 .Comme R(θ;ĝ)=E θ (ĝ − g(θ)) 2 ,ĝ est donc efficace si, et seulement si,E θĝ− g(θ) 2 Eθ u,∇lnL n (.;θ) 2 = u,∇g(θ) 2 .Or (cf preuve du théorème 5.1.1),E θĝ− g(θ)u,∇lnLn (.;θ) = u,∇g(θ).

5.2. EXHAUSTIVITÉ 59Par suite, ĝ est efficace si, et seulement si,Eθĝ− g(θ)u,∇lnLn (.;θ) 2 = Eθĝ− g(θ) 2 Eθ u,∇lnL n (.;θ) 2 .La relation obtenue est un cas d’égalité dans l’inégalité de Cauchy-Schwarz,ce qui signifie qu’il existe ω(θ) tel queĝ − g(θ)=ω(θ)u,∇lnL n (.;θ) P θ -p.s.La proposition en découle, en notant ψ(θ)=ω(θ)u. 5.2 ExhaustivitéLe principe d’exhaustivité d’une statistique est un principe de réduction desdonnées basé sur la notion de loi conditionnelle.Définition. La statistique S à valeurs dans R q est dite exhaustive lorsque,pour chaque θ ∈ Θ, la loi conditionnelle sous P θ de l’échantillon sachant Sne dépend pas de θ.En clair, l’échantillon n’apporte pas plus d’information sur le paramètre dumodèle qu’une statistique exhaustive ; de manière équivalente, une statistiqueexhaustive élimine toute l’information superflue dans l’échantillon, en ne retenantque la partie informative sur le paramètre du modèle.Du point de vue technique, la statistique S à valeurs dans R q est exhaustives’il existe un noyau de transition K sur R q ×B(H n ) tel que pour tous θ ∈ Θ,A ∈ B(R q ) et B ∈ B(H n ),P θ{S ∈ A}∩B=AK(.,B)dP θ ◦ S −1 .En d’autres termes, S est exhaustive si, pour tout θ ∈ Θ et tout ϕ ∈ L 1 (P θ ),E θ [ϕ|S] est indépendante de θ. Noter que E θ [ϕ|S] est alors une statistique.Exemple. Soit ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) le modèle statistique du jeu de pileou face de la section 1.1. Il est clair que l’observation (x 1 ,···,x n ) ∈{0,1} npeut se résumer à sa somme x 1 + ···+ x n , ce qui indique que l’estimateur ¯X n

60 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESissu de l’échantillon (X 1 ,···,X n ) ∼ P θ = B(θ) ⊗n est exhaustif. Plus précisémment,pour chaque (x 1 ,···,x n ) ∈{0,1} n :P θX1 = x 1 ,···,X n = x n ¯X n = ¯x n=P θX1 = x 1 ,···,X n = x nP θ ( ¯X n = ¯x n )θ n ¯x n(1 − θ) n−n ¯x n=C n ¯x nn θ n ¯x n(1 − θ) n−n ¯x n= 1 ,C n ¯x nncar n ¯X n suit la loi B(n,θ). La loi conditionnelle de (X 1 ,···,X n ) sachant ¯X n estdonc indépendante du paramètre θ, c’est-à-dire que ¯X n est une statistique exhaustive: toute l’information sur θ contenue dans l’échantillon (X 1 ,···,X n )est en fait contenue dans ¯X n .Le théorème ci-dessous fournit une caractérisation simple de ce concept.Théorème 5.2.1. [NEYMAN-FISHER] Supposons que le modèle statistique(H n ,{P θ } θ∈Θ ) est dominé par µ, de vraisemblance L n . Une statistique Sà valeurs dans R q est exhaustive si, et seulement si, il existe deux fonctionsboréliennes ψ : R q ×Θ → R + et γ : H n → R + telles que pour tout θ ∈ Θ :L n (.;θ)=γψ S(.),θ µ-p.p.Exemple. Avec ce théorème, il devient souvent facile de montrer qu’une statistiqueest exhaustive : par exemple, la moyenne empirique est une statistiqueexhaustive dans le modèle (R n ,{N (θ,1) ⊗n } θ∈R ), car la vraisemblanceL n pour la mesure de Lebesgue vautL n (x 1 ,···,x n ;θ) ==1(2π) n/2 exp − 1 2n∑i=1(x i − θ) 21(2π) n/2 exp − n 2 ( ¯x n − θ) 2 exp− 1 2n∑i=1(x i − ¯x n ) 2 ,pour tous (x 1 ,···,x n ) ∈ R n et θ ∈ R.

5.2. EXHAUSTIVITÉ 61Preuve du théorème 5.2.1. D’après le théorème 1.4.1, il existe une probabilitédu convexifié de {P θ } θ∈Θ qui domine le modèle statistique. Pour simplifierla preuve, supposons que la mesure dominante µ est cette mesure, i.e.µ = ∑ a i P θi ,i≥1avec θ i ∈ Θ, a i ∈ [0,1] pour chaque i ≥ 1 et ∑ i≥1 a i = 1. Dans ce cadre, nousallons montrer que S est exhaustive si, et seulement si il existe une fonctionmesurable ψ : R q ×Θ → R + telle que pour tout θ ∈ Θ :L n (.;θ)=ψ S(.),θ µ-p.p.Fixons θ ∈ Θ et supposons que L n (.;θ)=ψ(S(.),θ) µ-p.s. Comme dP θ =ψ(S(.),θ)dµ, par définition de l’espérance conditionnelle pour la probabilitéµ notée E µ : P θ {S ∈ A}∩B =H 1 AS(.) 1B ψ S(.),θ dµn = 1A S(.) 1B ψ S(.),θ |S dµ,H n E µpour tous A ∈ B(R q ) et B ∈ B(H n ). Puis, 1 A (S(.))ψ(S(.),θ) étant σ(S)-mesurable en tant que fonction borélienne de S, on a en notant µ(B|S) =E µ [1 B |S] : P θ {S ∈ A}∩B =H µ(B|S)1 AS(.) ψ S(.),θ dµn= µ(B|S = y)1 A(y)ψ(y,θ) µ ◦ S −1 (dy),R qla dernière égalité provenant du théorème de transfert. Or, la mesure P θ ◦ S −1est absolument continue par rapport à µ ◦ S −1 , de densité E µ [L n (.;θ)|S = .] ∗ .∗. En effet, pour tout A ∈ B(R q ), par définition de l’espérance conditionnelle :P θ ◦ S −1 (A)= L n (.;θ)dµ = E µ [L n (.;θ)|S]dµ.{S∈A}{S∈A}D’après le théorème de transfert, P θ ◦ S −1 (A) = A E µ[L n (.;θ)|S = y] µ ◦ S −1 (dy), d’où lerésultat anoncé.

62 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESDe ce fait, dP θ ◦ S −1 = ψ(.,θ)dµ ◦ S −1 car L n (.,θ) =ψ(S(.),θ) est σ(S)-mesurable, d’où P θ {S ∈ A}∩B = µ(B|S = y)P θ ◦ S −1 (dy).AL’application (y,B) → µ(B|S = y) définie sur R q ×B(H n ) est donc le noyaude transition de la loi conditionnelle de l’échantillon sachant S. Comme il estindépendant de θ, S est une statistique exhaustive.Réciproquement, supposons que S est exhaustive. Pour tout θ ∈ Θ, la loiconditionnelle P θ (.|S = .) de l’échantillon sachant S est indépendante de θ ;notons-là P(.|S = .). Si A ∈ B(R q ) et B ∈ B(H n ), on a d’une partµ {S ∈ A}∩B = ∑ a i P θi {S ∈ A}∩Bi≥1= ∑ a i P θi (B|S = y)µ(dy)=i≥1AAP(B|S = y)µ(dy),car ∑ i≥1 a i = 1. D’autre part, en désignant par µ(.|S = .) la loi conditionnellesachant S :µ {S ∈ A}∩B = µ(B|S = y)µ(dy).Puisque ces relations sont vraies pour tous A ∈ B(R q ) et B ∈ B(H n ), on endéduit par unicité que les lois conditionnelles P(.|S = .) et µ(.|S = .) sontles mêmes, d’où P θ {S ∈ A}∩B = µ(B|S = y)P θ ◦ S −1 (dy).AOn a déjà remarqué que ϕ(.,θ)=E µ [L n (.;θ)|S = .] est la densité de P θ ◦S −1par rapport à µ ◦ S −1 . De ce fait, P θ {S ∈ A}∩B = µ(B|S = y)ϕ(y,θ)µ ◦ S −1 (dy).APar ailleurs, la définition de l’espérance conditionnelle et le théorème de transfertdonnent : P θ {S ∈ A}∩B = 1 B L n (.;θ)dµ{S∈A}= E µ [1 B L n (.;θ)|S = y] µ ◦ S −1 (dy).AA

5.2. EXHAUSTIVITÉ 63Ces égalités étant vraies pour tout A ∈ B(R q ), il vientµ(B|S = .)ϕ(.,θ)=E µ [1 B L n (.;θ)|S = .] µ ◦ S −1 -p.s.,et doncE µ1Bϕ(S(.),θ) − Ln (.;θ) S= 0 µ-p.s.En particulier :E µ1Bϕ(S(.),θ) − Ln (.;θ) = E µ E µ1Bϕ(S(.),θ) − Ln (.;θ) S= 0.Ceci étant vrai pour tout B ∈ B(H n ), L n (.;θ) =ϕ(S(.),θ) µ-p.s., d’où lethéorème. Le concept d’exhaustivité permet d’améliorer le risque d’un estimateur :Théorème 5.2.2. [RAO-BLACKWELL] Soit S une statistique exhaustive et ĝun estimateur d’ordre 2. Alors, E θ [ĝ|S] est un estimateur de même biais queĝ qui lui est préférable, i.e. pour tout θ ∈ Θ :R θ;E θ [ĝ|S] ≤R(θ;ĝ).Exemple. Considérons le modèle statistique ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) du jeude pile ou face de la section 1.1. Lorsque (X 1 ,···,X n ) est un échantillon dela loi P θ = B(θ) ⊗n , X 1 est un estimateur sans biais et ¯X n est une statistiqueexhaustive. A l’aide du théorème de Rao-Blackwell, nous allons améliorerl’erreur quadratique de l’estimateur X 1 en calculant E θ [X 1 | ¯X n ]. Comme lesvariables aléatoires X 1 ,···,X n sont indépendantes et de même loi, pour toutj ∈{1,···,n} et A ⊂{k/n, k = 0,···,n} :{ ¯X n ∈A}X 1 dP θ ={ ¯X n ∈A}X j dP θ .Ceci étant vrai pour chaque A ⊂{k/n, k = 0,···,n}, on en déduit de l’unicitéde l’espérance conditionnelle que E θ [X 1 | ¯X n ]=E θ [X j | ¯X n ] P θ -p.s. Par suite :E θ [X 1 | ¯X n ]= 1 nn∑ E θ [X j | ¯X n ]=E θ [ ¯X n | ¯X n ]= ¯X n P θ -p.s.j=1

64 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESAinsi, l’estimateur préférable construit avec le théorème de Rao-Blackwelln’est autre que la moyenne empirique.Preuve du théorème 5.2.2. Soit θ ∈ Θ. Comme S est exhaustive, E θ [ĝ|S], quine dépend pas de θ, est donc un estimateur. De plus, puisqueE θ E θ [ĝ|S]=E θ ĝ,les estimateurs E θ [ĝ|S] et ĝ ont même biais. Désignons maintenant, pour unestimateur ˆψ d’ordre 2 :Si ˆη = E θ [ĝ|S],V θ ( ˆψ)=E θ ˆψ − E θ ˆψ 2 .V θ (ĝ) = E θ ĝ− ˆη+ ˆη − Eθ ĝ 2= E θ ĝ − ˆη 2 +V θ ( ˆη)+2E θ ĝ − ˆη, ˆη − E θ ˆη,car ĝ et ˆη ont même biais. Or, comme ˆη est une fonction borélienne de S :De ce fait,E θĝ − ˆη, ˆη − Eθ ˆη S = E θĝ− ˆη|S, ˆη − Eθ ˆη= ˆη − ˆη, ˆη − E θ ˆη= 0.E θ ĝ − ˆη, ˆη − E θ ˆη = E θ E θĝ − ˆη, ˆη − Eθ ˆη S= 0,et donc V θ (ĝ) ≥ V θ ( ˆη). D’après la décomposition biais-variance (Proposition2.3.1),R(θ; ˆη)=E θ ˆη − θ 2 +V θ ( ˆη) ≤E θ ĝ − θ 2 +V θ (ĝ)=R(θ;ĝ),d’où le théorème. 5.3 ComplétudeDéfinition. Une statistique S à valeurs dans R q est dite complète si, pourchaque fonction ξ : R q → R telle que ξ ◦ S est une statistique d’ordre 1 ,∀θ ∈ Θ : E θ ξ ◦ S = 0 =⇒ ∀θ ∈ Θ : ξ ◦ S = 0 P θ -p.s.

5.3. COMPLÉTUDE 65Exemple. Dans le modèle statistique ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) du jeu de pileou face de la section 1.1, la moyenne empirique est une statistique complète.En effet, si (X 1 ,···,X n ) ∼B(θ) ⊗n , pour toute fonction ξ à valeurs réelles :E θ ξ ( ¯X n )=n k∑ ξ Ck=0nnθ k k (1 − θ) n−k ,car n ¯X n suit la loi B(n,θ). Supposons que E θ ξ ( ¯X n )=0 pour chaque θ ∈]0,1[.Comme E θ ξ ( ¯X n ) est un polynôme de la variable θ, ses coefficients sont alorsnuls, i.e. ξ (k/n)=0 ∀k ∈{0,···,n}. Par suite ξ ( ¯X n )=0 P θ -p.s. et ¯X n est unestatistique complète.Dès que l’on dispose d’une statistique exhaustive complète, tout estimateursans biais, même déraisonnable, suffit pour déterminer l’estimateur VUMSB,comme en témoigne le résultat suivant.Théorème 5.3.1. [LEHMANN-SCHEFFÉ] Soit S une statistique exhaustivecomplète et ĝ un estimateur sans biais d’ordre 2. Alors, la statistique E θ [ĝ|S]est l’unique estimateur VUMSB. En particulier, l’estimateur ĝ est VUMSB siil est exhaustif et complet.Exemple. Dans le modèle statistique ({0,1} n ,{B(θ) ⊗n } θ∈]0,1[ ) du jeu de pileou face de la section 1.1, la moyenne empirique est exhaustive (voir section5.2) et complète. Cet estimateur est donc VUMSB d’après le théorème deLehmann-Scheffé, un résultat que nous avions obtenu avec des argumentsdifférents dans les sections 2.3 et 5.1.Preuve du théorème 5.3.1. Soient θ ∈ Θ et ĝ un autre estimateur sans biaisd’ordre 2. Notonsˆη = E θ [ĝ|S] et ˆη = E θ [ĝ |S].Par exhaustivité de S, ˆη et ˆη sont des estimateurs, qui sont de surcroît sansbiais et d’ordre 2. De plus, comme ˆη et ˆη sont mesurables par rapport à latribu engendrée par S, il existe une fonction borélienne ξ telle que ˆη − ˆη =ξ ◦ S. Donc ξ ◦ S ∈ L 1 (P θ ) etE θ ξ ◦ S = E θ ˆη − ˆη = 0.

66 CHAPITRE 5. CLASSIFICATION DES STATISTIQUESPuisque S est complète, ˆη − ˆη = ξ ◦ S = 0 P θ -p.s. et, en particulier,R(θ; ˆη)=R(θ; ˆη ).Or, R(θ; ˆη ) ≤R(θ;ĝ ) d’après le théorème de Rao-Blackwell (Théorème5.2.2), d’oùR(θ; ˆη) ≤R(θ;ĝ ),ce qui entraîne que ˆη est VUMSB. Pour clore la preuve de ce théorème, ilsuffit d’observer que dans le cas particulier où ĝ est exhaustif et complet, ilest VUMSB car ĝ = E θ [ĝ|ĝ].