Eric Chaumette 1

DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan 

1

Bornes Inférieures de l’EQM pour 

l’estimation de paramètres déterministes 

Eric Chaumette 

DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan

Estimation de paramètres déterministes 

Introduction 

• Objectif : mesure de la précision d’estimation des paramètres déterministes 

d'un signal d'intérêt s en présence d'un environnement permanent n (additif par 

exemple) : 

x = s (θ s ) + n (θ n ) = s θs + n θn 

• Exemple Fondateur : la cisoïde (sinusoïde complexe) en présence de bruit 

complex blanc normé (gaussien centré circulaire). Estimation d’un seul paramètre 

inconnu θ s 

= θ 0 (fréquence pure). 


x = (x 1 , . . . , x M ) T = s θ 0 +n, s θ = aψ(θ), ψ(θ) = 

p (x; θ) = e−‖x−aψ(θ)‖2 

π M , θ ∈ ]−0.5, 0.5[ , a > 0, C x = Id 

[1, e j2πθ , ..., e j2π(M−1)θ] T


Introduction 

• Stratégie d’Estimation : la méthode du Maximum de Vraisemblance 

̂θ 0 MV = arg 

θ 

max {p (x; θ)} = arg 

θ 

⎧ 

[ 

⎨ 

ψ(θ) H 

max 

⎩∣ a ψ ( θ 0) ] [ 

+ 

‖ψ(θ)‖ 

ψ(θ) H n 

‖ψ(θ)‖ 

]∣ ∣∣∣∣ 

2 ⎫ ⎬ 

⎭ 

-10 

θ 0 = 0, M = 8, MC = 10 4 

30 

Intercorrélation 

Filtre Adapté 

σ 2 n 


REQM EN DECIBELS 

-15 

-20 

-25 

-30 

-35 

-40 

-45 

a priori 

transitoire 

EMV 

BCR Sans Biais 

-50 

-15 -10 -5 0 5 10 

RSB EN DECIBELS 

asymptotique 

DECIBELS 

25 

20 

15 

10 

5 

0 

-5 

-10 

-15 

RSB = -10 dB 

RSB = 3 dB 

RSB = 20 dB 

-20 

-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 

Fréquence Réduite


Introduction 

• Stratégie d’Estimation : la méthode du Maximum de Vraisemblance (suite) 

0 

-5 

20 



-10 

-15 

-20 

a priori 

-25 

15 

transitoire 

10 

5 

0 

asymptotique 

EMV 

-5 


-10 

θ 0 = 0, M = 2, MC = 10 4 -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 

-30 

-15 -10 -5 0 5 10 


DECIBELS 

Cas marginal 

RSB = -10 dB 

RSB = 3 dB 

RSB = 20 dB 

Fréquence Réduite


Introduction 

• Dans les problèmes d’estimation non-linéaires, l’EMV présente un phénomène 

de décrochement relativement à la BCR (rapide détérioration de son EQM) à partir 

d’un certain RSB (rapport signal à bruit (a 2 )) (et/ou du nombre d’observations 

indépendantes T). 

-10 



-15 

-20 

-25 

-30 

a priori 

• Problèmes - en général - : 

-35 

-40 

-45 

transitoire 

EMV 


-50 

-15 -10 -5 0 5 10 


asymptotique 

on ne sait pas calculer l’EQM de l’EMV, ∀ RSB / T! 

x = aψ(θ) + n, 

les résultats asymptotiques sur la convergence EQM(EMV) 

permettent pas de caractériser l’EMV ∀ RSB / T ! 

C x = Id 

BCR ne


Introduction 

• Sous problèmes : 

Peut-on modéliser le comportement de l’EQM de l’EMV 

Peut-on prédire la zone de décrochement, et définir la zone où la BCR est utile 


• Solution 1 : modèle comportemental de l’EQM (méthode des intervalles 

d’erreurs) 

Avantage : prédit plutôt bien le comportement de l’EQM (si …) 

Inconvénient : 

nécessite une bonne approximation de EQM asymp et de P outlier (calculs non triviaux) 

 

( ) 

EQM ̂θ0 MV = EQM asymp (1 − P outlier ) + EQM apriori P outlier 

( 

P outlier = P ̂θ0 MV /∈ lobe principal de |intercorrelation| 2) 

EQM asymp et P outlier dépendent de l’algorithme considéré 

ne permet pas d’étudier les limites de performances d’un problème d’estimation donné.


Introduction 


• Solution 2 : utilisation des approximations de la Borne de Barankin (BB). La BB 

est l’EQM de l’estimateur localement le meilleur et uniformément sans biais : 

min 

{ 

EQM θ 

0 

Avantage : 

est la solution d’un problème de minimisation d’une norme sous contraintes linéaires 

(simple à comprendre) 

définit une limite de performance (la plus grande des bornes inférieures) d’un problème 

d’estimation donné (fournit un outil de conception) 

met en évidence le phénomène de décrochement de performance 

Inconvénient : 

[ ̂θ0]} 

[ ] ∫ 

sous E θ ̂θ0 (x) = 

conduit à une équation intégrale sans solution analytique évidente! 

peut être approximée mais par des solutions coûteuses en calcul (implémentation) 

ne prend pas en compte le domaine de définition des paramètres dans le calcul de l’EQM 

(totalement fausse dans la zone a priori) 

ne peut être utilisée en pratique que pour les estimateurs sans biais 

Ω 

̂θ 0 (x) p (x; θ) dx = θ, ∀θ ∈ Θ

• Les Bornes inférieures de l’EQM sont : 


Bornes Inférieures de l’EQM 

des approximations de la Borne de Barankin (BB) : approximation de la 

contrainte uniformément sans biais 

la solution d’un problème de minimisation d’une norme (EQM) 

EQM θ 

0 

[ ̂θ0] 

= 

∥ ̂θ 0 (x) − θ 0 ∥ ∥∥ 

2 

θ 0 , 〈g (x) | h (x)〉 θ 

0 = E θ 

0 

[ 

g (x) h (x) 

∗ ] 


sous contraintes linéaires (hypothèse localement sans biais en θ n ) : 

E θ n 

[ ̂θ0 (x)] 

= θ n ⇔ 

∣ 

E θ 0 

ν θ 0 (x; θ n ) = p (x; θn ) 

p (x; θ 0 ) 

[( ) ] 

̂θ0 (x) − θ 0 ν θ 0 (x; θ n ) = θ n − θ 0 

〈 ̂θ0 (x) − θ 0 | ν θ 0 (x; θ )〉 

n = θ θn − θ 0 

0 

où représente le rapport de vraisemblance.



• Lemme de minimisation d’une norme sous contraintes linéaires : 

min { u H u sous c H n u = v n , 1 ≤ n ≤ N } = v H G −1 v 

N∑ 

u opt = α n c n , α = G −1 v, G n,k = c H n c k 

n=1 

les contraintes déterminent le minimum de la norme 


• Toutes les approximations « classiques » de la BB résultent de combinaisons 

linéaires de la contrainte localement sans biais en en θ n prise en un vecteur de 

N « points test » : 

( ) θ N = ( θ 1 , . . . , θ N) T 

( ) 

x; θ N = (. . . , ν θ 0 (x; θ n ) , . . .) T , ξ θ N = (. . . , ξ (θ n ) , . . .) T , ξ (θ) = θ−θ 0 

ν θ 0 

E θ 0 

E θ 0 

[( ̂θ0 (x) − θ 0) ν θ 0 

( 

x; θ N)] = ξ 

(θ N) 

⇓ 

[( ̂θ0 (x) − θ 0) ( 

h T k ν θ 0 x; θ N)] ( 

= h T k ξ θ N) , h k ∈ R N , k ≤ K ≤ N

• Toutes le bornes classiques de l’EQM s’écrivent : 

EQM θ 0 

[ ̂θ0] 

≥ ξ 



( 

θ N) T ( ) 

HK H 

T −1 

K R ν H K H 

T 

K ξ 

(θ N) 

H K = [h 1 . . . h K ] , (R ν ) n,m 

= E θ 

0 [ν θ 

0 (x; θ n ) ν θ 

0 (x; θ m )] 


[ ] 

CRB : lim EQM θ ̂θ0 

dθ→0 0 

HCRB : supEQM θ 0 

dθ 

[ 

̂θ0] 

θ N = θ 2 = ( θ 0 , θ 0 + dθ ) 

[ ] 

lorsque 

1 1 

∣ H K = H 2 = 

0 −1 

θ N = θ 2 = ( θ 0 , θ 0 + dθ ) 

[ ] 

lorsque 

1 1 

∣ H K = H 2 = 

0 −1 

HCRB ≥ CRB



• Exemple : la cisoïde 

x = (x 1 , . . . , x M ) T = s θ 0 +n, s θ = aψ(θ), ψ(θ) = 

[1, e j2πθ , ..., e j2π(M−1)θ] T 

5 


MEAN SQUARE ERROR IN DECIBELS 

0 

−5 

−10 

−15 

−20 

−25 

−30 

−35 

−40 

−45 

CRB 

HCRB 

MSB 

AB 

CGQLB 

TTB 

MLE 

−50 

−10 −5 0 5 

SIGNAL TO NOISE RATIO IN DECIBELS



• Challenge : trouver la « meilleure » approximation de la BB afin de prédire au mieux 

le début de la zone de décrochement 

• Mais quelle est la meilleure C’est un compromis entre : 

la plus proche (tightest) de la BB 

la plus facilement implémentable dans le cas général multi-paramètres. 


• Solution : 

trouver la meilleure transformation linéaire de la contrainte sans biais 

trouver d’autres transformations de la contrainte sans biais : certaines 

transformations non linéaires de la forme 

∫ 

t θ (p (x; θ)) = k (θ, t θ ) p (x; γ (θ, t θ )) , k (θ, t θ ) = t θ (p (x; θ)) dx



∫ 

t θ (p (x; θ)) = k (θ, t θ ) p (x; γ (θ, t θ )) 

⇓ 

∫ 

̂θ 0 (x) t θ (p (x; θ)) dx = k (θ, t θ ) ̂θ 0 (x) p (x; γ (θ, t θ )) dx = k (θ, t θ ) γ (θ, t θ ) 

E θ 0 

⇓ 

[ ( ̂θ0 (x) − θ 0) t θ (p (x; θ)) 

p (x; θ 0 ) 

] 

= k (θ, t θ ) [ γ (θ, t θ ) − θ 0] 


généralisation de la contrainte localement sans biais en θ : 

E θ 0 

[ ( ̂θ0 (x) − θ 0) ] 

p (x; θ) 

p (x; θ 0 ) 

= θ − θ 0 

extension de toutes les approximations existantes de la BB

• Applicable au modèle gaussien : 



C(ζ) −1 (x−m(ε)) 

p (x; θ) = e−(x−m(ε))H π M , C (ζ) = Ψ (ζ) C s Ψ (ζ) H + C n 

|C (ζ)| 

[ 

] 

θ = ε T , ζ T , vec (C s ) T , vec (C n ) T , t θ (y) = t q (y) = y q 


• Exemple : la cisoïde 

MEAN SQUARE ERROR IN DECIBELS 

5 

0 

−5 

−10 

−15 

−20 

−25 

−30 

−35 

−40 

−45 

CRB 

MSB with Linear Transformation 

MSB with Non−Linear Transformation 

MLE 

−50 

−10 −5 0 5 

SIGNAL TO NOISE RATIO IN DECIBELS



• Perspective : trouver la « meilleure » approximation de la BB afin de prédire 

au mieux le début de la zone de décrochement : 

la plus proche (tightest) de la BB 

la plus facilement implémentable dans le cas général multi-paramètres. 

DEMR/TSI - 02/06/2010 - Séminaire Farman - ENS Cachan

¡ 

£ 

£ ¢ 


Bornes Inférieures conditionnelles de l’EQM 

Lower Bounds on the MSE are solutions of a norm minimization problem under 

different sets of appropriate linear constraints : 

• Principal merit: explicit formulation of pertinent constraints which then determine 

the value of the lower bound on the MSE 

• Secondary merit: proof of existence of conditional lower bounds. If the observations 

set is restricted to a subset D of , then : 

∫ 

p (x; θ) dx = P (D) = P D (θ) 


D 

p (x; θ) → p (x | D; θ) = 

p (x; θ) 

P D (θ) 

〈g (x) | h (x)〉 θ0 

= E θ0 [g (x) h (x)] → 〈g (x) | h (x)〉 θ0 |D = E θ 0 

[g (x) h (x) | D] 

whatever lower bound solution of a norm minimization problem under linear 

constraints, its conditional formulation will be obtained by substituting D and 

p(x D; ) for and p(x; ) in the various expressions.

¢ 

¢ 

¢ 

¡ 



A wide variety of processing (Radar, Sonar, Telecom, ...) requires a binary detection step 

(decision rule) designed to decide if a signal is present (H ) or not (H ) in noise: 

H 0 : x = n ↔ {P (H 0 ) , p (x | H 0 )} , H 1 : x = s θ +n ↔ {P (H 1 ) , p (x | H 1 )} 

If {P(H i 

),p(x H i 

)} are known, the optimal detector is the Bayes criterion. If only 

{p(x H i 

)} are known, the optimal detector in the Neyman-Pearson sense is the Likelihood 

Ratio Test (LRT): 


LRT : p (x | H 1) 

p (x | H 0 ) 

H 1 

≷ 

H 0 

T −→ D ⊂ Ω such as: 

max {P D = D p (x | H 1 ) dx} under P F A = D p (x | H 0 ) dx 

• Problem: LRT are generally clairvoyant since they almost always depend at least on 

certain of unknown parameters of s . 

• Solution to design realizable tests: replace the unknown parameters by estimates 

function of observations, the detection problem becoming a Composite Hypothesis 

Testing Problem (CHTP). 

• Possible estimates: Maximum Likelihood Estimators (MLEs), so obtaining the 

Generalized Likelihood Ratio Test (GLRT):

¡ 

¡ 

LRT : p ϕ (x | H 1 ) 

p ψ (x | H 0 ) 



H 1 

≷ 

H 0 

T → GLRT : 

max {p ϕ (x | H 1 )} 

ϕ 

max {p ψ (x | H 0 )} = p ̂ϕ ML (x) (x | H 1 ) 

p 

ψ 

̂ψML (x) (x | H 0) 

• In non-linear estimation problems three distinct regions of operation of MSE of MLEs: 

asymptotic region: predominance of signal, MSE small and close to CRB 

a priory region: predominance of noise, the MSE only depends on noise properties 

transition region: ambiguity region, MSE deteriorates rapidly with respect to CRB 

and generally exhibits a threshold behavior highlighted by Large-Error bounds (BB 

approximations). 

H 1 

≷ 

H 0 

T 


• Expectations on the influence of a detection step: to select instances with relatively high 

signal energy - above detection threshold - and to disregard instances mainly consisting of 

noise 

• 

• 

decrease of MSE of MLE in the transition region, 

improvement of the tightness of the Unbiased CRB in the transition region.

Eric Chaumette 1

Create successful ePaper yourself

Delete template?

Save as template?