διαφανειες cr-κφ-αποδοτικοι εκτιμητες - Τμήμα Μαθηματικών ...

CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ
ΕΚΤΙΜΗΤΕΣ
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

Θεώρηµα Cramer-Rao
Θεώρηµα Cramer-Rao
΄Εστω X˜
= (X 1 , X 2 ,...,X n ) ένα δείγµα µε από κοινού πυκνότητα
πιθανότητας f X˜(x˜;θ), θ ∈ Θ. Εάν T(X˜) είναι στατιστική συνάρτηση µε
E θ T(X˜) = g(θ), ∀θ ∈ Θ, και ισχύουν οι συνθήκες (Ι1) - (Ι5), τότε
Var θ T(X˜) ≥ (g′ (θ)) 2
, ∀θ ∈ Θ.
I(θ)
(Ι1) Ο παραµετρικός χώρος Θ είναι ανοικτό υποσύνολο του R.
(Ι2) Το σύνολο S = : f X˜(x˜;θ) > 0} δεν εξαρτάται από το θ.
∫
{x˜
∂
(Ι3)
R ∂θ f = X˜(x˜;θ)dx˜ ∂ ∫
f
∂θ X˜(x˜;θ)dx˜, ∀θ ∈ Θ.
∫
n
R n ∫
(Ι4)
T(x˜) ∂
R ∂θ f = X˜(x˜;θ)dx˜ ∂ ∂θ
n
στατιστική συνάρτηση T(X˜).
R n T(x˜)f X˜(x˜;θ)dx˜, ∀θ ∈ Θ και κάθε
(Ι5) Αν I(θ) = E θ
( ∂
∂θ ln f X˜(x˜;θ)) 2
, τότε 0 < I(θ) < ∞, ∀θ ∈ Θ.
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

ΜΕΟΚ
Ορισµός (ΜΕΟΚ)
Η οικογένεια κατανοµών {f (x˜;θ),θ ∈ Θ} ανήκει στην
Μονοπαραµετρική Εκθετική
X˜ Οικογένεια Κατανοµών (ΜΕΟΚ) αν,
1
Το σύνολο S = {x˜; f X˜
2 f X˜
(x˜;θ) > 0} δεν εξαρτάται από το θ.
(x˜;θ) = e A(θ)+B(x˜)+c(θ)D(x˜), ∀x˜
∈ S, θ ∈ Θ.
Πρόταση 1
Αν = (X 1 , X 2 ,...,X n ) είναι τ.δ. από κατανοµή µε π.π. f 1 (x;θ), θ ∈ Θ,
που
X˜ ανήκει στην ΜΕΟΚ, τότε και η οικογένεια κατανοµών του ανήκει
στην ΜΕΟΚ.
X˜
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

ΜΕΟΚ
Πρόταση 2
Αν το δείγµα X˜
= (X 1 , X 2 ,...,X n ) έχει κατανοµή µε πυκνότητα
πιθανότητας f (x˜;θ) η οποία ανήκει στην ΜΕΟΚ και η c(θ) (που
εµφανίζεται στον
X˜
τύπο της f (x˜;θ)) έχει συνεχή και µη µηδενική
παράγωγο ∀θ ∈ Θ, τότε οι συνθήκες
X˜ (Ι2), (Ι3) και (Ι4) του Θεωρήµατος
Cramer-Rao ισχύουν και η (Ι4) ισχύει για κάθε στατιστική συνάρτηση
T = T(X˜).
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

ΜΕΟΚ
Παρατήρηση 1
Αν E θ T(X˜) = g(θ), ∀θ ∈ Θ και VarT(X˜) = (g′ (θ)) 2
Τότε T(X˜) είναι ΑΟΕ∆ εκτιµητής της g(θ).
I(θ)
ΤΟ ΑΝΤΙΣΤΡΟΦΟ ∆ΕΝ ΙΣΧΥΕΙ ΠΑΝΤΑ !
Ορισµός (Αποδοτικός εκτιµητής)
Ο εκτιµητής T((˜X)) του g(θ) ονοµάζεται αποδοτικός εάν,
1
E θ T(X˜) = g(θ), ∀θ ∈ Θ.
2
Ικανοποιούνται οι συνθήκες (Ι1)-(Ι5) του Θεωρήµατος Cramer-Rao.
3
Var θ (T(X˜)) = (g′ (θ)) 2
, ∀θ ∈ Θ.
I(θ)
Παρατήρηση 2
Αν T(X˜) είναι αποδοτικός εκτιµητής για την g(θ), τότε T(X˜) είναι ΑΟΕ∆
για την g(θ). (Το αντίστροφο δεν ισχύει.)
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας
Cramer-Rao
Πρόταση 2 (Ικανή συνθήκη για αποδοτικότητα)
Αν το δείγµα X˜
= (X 1 , X 2 ,...,X n ) έχει κατανοµή µε πυκνότητα
πιθανότητας f X˜(x˜;θ) η οποία ανήκει στην ΜΕΟΚ
(
)
f X˜(x˜;θ) = e A(θ)+B(x˜)+c(θ)D(x˜) και ισχύουν,
a) Το σύνολο Θ είναι ανοικτό υποσύνολο του R.
b) Το c(θ) έχει συνεχή και µη µηδενική παράγωγο ∀θ ∈ Θ.
c) 0 < I(θ) < ∞.
Τότε,
1 Η στατιστική συνάρτηση D(X˜) είναι αποδοτικός εκτιµητής της
g(θ) = E θ D(X˜).
2
Η στατιστική συνάρτηση c 1 D(X˜)+c 2 , µε c 1 , c 2 σταθερές, c 1 ≠ 0
είναι αποδοτικός εκτιµητής της c 1 g(θ)+c 2 .
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας
Cramer-Rao
Πρόταση 3 (Αναγκαία συνθήκη για αποδοτικότητα)
΄Εστω ότι ισχύουν οι συνθήκες (Ι1), (Ι2), (Ι3) και (Ι5) του Θεωρήµατος
Cramer - Rao και η (Ι4) ισχύει για κάποια στατιστική συνάρτηση T(X˜),
αµερόληπτο εκτιµητή του g(θ). ΄Εστω, ακόµα, η παραµετρική
συνάρτηση g(θ) είναι µη σταθερά (σαν συνάρτηση του θ) και η T(X˜)
επιτυγχάνει το C.R.-Κ.Φ., δηλαδή
Var θ (T(X˜)) = (g′ (θ)) 2
, ∀θ ∈ Θ.
I(θ)
Τότε, f X˜(x˜;θ) = e A(θ)+B(x˜)+c(θ)T(x˜), ∀x˜ ∈ S, θ ∈ Θ,
δηλαδή η κατανοµή του δείγµατος X˜
ανήκει στην ΜΕΟΚ.
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας
Cramer-Rao
Παρατήρηση 3
Οι Προτάσεις 2 και 3 συνεπάγονται το γεγονός ότι η εύρεση αποδοτικού
εκτιµητή για κάποια παραµετρική συνάρτηση g(θ) είναι δυνατή µε τη
χρήση του Θεωρήµατος Cramer-Rao
⇕
1
η κατανοµή του δείγµατος X˜
ανήκει στην ΜΕΟΚ
2
η g(θ) έχει µία συγκεκριµένη µορφή, g(θ) = E θ D(X˜) ή κάποιος
γραµµικός µετασχηµατισµός της E θ D(X˜).
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ

Αριθµός πληροφορίας Fisher
Ιδιότητες
( ) ∂
2
1 I(θ) = −E θ
∂θ ln f X˜(x˜;θ) , ∀θ ∈ Θ.
2
2
Αν το δείγµα X˜
= (X 1 , X 2 ,...,X n ) αποτελείται από ανεξάρτητες
τυχαίες µεταβλητές, όπου κάθε µία από τις X i ακολουθεί µία
κατανοµή µε πυκνότητα πιθανότητας, f Xi (x i ;θ), i = 1, 2,...,n, τότε
I(θ) =
n∑
I i (θ)
i=1
όπου I i (θ) = E θ
( ∂
∂θ ln f X i
(x i ;θ)) 2
.
3
Αν το δείγµα X˜
= (X 1 , X 2 ,...,X n ) είναι τυχαίο, τότε
I(θ) = nI 1 (θ)
όπου I 1 (θ) είναι ο αριθµός πληροφορίας Fisher για κάθε µία από
τις X 1 , X 2 ,...,X n .
Στατιστική Συµπερασµατολογία Ι, Κ. Πετρόπουλος
CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ∆ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ