Vjerojatnost i matematička statistika - Poslijediplomski specijalistički ...

7.2.1 Jednoparametarski slučaj
Neka je x = (x 1 , x 2 , . . . , x n ) opaženi uzorak za varijablu X s populacijskom gustoćom
f(x|θ), te neka je θ jednodimenzionalan parametar. Tada je vjerodostojnost parametra θ
funkcija
n∏
L(θ) := f(x i |θ).
i=1
Vjerodostojnost nepoznatog populacijskog parametra je, dakle, vjerojatnost da se dogodi
realizacija uzorka koja je opažena ako je populacijska distribucija diskretna, odnosno proporcionalna
je vjerojatnosti okoline opažene realizacije u neprekidnom slučaju, izražena kao
funkcija nepoznatog parametra.
Procjena metodom maksimalne vjerodostojnosti parametra θ je ona vrijednost ˆθ za koju
funkcija θ ↦→ L(θ) poprima maksimalnu vrijednost:
L(ˆθ) = max L(θ).
θ
Očito je ˆθ = ˆθ(x). Dakle, procjenitelj metodom maksimalne vjerodostojnosti, kraće MLE,
parametra θ je statistika ˆθ(X).
Često se ne traži maksimum vjerodostojnosti nego njenog logaritma, tzv. log-vjerodostojnosti:
l(θ) := log L(θ),
budući da se maksimumi tih dviju funkcija postižu u istoj vrijednosti za θ, a log-vjerodostojnost
je u pravilu jednostavnija funkcija za maksimiziranje. Ako je θ ↦→ l(θ) diferencijabilna
funkcija, tada je MLE ˆθ jedno od rješenja stacionarne jednadžbe:
l ′ (θ) = 0.
Dakle, MLE efektivno tražimo tako da riješimo stacionarnu jednadžbu, te kao MLE izdvojimo
ono rješenje koje maksimizira log-vjerodostojnost. Na taj način možemo MLE tražiti
jedino ako ImX ne ovisi o parametru θ.
Često nas osim parametra θ zanima neka funkcija g(θ) tog parametra. Za bilo koju
funkciju g vrijedi da je MLE ĝ(θ) od g(θ) jednak g(ˆθ) gdje je ˆθ MLE za θ. Kažemo da procjenitelj
metodom maksimalne vjerodostojnosti ima svojstvo invarijantnosti na funkcijske
transformacije parametara.
Primjer 7.4 Neka je X = (X 1 , X 2 , . . . , X n ) slučajni uzorak iz populacije s Exp(λ)-razdiobom,
pri čemu je λ > 0 nepoznati parametar. Tada je na osnovi opaženog uzorka
x = (x 1 , x 2 , . . . , x n ), vjerodostojnost od λ:
L(λ) =
n∏
i=1
λe −λx i
= λ n e −λ ∑ n
i=1 x i
= λ n e −nλ¯x .
Nadalje, budući da ImX = ⟨0, +∞⟩ ne ovisi o λ, MLE za λ tražimo rješavajući stacionarnu
jednadžbu od log-vjerodostojnosti:
l(λ) = log L(λ) = n log λ − nλ¯x
l ′ (λ) = 0 ⇔ n − n¯x = 0 ⇔ λ = .
λ
1¯x
Dakle, MLE od λ je ˆλ = ˆλ(X) = 1/X. Nadalje, budući da je µ(λ) = 1/λ populacijsko
očekivanje, zbog invarijantnosti od MLE vrijedi da je MLE populacijskog očekivanja jednak
ˆµ(λ) = µ(ˆλ) = X.
63