Vjerojatnost i matematička statistika - Poslijediplomski specijalistički ...

Nije teško pokazati da se te procjene mogu izračunati po formulama
ˆβ = S xy
S xx
,
ˆα = ȳ − ˆβ¯x.
Naime, ˆα i ˆβ su rješenja sustava od dvije jednadžbe koje se dobiju kada se parcijalne
derivacije od q(α, β) izjednače s nulom. Dakle, procjenitelji metodom najmanjih kvadrata
od α i β su statistike
ˆβ = S xY
, ˆα = Y −
S ˆβ¯x.
xx
Za uzoračke razdiobe tih statistika vrijedi:
E[ ˆβ] = β, Var[ ˆβ] = σ 2 ·
E[ˆα] = α,
1
S xx
,
Var[ˆα] = σ 2 · ( 1 n + ¯x2
S xx
).
Označimo sa Ŷi := ˆα + ˆβx i procjenitelj za varijablu Y i , a sa ŷ i opaženu vrijednost tog procjenitelja
(i = 1, 2, . . . , n). Tada je nepristrani procjenitelj zajedničke varijance slučajnih
grešaka statistika
ˆσ 2 := 1 n∑
(Y i −
n − 2 Ŷi) 2 .
i=1
Primijetite da je opažena vrijednost ∑ n
i=1 (y i − ŷ i ) 2 od ∑ n
i=1 (Y i − Ŷi) 2 upravo jednaka
minimumu funkcije (10.4)
10.2.3 Rastav varijance odziva
Ukupna varijabilnost u slučajnom uzorku Y varijable odziva Y je
n∑
SSTOT := (Y i − Y ) 2 = S YY .
i=1
Dio te varijabilnosti se objašnjava postojanjem linearne ovisnosti varijabli Y i o vrijednostima
x i od X, a dio postojanjem slučajnih pogrešaka. Udio varijabilnosti zbog linearne
ovisnosti Y o X u ukupnoj varijabilnosti SSTOT predstavlja mjeru prilagodbe linearnog
regresijskog modela podacima.
Kvadriranjem izraza
Y i − Y = (Y i − Ŷi) + (Ŷi − Y )
i zbrajanjem po svim i = 1, 2, . . . , n dobijamo
n∑
n∑
n∑
(Y i − Y ) 2 = (Y i − Ŷi) 2 + (Ŷi − Y ) 2 ,
i=1
i=1
i=1
budući da je zbroj srednjih članova kvadrata binoma jednak nuli. Član s lijeve strane
dobivene jednakosti je SSTOT, ukupna varijabilnost u podacima od Y ili ukupna suma
kvadrata. Drugi član s desne strane jednakosti predstavlja zbroj kvadrata odstupanja vrijednosti
prilagodene regresijske funkcije od uzoračke srednje vrijednosti od Y , dakle, onaj
dio ukupne varijabilnosti koji je objašnjen linearnom zavisnošću Y o X. Taj zbroj zovemo
sumom kvadrata zbog regresije i označavamo sa SSR. Na kraju, prvi član zdesna je zbroj
kvadrata procijenjenih pogrešaka ili reziduala ˆε i := Y i − Ŷi (i = 1, 2, . . . , n), koji još zovemo
92