Vjerojatnost i matematička statistika - Poslijediplomski specijalistički ...

10.2 Regresijska analiza. Jednostavni linearni regresijski model.
10.2.1 Uvod
U ovom je potpoglavlju Y slučajna varijabla koja ovisi o vrijednostima x nezavisne varijable
X. S druge strane, pretpostavljamo da imamo kontrolu nad vrijednostima x nezavisne
varijable, odnosno, da ih mi na neki način zadajemo. Dakle, ovdje X nije slučajna varijabla.
Regresijska analiza se sastoji od odabira i prilagodbe odgovarajućeg modela (u našem
slučaju, linearnog) opaženim podacima, u svrhu predvidanja individualnih ili očekivanih vrijednosti
od Y za zadanu vrijednost x od X. Prije postavljanja potpunog modela, podatke
treba ispitati deskriptivnim metodama (npr. grafički) da se vidi koje su sve pretpostavke
na model razumne.
Podatke (10.1) interpretiramo kao realizaciju slučajnog uzorka
pri čemu pretpostavljamo da vrijedi
(x 1 , Y 1 ), (x 2 , Y 2 ), . . . , (x n , Y n )
Y i = α + βx i + ε i , i = 1, 2, . . . , n, (10.3)
gdje su α, β parametri modela (α je slobodni član, a β je koeficijent smjera pravca), a
ε i (i = 1, 2, . . . , n) su slučajne varijable koje zovemo slučajnim pogreškama ili šumovima.
Model (10.3) za vezu izmedu komponenti od (X, Y ) zovemo jednostavni linearni regresijski
model. Dodatne su pretpostavke na jednostavni linearni regresijski model, preciznije, na
slučajne pogreške, da su:
(A1) centrirane: E[ε i ] = 0 za sve i;
(A2) jednake varijance: Var[ε i ] = σ 2 za sve i;
(A3) nekorelirane: cov[ε i , ε j ] = 0 za sve i ≠ j.
Uvjete (A1 − 3) zovemo Gauss-Markovljevim uvjetima.
10.2.2 Prilagodba modela
Prilagodba linearnog regresijskog modela za koji vrijede Gauss-Markovljevi uvjeti sastoji
se od:
(a) procjene parametara α i β;
(b) procjene zajedničke varijance grešaka σ 2 .
Regresijski parametri α i β procjenjuju se metodom najmanjih kvadrata. Neka je
n∑
q(α, β) := (y i − (α + βx i )) 2 (10.4)
i=1
funkcija kojom se mjeri ukupan zbroj kvadrata odstupanja opaženih vrijednosti y i od vrijednosti
predvidenih pravcem y = α + βx u točkama x = x i za i = 1, 2, . . . , n. Procjene ˆα
i ˆβ parametara regresijskog pravca su one vrijednosti α i β za koje funkcija q(α, β) postiže
svoj minimum:
q(ˆα, ˆβ) = min q(α, β).
α,β
91