Regresija Jednostruka linearna regresija

Doc. dr. Snježana Pivac
Poslovna statistika
Regresija
Zadaća regresijske analize je da pronađe analitičko-matematički oblik veze između jedne
ovisne ili regresand varijable i jedne ili više neovisnih ili regresorskih varijabli.
Osim objašnjavanja prirode ovisnosti promatranih pojava na temelju tog analitičkog oblika može
se vršiti predviđanje vrijednosti ovisne varijable pri određenim vrijednostima neovisne-ih varijabli.
Jednostruka linearna regresija
U slučaju postojanja samo jedne ovisne ili regresand i samo jedne neovisne ili regresorske
varijable kaže se da je to jednostavni, jednostruki ili jednodimenzionalni regresijski model, a
regresijska analiza se može postaviti na slijedeći način:
1. Potpuno, precizno i koncizno definiranje predmeta i ciljeva istraživanja, te postavljanje
osnovnih pretpostavki.
2. Crtanje dijagrama rasipanja, izbor modela i definiranje varijabli. Na primjer, aditivni
model 1
Y = f ( X ) + e ,
gdje je: Y- ovisna ili regresand varijabla,
X - neovisna ili regresorska varijabla,
e - slučajna komponenta.
Svaki model ima slučajnu komponentu e , koja upućuje da veze između pojava u praksi nisu
funkcionalne, nego su statističke ili stohastičke, odnosno oko linije konkretnog aditivnog modela
postoje pozitivna i/ili negativna odstupanja originalnih vrijednosti.
U ovom koraku bitno je formirati statističko-dokumentacijsku osnovu iz primarnog (direktno)
i/ili sekundarnog (literatura) izvora vodeći računa da promatrani podaci budu usporedivi i da njihova
usporedba zadovoljava ekonomske kriterije.
3. Odabir konkretnog regresijskog modela, njegova specifikacija i pretpostavke. (Na
primjer, linearni model: Y β + X + e .)
Slika 1.
y
= 0 β1
x
1 Modeli u praksi ne moraju biti aditivni: na primjer, multiplikativni model
Y = f ( X ) ⋅ e ,
gdje je: Y- ovisna ili regresand varijabla, X - neovisna ili regresorska varijabla , e - slučajna komponenta.
1

Na slici 1. prikazan je dijagram rasipanja koji upućuje na postojanje pozitivne statističke veze
između dviju varijabli X i Y. Povlačenjem linije pravca između točaka dijagrama rasipanja
pretpostavlja se aditivna linearna veza među varijablama.
4. Statistička analiza modela: ocjena parametara i pokazatelja reprezentativnosti modela.
U ovoj fazi regresijske analize ocjenjuju se parametri konkretnog izabranog regresijskog
modela, te se računaju odgovarajući pokazatelji reprezentativnosti modela, koji ukazuju na to da li
model zadovoljava statističke kriterije.
5. Testiranje hipoteza o modelu i statističko teorijskih pretpostavki.
6a) DA - ako su ispunjene pretpostavke, vrši se sinteza rezultata i donose se sudovi o
predmetu istraživanja.
6b) NE -ako nisu ispunjene pretpostavke: vrši se modifikacija modela i vraća se na korak 2),
tj. na izbor novog modela i definiranje varijabli.
Dakle, regresijskom analizom traže se i ocjenjuju parametri funkcije koja na najbolji mogući način
opisuje vezu između varijabli X i Y. Na temelju uzorka parova vrijednosti varijabli X i Y:
( x 1 , y1
),
( x2,
y2
),...,
( x n , y n ) crta se dijagram rasipanja, koji je prikazan na slici 2..
Slika 2.
y
y i
x i
x
Dijagram rasipanja pokazuje pozitivnu statističku vezu između pojava X i Y.
Slika 3.
y
y i
e i
Yˆ
=β ˆ + ˆ β1 X
0
x i
x
Ako se na dijagramu rasipanja povuče pravac, on je općenito oblika:
Yˆ
= ˆ β + ˆ β1 X
0
Svaka točka dijagrama rasipanja zadovoljava jednadžbu:
Y ˆ β ˆ X + e ,
i = 0 + β1
i
i
odnosno svaka točka Y i odstupa od linije pravca za pozitivnu ili negativnu razliku e i .
2

Regresijska analiza traži parametre ˆ β ˆ
0 i β1
, tako da pravac Yˆ prolazi između stvarnih točaka
promatranih varijabli i da najbolje tumači vezu između njih, odnosno pravac mora biti takav da
odstupanja e i budu najmanja.
Postoji više različitih metoda za ocjenu ovih parametara, a najčešće korištena metoda je
metoda najmanjih kvadrata, koja upravo procjenjuje parametre ˆ β ˆ
0 i β1
tako da odstupanja e i budu
najmanja. 2 Ona daje najbolje linearne nepristrane ocjene (BLUE) i vrlo je često primjenjivana
metoda za ocjenu parametara.
Y = Y ˆ + e
i
i
i
Odstupanja originalnih vrijednosti od ocijenjenih vrijednosti e i mogu biti pozitivna i
negativna. Stoga, da se ne bi međusobno poništile te pozitivne i negativne vrijednosti, ova metoda
minimizira sumu kvadrata od e i .
n
2
i
i=
1
min ∑e
n
= min ∑(
Y − Yˆ
)
i
i=
1
2
i
n
2
[ Yi
− ( ˆ β ˆ
0 β1X
i )]
= min ∑ +
i=
1
Dakle, traži se minimum kvadrata odstupanja empirijskih (stvarnih) u odnosu na regresijske
vrijednosti.
Nakon primjene matematičkog postupka traženja minimuma dobiju se dvije jednadžbe s dvije
nepoznanice, tj. parametri regresijskog modela ˆ β ˆ
0 i β1.
n ⋅ ˆ β + ˆ β ⋅ ∑ X i = ∑Y
0
n
ˆ β ⋅ ∑ X
0
i=
1
n
1
i=
1
i
n
1
i=
1
+ ˆ β ⋅ ∑ X
n
i
i=
1
2
i
n
= ∑ X Y
i=
1
i
i
∑ X iYi
− nXY
Navedeni sustav uvijek ima rješenja i vrijedi da je: ˆ i=
1
β i ˆ Y bˆ
1 =
β X
n
0 = − ,
2 2
∑ X − nX
n
n
∑ X i ∑Yi
i= 1 i=
1
gdje su: X = i Y = , jednostavne aritmetičke sredine varijabli X i Y.
n n
Konačno je ocijenjeni model: ˆ = ˆ β + ˆ β X ,
Y 0 1
gdje je ˆβ 0 konstantni član, tj. očekivana vrijednost zavisne varijable kada je nezavisna varijabla
jednaka nuli: (
ˆ0 β = Yˆ kada je X=0). Ovaj parametar interpretira se i kao odsječak na osi ordinata u
kojoj regresijski pravac siječe tu os, uz pretpostavku da je apscisa te točke X=0.
n
i=
1
i
2 Pri formiranju modela postavljaju se i pretpostavke slučajne greške e i (tzv. Gauss-Markovljevi uvjeti):
I. E( e i ) = 0,
∀i
(očekivanje slučajne greške je nula za svaku opservaciju)
II.
2
E(
ei
, e j ) = σ e < +∞ za i = j
= const.
(homoskedastičnost varijance reziduala, tj. pretpostavlja se da je varijanca
reziduala konačna i čvrsta)
III.
E(
ei
, e j ) = 0, ∀i
≠ j,
tj.
(greška je slučajna i nema korelacije između varijabli s pomakom od e i )
Cov(
ei
, e j ) = 0, ∀i
≠ j
IV. E ( e i , X i ) = 0 (slučajna greška je distribuirana nezavisno od regresorske varijable X)
2
Vrijedi da je slučajna greška e distribuirana normalnom distribucijom: N (0, σ < ∞)
.
3

Regresijski koeficijent ˆβ 1 pokazuje prosječnu promjenu zavisne varijable kada
nezavisna varijabla poraste za jedinicu. Ovaj parametar interpretira se i kao koeficijent smjera,
odnosno nagiba regresijskog pravca koji može imati pozitivni i negativni predznak, ovisno o smjeru
veze između promatranih varijabli.
Može se postaviti i suprotna ovisnost u modelu, na način da je varijabla X sada ovisna ili
regresorska varijabla: X α + Y + e
= 0 α1
i
Ocjena parametara u ovom slučaju vrši se na jednak način kao kod početnog modela Ŷ , samo
što je sada X ovisna varijabla, pa u izrazima za izračunavanje parametara, X i Y mijenjaju
mjesta.
n
∑ X iYi
− nXY
i=
1
ˆ α i ˆ X dY ˆ
1 =
α
n
0 = − ,
2 2
∑Y
− nY
i
i=
1
Nakon ocijene parametara regresijskog modela postavlja se pitanje reprezentativnosti,
odnosno sposobnosti modela da objasni kretanje ovisne varijable Y uz pomoć odabrane neovisne
varijable X.
U tu svrhu koriste se neki apsolutni i relativni pokazatelji. Ovi pokazatelji temelje se na
raspodjeli odstupanja vrijednosti ovisne varijable Y i u regresijskom modelu od njene aritmetičke
sredine Y i njenih očekivanih vrijednosti Ŷ i .
Slika 4.
y
Yˆ
=β ˆ + ˆ β1X
0
y
ST
y i
SR
SP
y
x
Na slici 4. prikazan je dijagram rasipanja varijabli X i Y sa ucrtanim ocijenjenim modelom
pravca Ŷ . Na slici je označena i aritmetička sredina varijable Y . Pri formiranju suma odgovarajućih
odstupanja, zbog već ranije navedenog razloga, da se ne bi međusobno poništile pozitivne i negativne
razlike, računaju se njihovi kvadrati.
n
SP = ∑
i=
1
2 n n
2
( Yˆ
−Y
) = ˆ β ⋅ ∑Y
+ ˆ β ∑ X Y − n ⋅Y
i
0 i
i=
1
1
i=
1
i
i
Dakle, SP je suma kvadrata protumačenog dijela odstupanja vrijednosti varijable Y od
aritmetičke sredine, odnosno suma kvadrata odstupanja ocijenjenih vrijednosti varijable Y od
aritmetičke sredine.
n
SR = ∑
i=
1
2 n
n n
( Y −Yˆ
2
) = ∑Y
− ˆ β ⋅ ∑Y
− ˆ β ∑
i
i
i
i=
1
0 i
i=
1
1
i=
1
X Y
i
i
Dakle, SR je suma kvadrata neprotumačenog dijela odstupanja vrijednosti varijable Y od
aritmetičke sredine, odnosno suma kvadrata odstupanja originalnih ili empirijskih vrijednosti
varijable Y od ocijenjenih vrijednosti. Ova odstupanja su u stvari slučajne greške e i .
n
ST = ∑
2 n
2 2
( Y − Y ) = ∑Y
− n ⋅Y
i
i=
1
i
i=
1
4

Dakle, ST je suma kvadrata ukupnih odstupanja vrijednosti varijable Y od aritmetičke
sredine.
Vrijedi da je: SP + SR = ST ,
što se vidi i na slici 4. Navedeni izraz zove se jednadžba analize varijance i predstavlja temelj
analize reprezentativnosti regresijskog modela.
Standardna greška regresije je apsolutni pokazatelj reprezentativnosti regresijskog
modela, a pokazuje prosječni stupanj varijacije stvarnih vrijednosti ovisne varijable u odnosu
na očekivane regresijske vrijednosti.
SR
ˆ σ ˆ =
Y n − 2
Ovaj pokazatelj izražen je u originalnim jedinicama mjere ovisne varijable Y. Stoga je na
temelju standardne greške regresije teško uspoređivati reprezentativnost modela s različitim mjernim
jedinicama.
Taj problem eliminira relativni pokazatelj koeficijent varijacije regresije, koji predstavlja
postotak standardne greške regresije od aritmetičke sredine varijable Y.
ˆ
ˆ
σ
Yˆ
V ˆ = ⋅100
Y Y
Najmanja vrijednost koeficijenta varijacije je 0%, a najveća nije definirana. Što je koeficijent
varijacije regresijskog modela bliži nuli, to je model reprezentativniji. Često se uzima dogovorena
granica reprezentativnosti od 10%. Dakle ako je koeficijent varijacije manji od 10% kaže se da je
model dobar.
Koeficijent determinacije je pokazatelj reprezentativnosti regresijskog modela, koji se
temelji na analizi varijance. On se definira kao omjer sume kvadrata odstupanja protumačenih
regresijom i sume kvadrata ukupnih odstupanja.
2 SP
r =
ST
Koeficijent determinacije kaže koliko % je sume kvadrata odstupanja vrijednosti
varijable Y od aritmetičke sredine protumačeno regresijskim modelom.
Vrijedi da je:
r
2
= 1−
SR
ST
.
Vrijednost koeficijenta determinacije kreće se u intervalu 0 ≤ r
2 ≤ 1 . Regresijski model je
reprezentativniji ako je ovaj pokazatelj bliži 1. Teorijska granica reprezentativnosti modela je 0,9.
U praksi je ponekad vrlo teško pronaći varijablu koja dobro objašnjava ovisnu pojavu, pa se ta granica
reprezentativnosti spušta i do 0,6.
Korigirani koeficijent determinacije:
2 n −1
2
r = 1−
⋅ (1 − r ) , je asimptotski nepristrana ocjena koeficijenta determinacije.
n − ( k + 1)
2
Za jednostruku linearnu regresiju vrijedi da je koeficijent linearne korelacije: r = ± r ,
gdje predznak od koeficijenta linearne korelacije odgovara predznaku parametara ocijenjenog
jednostrukog linearnog modela: ˆα 1 i ˆ β 1 .
Još vrijedi da je:
r
σ
ˆ
σ
Y
X
= ˆ α1
⋅ i r = β1
⋅ , gdje su X i σ Y
σ X
σ Y
σ standardne devijacije varijabli X i Y.
5

Primjer
Zadana je vrijednost proizvodnje u tekućim cijenama (u 000 kn) i broj zaposlenih (u tis.) na
nekom području za nekoliko vremenskih razdoblja.
a) Zadatak je ocijeniti parametre jednostrukog linearnog regresijskog modela, gdje je
vrijednost proizvodnje ovisna ili regresand varijabla.
Ocijenjeni model pravca potrebno je ucrtati na dijagram rasipanja.
b) Zadatak je za ocijenjeni jednostruki linearni regresijski model, gdje je vrijednost
proizvodnje ovisna ili regresand varijabla izračunati pokazatelje reprezentativnosti: standardnu
grešku regresije, koeficijent varijacije regresije i koeficijent determinacije te komentirati
dobivene rezultate.
Vrijednost proizvodnje u tekućim cijenama (u 000 kn) i broj zaposlenih (u tis.) na nekom
području za nekoliko vremenskih razdoblja
Vrijednost
proizvodnje
y i
n
∑
i=
1
Izvor: Podaci su simulirani
Broj
zaposlenih
x i
x i y
2
i
x i
i
193 119 22967 14161 200,012851 37249
210 125 26250 15625 216,092349 44100
245 129 31605 16641 226,812014 60025
249 136 33864 18496 245,571429 62001
254 142 36068 20164 261,650926 64516
272 146 39712 21316 272,370592 73984
296 155 45880 24025 296,489839 87616
1719
Općenito je model kojeg treba ocijeniti:
Yˆ
= ˆ β + ˆ β1 X .
0
952 236346 130428 1719 429491
Metodom najmanjih kvadrata model jednostavne linearne regresije s ocijenjenim parametrima
metodom najmanjih kvadrata, gdje je "vrijednost proizvodnje" ovisna, a "broj zaposlenih" neovisna
varijabla, je:
Y ˆ = −118,897
+ 2, 68X
• Parametar
ˆ0 β = −118, 897 predstavlja očekivanu vrijednost proizvodnje (Y ˆ)
u slučaju da broj
zaposlenih (X ) iznosi nula. Ovaj parametar nema uvijek ekonomski logično značenje.
• Parametar
ˆ1 β = 2, 68 pokazuje da u slučaju povećanja zaposlenih (X ) za jednu jedinicu (u
ovom slučaju za 1000 zaposlenih) treba očekivati povećanje vrijednosti proizvodnje (Yˆ
) u
prosjeku za 2,68 jedinica, tj. 1000 kuna.
Da bi se na grafikon dijagrama rasipanja ucrtao ocijenjeni model pravca dovoljno je odrediti 2
točke za neke vrijednosti varijable X i kroz njih provući liniju pravca. U ovom primjeru u
posljednjem stupcu tablice izračunate su sve točke pravca Ŷ za svaku pojedinačnu vrijednost varijable
X.
Yˆ
= −118,897
+ 2,679916 ⋅ x
= −118,897
+ 2,679916 ⋅119
1 1
=
…………………
Yˆ
= −118,897
+ 2,679916 ⋅ x
= −118,897
+ 2,679916 ⋅155
7 7
=
Yˆ
200,013 tis. kn
296,490 tis. kn
2
y i
6

Suma ovih očekivanih vrijednosti varijable Ŷ i jednaka je sumi originalnih vrijednosti varijable
Y : ∑Y ˆ = ∑Y
= 1719 tis. kn
i
n
i
i=
1
n
i
i=
1
Ove procijenjene vrijednosti Ŷ leže na regresijskom pravcu, koji je prikazan na slijedećem grafikonu.
Točke dijagrama rasipanja leže oko ocijenjenog modela pravca. Metoda najmanjih kvadrata tražila je
pravac tako da ova odstupanja originalnih vrijednosti Y i od ocijenjenih vrijednosti na pravcu Ŷ i budu
najmanja.
Grafikon
Dijagram rasipanja vrijednosti proizvodnje u tekućim cijenama (u 000 kn) i broja zaposlenih (u
tis.) na nekom području s ucrtanim ocijenjenim regresijskim pravcem
Vrijednost proizvodnje (u 000 kn)
350
300
250
200
150
100
100 120 140 160
Broj zaposlenih (u 000)
Izvor: Podaci su simulirani
Nakon ocijene parametara regresijskog modela postavlja se pitanje reprezentativnosti,
odnosno sposobnosti modela da objasni kretanje ovisne varijable Y uz pomoć odabrane neovisne
varijable X.
Standardna greška regresije je:
SR 487,7687
ˆ σ ˆ = =
= 9,87693 tis. kn,
Y n − 2 7 − 2
gdje je SR suma kvadrata neprotumačenog dijela odstupanja vrijednosti varijable Y od aritmetičke
sredine, a računa se na slijedeći način 3 :
n
i=
1
( Y Yˆ
)
SR = ∑ −
i
i
2
n
2
= ∑Y
− ˆ β ⋅ ∑Y
i
i=
1
0
= 487,7687
n
i
i=
1
− ˆ β ⋅ ∑ X Y
1
n
i=
1
i
i
= 429491 + 118,897 ⋅1719
− 2,679916 ⋅ 236346 =
Standardna greška regresije izražena je u originalnim jedinicama mjere ovisne varijable Y, tj. u tis. kn,
i sama za sebe na govori o reprezentativnosti modela. U ovom slučaju kada su poznate stvarne
vrijednosti varijable vrijednosti proizvodnje Y i , koje se kreću oko 200 jedinica tj. tis. kn, može se
naslutiti da standardna greška regresijskog modela od 9,88 tis. kn nije velika.
Precizniji zaključak o reprezentativnosti modela može se donijeti pomoću relativnog pokazatelja,
odnosno pomoću koeficijenta varijacije regresije:
3 n
Isti rezultat se može dobiti i preko osnovnog oblika izraza: ( ) 2
SR = ∑ Y − ˆ
i Y i
i=
1
7

ˆ
ˆ
σYˆ
9,87693
V ˆ = ⋅100
= ⋅100
= 4,02202%
Y Y 245,5714
n
∑ y
1
1719
gdje je: = = i
i
Y = = 245, 5714 .
n 7
Koeficijent varijacije ovog regresijskog modela je 4,02202%, što je manje od 10%, pa se može
donijeti zaključak da je ovaj model prilično reprezentativan.
Koeficijent determinacije je omjer sume kvadrata protumačenih i ukupnih odstupanja ovisne varijable
od prosjeka u modelu:
2 SP
r = ST
gdje je 4 :
=
6865,946
= 0,93367
7353,714
( Y Y )
n
2 n
n
ˆ ˆ ˆ
2
2
i = β 0 ⋅ ∑Yi
+ β1
⋅ ∑ X iYi
− n ⋅Y
= −118,897
⋅1719
+ 2,679916 ⋅ 236346 − 7 ⋅ 245,5714
i=
1
i=
1
i=
1
SP = ∑ −
n
ST = ∑
i=
1
= 6865,946
2 n
2 2
2
( Y − Y ) = ∑Y
− n ⋅Y
= 429491−
7 ⋅ 245,5714 = 7353, 714
i
i
i=
1
Koeficijent determinacije ovog modela je 0,93367 i veći je od dogovorene granice 0,9, što znači da
je ovaj model reprezentativan. Ovim regresijskim modelom je protumačeno 93,367 % ukupnih
odstupanja ovisne, regresand varijable od aritmetičke sredine.
Dakle, pomoću sva 3 pokazatelja: standardne greške regresije, koeficijenta varijacije regresije i
koeficijenta determinacije, donesen je jedinstven zaključak da je ocijenjeni regresijski model
reprezentativan u objašnjavanju veze između promatranih pojava, tj. vrijednosti proizvodnje i broja
zaposlenih na nekom području.
=
4 n
Isti rezultat se može dobiti i preko osnovnih oblika izraza: ( ˆ ) 2
n
SP = Y i − Y i ( ) 2
= Y i − Y
∑
i=
1
ST ∑ .
i=
1
8