Prognosemetoder – en oversikt - Telenor

henges additivt på den lineære modellen
(2.1) og multiplikativt på modellen (2.4).
Denne variabelen angir det vi ikke greier
å forklare i modellen. Det kan være
variasjon i variable som ikke er spesifisert
i modellen, avvik mellom faktisk
funksjonsform og den vi har valgt, eventuelt
målefeil i variablene samt tilfeldige
avvik. Målet er selvsagt at støyleddene
skal være små i forhold til observasjonene.
Det er viktig under modellbyggingen
å velge ut variable og finne frem til
en funksjonsform av variabler og parametere
som inngår i modellen som gjør at
det vi ikke greier å forklare – støyen – er
minst mulig.
Residualene er realiseringen av støyen.
Det er med andre ord de kvantitative
verdiene på støyen som fremkommer når
modellen er gitt og de tilpassede verdier
beregnet.
Et krav til prognosemodeller er selvsagt
at støyen er minst mulig. I regresjonsmodeller
ivaretas dette i estimeringen
ved bruk av minste kvadraters metode.
For øvrig må det ivaretas i selve modellarbeidet
ved riktig valg av forklaringsvariable
og funksjonsform.
De krav som stilles til støyleddet, er:
i) E εt = 0 for alle t (3.1)
ii) Var εt = σ2 for alle t (3.2)
iii) Cov (εt , εt+k ) = 0 for alle t≠k (3.3)
iv) εt skal være Normalfordelt (3.4)
Med innføring av disse forutsetningene
for støyleddene sier vi at modellene er
gitt en stokastisk formulering.
Med hensyn til krav nr i) om at støyen
skal ha forventningsverdi 0, så ivaretas
dette automatisk i regresjonsanalysen.
Minste kvadraters metode estimerer parametrene
i modellen slik at gjennomsnittet
av alle residualene i en regresjonsmodell
er lik 0.
Som sagt må residualene analyseres for å
undersøke om de tilfredsstiller disse
kravene. Dersom ett eller flere krav ikke
er tilfredsstilt, betyr det at estimeringen
av parametrene i modellen blir mer
usikker. Dette kan eksempelvis føre til
forventningsskjevhet i parametrene.
4 Minste kvadraters
metode og estimering i
multippel regresjon
En lineær multippel regresjonsmodell
kan skrives på form:
y t = β 0 + β 1 X 1,t + β 2 X 2,t
+ ... + β p-1 X p-1,t + ε t
(4.1)
I denne likningen har vi p parametere, β,
og p-1 forklaringsvariable X. Den første
parameteren angir konstantleddet i modellen.
De øvrige parametrene er relatert
til de p-1 forklaringsvariable som er
trukket inn i modellen. Anta nå at vi har
n observasjoner. Da vil vi ha n slike
likninger for t = 1, t = 2, ..., t =nsom er
angitt i (4.1) Disse kunne vi plassere rett
under hverandre. Dette likningssystemet
med n likninger kan da skrives på vektorform
ved:
y = Xβ + ε (4.2)
Her er y en n-dimensjonal vektor som
består av tidsrekken (observasjonene),
mens X er en (n x p) dimensjonal matrise
som består av de respektive verdier på
forklaringsvariablene i hvert av de n tidspunktene.
β er en p-dimensjonal vektor
som består av parametrene, og ε er ndimensjonal
vektor med støyleddene.
En konsekvens av kravet (3.1) om at forventningen
til støyleddet skal være lik 0
(E ε = 0) er:
E y = Xβ (4.3)
En konsekvens av kravene (3.2) og (3.3)
er
Cov y = Cov ε = σ2 I (4.4)
der I er en (n x n) dimensjonal diagonalmatrise
med bare 1-ere på diagonalen
og 0 ellers i matrisen.
I multippel regresjon er da regresjonsmodellen
gitt ved matriselikningen (4.2),
mens kravene til modellen er gitt ved
likning (4.3) og (4.4). I tillegg kreves det
at ε er Normalfordelt.
Minste kvadraters estimatorene finnes
ved å minimere uttrykket:
n
Q = ( yt − Ey t )2 ∑
t=1
(4.5)
Her er y t observasjonene og Ey t er forventet
observasjonsverdi gitt ved likning
(4.3) eller (4.1) når ε t = 0. Minste kvadraters
estimatorene vil være de verdier på
β som minimerer likning (4.5). I likning
(4.5) inngår det p parametere. For å finne
de optimale verdier på β må likning (4.5)
deriveres med hensyn på hver enkelt β og
settes lik 0. Vi vil da ha et lineært
likningssystem med p likninger og p
ukjente parametere. Løsningen av dette
likningssystemet gir minste kvadraters
estimatorene. På matriseform kan likning
(4.5) uttrykkes på følgende måte:
Q = (y - Xβ)'(y - Xβ) (4.6)
Derivasjon av dette uttrykket med hensyn
på β og så sette det deriverte uttrykket lik
0 gir:
0 = -2y'X + 2βX'X
Av dette uttrykket følger minste kvadraters
estimatorene på vektorform:
β = (X'X) -1X'y (4.7)
Selv om dette uttrykket på matriseform
ser forholdsvis enkelt ut, er det svært
komplisert å løse. I [13] er det angitt løsninger
i en regresjonsmodell med en forklaringsvariabel.
Der går det frem at selv
disse løsningene krever en god del regnearbeid.
Det er først nå når vi har fått elektroniske
regnemaskiner at vi har fått
mulighet til enkelt å løse regresjonsmodeller
med mange parametere. Regnearbeidet
går i hovedsak ut på å beregne den
inverse til matrisen (X'X).
Det kan her oppstå spesielle problemer
under estimeringen (beregningene) hvis
noen av kolonnene i X tilnærmet er
lineært avhengig av hverandre. Da vil
determinanten til (X'X) nærme seg 0, og
vi vil få stor instabilitet i beregningene.
Dette betyr at en ikke bør inkludere forklaringsvariable
i modellen som er sterkt
avhengig av hverandre. Dette problemet
betegnes i regresjonsanalyse som multikolinearitet.
Dersom dette problemet
oppstår, kan en omgå det ved f eks å
benytte “Ridge regresjon” der det adderes
til en diagonalmatrise under estimeringen
for å unngå instabiliteten, se
kapittel 5.6.
5 Tester for å evaluere
aktuelle modeller
Anvendelse av testene vil vi se nærmere
på i kapittel 7 og 8 i tilknytning til modellbyggingen.
De tester og kriterier som
spesielt er viktig i regresjonsanalysen, er
- Multippel regresjonskoeffisient
- Signifikanstest på hver enkelt parameter
- Standardavviket til residualene
- Durbin-Watson test
- Autokorrelasjonsfunksjon
- Korrelasjonsmatrise for parametrene
- Prediksjons- og konfidensintervall.
I tillegg vil forskjellige plott av residualene
være viktig både for å vurdere kvaliteten
på modellen og for å få underlag for
91