Noter til E6 - dirac

dirac.ruc.dk

Noter til E6 - dirac

100 Lineære normale modeller

variation omkring deres middelværdi. I dette kapitel går vi ud fra at

denne sandsynlighedsfordeling er en normalfordeling med varians σ 2 (og

samme varians for alle observationer).

Vi vil formulere modellen mere præcist på følgende måde: Der foreligger

n sammenhørende værdier af en afhængig variabel y og p baggrundsvariable

x 1 , x 2 , . . . , x p . Det i-te sæt værdier er

y i og x i1 , x i2 , . . . , x ip .

Det antages at y 1 , y 2 , . . . , y n er observerede værdier af uafhængige normalfordelte

stokastiske variable Y 1 , Y 2 , . . . , Y n med samme varians σ 2 og

med

p∑

E Y i = x ij β j , i = 1, 2, . . . , n (7.5)

j=1

hvor β 1 , β 2 , . . . , β p er ukendte parametre. Ofte vil en af de forklarende

variable være konstanten 1, dvs. den har værdien 1 for alle i. I matrixnotation

kan modellen (7.5) skrives kort som E Y = Xβ hvor X er

en n × p-matrix (den såkaldte designmatrix) indeholdende x ij -værdierne.

Man kan naturligvis også formulere det ved hjælp af underrum: E Y ∈ L 1

hvor L 1 = {Xβ : β ∈ R p }. – Betegnelsen lineær regression skyldes at

E Y er en lineær funktion af β.

Ovenstående kan generaliseres på flere måder. I stedet for observationer

med samme varians kan man have »observationer hvis varians er kendt

pånær en konstant faktor«, dvs. Var Y = σ 2 Σ hvor Σ > 0 er en kendt

matrix og σ 2 en ukendt parameter; så bliver der tale om vægtet lineær

regressionsanalyse. Man kan udskifte normalfordelingen med f.eks. binomialfordelingen,

Poissonfordelingen eller gammafordelingen, og samtidig

generalisere (7.5) til

g(E Y i ) =

p∑

x ij β j ,

j=1

i = 1, 2, . . . , n

for en passende funktion g; så bliver der tale om generaliseret lineær

regression.

I det følgende vil vi kun beskæftige os med ordinær lineær regression.

Estimation af parametrene

Ifølge den generelle teori estimerer man middelværdivektoren Xβ som

projektionen af y vinkelret ned på L 1 . Det betyder at β skal estimeres

ved en eller anden vektor ̂β således at y − X ̂β ⊥ L 1 . Det giver følgende

nødvendige og tilstrækkelige betingelse som ̂β skal opfylde:


y − X ̂β,


Xβ = 0 for alle β ∈ R p ,

More magazines by this user
Similar magazines