Noter til E6 - dirac

dirac.ruc.dk

Noter til E6 - dirac

7.6 Regressionsanalyse 101

der er ensbetydende med


X ′ y − X ′ X ̂β,


β

= 0 for alle β ∈ R p ,

som igen er ensbetydende med

X ′ X ̂β = X ′ y. (7.6)

Ligningssystemet (7.6) kaldes normalligningerne og består af p lineære

ligninger med p ubekendte. Hvis X ′ X (som er en p×p-matrix) er regulær,

er der en entydig løsning som man kan man opskrive eksplicit:

̂β = (X ′ X) −1 X ′ y .

(Betingelsen at X ′ X er regulær, kan formuleres på mange forskellige (ensbetydende)

måder: dimensionen af L 1 er p; rangen af X er p; rangen af

X ′ X er p; søjlerne i X er lineært uafhængige; parametriseringen er injektiv.)

Variansparameteren estimeres ved

s 2 =

‖y − X ̂β‖

2

n − dim L 1

.

Ved at bruge regnereglerne for variansmatricer fås i øvrigt

Var ̂β = Var ( (X ′ X) −1 X ′ Y )

= ( (X ′ X) −1 X ′) Var Y ( (X ′ X) −1 X ′) ′

= ( (X ′ X) −1 X ′) σ 2 I ( (X ′ X) −1 X ′) ′

= σ 2 (X ′ X) −1 (7.7)

der estimeres ved s 2 (X ′ X) −1 . Kvadratroden af diagonalelementerne heri

er estimater over middelfejlen (standardafvigelsen) på de tilsvarende ̂βer.

Ethvert ordentligt computerprogram til statistik har en indbygget

funktion til løsning af normalligningerne (7.6); funktionen vil returnere

parameterestimaterne og deres middelfejl, og muligvis også hele Var ̂β.

Simpel lineær regression

I simpel lineær regression er

⎡ ⎤


1 x 1

1 x 2

n

X = ⎢ ⎥


. ⎦ , X′ X = ⎢


n∑

1 x n

i=1

x i

n∑



⎦ og X′ y =

x i

i=1


n x 2 i

i=1




n∑


y i

i=1

n∑


x i y i

i=1

⎦ ,

More magazines by this user
Similar magazines