Overheads 5

Ved Henrik Lolle 



Plan & Miljø, Milj , Forår For r 2009 – Statistik 1, lektion 5 

Multipel lineær regression 

+ intro til logistisk regression 

Plan & Miljø, forår 2009 

Onsdag den 13. maj 


Denne gang 

Lineær regression med dummyvariabler (Generel Linear 

Model) 

Ekstra forudsætning i multipel regression (i forhold til 

forudsætningerne i simpel lineær regression) 

Interaktionsled 

Additive indeks 

Logistisk regression 


Uafhængige variabler på nominelt eller ordinalt 

niveau samt ikke lineære effekter 

Ikke mindst når man foretager lineær regression på surveydata, vil der 

forekomme uafhængige variabler, der ikke er målt på interval- eller 

forholdstalsniveau. 

Disse variabler opfylder altså ikke umiddelbart forudsætningerne for 

lineær regression. 

I nogle situationer vil man kunne forsvare at inddrage ordinalskalerede 

variabler i den form, de har, men det er ikke nogen universel løsning. 

Selvom en uafhængig variabel er målt på interval-/rationiveau, vil der ofte 

være tale om en ikke-lineære effekt. 

Løsningen på disse problemer kan imidlertid også gå ud på at lave såkaldt 

dummy-transformation af den diskrete uafhængige variabel. 

1 

2 

3 

1





Eksempel 1A: Faders uddannelses effekt på 

respondentens selvplacering. 

I første omgang udføres både den bivariate og den kontrollerede 

analyse uden transformation, dvs. med de oprindelige 

ordinalskalerede uafhængige variabler: 

Model 

1 

(Constant) 

faderudd 

Unstandardized 

Coefficients 

Coefficients a 

a. Dependent Variable: nya46 Selvplacering 

Model 

1 

(Constant) 

faderudd 

egenudd 

Standardized 

Coefficients 

B Std. Error Beta 

t Sig. 

5,421 ,088 61,331 ,000 

,336 ,052 ,159 6,414 ,000 


Coefficients 




Standardized 

Coefficients 


t Sig. 

4,609 ,126 36,622 ,000 

,097 ,058 ,046 1,664 ,096 

,532 ,058 ,250 9,106 ,000 

Eksempel 1B: Transformation af diskret 

variabel til en serie af dummy-variabler 

Oprindelig 

variabel 

Nye 

dummyvariabler 

Faders skoleuddannelse 

(1 = lav) (2 = mellem) 

(3 = høj) 

Lav 

Mellem 

Høj 

Konklusionen 

harmonerer med 

den tidligere viste 

Gamma-analyse. 

Effekten fra faders 

uddannelse er 

mestendels en 

indirekte effekt 

gennem egen 

uddannelse. 

Nogle vil mene, at der er for stor risiko for, at modellen vil blive estimeret 

Nedenfor forkert, ses hvis et man eksempel bryder på de dummy-transformation formelle forudsætninger af om faders intervalskalerede 

uddannelse i 

tre 

variabler. 

kategorier. Der inddrages altid et antal dummy-variabler i den statistiske 

model Et andet på antallet alternativ af kategorier er dummy-transformation. 

minus én – her således to dummy-variabler. 

Nedenfor ses et eksempel på dummy-transformation af faders uddannelse 

i tre kategorier. Der inddrages altid et antal dummy-variabler i den 

statistiske model på antallet af kategorier minus én – her således to 

dummy-variabler. 


Eksempel 1C: ”Bivariat” effekt efter dummytransformation 

Model 

1 

(Constant) 

f_uddan2 

f_uddan3 


Coefficients 



Regressionsligningen: 

Standardized 

Coefficients 


t Sig. 

5,740 ,049 118,119 ,000 

,443 ,093 ,121 4,763 ,000 

,615 ,112 ,139 5,479 ,000 

( f_uddan2) 

0, 

( f_uddan3) 

Selvplacering = 5 , 74 + 0, 

443 + 615 

Estimering af forventet værdi af selvplacering, hvor faders 

uddannelse er ”høj”: 

( 0) 

+ 0, 

615( 

1) 

= 5, 

74 + 0, 

615 6, 

319 

Selvplacering 

= 5 , 74 + 0, 

443 

= 

1 

0 

0 

2 

1 

0 

3 

0 

1 

4 

5 

6 

2





Eksempel 1D: ”Bivariat” plus kontrol for egen 

uddannelse 

Model 

1 

(Constant) 

f_uddan2 

f_uddan3 


Coefficients 



Model 

1 

(Constant) 

f_uddan2 

f_uddan3 

e_uddan2 

e_uddan3 

Standardized 

Coefficients 


t Sig. 

5,740 ,049 118,119 ,000 

,443 ,093 ,121 4,763 ,000 

,615 ,112 ,139 5,479 ,000 


Coefficients 


Standardized 

Coefficients 


t Sig. 

5,251 ,089 58,788 ,000 

,151 ,098 ,041 1,543 ,123 

,163 ,123 ,037 1,330 ,184 

,494 ,109 ,158 4,535 ,000 

1,048 ,119 ,330 8,775 ,000 



”Bivariat” 

(kun faders 

uddannelse) 

Kontrolleret 

(inkl. egen 

uddannelse) 

Konklusionen er i 

dette tilfælde i 

substansen den 

samme. 

Eksempel 1E: Dummy-rekodning i syntax 

Den letteste måde at lave dummy-variabler på (den 

oprindelige variabel hedder her ”f_uddan” og kan antage 

værdierne 1, 2 og 3): 


Opgave 1 

Datafilen ”Hovedstadsomraadet …” benyttes. 

I en af de tidligere lektioner så vi på effekten fra alder på personlig 

indkomst. Her sås der en effekt, der kunne se ud til at passe udmærket til 

en kvadratisk effekt, hvor man kunne inddrage både aldersvariablen og 

aldersvariablen i anden potens. 

Prøv nu at transformere aldersvariablen (alder) til en serie dummyvariabler, 

f.eks. efter opskriften på forrige slide. Transformer evt. først 

aldersvariablen om til en kategori-variabel med funktionen ”recode into 

new variables”. Brug følgende aldersklasser: (-29)(30-39)(40-49)(50- 

59)(60-69)(70+). 

Foretag derefter en lineær regression med effekten fra disse dummyvariabler 

på personlig indkomst. 

7 

8 

9 

3





Multikollinearitet 

I den multiple lineære regression kommer der endnu en forudsætning til: der må 

ikke være for stor korrelation mellem de uafhængige variabler i modellen. 

Når denne situation opstår, er det vanskeligt at estimere de enkelte variablers 

effekter, fordi de er vanskelige at skille fra hinanden. 

Et tegn på alvorlig multikollinearitet er, at R 2 er forholdsvis høj, mens de enkelte 

variablers effektestimater er statistisk insignifikante. 

Mere formelle mål for graden af multikollinearitet er VIF (Variance Inflation Factor) 

og Tolerance. 

Det er ligegyldigt, hvilket mål der benyttes af disse to. Tolerance måler 1 minus R 2 

for de enkelte uafhængige variable, når disse på skift prædikeres af de resterende 

uafhængige variabler. Tolerance kan altså antage værdier mellem 0 og 1. 

Kan en uafhængig variabel således bestemmes næsten fuldstændigt af de øvrige 

uafhængige variabler, fås en meget lille Tolerance. 

Ofte sættes den nedre grænse for, hvor lille en Tolerance man vil tillade ved 0,2. 


Tolerance og VIF i SPSS 


Eksempel 2A: Model uden alvorlig 

multikollinearitet 

Model 

1 

(Constant) 

loktaet 

persindt2 

erhvakt 

erhvrejs 

a. Dependent Variable: bilhverd 


Klik på ”Statistics” og 

markér i ”Colinearity 

diagnostics” 

Unstandardized Standardized 

Coefficients Coefficients 

Collinearity Statistics 


t Sig. Tolerance VIF 

75,866 8,287 9,155 ,000 

-,598 ,059 -,225 -10,108 ,000 ,996 1,004 

,141 ,018 ,190 7,647 ,000 ,799 1,252 

28,683 9,055 ,076 3,168 ,002 ,850 1,177 

95,825 9,619 ,237 9,962 ,000 ,871 1,148 

Store Tolerance-værdier de enkelte uafhængige 

variabler bestemmes ikke særlig godt af de øvrige 

uafhængige variabler. Der er masser af tolerance 

tilbage så at sige. 

10 

11 

12 

4





Eksempel 2B: Model med alvorlig 

multikollinearitet 

Model 

1 

(Constant) 

loktaet 

persindt2 

erhvakt 

erhvrejs 

inbhalok 

arbhalok 

a. Dependent Variable: bilhverd 


Unstandardized Standardized 

Coefficients Coefficients 

Collinearity Statistics 


t Sig. Tolerance VIF 

73,997 8,556 8,649 ,000 

-2,822 1,014 -1,061 -2,782 ,005 ,003 295,630 

,143 ,018 ,193 7,766 ,000 ,796 1,256 

28,586 9,047 ,076 3,160 ,002 ,850 1,177 

95,511 9,617 ,236 9,931 ,000 ,870 1,150 

2,115 1,017 ,429 2,079 ,038 ,012 86,735 

2,382 1,061 ,449 2,245 ,025 ,012 81,478 

Meget lave Tolerance-værdier de enkelte 

uafhængige variabler bestemmes næsten fuldstændigt 

af de øvrige uafhængige variabler. 


Interaktion 

Hvis styrken af en variabels effekt afhænger af værdien på en anden 

uafhængig variabel, siges der at være interaktion mellem disse to variabler. 

Én måde at tage højde for dette i en lineær regressionsmodel, er at 

inddrage et såkaldt interaktionsled, som er lig med produktet af de to 

interagerende variabler. 

Dette er intuitivt lettest at forstå, hvis i hvert fald den ene af de to 

variabler er en dummy-variabel, f.eks. køn (kvinde = 0; mand = 1). 

Hypotetisk eksempel, hvor uddannelse og køn påvirker holdningen H, men 

hvor uddannelseseffektens størrelse afhænger af kønnet: 

E 

E 

E 

( H) 

= kons + b1( 

udd ) + b2 

( køn) 

+ b3( 

køn× 

udd ) 

( H Kvinder ) = kons + b1( 

udd ) + b2( 

0) 

+ b3( 

0× 

udd ) = kons + b1( 

udd ) 

( H Mænd ) = kons + b1( 

udd) 

+ b2 

( 1) 

+ b3( 

1× 

udd ) = kons + ( b1 

+ b3 

)( udd ) + b2 


Grafisk eksemplificering af interaktion 

Holdning 

Uden interaktion Med interaktion 

Effekten fra uddannelse bliver 

her tvunget til at være ens for 

mænd og kvinder! 

Mænd 

Kvinder 

Uddannelse 

Holdning 

Mænd 

Kvinder 

Uddannelse 

13 

14 

15 

5





Eksempel 3A: Model uden interaktionsled, kun 

såkaldte hovedeffekter 

Model 

1 

(Constant) 

koen Køn 

alder2 

skoleaar 

persindt2 

a. Dependent Variable: miljhold 


Coefficients 


Standardized 

Coefficients 


t Sig. 

-1,8346 ,565 -3,245 ,001 

,9995 ,258 ,096 3,879 ,000 

-,6093 ,259 -,059 -2,356 ,019 

,2434 ,035 ,182 6,935 ,000 

-,0052 ,001 -,223 -8,539 ,000 

Jeg vil nu indføje et nyt led for en interaktion mellem alder2 og persindt2 på 

følgende facon (alder2 er en dummyvariabel for, om respondenten er 50+ årig): 


Eksempel 3B: Model med interaktionsled 

Model 

1 

(Constant) 

koen Køn 

alder2 

skoleaar 

persindt2 

ia_ald.pi 

a. Dependent Variable: miljhold 


Coefficients 


Standardized 

Coefficients 


t Sig. 

-1,3011 ,619 -2,100 ,036 

,9700 ,258 ,094 3,763 ,000 

-1,3453 ,436 -,130 -3,087 ,002 

,2333 ,035 ,174 6,589 ,000 

-,0063 ,001 -,275 -7,654 ,000 

,0023 ,001 ,101 2,097 ,036 

Interaktionsledet er lige netop signifikant på 0,05 niveau. Det er imidlertid tvivlsomt, om 

man ville vælge at medtage det i en præsentation. 

Effekter fra personlig indkomst (persindt2): 

Unge (alder2 = 0): -0.0063(persindt2) 

Ældre (alder2 = 1): -0.0063(persindt2) + 0.0023(persindt2) = -0.0040(persindt2) 


Lidt teknik vedr. interaktionsled (ej pensum!) 

Vær opmærksom på, at et interaktionsled ofte korrelerer 

forholdsvis stærkt med de variabler, det er dannet ud fra, 

hvilket kan give lave tolerance-værdier. 

Dette er imidlertid at regne som et rent teknisk problem, og 

det kan løses ved at centrere de to variabler omkring deres 

respektive gennemsnit inden beregningen af interaktionsledet. 

En sådan centrering giver også en intuitivt lettere tolkning af 

hovedeffekten, som nu er effekten fra pågældende variabel 

ved gennemsnitsværdien af moderator-variablen. Centrerer 

man ikke, viser hovedeffekten effekten ved værdien 0 for 

moderator-variablen. 

16 

17 

18 

6





Opgave 2: Additive indeks 

Lav et additivt indeks for respondenternes holdning til kollektiv transport, baseret 

på svarene på nedenstående spørgsmål (med variabelnavnene transp4 og 

transp6). I datamaterialet er værdierne på variablerne kodet sådan, at ”helt enig” 

har værdien 1, og ”helt uenig” har værdien 5. 

Indekset skal beregnes som en simpel sum, men overvej forinden dennne 

operation, om der bør foretages rekodning af en af variablerne. Hint: store værdier 

i det beregnede indeks skal indikere positiv holdning til kollektiv transport. 

Foretag til slut en lineær regressionsanalyse med indekset som afhængig variabel og 

med køn (koen), alder (som dummy-variabler) og uddannelse (skoleaar) som de 

uafhængige. Tolk til slut resultaterne. 


Når den afhængige variabel er en dummy 

For få årtier siden benyttedes også ofte dummy-variabler som afhængig 

variabel i lineær regression, en såkaldt lineær sandsynlighedsmodel. En 

prædikeret værdi på 0,3 ville f.eks. betyde en prædikeret sandsynlighed for 

værdien 1 på den dummy-afhængige variabel på 0,3. 

I en lineær sandsynlighedsmodel vil der ske brud på de formelle 

forudsætninger. 

• Der vil være brud på forudsætningen om normalfordelte fejlled, hvilket 

som oftest ikke er væsentligt. 

• Der vil endvidere være brud på forudsætningen om homoskedasticitet, 

hvilket er mere væsentligt, men ikke noget uoverstigeligt problem. 

• Der vil imidlertid også som oftest være brud på forudsætningen om 

linearitet, hvilket bl.a. giver sig udslag i, at der prædikeres 

sandsynligheder på over 1 og under 0. Og i denne situation kan 

problemet med forkert funktionel form ikke løses ved hjælp af simpel 

transformation af enkelte variabler i modellen. 


Eksempel 4A: Lineær sandsynlighedsmodel 

19 

20 

21 

7





Eksempel 4B: Logistisk regression 

Analyze Regression Binary Logistic: 

Step 

1 a 

persindt3 

Constant 

Variables in the Equation 

B S.E. Wald df Sig. Exp(B) 

,541 ,047 132,727 1 ,000 1,717 

-,316 ,120 6,919 1 ,009 ,729 

a. Variable(s) entered on step 1: persindt3. 


Eksempel 4C: Tolkning af estimater 

Step 

1 a 

persindt3 

Constant 

Z = −0, 

316 + 0. 

541 

Variables in the Equation 

B S.E. Wald df Sig. Exp(B) 

,541 ,047 132,727 1 ,000 1,717 

-,316 ,120 6,919 1 ,009 ,729 

a. Variable(s) entered on step 1: persindt3. 

Funktionen (som er lineær på højresiden): 

( persindt3) 

⎛ p ⎞ 

hvor Z, 

som også kaldes for " logit" , er lig med ln⎜ 

⎟ 

⎝1 

− p ⎠ 

Sandsynligheden, p, for at respondenten er bilejer kan estimeres som: 

1 

= 

1+ 

e 

p −Z 


Eksempel 4D: Omregning til sandsynligheder 

Trin 1: Beregn logit’en ud fra den logistiske model i SPSS 

Trin 2: Beregn den estimerede sandsynlighed 

Ved multipel logistisk 

regression kan sandsynlighederne 

f.eks. 

estimeres ved gennemsnitsværdierne 

for de 

øvrige uafhængige 

variabler, ligesom ved 

lineær regression. 

22 

23 

24 

8




Eksempel 4E: Grafisk fremstilling af effekt 


Tak Tak for for for ttålmodigheden! 

t lmodigheden! 

25 

26 

9

Overheads 5

Transform your PDFs into Flipbooks and boost your revenue!

Delete template?

Save as template ?