Logistisk Regression Kapitel 15

Logistisk Regression
Kapitel 15
Slides: http://www.socsci.aau.dk/~sgb
1

Denne lektion og næste lektion
Denne gang:
Repetition af regression
Simpel logistisk regression – herunder
kvantitativ og binær forklarende variabel.
Næste gang:
Multipel logistisk regression
Multinominal regression
Logistisk regression for ordinal respons
2

Logistiske modeller
Logistisk Model
Respons variabel
Simpel Binær (dikotom)
nominal skaleret
Multipel Binær(dikotom) nominal
skaleret
’Forklarende’ variabel ’Forklarende’ variable
Interval skaleret
Nominal
Interval og /eller
nominalskaleret
Multinominal Nominal skaleret Interval og /eller
nominalskaleret
(Kumulativ) Ordinal skaleret Interval og /eller
nominalskaleret
3

Denne gang
Repetition af lineær regression
Den lineære sandsynlighedsmodel
Logistisk regression
Kontinuert afhængig variabel
Binær afhængig variabel
Fortolkning af parametre
Estimation
Test
4

Repetition af simpel regression
Den forventede værdi af Y,
E(Y), er en lineær funktion af X:
E(Y) = α + βX
Hvis β >0, er forholdet mellem
X og Y positivt, dvs., når X
stiger, så stiger Y også.
Hvis β < 0, er forholdet mellem
X og Y negativt, dvs., når X
stiger, så falder Y.
Hvis β =0, er der ikke noget
lineært forhold mellem X og Y.
5

Binære respons variable
For eksempel:
Misbrug (ja=0, nej=1), med forklarende variable
uddannelseslængde, andre i familien med misbrug, køn,
traumatisk hændelse osv.
Lykkefølelse (ja=1, nej=0), med forklarende variable
civilstatus, antal børn, indkomst, helbred, misbrug osv.
Tro på Gud (ja=1, nej=0), med forklarende variable køn,
alder, antal børn osv.
6

7
Den lineære sandsynlighedsmodel
1.
end
større
og
0
end
mindre
heder
sandsynlig
give
Kan
ens.
er
ikke
rne
varianse
og
elt
normalford
er
ikke
y
da
model,
s
regression
lineær
for
elserne
modelantag
ikke
Opfylder
model:
denne
med
problemer
del
en
er
Der
:
som
givet
er
model
heds
sandsynlig
lineære
Den
succes.
for
heden
sandsynlig
også
således
er
er.
succes'
af
andelen
være
E(y)
Lad
1.
og
0
er
antage,
kan
y
værdier
De
•
•
=
=
+
=
∑
x
n
y
β
α
π
π
π

Eksempel: Tro på Gud - ud fra alder
Unstandardized
Coefficients
Coefficients a
Standardized
Coefficients
Model
B Std. Error Beta
t Sig.
1 (Constant)
,413 ,042 9,805 ,000
beregnetalder
udfra fødselsår
,006 ,001 ,225 7,005 ,000
a.
Dependent Variable: TroPåGud
8

9
Logistisk regressions model
(Y binær, X kontinuert)
( )
( )
( )
fiasko.
for
heden
sandsynlig
til
forhold
i
succes
for
heden
sandsynlig
altså
,
)
0
(
)
1
(
)
1
(
1
)
1
(
1
:
Bemærk
r).
lommeregne
jeres
på
(ln
logaritme
naturlige
den
er
log
og
ene
odds'
er
1
hvor
,
1
log
)
(
log
:
model
s
regression
logistiske
den
på
ser vi
stedet
I
=
=
=
=
−
=
=
−
−
⋅
+
=
⎟
⎠
⎞
⎜
⎝
⎛
−
=
y
P
y
P
y
P
y
P
x
it
π
π
π
π
β
α
π
π
π

Tro på Gud – ud fra alder
Estimatet for β
Variables in the Equation
Step
1
bald
Constant
,031
-,562
,005
,209
44,526
7,242
1
1
,000
,007
1,031
,570
a
B S.E. Wald df Sig. Exp(B)
a. Variable(s) entered on step 1: bald.
Estimatet for α
12

Predekterede sandsynligheder
13

”Hele kurven” se også side 577 i bogen
Sandsynlighed for Ja i pct.
100
90
80
70
60
50
40
30
20
10
0
0 1 2 3 4 5 6 7 8 9 10
Uafhængig variabel
14

Logit, odds og sandsynlighed
Bemærk det er logit funktionen der har den lineære additive struktur – som er
nem at fortolke for stigningen på en enhed:
⎛ π ⎞
log it( π ) = log⎜
⎟ = α + β ⋅ x
⎝ ( 1 − π ) ⎠
Selve odds’en har en multiplikativ struktur, der også er nem at fortolke for
stigningen på en enhed:
Odds =
π
( 1 − π )
= exp
( ) ( ) x
a β⋅x
a β
α + β ⋅ x = e . e = e . e
selve sandsynligheden er derimod ikke så let at fortolke mht., til ændringen på
en enhed:
Odds exp
π = =
1+
Odds 1+
exp
( α + β ⋅ x)
( α + β ⋅ x)
15

Fortolkning af parametre
Variables in the Equation
Step
1
bald
Constant
,031
-,562
,005
,209
44,526
7,242
1
1
,000
,007
1,031
,570
a
B S.E. Wald df Sig. Exp(B)
a.
Variable(s) entered on step 1: bald.
Når alderen stiger med 1 år, så:
• stiger logit(π) med 0,031
• odds’ene bliver 1,031 gange større
• stigningen i sandsynligheden ikke umiddelbart så nem
at angive, men kan selvfølgelig beregnes for givet x
16

Hvilke værdier antager de
•π
antager værdier
mellem 0 og1
• odds
• logit
antager værdier
antager værdier
• For π = ½, er odds
lig
mellem 0 og ∞
mellem - ∞
med1
og
•π
- værdier over ½ har positive logits
•π
- værdier under ½ har negative logits
• For β > 0 stiger π når x stiger
• For β < 0 falder π når x stiger
og
logit
∞
lig
med
0
17

Maksimum Likelihood Estimation (MLE)
Parametrene i logistisk regression bestemmes vha.
Maksimum Likelihood Estimation (MLE).
Ved denne estimations teknik estimeres parametrene til
de værdier, der passer bedst med de observerede data.
Dvs. sandsynligheden for parameterværdierne givet de
observerede data, er størst mulig.
Til dette bruges likelihood funktionen, som giver
sandsynligheden for parametrene givet data og det er
altså denne likelihood funktion, der maksimeres – deraf
navnet ;-)
18

19
Test – Wald teststørrelsen
smodel.
regression
lineære
den
i
testet
-
t
svarer til
Testet
d.
frihedsgra
1
med
fordelt
elsen
teststørr
er
H
Under
estimatet.
på
n
spredninge
og
estimatet
mellem
forhold
kvadrerede
det
altså
,
ˆ
elsen
teststørr
ved
0
:
H
0
:
H
hypotesen
testes
,
)
logit(
modellen
I
2
0
2
a
0
−
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
=
≠
=
+
=
χ
σ
β
β
β
α
π
Wald
b
Wald
x
b

20
Test – Likelihood-ratio test
d.
frihedsgra
1
med
fordelt
er
H
under
der
log
2
log
2
log
2
:
som
givet
er
elsen
teststørr
Selve
0.
når
altså
hypotese,
e
alternativ
den
under
data
for
heden
sandsynlig
angiver
L
og
0,
når
altså
hypotesen,
nul
under
data
for
heden
sandsynlig
angiver
L
hypotese.
e
alternativ
den
under
modellen
og
en
nulhypotes
under
modellen
nemlig
modeller,
er to
sammenlign
test
Denne
2
0
1
0
0
1
1
0
−
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
−
=
−
≠
=
χ
β
β
L
L
L
L

Test i eksemplet
Step 1
Omnibus Tests of Model Coefficients
Step
Block
Model
Chi-square df Sig.
49,208 1 ,000
49,208 1 ,000
49,208 1 ,000
Likelihood-ratio teststørrelsen
Variables in the Equation
Step
1
bald
Constant
,031
-,562
,005
,209
44,526
7,242
1
1
,000
,007
1,031
,570
a
B S.E. Wald df Sig. Exp(B)
a. Variable(s) entered on step 1: bald.
Wald test-størrelserne
p-værdien
p-værdierne
21

Relation til kontingenstabeller
(Y binær, X binær)
Hvad nu hvis x er en
kvalitativ variabel?
Så svarer den logistiske
regression til analysen
i kontingenstabeller.
Køn
Total
Pearson Chi-Square
Mand
Kvinde
Continuity Correction a
Likelihood Ratio
Fisher's Exact Test
Linear-by-Linear
Association
Køn * Tror på - Gud Crosstabulation
Count
% within Køn
Count
% within Køn
Count
% within Køn
Chi-Square Tests
Tror på - Gud
27,707b Value df
Asymp. Sig.
(2-sided)
1 ,000
26,963 1 ,000
27,889 1 ,000
27,677 1 ,000
Ja Nej Total
274 177 451
60,8% 39,2% 100,0%
361 109 470
76,8% 23,2% 100,0%
635 286 921
68,9% 31,1% 100,0%
Exact Sig.
(2-sided)
,000 ,000
N of Valid Cases
921
a. Computed only for a 2x2 table
b. 0 cells (,0%) have expected count less than 5. The minimum expected count is
140,05.
Exact Sig.
(1-sided)
22

SPSS
23

Relation til kontingenstabeller
Variables in the Equation
Step
1
Køn(1)
Constant
-,761
1,198
,146
,109
27,229
120,063
1
1
,000
,000
,467
3,312
a
B S.E. Wald df Sig. Exp(B)
a. Variable(s) entered on step 1: Køn.
logit( ˆ π ) = ˆ α + ˆ βx
= 1,
198 − 0,
761x
Udtrykt i odds :
ˆ π
=
1-
ˆ π
ˆ α ˆ βx
x
e e = 3,
312×
0,
467
24

Logit’s
logit for at tro på Gud, når man er mand :
logit( ˆ π ) =
1,
198
logit for at tro på Gud, når man er kvinde :
logit( ˆ π ) =
1,
198
Variables in the Equation
Step
1
Køn(1)
Constant
-,761
1,198
,146
,109
27,229
120,063
1
1
,000
,000
,467
3,312
a
B S.E. Wald df Sig. Exp(B)
a.
Variable(s) entered on step 1: Køn.
− 0,
761×
1 =
− 0,
761×
0 =
0,
437
1,
198
Køn
Dependent Variable Encoding
Original Value
Nej
Ja
Internal Value
0
Categorical Variables Codings
Mand
Kvinde
Frequency (1)
451 1,000
1
Parameter
coding
470 ,000
25

Odds’ene
Udtrykt i odds :
ˆ π
=
1-
ˆ π
Køn
Dependent Variable Encoding
Original Value
Nej
Ja
ˆ α ˆ βx
x
e e = 3,
312×
0,
467
Categorical Variables Codings
Mand
Kvinde
Internal Value
0
Parameter
coding
Frequency (1)
451 1,000
1
470 ,000
”Kvinde” er her ”referencekategorien”.
Meget mere om
det næste gang!!
Odds for at tro på Gud, når man er mand :
ˆ π
1
= 3,
312×
0,
467 = 1,
546
1-
ˆ π
Odds for at tro på Gud, når man er kvinde :
ˆ π
=
1-
ˆ π
3,
312
Oddsratio :
×
Odds mand
=
Odds kvinde
Dvs. odds'ene
0,
467
1,546
3,312
gange så stor som odds'ene
Gud, når man er kvinde.
0
=
=
3,
312
0,
467
= e
for at tro på Gud er 0,467
β
for at tro på
26

ˆ α
e
ˆ π =
1+
e
ˆ α
e
ˆ π =
1+
e
1-
ˆ π = 1−
Sandsynlighederne
Sandsynligheden
for at tro på Gud, når man er mand :
+ ˆ βx
ˆ α + ˆ βx
Sandsynligheden
for ikke at tro på Gud, når man er mand :
1-
ˆ π = 1-
0,608 =
Sandsynligheden
for at tro på Gud, når man er kvinde :
+ ˆ βx
ˆ α + ˆ βx
=
Sandsynligheden
for ikke at tro på Gud, når man er kvinde :
0,
768
1,
546
1+
1,
546
0,
392
3,
321
= =
1+
3,
312
=
0,
232
=
0,
608
0,
768
Køn
Total
Mand
Kvinde
Køn * Tror på - Gud Crosstabulation
Count
% within Køn
Count
% within Køn
Count
% within Køn
Tror på - Gud
Ja Nej Total
274 177 451
60,8% 39,2% 100,0%
361 109 470
76,8% 23,2% 100,0%
635 286 921
68,9% 31,1% 100,0%
27

Eksemplet
Wald teststørrelsen:
Variables in the Equation
Step
1
Køn(1)
Constant
-,761
1,198
,146
,109
27,229
120,063
1
1
,000
,000
,467
3,312
a
B S.E. Wald df Sig. Exp(B)
a. Variable(s) entered on step 1: Køn.
Likelihood-ratio teststørrelsen:
Step 1
Omnibus Tests of Model Coefficients
Step
Block
Model
Chi-square df Sig.
27,889 1 ,000
27,889 1 ,000
27,889 1 ,000
28