Variansanalyse (ANOVA) - Institutt for matematiske fag - NTNU

ST0202 Statistikk for samfunnsvitere
Bo Lindqvist
Institutt for matematiske fag
www.ntnu.no ST0202, Uke 43, forelesn. 16
Eksempel 12.1: Effekt av temperatur på produsert antall.
Temperaturnivå
68 o F 72 o F 76 o F
Populasjon nr. i = 1 i = 2 i = 3
Utvalg 10 7 3
12 6 3
10 7 5
9 8 4
7
Populasjons- μ1 μ2 μ3
gjennomsnitt
Vil teste: H0 : μ1 = μ2 = μ3
www.ntnu.no ST0202, Uke 43, forelesn. 16
2
Kap. 12: Variansanalyse
Situasjon:
c populasjoner, hver med sitt populasjonsgjennomsnitt μi.
Vi tester
H0: Alle populasjonene har samme gjennomsnitt, dvs.
μ1 = μ2 = ...= μc
Ha: Ikke alle populasjonsgjennomsnittene er like.
(Tilfellet med to populasjoner ble behandlet i kap. 10.)
www.ntnu.no ST0202, Uke 43, forelesn. 16
Fra kapittel 10: Testet
H0 : μ1 = μ2 mot μ1 = μ2
t ∗ = ¯x1 − ¯x2 − (μ1 − μ2)
s 2 1
n 1 + s2 2
n 2
Med flere enn to populasjoner, dvs.
H0 : μ1 = μ2 = ...= μc
kunne man teste to og to μ-er, men det ville bli mange tester å
utføre.
Isteden testes ved såkalt variansanalyse (ANOVA), der det
regnes ut én testobservator som kombinerer informasjon fra alle
utvalgene.
www.ntnu.no ST0202, Uke 43, forelesn. 16

5
ANOVA
Antagelser:
• c populasjoner skal sammenlignes
• populasjonsgjennomsnittene er μ1,μ2,...,μc
• populasjonsvariansene σ2 er de samme for alle populasjonene
• populasjonene antas normalfordelte
• populasjonene svarer ofte til ulike nivåer av en faktor, f.eks.
temperatur
• vi har tilfeldige og uavhengige utvalg fra hver populasjon, av
størrelse henholdsvis k1, k2,...,kc
www.ntnu.no ST0202, Uke 43, forelesn. 16
7
Kvadratsummer (’Sums of Squares’)
Total Sum of Squares
der
SS(total) = (x − ¯x) 2 = (x 2 ) − ( x) 2
• n er det totale antall observasjoner i alle utvalgene
• ¯x er gjennomsnittet av alle observasjonene (’grand mean’)
• det summeres over alle de n observasjonene
• (Merk: Hvis dette divideres med n − 1 får vi den vanlige s2 .)
www.ntnu.no ST0202, Uke 43, forelesn. 16
n
Eksempel 12.1: Effekt av temperatur på produsert antall.
Temperaturnivå
68oF 72oF 76oF Utvalg nr. i = 1 i = 2 i = 3
10 7 3
12 6 3
10 7 5
9 8
7
4
Utvalgsstørrelse k1 = 4 k2 = 5 k3 = 4
Kolonnesum C1 = 41 C2 = 35 C3 = 15
Utvalgsobservatorer
¯x1 = 10.25
s
¯x2 = 7.0 ¯x3 = 3.75
2 1 = 1.5833 s2 2 = 0.5000 s2 Populasjons- μ1 μ2
3 = 0.9167
μ3
parametre σ σ σ
Intuitivt: Forkast H0 : μ1 = μ2 = μ3 dersom ¯x1, ¯x2, ¯x3 er ’tilstrekkelig
forskjellige’.
www.ntnu.no ST0202, Uke 43, forelesn. 16
Sum of Squares Due to Factor
SS(factor) = k1 (¯x1 − ¯x) 2 + k2 (¯x2 − ¯x) 2 + k3 (¯x3 − ¯x) 2 + ···
der ki er antall i utvalg nr. i, ¯xi er gjennomsnitt i utvalg nr. i og ¯x er
’grand mean’.
Fortolkning: SS(factor) blir stor hvis det er stor forskjell mellom
populasjonsgjennomsnittene, dvs. ’stor’ SS(factor) tyder på at H0
skal forkastes. SS(factor) fortolkes som ’variasjon mellom
populasjoner’.
Regneformel fra boka:
SS(factor) =
C 2 1
k1
+ C2 2
k2
+ C2 3
k3
+ ··· − ( x) 2
n
der Ci er kolonnesummer, og n og x gjelder observasjonene i
alle utvalgene.
www.ntnu.no ST0202, Uke 43, forelesn. 16

Sum of Squares Due to Error
SS(error) =(k1− 1) s 2 1 +(k2 − 1) s 2 2 +(k3 − 1) s 2 3 + ···
der ki er antall i utvalg nr. i, s2 i er utvalgsvarians i utvalg nr. i.
Fortolkning: SS(error) fortolkes som ’variasjon innen populasjoner’.
Hvis den divideres med n − c er den et punktestimat for
populasjonsvariansen σ 2 .
Regneformel fra boka:
SS(error) = (x 2 ) −
C 2 1
k1
+ C2 2
k2
+ C2 3
k3
+ ···
der Ci er kolonnesummer, og (x 2 ) gjelder observasjonene i alle
utvalgene.
www.ntnu.no ST0202, Uke 43, forelesn. 16
11
Testobservator for ANOVA
F ∗ = MS(factor)
MS(error)
Hvis H0 gjelder har F ∗ en F -fordeling med df1 = c − 1og
df2 = n − c frihetsgrader.
ANOVA-tabell:
Kilde df SS MS F P
Factor df(factor) SS(factor) MS(factor) F ∗ p-value
Error df(error) SS(error) MS(error)
Total df(total) SS(total)
www.ntnu.no ST0202, Uke 43, forelesn. 16
Frihetsgrader for kvadratsummene:
Generelle sammenhenger:
Mean Squares:
df(total) = n − 1
df(factor) = c − 1
df(error) = n − c
SS(total) = SS(factor) + SS(error)
df(total) = df(factor) + df(error)
MS(factor) = SS(factor)
df(factor)
MS(error) = SS(error)
df(error)
Merk at MS(error) er et punktestimat for σ 2 .
(Mean Square for Factor)
(Mean Square for Error)
www.ntnu.no ST0202, Uke 43, forelesn. 16
Eksempel 12.1 (forts): Effekt av temperatur på produsert antall.
Her er (x 2 )=10 2 + 12 2 + 10 2 + 9 2 + 7 2 + ···= 731 og
x = 10 + 12 + 10 + 9 + 7 + ···= 91 slik at
SS(total) = (x 2 ) − ( x) 2
= 731 −
n
912
SS(factor) =
= 731 − 637 = 94
13
C2 1 +
k1
C2 2 +
k2
C2
3
+ ··· −
k3
( x) 2
=
n
412 352 152
+ + −
4 5 4
912
= 84.5
13
SS(error) = SS(total) − SS(factor) = 94 − 84.5 = 9.5
(eller bruk egen formel)
www.ntnu.no ST0202, Uke 43, forelesn. 16

ANOVA-tabell:
Kilde df SS MS F P
Temperatur 2 84.5 42.25 44.47 0.00001
Error 10 9.5 0.95
Total 12 94.0
F ∗ = MS(factor)
MS(error)
= 42.25
0.95
= 44.47
Hvis H0 gjelder har F ∗ en F -fordeling med df1 = 3 − 1 = 2og
df2 = 13 − 3 = 10 frihetsgrader.
Tabell 9A: Med α = 0.05 forkastes H0 hvis
F ∗ > F (2, 10, 0.05) =4.10, dvs. klar forkastning.
p-verdi: P(F > 44.47) =0.00001 (fra CD).
www.ntnu.no ST0202, Uke 43, forelesn. 16
Idé bak ANOVA (12.3)
• MS(factor) er et mål for variasjonen mellom populasjonene
• MS(error) er et mål for variasjonen innen populasjonene
• F ∗ er forholdet mellom disse, og vi forkaster H0 hvis dette blir
for stort.
www.ntnu.no ST0202, Uke 43, forelesn. 16
Eksempel: Sammenligning av slaglengde for ulike typer golfballer.
Type
1 2 3 4 5
Utvalg 286 279 270 284 281
276 277 262 271 293
281 284 277 269 276
274 288 280 275 292
Sum Ci 1117 1128 1083 1099 1142
Gj. snitt ¯xi 279.25 282 272.25 274.75 285.5
Populasjons- μ1 μ2 μ3 μ4 μ5
gjennomsnitt
Vil teste: H0 : μ1 = μ2 = μ3 = μ4 = μ5
www.ntnu.no ST0202, Uke 43, forelesn. 16
(x 2 ) = 286 2 + ···+ 292 2 = 1555185
x = 286 + ···+ 292 = 5575
SS(total) = (x 2 ) − ( x) 2
= 1555185 −
n
55752
= 1153.75
20
C
SS(factor) =
2
1
− ( x) 2
n
k1
+ C2 2
k2
+ C2 3
k3
+ C2 4
k4
+ C2 5
k5
= 11172 11282 10892 10992 11422 55752
+ + + + −
4 4 4 4 4 20
= 458.5
SS(error) = SS(total) − SS(factor) = 1153.75 − 458.5 = 695.25
www.ntnu.no ST0202, Uke 43, forelesn. 16

ANOVA-tabell:
Kilde df SS MS F P
Balltype 4 458.5 114.625 2.47 0.0894
Error 15 695.25 46.35
Total 19 1153.75
F ∗ = MS(factor)
MS(error)
= 114.625
46.35
= 2.47
Hvis H0 gjelder har F ∗ en F -fordeling med df1 = 5 − 1 = 4og
df2 = 20 − 5 = 15 frihetsgrader.
Tabell 9A: Med α = 0.05 forkastes H0 hvis
F ∗ > F (4, 15, 0.05) =3.06, dvs. vi forkaster ikke H0.
p-verdi: P(F > 2.47) =0.0894 (fra CD).
www.ntnu.no ST0202, Uke 43, forelesn. 16
Fra eksamen 16. desember 2006
SS(factor)=68.082 SS(error) = 479.636
www.ntnu.no ST0202, Uke 43, forelesn. 16
Oppgave: Gitt følgende utvalg fra tre populasjoner:
Populasjon 1 2 3
x 9 7 6
11 9 8
Beregn en komplett ANOVA-tabell!
www.ntnu.no ST0202, Uke 43, forelesn. 16
Løsning:
H0
H1
F = MS(factor)
MS(error)
H0
SS(factor)/(4 − 1)
= =0.757

Fra eksamen 16. desember 2006 (forts. Oppgave 3)
www.ntnu.no ST0202, Uke 43, forelesn. 16
Løsning (forts.):
H0
H1
H0
t ∗ =
¯d
sD/ √ n =
3.74
1.698/ √ =4.93 >t(4, 0.025) = 2.78
5
www.ntnu.no ST0202, Uke 43, forelesn. 16