MULTIVARIJATNA ANALIZA VARIJANCE (One-Way MANOVA)

Postupak analize varijance provodi se tako da se definira zavisna varijabla, te seanalizira kako jedan ili više faktora (ili nezavisnih vatijabli) utječe na varijacijezavisne varijable.Ako se faktori ne mogu kontrolirati, kaže se da su podaci opaženi.Ako je analizirane faktore moguće kontrolirati, kaže se da su podacieksperimentalni, a njihove vrijednosti (razine) naziva se tretmanima. Ujednosmjernoj analizi varijance nastoji se procijeniti utjecaj efekata različitihtretmana na zavisnu varijablu.Općenito, ako je tretman primijenjen na više od jedne eksperimentalnejedinice, kaže se da je repliciran.U potpuno randomiziranom eksperimentalnom dizajnu tretmanima supridruženi slučajni uzorci eksperimentalnih jedinica.MetodaANOVA se može sažeti na slijedeći način:Iz p populacija izabire se po jedan slučajni uzorak. Primjerice, iz –te populacijeizabran je uzorak veličine n .21 je slučajni uzorak iz N (, ) 1,2, ,pX X2 Xn Slučajni su uzorci nezavisni.2

Pri tom je x procjena od , ˆ ( x x)je procjena efekta tretmana , a( x )xjje procjena slučajnog člana.Iz jednadžbe (4), sumiranjem po svim uzorcima i svim opažanjima slijedi:SSpn 1 j 1( x jx)Ukupna sumakvadrata(korigirana sumakvadrata)corSS T2p 1n ( xx)2Suma kvadrataodstupanjameđu uzorcimaSStrSS Bpn 1 j 1( x jx )Suma kvadrata odstupanjaunutar uzoraka2SSresSS W(5)ili:p n 1 j 122x ( n1n2 np)xjp 1n ( xx)2p n 1 j 1( x jx )2(6)Rezultati analize varijance predočuju se u tabeli ANOVA:Izvor varijacije Suma kvadrata Stupnjevi slobodeTretmanipp-1SStr 1n ( xp nrezidualiSSUkupno(korigirana sumakvadrata)SSrescor 1 j 1pn 1 j 1( x( x j jx)2x)x)22p 1p 1nnp1Podsjetnik:SStr SS BSScorSSTSSresSSWZa testiranje hipotezeH0:1 2p0provodi se uobičajeni F-test. Nulta se hipoteza odbacuje ako jeFSSSSBW/( p/( n1)> Fp)( p1; np)4

Nulta se hipoteza odbacuje ako je velik omjerSSSSB1 , ili ekvivalentno ako je velik omjerWSSSSTWSSSS.BW, odnosno ako je velik izrazTest veličina prikladna za multivarijatnu generalizaciju je recipročna vrijednostod prethodne. Nultu hipotezu se odbacuje za male vrijednosti od:SSSSB SSWSS1SSWMultivarijatna analiza varijance (MANOVA)1 W(7)MANOVA model za usporedbu vektora sredina p populacijaBX e j 1,2,,n 1,2, p(8),j jU izrazu (8) varijablee su nezavisne i N 0je j~ , )p (Parametar vektor je ukupna sredina (razina), areprezentira efekt l-togtretmana uz n 0p 1 .U skladu s modelom (8) svaka komponenta odmodel (3). Greške za komponente odX j zadovoljava univarijatniX j su korelirane, ali kovarijančnamatrica je jednaka za sve populacije. Vektor opaženih vrijednosti može seraščlaniti na slijedeći način:x jxukupnasredinauzorkaˆ( x x)procjenaefektatretmanaˆ( xxj )rezidualeˆj(9)Dekompozicija (9) vodi do multivarijatnog analoga od (5).pn 1 j 1( x jx)Ukupna sumakvadrata(korigirana suma( x jx)p 1n ( xx)Suma kvadrata tretmana(Between)i međuprodukti( xx)pn 1 j 1( x jx )( xRezidualna sumakvadrata (Within) imeđuprodukti jx)(10)5

Izvor varijacijeTretmaniMatrica sume kvadrata imeđuprodukataHp 1p nrezidualiEUkupno(korigirana sumakvadrata)Tn ( x 1 j 1pn 1 j 1( x( x j jx)xx)( x) ( x( x j jx)xx))Stupnjevi slobodep-1p 1p 1nnp1Ova je tabela istog oblika kao tabela ANOVA, s tim da su kvadrati skalarazamijenjeni vektorima. Tako primjerice ( x x)2 prelazi u ( x x)(x x)Test H 0 uključuje generalizirane varijance 1 . Nulta se hipoteza0:1 2podbacuje ako je omjer generaliziranih varijanci*ETp n j 1 j 1p n j 1 j 1( xj( xjx)x)( x( xjjx)x)(12)premali. PokazateljE*kojeg je uveo Wilks korespondira ekvivalentnomTobliku F-testa (relacija (7)). Wilks lambda se također može izraziti kao funkcijasvojstvenih vrijednosti ˆ , ˆ , , ˆ1 2 s od E 1 H :*ji 111 ˆi11 ˆ111 ˆ211 ˆjPri čemu je j=min(p,k-1) rang od H. Drugi pokazatelji za ispitivanje jednakostiviše multivarijatnih sredina su Pillai-pokazatelj, Hotelling- Lawley pokazatelj i1 Generalizirana varijanca je numerička vrijednost kojom se opisuju varijacije izračene pomoću matrice varijancii kovarijanci, a može se izračunati kao njena determinanta.7

Roy-ev najveći korijen. Ti se pokazatelji također mogu predočiti kao specijalnefunkcije svojstvenih vrijednosti od E 1 H :Hotelling- Lawley trace =1Pillai's trace = tr HTtr E1HRoy's largest root = najveća svojstvena vrijednost matriceZa velike uzorke svi navedeni pokazatelji su ekvivalentni.Tabela 1 Distribucija Wilksove lambde*ETE 1 HBroj varijabli Broj grupa Sampling distribucija zamultivarijatno normalne podatkek=1 p≥2*k=2 p≥2k=3 p=2k=4 p=3npnnnpk1kpp1kk1121*111*~***F p 1,**~~ FF k ,~np2( p 1),2(nkF2k ,2(1nnkp 1)2)Bartlett je pokazao da ako je nulta hipoteza istinita i ako je n velik, tada:( k p)( n 1 )ln2*( k p)E( n 1 )ln( )2 T(13)ima distribuciju koja je približno jednaka Hi-kvadrat distribuciji s k(p-1)stupnjeva slobode.U skladu s tim nulta se hipoteza odbacuje ako je:( n1( k p)E)ln( ) >2 T2k ( p 1)()(14)8

*test veličina ima veoma složenu distribuciju, pa se za provođenje testa ivelike uzorke koristi test veličina:Ys*Pri čemu je:sk2k2( p( p21)1)24512, gdje je p-broj grupa, a k-brojvarijabli u modelu.Uz: df 1= k(p-1) ik ( p 1) 1 k(p 1) 2df2s ( n 1),22Varijabla:(1 Y) / dfF1F(df1,df2).Y / df2ima Fisherovu F-distribuciju s df 1 i df 2 stupnjeva slobode, pa se zaključak oistinitosti tvrdnje provodi na običajan način (F-testom).PRIMJER (Tabela 1.2)Podaci se odnose na mjerenja napravljena na muškim lubanjama iz područjaThebe u Egiptu. Dano je 5 uzoraka od 30 lubanja koje potječu iz ranogpreddinastijskog perioda (oko 4000 godina p.n.e.), kasnog preddinastijskogperioda (oko 3300 godina p.n.e.), 12. i 13. dinastije (oko 1850 gidina p.n.e.),Ptolomejskog perioda (oko 200 godina p.n.e.) i iz rimskog perioda (oko 150godine) Na svakoj je lubanji izvršeno 4 mjerenja:X1=maximum breadth (mm) X2= basibregmatic height (mm)X3= basialveolar length (mm) X4= nasal height (mm)9

Rani preddinastijski period. Kasni preddinastijski period 12. i 13. dinastija Ptolomejski period Rimski periodX1 X2 X3 X4 X1 X2 X3 X4 X1 X2 X3 X4 X1 X2 X3 X4 X1 X2 X3 X4Lub.1 131 138 89 49 124 138 101 48 137 141 96 52 137 134 107 54 137 123 91 502 125 131 92 48 133 134 97 48 129 133 93 47 141 128 95 53 136 131 95 493 131 132 99 50 138 134 98 45 132 138 87 48 141 130 87 49 128 126 91 574 119 132 96 44 148 129 104 51 130 134 106 50 135 131 99 51 130 134 92 525 136 143 100 54 126 124 95 45 134 134 96 45 133 120 91 46 138 127 86 476 138 137 89 56 135 136 98 52 140 133 98 50 131 135 90 50 126 138 101 527 139 130 108 48 132 145 100 54 138 138 95 47 140 137 94 60 136 138 97 588 125 136 93 48 133 130 102 48 136 145 99 55 139 130 90 48 126 126 92 459 131 134 102 51 131 134 96 50 136 131 92 46 140 134 90 51 132 132 99 5510 134 134 99 51 133 125 94 46 126 136 95 56 138 140 100 52 139 135 92 5411 129 138 95 50 133 136 103 53 137 129 100 53 132 133 90 53 143 120 95 5112 134 121 95 53 131 139 98 51 137 139 97 50 134 134 97 54 141 136 101 5413 126 129 109 51 131 136 99 56 136 126 101 50 135 135 99 50 135 135 95 5614 132 136 100 50 138 134 98 49 137 133 90 49 133 136 95 52 137 134 93 5315 141 140 100 51 130 136 104 53 129 142 104 47 136 130 99 55 142 135 96 5216 131 134 97 54 131 128 98 45 135 138 102 55 134 137 93 52 139 134 95 4717 135 137 103 50 138 129 107 53 129 135 92 50 131 141 99 54 138 125 99 5118 132 133 93 53 123 131 101 51 134 125 90 60 129 135 95 47 137 135 96 5419 139 136 96 50 130 129 105 47 138 134 96 51 136 128 93 54 133 125 92 5020 132 131 101 49 134 130 93 54 136 135 94 53 131 125 88 48 145 129 89 4721 126 133 102 51 137 136 106 49 132 130 91 52 139 130 94 53 138 136 92 4622 135 135 103 47 126 131 100 48 133 131 100 50 144 124 86 50 131 129 97 4423 134 124 93 53 135 136 97 52 138 137 94 51 141 131 97 53 143 126 88 5424 128 134 103 50 129 126 91 50 130 127 99 45 130 131 98 53 134 124 91 5525 130 130 104 49 134 139 101 49 136 133 91 49 133 128 92 51 132 127 97 5226 138 135 100 55 131 134 90 53 134 123 95 52 138 126 97 54 137 125 85 5727 128 132 93 53 132 130 104 50 136 137 101 54 131 142 95 53 129 128 81 5228 127 129 106 48 130 132 93 52 133 131 96 49 136 138 94 55 140 135 103 4829 131 136 114 54 135 132 98 54 138 133 100 55 132 136 92 52 147 129 87 4830 124 138 101 46 130 128 101 51 138 133 91 46 135 130 100 51 136 133 97 51o Kako su povezana ova četiri mjerenja?o Postoje li signifikantne razlike sredina? Ako postoje, može li se zaključiti10

da je to posljedica promjena oblika i veličine lubanje?o Postoje li signifikantne razlike standardnih devijacija promatranihvarijabli nad različitim populacijama? Ako postoje, može li se zaključitida je to posljedica postupne promjene tokom vremena u veličinivarijacija?ooOne-Way Analysis of VarianceResultsThe ANOVA Procedureoo Dependent Variable: X1 maximum breadthSource DF Sum of Squares Mean Square F Value Pr > FModel 4 502.826667 125.706667 5.95 0.0002Error 145 3061.066667 21.110805Corrected Total 149 3563.893333oR-Square Coeff Var Root MSEX1 Meanoo0.141089 3.429525 4.594650 133.9733Source DF Anova SS Mean Square F Value Pr > FPERIOD 4 502.8266667 125.7066667 5.95 0.0002Jednofaktorska analiza varijance provedena na prvoj varijabli (maximumbreadth =maksimalna širina u mm) rezultira F-omjerom: F=5,95. Ako je nultahipoteza istinita, taj bi omjer trebao pripadati F- distribuciji s 4 stupnjaslobode u brojniku i 145 stupnjeva slobode u nazivniku. S obzirom da jeempirijska razina signifikantnosti 0,0002, prihvaća se alternativna hipoteza dase sredina varijable mijenja tokom vremena. Za preostale tri varijablerezultati su slijedeći:11

o Dependent Variable: X2 basibregmatic heightSource DF Sum of Squares Mean Square F Value Pr > FModel 4 229.906667 57.476667 2.45 0.0490Error 145 3405.266667 23.484598Corrected Total 149 3635.173333ooo (prihvaća se H1 uz razinu signifikantnosti 5%).oo Dependent Variable: X3 basialveolar lengthSource DF Sum of Squares Mean Square F Value Pr > FModel 4 803.293333 200.823333 8.31 FModel 4 59.160000 14.790000 1.46 0.2169Error 145 1467.033333 10.117471Corrected Total 149 1526.193333oo F-omjer je nesignifikantan (p-vrijednost=0.2169), pa se može zaključiti dase sredine prve tri varijable mijenjaju tokom vremena.The ANOVA ProcedureLevene's Test for Homogeneity of X1 VarianceANOVA of Squared Deviations from Group MeansSource DF Sum of Squares Mean Square F Value Pr > FPERIOD 4 5648.8 1412.2 1.40 0.2353Error 145 145770 1005.312

Levene's Test for Homogeneity of X2 VarianceANOVA of Squared Deviations from Group MeansSource DF Sum of Squares Mean Square F Value Pr > FPERIOD 4 766.5 191.6 0.19 0.9426Error 145 145258 1001.8Levene's Test for Homogeneity of X3 VarianceANOVA of Squared Deviations from Group MeansSource DF Sum of Squares Mean Square F Value Pr > FPERIOD 4 4500.8 1125.2 1.03 0.3935Error 145 158277 1091.6Levene's Test for Homogeneity of X4 VarianceANOVA of Squared Deviations from Group MeansSource DF Sum of Squares Mean Square F Value Pr > FPERIOD 4 936.3 234.1 1.30 0.2736Error 145 26144.4 180.3o U slijedećem će se koraku sve četiri varijable promatrati zajedno.The GLM ProcedureMultivariate Analysis of VarianceH = Type III SSCP Matrix for periodX1 X2 X3 X4X1 502.82666667 -228.1466667 -626.6266667 133.90666667X2 -228.1466667 229.90666667 292.28 -65.82X3 -626.6266667 292.28 803.29333333 -178.8066667X4 133.90666667 -65.82 -178.8066667 59.16Characteristic Roots and Vectors of: E Inverse * H, whereH = Type III SSCP Matrix for periodE = Error SSCP MatrixCharacteristic Root PercentCharacteristic Vector V'EV=1X1 X2 X3 X40.42381721 88.32 -0.01054298 0.00304522 0.01206256 -0.006729260.03901444 8.13 0.00319759 0.01744294 -0.00564142-0.006377330.01504644 3.14 -0.00783757 0.00203575 -0.00139597 0.024483800.00198112 0.41 0.01227047 -0.00000878 0.01097836 0.0058660813

MANOVA Tests for the Hypothesis of No Overall period EffectH = Type III SSCP Matrix for periodE = Error SSCP MatrixS=4 M=-0.5 N=70Statistic Value P-ValueWilks' Lambda 0.66462815

Za opažanja se konstruira vektor y'=(9,6,9,0,2,3,1,2).SSSSSSSSobsmeantrres492122424(622422)42922421(20243)(2221)24(2233)1224221(122422)2(2241)2(22168 42)0222(101282)23422(3)23(2)278SSobsSSmean216 128 78SS10trSSresAko je nulta hipoteza istinita varijance izračunate izpribližno jednake. Iz relacije (4):SStri SSrestrebale bi bitix jx( xx)( xx)jslijedi:( x jx)( xx)( x jx)( x jx)2( xx)2( x jx)22( xx)(x jx)njnj11( x( x j jx)x)22njnj( x1( x1x)x)22njnj11( x( x j jxx))222( xnx)( xxj )j 1 0Nadalje, ako se obje strane jednadžbe sumiraju po :pn 1 j 1( x jx)Ukupna sumakvadrata (korigiranasuma kvadrata)SScorSS T2p 1n ( xx)Suma kvadrataodstupanja međuuzorcimaSStrSS B2pn 1 j 1( x jx )Suma kvadrataodstupanja unutaruzorakaSS2resSS W(5)ili:p n 1 j 122x ( n1n2 np)xjp 1n ( xx)2p n 1 j 1( x jx )2(6)15

Pri izvođenju formule (6) pokazano je da su nizovi koji reprezentiraju sredinu,efekte tretmana i reziduale međusobno okomiti bez obzira na vektor opažanja.U skladu s tim:SSSSresWSSSSTobsSSSSBmeanSStrVektorska reprezentacija nizova uključenih u dekompoziciju varijance (4) imageometrijsku interpretaciju koja određuje broj stupnjeva slobode. Zaproizvoljni skup opažanja vektor opažanja y x , ,x , x , ,x , x)(11 1n1 21 2n2pnpmože ležati bilo gdje unn1n2 npdimenzija. Vektor sredinex 1 x,,x mora ležati u jednoj dimenziji 2 , a vektor efekata tretmana:leži u hiperravnini linearnih kombinacija p vektora:u ,, u , 1 2 u pBudući da je 1 =u1u2 up, vektor sredina također leži u toj hiperravnini iuvijek je okomit na vektor efekata tretmana. Vektor sredina može ležati u bilokojoj dimenziji, a vektor efekata tretmana u preostalih p-1 dimenzija.Vektor reziduala :21 1,1, ,1n .16

e ˆ y ( x1)-(x - x)u (x - x)u (x - x) u1 122ppn p st.sloboden 1st.slobodep-1st.slobodeOvi stupnjevi slobode su stupnjevi slobode Hi-kvadrat distribucija pridruženihsumama kvadrata.Rezultati analize varijance predočuju se u tabeli ANOVA:Izvor varijacije Suma kvadrata Stupnjevi slobodeTretmanipp-1SStr 1n ( xp nrezidualiSSUkupno(korigirana sumakvadrata)SSrescor 1 j 1pn 1 j 1( x( x j jx)2x)x)22p 1p 1nnp1Podsjetnik:SStr SS BSScorSSTSSresSSWZa testiranje hipotezeH0:1 2p0Provodi se uobičajeni F-test. Nulta se hipoteza odbacuje ako jeFSSSSBW/( p/( n1)> Fp)( p1; np)PRIMJER 1 Univarijatna analiza varijance (ANOVA) i F-test za efekte tretmana.Korištenjem podataka iz PRIMJERA 1 dolazi se do slijedeće tabele ANOVA:Izvor varijacijeTretmani 78Breziduali SS 10WUkupno(korigirana suma kvadrata)Suma kvadrata Stupnjevi slobodeSS p-1=3-1=2SST88p 1npp(3n 1213)73517

U skladu s tim:FSSSSB/( p 1) 78/20, 0119,5 F ( p 1; n p)F(2;5)W/( n p)10/513,27FSSSSBW/( p/( n1)> Fp)( p1; np)H1Uz razinu signifikantnosti 1% odbacuje se pretpostavka da su utjecaji tretmanajednaki nuli.PRIMJER 29304386220199727xx139 6 93 2733 1 28 973xx138428x2x0 24 2 029362x972120 284 08381927x45Opažanja na prvoj varijabli:9 6 90 23 1 2observacije4 4 44 44 4 4sredina4 4 43 32 2 2efekttretmana1 2 11 11 1 0 residualSSobsSSmean216 128 78 10SStrSSresSScorSSobsSSmean21612888Za opažanja na drugoj varijabli se dobiva:3 2 74 08 9 7observacije5 5 55 55 5 5sredina1 1 13 33 3 3efekttretmana1 2 32 20 1 1residualSSobsSSmean272 200 4824SStrSSres18

SScorSSobsSSmean27220072Ove dvije komponente analize moraju se povećati sa sumama međuprodukata kako bi se upotpuniliulasci u tabelu MANOVA. Nastavljajući postupak red po red za nizove dobiva se:Sredina: 4(5)+ 4(5)+…+ 4(5)=8(4)(5)=160Tretmani: 3(4)(-1)+2(-3)(-3)+3(-2)(3)=-12Reziduali: 1(-1)+(-2)(-2)+1(3)+(-1)(2)+1(-2)+1(0)+(-1)(1)+0(-1)=1Ukupno: 9(3)+6(2)+9(7)+0(4)+2(0)+3(8)+1(9)+2(7)=149Korigrani međuprodukt totala= ukupni međuprodukt- međuprodukt sredine: 149-160=-11.Tabala MANOVAIzvor varijacijeTretmaniMatrica sume kvadrata i Stupnjevi slobodemeđuprodukata78 123-1=212 72reziduali1 24Ukupno(korigirani total) 11 7210 1(3+2+3)-3=588 117Relacija (10) je potvrđena jer je:8811117278121248101124Primjenom pokazatelja Wilksove lambde:*ET1018811124117288107224 1 1( 11) (11)23962150,0385S obzirom da je k=2, p=3 Tabela 1 ukazuje da se može primijeniti egzaktni testHH01::1j20p019

(uz pretpostavku normalnosti distribucija i jednake kovarijančne matrice u svimpopulacijama). Da bi se proveo test računa se:pn )p111**8 3 13 110,03850,03858,39F2(p 1),2( n p1df1 2( p 1) 4 df22( np 1) 2(8 3 1) 8 F0,01(4,8)7,01*ET1018811124117288107224 1 1( 11) (11)23962150,0385S obzirom da je 8,39>7,01 nulta se hipoteza uz razinu signifikantnosti 1%odbacuje, te zaključuje da postoje razlike u efektima tretmana.20