La Regressione Lineare Semplice - Università degli Studi di Perugia

La Regressione Lineare SempliceFabrizio StracciDip. Igiene dell’UniversitUniversità degli Studi di PerugiaRegistro Tumori Umbro di Popolazione

Finalità della PresentazioneIntrodurre il concetto di regressioneFacilitare l’interpretazione dei risultati di studi cheimpiegano la regressioneFornire gli elementi necessari all’applicazione dellaregressione lineare sempliceCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 2

Cos’è la Regressione• La regressione è una tecnica statistica per studiare le relazioni tradue o più variabili• Generalmente la relazione studiata consta di-una variabile dipendente o risposta e di-una o più variabili che dovrebbero spiegare o addiritturadeterminare i valori assunti dalla variabile dipendente; questeultime sono dette variabili esplicative o predittori o variabiliindipendenti.Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 3

Angolo UmanisticoIl termine ‘regressione’ è stato introdotto da Sir Francis Galton,antropologo inglese, nell’articolo “Regression towards mediocrity inhereditary stature” Journal of the Anthropological Institute, 1885;15:246-263.‘Regressione’ si riferiva alla tendenza dei figli ad avere altezze piùprossime alla media rispetto ai genitori.Attualmente il termine viene impiegato diffusamente in situazioni incui non vi è regressione verso la media.Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 4

Modelli deterministiciL’errore di misura dellavariabile di risposta e lavariabilità non controllatadelle condizioni sperimentalisono trascurabili.900800700600500400300200100Esempio: la legge di Ohm0VI = =ργV0 2 4 6 8 10 12 14 16Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 5

Modelli deterministici 2L’intensità di corrente, I, e il potenziale, V sono variabili chepossono essere misurate o controllate, osservabiliVI = =ργVLa resistenza ρ (o la sua inversa γ) è un parametro: una quantità dadeterminare per applicare la legge al caso di un particolare conduttoreCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 6

Modelli deterministici 3La legge di Ohm afferma chel’intensità di corrente (Y)dipende dal potenzialeelettrico (X).I è direttamente proporzionalea V: se aumentiamo ilpotenziale l’intensità dicorrente aumenta linearmente9008007006005004003002001000y = 55.56x0 2 4 6 8 10 12 14Aumento lineare dell’intensità di correntein funzione del voltaggio nel caso delrame (resistenza 0.018, conduttanza55.556).Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 7

La rettaIn generale un modello lineare può essere scritto:Y = f(x)O, con una notazione alternativa:Y= β +0= α + βxI due parametri α e β definiscono rispettivamente l’intercetta ela pendenza della retta. Una pendenza negativa corrispondead una relazione lineare inversa.β1 xCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 8

Pendenza della retta e intercetta70605040y= 2xy= 3xy= 5x1816141210y= 2+ xy= 3+ xy= 5+ x308201000 2 4 6 8 10 12 1464200 2 4 6 8 10 12 14Effetto della variazione del coefficienteangolareEffetto della variazione dell’intercettaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 9

Modello stocastico o probabilisticoAssai spesso errori di misura e/o variabilità sperimentalenon controllata delle condizioni sperimentali introduconoun ulteriore elemento di difficoltàLa risposta può assumere differenti valori anche per unitàsperimentali con identici valori della variabileindipendente (o, più in generale dei predittori o covariate)Y = f(X)+ εCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 10

La Regressione Lineare SempliceIl più semplice modello che possiamo considerare assumerelazione lineare tra una variabile casuale dipendente(continua) e una sola variabile indipendente:Y = α + βx +i iCioè un modello lineare semplice perché contenente un solo predittore e diprimo ordine perché l’esponente più elevato del predittore è 1εiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 11

La Regressione Lineare Semplice 2Alternativamente possiamo formulare il modello in mododa distinguere la struttura casuale e quella sistematica:Yi ~ N(µ i,σIntendendo che gli y i , i valori della variabile di rispostaosservati, sono realizzazioni di una variabile casuale Y idistribuita normalmente attorno ad ogni valore medio µ idipendente dai valori di ingresso del predittore, X i e convarianza costante σ 22)Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 12

La Regressione Lineare Semplice 3La parte sistematica del modello assume che l’attesa dellarisposta dipende linearmente dai valori del predittoreLa media, µ i , o attesa di Y condizionale ai valori assuntidal predittore è dunque definita da:µ = α + βx i iCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 13

La Regressione Lineare Semplice 4Il modello ha quindi la forma:Variabile di Risposta = Forma del modello + Errore casualeSpecificamente nel caso della regressione lineare:Variabile di Risposta = Funzione lineare + Errore casualeLa funzione lineare consta di due parametri (la costante α ela pendenza β) che debbono essere stimati a partire dallerisposte e dai valori del predittore che si assumono misuratisenza errore.Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 14

Alcuni impieghi della regressione lineareDescrivere un’associazione lineare causale o noncausale (associazione) tra due variabiliPredire il valore medio della variabile dipendente (eun intervallo di valori probabili) dato un valore delpredittoreValutare se una relazione apparente tra due variabili èsignificativaApprossimare la relazione non lineare tra due variabiliin un intervallo limitatoCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 15

OLS*Come stimare, a partire da un insieme di dati costituiti n dacoppie di osservazioni X 1 Y 1 , X 2 Y 2 …X n Y n , i parametrisconosciuti α, β ed ε i ?Otteniamo a e b, stime dei parametri sconosciuti α e βutilizzando il metodo dei minimi quadrati; troviamo, cioè,quei valori di a e b che minimizzano la somma dei quadratidelle distanze dei valori osservati dalla retta di regressionen∑i=1ε2i=n∑i=1n( )2Y − = ∑( − − )iYˆYia bxii=12=minCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 16

OLS 20.90.80.70.60.50.40.30.20.10ols0 5 10 15 20 25Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 17

OLS 3Per la regressione lineare semplice si trova che:eb==∑X Yi∑X−2icodevianzaXYdevianzaXi[( ∑ X )( ∑ )]iYi− ( ∑ )2Xi/ n=SSaXYXX/ n== Y−b X∑( X )( )i− X Yi−Y∑( − )2XiX=Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 18

Esempio 1Temperature Chirps69 1570 1572 1675 1676 1480 1581 1781 1682 1783 1683 1784 1884 1789 2093 20Supponiamo di voler studiare la relazione tra frequenzadel canto dei grilli (y) e temperatura (x) a partire dalle15 osservazioni riportateUtilizzando il foglio elettronico, possiamo innanzituttodeterminare le due medie campionarie: temperatura80.13 °F (=(80-32)/1.8= 26.7°C) e canto 16.6suoni minuto -1Quindi gli scarti semplici(x 1 -x m )=(69-80.13)=-11.13Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 19

Esempio 2(xi-xm) (yi-ym)-11.13 -1.6-10.13 -1.6-8.13 -0.6-5.13 -0.6-4.13 -2.6-0.13 -1.60.87 0.40.87 -0.61.87 0.42.87 -0.62.87 0.43.87 1.43.87 0.48.87 3.412.87 3.4Camerino5 settembre 2001Una volta ottenuti gli scarti semplici possiamo calcolare illoro prodotto e quindi sommare per ottenere lacodevianza S XY =133.8Nell’esempio i dati sono ordinati per Temperature. Ladistribuzione concorde dei segni degli scarti e dellequantità lascia supporre che esista una relazione direttatra le due variabiliElevare al quadrato per ottenere gli scarti quadratici equindi le rispettive devianze sommando per i da 1 a15: S XX = 631.7 e S YY = 41.6Corso di Metodologia Statistica edEpidemiologica 20

Esempio 3(xi-xm)(yi-ym) (xi-xm)^2 (yi-ym)^217.81 123.95 2.5616.21 102.68 2.564.88 66.15 0.363.08 26.35 0.3610.75 17.08 6.760.21 0.02 2.560.35 0.75 0.16-0.52 0.75 0.360.75 3.48 0.16-1.72 8.22 0.361.15 8.22 0.165.41 14.95 1.961.55 14.95 0.1630.15 78.62 11.5643.75 165.55 11.56S(XY)= S(XX)= S(YY)=133.8 631.73 41.60Camerino5 settembre 2001Abbiamo tutti gli elementi per calcolare b:b= S XY /S XX =133.8/631.7=0.212Il segno positivo di b indica che la frequenza dicanto tende ad aumentare all’aumentare dellatemperatura. In media abbiamo un suono in più alminuto ogni 5 °FUtilizziamo b per calcolare l’intercetta:a = 16.6 - 0.2*80.1=-0.37Valore che nel nostro modello non ha moltosignificatoCorso di Metodologia Statistica edEpidemiologica 21

Esempio 4Chirps(obs) Chirps(pred)15.0 14.215.0 14.516.0 14.916.0 15.514.0 15.715.0 16.617.0 16.816.0 16.817.0 17.016.0 17.217.0 17.218.0 17.417.0 17.420.0 18.520.0 19.3Possiamo utilizzare la retta per predire i valori yy pred = -0.37+0.212(x i )o per predire la frequenza di canto pertemperature non osservate. Ad esempio perX=91 °F , y predetto vale 18.9; perX=180°F avremmo circa 38 suoni al minuto.Tuttavia ad 82°C di temperatura è improbabileche un grillo abbia ancora voglia di cantare.Le predizioni al di fuori dello spazio campionerichiedono particolare cautelaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 22

Equazione della retta stimataPossiamo scrivere l’equazione della retta stimata utilizzandoi minimi quadrati come:Ŷ = a + b XO, sostituendo nella precedente a = Y−b XŶ= Y − bX+ bX= Y + b X( ) − XDa cui si vede che percontiene il punto(X, Y)X = X, Ŷ = Ycioè la retta, centro di gravità dei datiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 23

La Tabella ANOVAQuanta variabilità presente nei valori di risposta Y ispiegata dalla retta di regressione?Possiamo suddividere lo scarto di un y i dalla media in duequantità:• la distanza del punto dal valore predetto o atteso inbase alla retta di regressione e• la distanza del valore atteso dalla media di Yyi−y=( y − yˆ) + ( yˆ− y)iiièCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 24

La Tabella ANOVA 2Sommando i termini per ogni Y da 1 a n ed elevando alquadrato si ha:n∑i=12 n2 n2( y − y) = ( yˆ− y) + ( y − yˆ)i∑i=1Poiché il doppio prodotto vale 0.i∑Quindi, Variabilità totale della risposta Y= (Variabilitàspiegata dalla dipendenza lineare da X) + (Variabilitàresidua o errore)i=1iiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 25

La Tabella ANOVA 3Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 26

La Tabella ANOVA 4La variabilità attorno alla retta di regressione, anche dettaSomma dei Quadrati Errore (SSE)* dipende da due fattori distinti:• La variabilità casuale presente nei dati (σ 2 ) o errorevero e proprio• La non linearità della dipendenza di Y da X (in altreparole l’assunto della retta non è verificato e il modellosoffre di mancanza di adattamento)*Nota: se tutti i punti sono sulla retta SSE=0Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 27

La Tabella ANOVA 5Quanto maggiore è la variabilità spiegata dalla regressionerispetto alla variabilità residua, SSE, tanto migliore risulta ilnostro modelloCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 28

Gradi di libertàPer confrontare la variabilità spiegata dalla regressione e lavariabilità residua dobbiamo tener conto dei rispettivi ‘gradi dilibertà’, gl, cioè del numero di informazioni indipendentinecessarie per il calcolo della somma dei quadrati a partiredalle n informazioni libere iniziali (gli n Yi):•La somma dei quadrati totale ha n – 1 gl;•La SSE ha n – 2 gl in quanto il calcolo dei residui richiede idue parametri a e b;•Per sottrazione la somma dei quadrati della regressione ha 1glCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 29

La Tabella ANOVA 6Fonti di variabilitàSomma deiQuadratiglMedia deiquadratinSpiegata dalla2SSg= ∑( yˆ Re i− y)1 MSregressione b 1 |b i=1Reg =SS Reg /10nResidua o errore 2SSE = ( y i− yˆi) (n – 2) MSE=SSE/n-2∑i=1Totale correttaSS = ∑( y − y)2Y i (n – 1)n2Dovuta a b 0 * ⎛ ⎞2TotaleSSa⎜ yi⎟ n =i=1= ∑⎝n∑i=1⎠2y i/ ny1nCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 30

La Tabella ANOVA 7*yy ˆ =yy ˆ = a +bxPredizione di Y secondo i due modellicon b=0 (indifferenza) e b≠0Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 31

R 2Una misura complessiva dell’adattamento del modello èdata dalla statistica R 2 .R 2 misura la proporzione di variabilità totale (corretta)spiegata dalla regressione lineareRSS ˆ2 Re gi=SCamerino5 settembre 2001YY=∑∑( y − y)XY2XY( )2y − yYYSXXSYYiNote:1) R 2 non misura l’appropriatezza del modello lineare. 2)Valori elevati di R 2 non corrispondono necessariamente a belevati. 3) Il valore massimo 1(100%) non può essere raggiunto inpresenza di valori X ripetuti che riflettono l’errore casuale2=bSSCorso di Metodologia Statistica edEpidemiologica 32=S

Esempio 5(ypred-ym) (ypred-ym)^2-2.4 5.560-2.1 4.606-1.7 2.967-1.1 1.182-0.9 0.7660.0 0.0010.2 0.0340.2 0.0340.4 0.1560.6 0.3690.6 0.3690.8 0.6710.8 0.6711.9 3.5272.7 7.426SS(reg)28.339Camerino5 settembre 2001Possiamo utilizzare i valori predetti per calcolaredirettamente la Somma dei Quadrati della Regressioneoppure sfruttare il fatto cheYˆ= Y + b ( X − X)Per otteneren2 n( )2∑( )2− = ⋅∑( − )2 SSXYyˆiy b xix =SSi=1i=1( )Cioè SS Reg =(133.8) 2 /631.7=28.339 chedivisa per la devianza y (41.6) fornisce R 2 = 0.68Corso di Metodologia Statistica edEpidemiologica 33XX

Esempio 6La Media dei Quadrati della Regressione per una sola variabilepredittiva vale MS Reg =SS Reg /1=28.3Per ricavare MSE, iniziamo calcolando SSE per sottrazione:SSE=41.6-28.3=13.3Quindi dividiamo SSE per il numero dei gradi di libertà (n-2)=13:MSE=13.3/13=1.02La variabilità spiegata dalla regressione è decisamente maggioredell’erroreCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 34

Assunti*Supponiamo di assumere che tra due variabili esista una relazione lineare,per fare delle inferenze sul valore dei parametri (sconosciuti) α e β ,utilizzando gli stimatori a e b, sono necessari alcuni assunti:o Esistenza. Per ogni valore definito di X, Y è una variabilealeatoria associata con una qualche distribuzione di probabilitào Indipendenza.I valori Y sono tra loro indipendentio Linearità.Le medie di Y per ogni valore X, µ Y|X , sono unafunzione lineare di X, giacciono su una rettao Omoscedasticità. La varianza di Y condizionale ai valori X ècostante: σ 2 Y|X = σ2o Normalità. Y si distribuisce normalmente per ogni valore XCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 35

Assunti 2*201510Y|X1 Y|X2 Y|X3Per ogni X i assumiamo che Y i ~N(µ Y|X , σ 2 ) o che ε i ~N(0,σ 2 )Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 36

Test Fs 2 è una stima della variabilità residua della risposta tenutoconto della dipendenza lineare di Y dal predittore X, σ 2 Y|XSe non vi è mancanza di adattamento del modello, se, cioè,la relazione tra le due variabili è lineare, allora s 2 fornisce unastima di σ 2MS Reg fornisce una stima di σ 2 se Y non dipendelinearmente da X, cioè se è vera l’ipotesi nulla, H 0 β=0;altrimenti in presenza di una variazione lineare sistematica H 1β≠0, MS Reg sovrastima σ 2Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 37

Test F 2Sotto l’ipotesi nulla H 0 β=0, le due variabili indipendentiMS Reg e s 2 sono stimatori della stessa quantità sconosciuta σ 2Tanto più il rapporto sarà maggiore di 1 tanto più probabilesarà la presenza di un effetto sistematico di XIl rapporto tra varianze F = MS Reg / s 2 ha una distribuzioneF con 1(nel caso di un solo predittore) ed (n – 2) glPossiamo confrontare il valore sperimentale di F con il valoretabulare F(1, n – 2) per stabilire se β≠0 in base ai datiosservatiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 38

Esempio 7Supponiamo di aver stabilito α = 0.05,F sperimentale =MS Reg / MSE= 28.3/ 1.02=27.8deve essere confrontato con il valore tabulareF [1,13;0.05] =4.67Poiché F sperimentale > F tabulare respingiamo l’ipotesi nulla che lafrequenza di canto non dipenda linearmente dalla temperaturaIl risultato fornito da un programma statistico probabilmentecomprenderebbe il valore p = 0.00015 cioè la probabilità diosservare per effetto della variabilità campionaria un rapporto comequello osservato o maggiore se l’ipotesi nulla fosse stata veraCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 39

Test t per il coefficiente b*Possiamo esprimere b come( x − x)La varianza di una funzione del tipoCamerino5 settembre 2001V( b)Vb=∑iy∑( x − x) 2iia = a Y + ... + a Y + ... +( a ) ( a2 ) σ2=∑∑=iSe gli ∑2ai= ( xi− x) / ( xi− x)sono costanti, gli Y i non sonocorrelati tra loro e V(Y i )=σ 2 è la stessa per ogni Y i alloraσ( )2x − x SXXi211=σCorso di Metodologia Statistica edEpidemiologica 402iianYn

Test t per il coefficiente b 2Possiamo ricavare la misura della variabilità di b sostituendoa σ 2 la sua stimas2n= ∑i=1( )2y − yˆ/( n − 2)iEstraendo la radice quadrata otteniamo la deviazionestandard del coefficiente bs sES ( b)==12x − x SXXi[ ( ) ] ( ) 2∑iCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 41

Test t per il coefficiente b 3Finalmente possiamo costruire un test per valutare quanto èprobabile osservare un valore del coefficiente b come quelloattuale o più elevato se fosse vera l’ipotesi nulla per cui β=β 0Camerino5 settembre 2001=b − βESt0( b)Avendo stabilito prima del test un livello di errore α arbitrario,possiamo confrontare il valore sperimentale del test |t|con il valore tabulare t(gl=(n-2),α) per stabilire se i datiforniscono evidenza sufficiente a rifiutare l’ipotesi nullaCorso di Metodologia Statistica edEpidemiologica 42

Test t per il coefficiente b 4Nell’eseguire un test t per il coefficiente b vogliamo spesso valutare sela pendenza della retta è significativamente diversa da 0, cioè se X èutile per predire i valori Y una volta assunta una relazione lineare.Possiamo interpretare i risultati del test come segue:• SE IL RISULTATO RICADE NELLA ZONA DIACCETTAZIONE DI H 0 β=0, ALLORA Y è indifferente ad X e il modello y ˆ = yè da preferire per la suasemplicità Tra Y ed X esiste una relazione non lineare , potremmo cioèaver bisogno di altri termini (ad esempio X 2 ) per descrivere larelazione X YCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 43

Test t per il coefficiente b 5• SE IL RISULTATO RICADE NELLA ZONA DIACCETTAZIONE DI H 1 β≠0o La relazione tra X e Y è almeno approssimativamentelineareo Un altro modello (ad esempio di ordine superiore) èmigliore del modello lineare semplice di ordine 1 maesiste una componente di dipendenza lineare definitaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 44

Stima intervallare per bAlternativamente possiamo utilizzare ES(b) per costruire unastima intervallare per la pendenza della retta ad un livello diconfidenza arbitrariamente prefissato al 100(1-α)%b±ts( n − 2,1 −1 α )2 12S XXIn cui t è basato su n –2 glperchés è l’unica fonte di variabilitàcasuale nell’equazioneCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 45

Stima intervallare per b 1L’intervallo di confidenzaoltre a provvedere l’informazione fornita dal test –se ilvalore β 0 è incluso nell’intervallo non vi sono elementi perrespingere l’ipotesi nulla al livello di errore α stabilito–ci restituisce un intervallo di valori per il coefficiente bche consente di formulare valutazioni sull’importanza delladipendenza di Y a X e sull’adeguatezza della numerositàcampionariaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 46

Esempio 8In realtà noi abbiamo già calcolato s2 sebbene abbiamo designatoquesta quantità in modo diverso, utilizzando la terminologiadell’Analisi della Varianza come MSE =1.02. SXX = 631.7;estraiamo le rispettive radici ed otteniamo ES(b) = 1.01/25.13Supponiamo di aver stabilito α = 0.05,t sperimentale = b - β 0 / ES(b)= (0.212 - 0) / 0.040 = 5.27deve essere confrontato con il valore tabularet [13;0.05] = 2.16Poiché t sperimentale > t tabulare respingiamo l’ipotesi nulla di indifferenzatra canto e temperaturaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 47

Esempio 9Per questo test p = 0.00015; è una coincidenza?Il valore t sperimentale 5.27 elevato al quadrato fornisce 27.78.Il test F ed il test t per il coefficiente b nel caso di una regressionelineare semplice forniscono lo stesso risultatoPossiamo calcolare un intervallo di confidenza al 95% per b:b ± t [13, 0.975] *ES(b)Definendo t*ES(b) fattore di errore = 0.087, l’intervallo va da0,212-0.087 = 0.13 a 0,212+0.087 = 0.30 e, come ciaspettavamo, non include il valore nulloCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 48

Bande di confidenza per la retta*Possiamo calcolare un intervallo di confidenza per la media Yper ogni dato valore di X=X 0 , µ y|X0 .L’errore standard di Y vale1S yˆ= SY|X0+nni=Camerino5 settembre 2001( X − X )02∑ ( X − )iXE l’intervallo di confidenza èYˆXt[ ] Sn−2;1−α2Y X 00ˆ2TemperaturaBande di confidenza al 90%Frequenza del cantoy = a + bx± Grafico delle bande di confidenza al90% per la retta stimataCorso di Metodologia Statistica edEpidemiologica 49

Coefficiente di Correlazione rIl coefficiente di correlazione di Bravais-Pearson fornisceuna misura dell’associazione lineare tra due variabili. Laformula per il calcolo èn∑( x − x)( y − y)i ii=1r ==nn∑( )2( )2xi− x ∑ yi− yi= 1 i=1SS12XXXYS12YYCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 50

Coefficiente di Correlazione r 2r è matematicamente collegato a b:r=bSS12YY12XX=b∑( y − y)∑( x − x)ir non ha scala né unità di misura; un cambiamento di scalamodificherà b, che misura l’entità del cambiamento in Yper una variazione unitaria di X, ma non avrà effetto su ri22Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 51

Coefficiente di Correlazione r 3r può assumere valori tra –1 e +1. Un valore |1| indicauna perfetta correlazione tra X e Y, cioè i punti concoordinate (x i ,y i ) giacciono su una retta.Il segno indica se la correlazione è diretta (+) o inversa (–)Il valore 0 indica assenza di correlazione lineareCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 52

Esempio 10Essendo S YY½ = 6.45 e S XX½ , già calcolato, pari a 25.13, ilprodotto delle due quantità vale 162.11. S Xy vale 133.8. Quindir = 133.8 / 162.1=+0.83Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 53

Costruzione del modelloOsservare: misurazione dei datiAssumere la forma del modelloAdattare il modello ai datiAssumere un nuovo modelloValutare la significatività e labontà dell’adattamentoCamerino5 settembre 2001Non soddisfacenteSoddisfacenteFineCorso di Metodologia Statistica edEpidemiologica 54

Valutazione del modello*L’assunto iniziale relativo alla forma del modello, così comealtri assunti resisi necessari per fare inferenze sui parametri dipopolazione (sconosciuti),non deve essere accettato dogmaticamente maanch’esso verificato; ed è questa una norma generale affattospecifica della regressione lineare sempliceCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 55

Osservazioni ripetute*In presenza di osservazioni ripetute possiamo costruire untest F per la mancanza di adattamentoSono osservazioni ripetute le determinazioni multiple di Yin corrispondenza di identici valori XSe il valore del predittore è identico, allora le risposte Ydifferiscono solo per effetto della variabilità casualeQuindi le osservazioni ripetute ci consentono di stimarel’errore casuale vero e proprio (σ 2 )Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 56

Osservazioni ripetute 2*NotazioneAbbiamo m valori X differenti in corrispondenza dei qualiosserviamo un certo numero n j di ripetizioni Y ju con j =1, 2,…, mOgni serie di ripetizioni contribuisce alla Somma dei Quadratidell’errore casuale con la somma degli scarti quadratici attorno allapropria media; ad esempio per n 3 ripetizioni in corrispondenza di X 3Camerino5 settembre 2001n∑(3) Y −Y3 u 3u=12Corso di Metodologia Statistica edEpidemiologica 57

Osservazioni ripetute 3*Sommando le somme dei quadrati corrispondenti ad ogni X jabbiamomnj∑∑( ) Y −Yju jj= 1 u=1E i gradi di libertà relativi saranno pari a n j –1 per ogni seriedi ripetizioni cioèm∑j=1n j− m2Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 58

Osservazioni ripetute 4*Possiamo calcolare la Media dei Quadrati entro ripetizionidividendo la Somma dei Quadrati per il numero dei gl.Questa quantità, s e2 , fornisce una stima di σ 2 indipendentementedall’esattezza del modello lineareSi può dimostrare che la Somma dei Quadrati dei Residuipuò essere scomposta in SS e e Somma dei Quadrati dovutaalla mancanza di adattamento del modello (erroresistematico):m n( )m n∑∑ ∑∑ ( )m22Y − = − + ∑ ( − )juYˆjYjuYjnjYˆjYjj= 1 u=1Camerino5 settembre 2001jjj= 1 u=1j=1Corso di Metodologia Statistica edEpidemiologica 592

Osservazioni ripetute 5*Possiamo calcolare la Somma dei Quadrati dovuta allamancanza di adattamento sottraendo s e2 dalla SSE e similmenteottenere il numero dei gl per sottrazioneE costruire infine il test che confronta la Media deiQuadrati dovuta alla mancanza di adattamento con laMedia dei Quadrati entro ripetizioniMSLFF =Il risultato può essere confrontato con il valore F tabulare con (n res –n e ) ed n e gl ad un tasso di errore a prestabilitoCamerino5 settembre 2001s2eCorso di Metodologia Statistica edEpidemiologica 60

Osservazioni ripetute 6*Un risultatoo Significativo indica che il modello è inadeguato. Ulterioriindagini (ad esempio esame dei residui) sono indicate perindividuare l’origine dell’inadeguatezzao Non Significativo indica che in base a questo test non cisono elementi per mettere in discussione l’adeguatezza delmodelloCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 61

I Residui (cenni)*ˆI residui ei= Yi−Yii = 1, 2 …n contengono tuttal’informazione relativa alla variabilità non spiegata dallaregressioneSe il modello è corretto, allora i residui rappresentano glierrori osservatiSe il modello soffre di mancanza di adattamento, allora iresidui contengono, oltre all’errore, una variabilitàsistematica (bias)Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 62

I Residui 2*Analizziamo i residui per valutare se uno o più degli assunti che si sonoresi necessari nella regressione risultano violati; ad esempioper valutare l’assunto di normalità, ε i ~N(0, σ 2 ) e di unavarianza costante σ 2 per evidenziare andamenti sistematici chesuggeriscano componenti non lineari per individuare osservazioni influenti, che modificanosensibilmente i parametri della retta stimataCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 63

I Residui 3*Poiché nella stima dei parametri poniamo una serie di vincoli cheriguardano essenzialmente i residui (ad esempio la somma dei residuivale 0), i residui non sono indipendenti come assumiamo che siano glierrori εiTuttavia se il numero delle osservazioni è grande rispetto al numerodei parametri, allora i vincoli non hanno grande importanza ai fini deicontrolli di normalitàPer valutare l’assunto di normalità, possono essere utilisemplici grafici come un istogramma di frequenze, undiagramma ramo e foglia o un diagramma a scatola con baffiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 64

I Residui 3*Unstandardized Residual Stemand-LeafPlot54Frequency Stem & Leaf33 -1 . 2573 -0 . 2477 0 . 02455672 1 . 15Stem width: 1.00000Each leaf: 1 case(s)Frequency210-1.5 -1.0 -.5 0.0 .5 1.0 1.5Regression Standardized ResidualStd. Dev = .96Mean = 0.0N = 15.00Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 65

I Residui 4*3° quartile2° quartile2Eventuali valori anomalio/e valori estremi11° quartile 1,5*intervallo0-1interquartileIIQ-2N =15ResiduiCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 66

Valori anomali ed estremiL’istogramma, la scatola e il grafo stem & leaf consentono diindividuareo valori anomali (tra 1,5 e 3 *intervallo interquartile IIQ)che compaiono con una frequenza approssimativa di 1/20osservazioni in un campione estratto da una distribuzionenormaleo valori estremi (oltre 3 * IIQ) con una frequenza di circa1/200 osservazioniCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 67

I Residui 5*1.00Normal P-P Plot of Regression Standardized Residual.75.50Expected Cum Prob.250.000.00.25.50.751.00Observed Cum ProbCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 68

Grafico di e i vs Y predettoUn grafico a dispersione dei residui e i rispetto ai valori ypredetti (y cappello ) è utile pero identificare una varianza non costante (distribuzione adaltoparlante) oo la presenza di relazioni non lineari (presenza di curvatura)Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 69

I Residui 6*Regression Standardized Residual2.01.51.0.50.0-.5-1.0-1.5-2.0-2Regression Standardized Predicted ValueCamerino5 settembre 2001-1012Distribuzione soddisfacenteSuggestivo di relazione nonlineareSuggestivo di varianza noncostanteTipiche distribuzioni della‘nuvola dei residui’Corso di Metodologia Statistica edEpidemiologica 70

I Residui 7*Frequenza del canto22171265 80 95Temperatura°C = (°F - 32) / 1,8Camerino5 settembre 2001Frequenza del canto221712Frequenza del canto2015105y = 0.27x - 5.37y = 0.21x - 0.3745 60 75 90Temperaturay = 0.15x + 4.63y = 0.21x - 0.3765 80 95Corso di Metodologia Statistica Temperatura edEpidemiologica 71

Il modello migliore21.90522Frequenza del canto17Frequenza di canto1265 80 95Temperatura1469 93TemperaturaCamerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 72

Riferimenti bibliograficiAlcuni Testi di Riferimento Elencati per Livello Crescentedi DifficoltàGlantz SA. (1988) "Statistica per discipline bio-mediche", McGRAW-HILL, Milano.Pagano M, Gauvreau K. (1994) "Biostatistica", Edizioni Gnocchi, Milano.Armitage P, Berry G. (1996) “Statistica Medica”. McGRAW-HILL,Milano.Kleinbaum DG, Kupper LL, Muller KE, Nizam A. (1998) “AppliedRegression Analysis and Other Multivariable Methods”. Duxbury Press, PacificGrove.Draper NR, Smith H. (1998) “Applied Regression Analysis”. Wiley, NewYork.Camerino5 settembre 2001Corso di Metodologia Statistica edEpidemiologica 73