La correlazione e la regressione - Scienze Politiche

Correlazione
Regressione
La correlazione e la regressione
Antonello Maruotti
. . . . . .
A. Maruotti

. . . . . .
Outline
1 Correlazione
2 Regressione

Correlazione
Regressione
Associazione tra caratteri quantitativi
Date due distribuzioni unitarie secondo caratteri quantitativi X e Y
x 1 x 2 · · · x n
y 1 y 2 · · · y n
associate in modeo che nell’unità i-esima il carattere X è presente
con la modalità x i ed il carattere Y con la modalità y i , per
valutare l’associazione fra i due caratteri X e Y ricorriamo
alla coviarianza
alla correlazione
A. Maruotti
. . . . . .

Correlazione
Regressione
La covarianza
Definizione
La covarianza è una misura del legame lineare tra due caratteri
quantitativi X e Y . E’ data dalla media aritmetica del prodotto
degli scarti di due caratteri dalle loro rispettive medie.
σ XY = 1 n∑
(x i − µ X )(y i − µ Y ) = 1 n∑
x i y i − µ X µ Y
n
n
i=1
i=1
. . . . . .
A. Maruotti

Correlazione
Regressione
La covarianza: osservazioni
Osservazioni: quando scarti positivi (negativi) del carattere X
tendono ad associarsi a scarti positivi (negativi) del
carattere Y , allora i loro prodotti saranno positivi e la
covarianza risulterà positiva; quando scarti positivi
del carattere X tendono ad associarsi a scarti negativi
del carattere Y (o viceversa), allora i loro prodotti
saranno negativi e la covarianza risulterà negativa.
Minimo e massimo: non è un indice relativo
−σ X σ Y ≤ σ XY ≤ σ X σ Y
. . . . . .
A. Maruotti

Correlazione
Regressione
La correlazione
Definizione
Il coefficiente di correlazione lineare è un indice che misura la
relazione lineare tra due caratteri quantitativi X e Y . E’ espresso
dal rapporto tra la covariaza tra i due caratteri X e Y ed il
prodotto dei rispettivi scarti quadratici medi.
r XY = σ XY
σ X σ Y
=
√ 1
n
1
∑ ni=1
n
(x i − µ X )(y i − µ Y )
∑
√ ni=1
(x i − µ X ) 2 1 ∑ ni=1
n
(y i − µ Y ) 2
. . . . . .
A. Maruotti

Correlazione
Regressione
La correlazione: proprietà
Il coefficiente di correlazione è compreso tra -1 e 1.
−1 ≤ r XY ≤ 1
Se r XY = 0, allora non vi è relazione di tipo lineare tra i due
caratteri. Si noti che l’incorrelazione tra due caratteri implica
correlazione nulla, ma non è vero il contrario.
Se r XY = ±1, allora esiste un legame lineare perfetto positivo
(r XY = 1) o negativo r XY = −1
Il coefficiente di correlazione è invariante per trasformazioni
lineari, a meno del segno.
. . . . . .
A. Maruotti

Correlazione
Regressione
La correlazione: fissiamo le idee
Date due variabili quantitative, diremo che sono
correlate positivamente se variano in modo concorde, ossia
all’aumentare [diminuire] dell’una aumenta
[diminuisce] anche l’altra;
correlate negativamente se variano in modo discorde, ossia
all’aumentare [diminuire] dell’una, l’altra diminuisce
[aumenta]
Osserviamo che due caratteri risultano concordi se gli scarti dalla
media tendono ad essere dello stesso segno mentre risultano
discordi se tali scarti tendono ad essere di segno opposto.
A. Maruotti
. . . . . .

Correlazione
Regressione
Obiettivo della regressione
Obiettivo dell’analisi di regressione è studiare il legame che
intercorre tra due variabili quantitative X e Y .
Correlazione =
0.494
Consumo
1 2 3 4 5 6 7 8
4 6 8 10 12
Reddito
. . . . . .
A. Maruotti

Correlazione
Regressione
Funzioni lineari
Il legame tra due variabili viene espresso mediante una funzione del
tipo
y = f (x)
Una delle funzioni più semplici è quella lineare
y = β 0 + β 1 x
β 0 : valore di y per x = 0
β 1 : variazione di y per un aumento unitario di x
A. Maruotti
. . . . . .

Correlazione
Regressione
Modello di regressione lineare semplice
Nella realtà difficilmente due variabili sono legate da una relazione
esatta. Per ovviare a questo inconveniente adottiamo il modello
y i = β 0 + β 1 x i + ϵ i
dove
β 0 = interecetta
β 1 = coefficiente di regression (pendenza)
y i = variabile risposta (dipendente)
x i = variabile esplicativa (indipendente)
ϵ i = residuo o errore (riflette le imperfezioni della relazione
lineare ed eventuali variabili esplicative omesse)
A. Maruotti
. . . . . .

Correlazione
Regressione
Stima dei parametri: metodo dei minimi quadrati
Ipotizziamo che il termine residuale sia di minima entità.
Determiniamo quindi la retta (ossia β 0 e β 1 ) in modo da rendere
minima la somma
n∑
(y i − β o − β 1 x i ) 2
i=1
A. Maruotti
. . . . . .

Correlazione
Regressione
Soluzione del problema dei minimi quadrati
Coefficiente di regressione
b 1 =
∑ ni=1
(x i − µ x )(y i − µ y )
∑ ni=1
(x i − µ x ) 2
Intercetta
b 0 = µ y − b 1 µ x
La retta dei minimi quadrati passa per il baricentro (alla
media di x corrisponde la media di y)
ŷ i = b 0 + b 1 x i
. . . . . .
A. Maruotti

Correlazione
Regressione
Adattamento del modello ai dati
Varianza totale
Varianza spiegata
Varianza residua
1
n
1
n
1
n
Scomposizione della varianza totale
n∑
(y i − µ y ) 2 = σy
2
i=1
n∑
(ŷ i − µ y ) 2 = σŷ
2
i=1
n∑
(y i − ŷ i ) 2 = 1 n∑
ˆϵ 2 i = σ 2ˆϵ
n
i=1
i=1
σ 2 y = σ 2 ŷ + σ 2ˆϵ
. . . . . .
A. Maruotti

Correlazione
Regressione
Coefficiente di determinazione
Per avere un indice della bontà di adattamento del modello ai dati
calcoliamo il rapporto tra variabilità spiegata dalla regressione e
variabilità totale
r 2 =
1
n
1
n
∑ ni=1
(ŷ i − µ y ) 2
∑ ni=1
(y i − µ y ) = σ2 ŷ
2 σy
2
La decomposizione della devianza totale garantisce che r 2 varia tra
0 (pessimo adattamento) e 1 (ottimo adattamento, la relazione è
perfettamente lineare).
A. Maruotti
. . . . . .