Schema della lezione

Schema della lezione
1. Non correttezza (“bias”) dovuta a variabili
omesse
2. Causalità e analsi di regressione
3. Regressione multipla e OLS
4. Misure di bontà della regressione
5. Distribuzione campionaria di OLS
1

Bias dovuta a variabili omesse
(SW Section 6.1)
L’errore u nasce a causa di fattori che influezano Y e che non
sono inclusi nella regressione; per questo motivo ci aspettiamo
che esistano sempre delle variabili omesse.
A volte, l’omissione di queste variabili porta a stimatori OLS
“bias” o non corretti
2

Nel caso di non correttezza dovuta a variabili omesse, il fattore
omesso “Z” deve essere:
1. Un fattore determinante di Y (i.e. Z è parte dt u);
2. Correlato con i regressori X (i.e. corr(Z,X) ≠ 0)
Entrambe queste condizioni devono essere verificate affinchè
l’omissione di Z dia origine a un bias
3

Nell’esempio dei voti:
1. La bravura in inglese (se l’inglese non è lingua madre)
plausibilmente influenza i voti: Z determina Y.
2. Le comunità di immigranti sono di solito meno benestanti
e godono di un minore budget di spesa scolastica – e di
conseguenza un alto STR: Z è correlato con X.
Di conseguenza, 1
ˆ β è non corretto, ma è più grande o più piccolo
del suo valore corretto?
• Cosa suggerisce il senso comune?
• Se non ci sono indizi, si ricorre alla formula…
4

Consideriamo nuovamente la formula
n
∑
ˆ
i=
1
β 1 – β1 = n
∑
i=
1
( X − X) u
i i
( X − X)
i
2
dove vi = (Xi – X )ui ≈ (Xi – µX)ui. Per le Assunzioni già fatte
Assunzione 1,
E[(Xi – µX)ui] = cov(Xi,ui) = 0.
Ma se E[(Xi – µX)ui] = cov(Xi,ui) = σXu ≠ 0?
=
5

In generale (cioè, anche se l’Assunzione #1 non è vera),
1
ˆ
n
1
∑(
X i − X) ui
n i=
1
β – β1 = n
1
∑
2
( X i − X )
n i=
1
p σ Xu → 2
σ X
=moltip. e div. per σu
⎛σ ⎞ ⎛ u σ ⎞ ⎛ Xu σ ⎞ u
= ⎜ ×
σ
⎟ ⎜
X σ Xσ ⎟ = ⎜ ρ Xu
⎝ ⎠ ⎝ u ⎠ σ
⎟ ,
⎝ X ⎠
dove ρXu = corr(X,u). Se l’Assunzione #1 è vera, allora ρXu = 0,
altrimenti….
6

Formula della non correttezza
dovuta a variabili omesse
ˆ β 1
p
→ β1 +
⎛σ⎞ ρ
u
⎜
σ
⎟
⎝ X ⎠
Se un fattore omesso Z è sia:
(1) un determinante di Y (cioè, è contenuto in u); sia
(2) correlato con X,
Allora ρXu ≠ 0 e lo stimatore OLS 1
ˆ β non è corretto (e non è
consistente).
Se ignoriamo il fatto che i bambini possono avere una lingua
madre diversa dall’inglese allora abbiamo una stima
dell’effetto classe “gonfiata”
È effettivamente questo quello che succede con i nostri dati?
Xu
7

• I distretti con meno bimbi con lingua madre diversa dall’inglese hanno voti più alti
• I distretti con meno bimbi con lingua madre diversa dall’inglese sono classi più piccole
• Fra i distretti con una percentuale comparabile di bambini con lingua madre diversa
dall’inglese, l’effetto della grandezza della classe è minore
(la differenza totale fra i test = 7.4)
8

Digressione su causalità e analisi di
regressione
Cosa vogliamo stimare?
• Cos’è con precisione un effetto causale?
• In questo corso, definiamo un effetto causale quello
misurabile da un esperimento casuale ideale e controllato.
9

Esperimento ideale casuale
controllato
• Ideale: tutti i soggetti seguono lo stesso protocollo – tutti
lo eseguono perfettamente, non ci sono errori nel riportare
i dati, etc.
• Casuale: le entità della popolazione di interesse sono
casualmente assegnate a un trattamento o a un gruppo di
controllo (non ci sono fattori che confondono)
• Controllato: avere un gruppo di controllo permette di
misurare gli effetti differenziali del trattamento
• Esperimento: il trattamento è assegnato come se fosse
un’esperimento : le entità non hanno scelta, non c’è
causalità inversa.
10

Nel nostro esempio
• Il trattmento non è assegnato casualmente
• Considerando la percentuale di bimbi per cui l’inglese non è
lingua madre. È possibile che Z = PctEL è:
1. un determinante di Y; e
2. correlato con X.
• Il gruppo di controllo e di trattamento sono
sistematicamente diversi – corr(STR,PctEL) ≠ 0
11

• Esperimenti casuali controllati:
• Casuali + controllati significa che ogni differenza fra il
gruppo di controllo e quello di trattamento è casuale – i
gruppi non sono sistematicamente correlati
• Possiamo eliminare la differenza in PctEL fra gruppi grandi
(di controllo) e piccoli (di treatmento) esaminando l’effetto
della grandezza della classe fra i distretti con lo stesso
PctEL.
• Se l’unica differenza sistematica fra grandi e piccolo gruppi
è in PctEL, allora possiamo riconoscere le caratteristiche di
un esperimento casuale controllato– per ogni gruppo PctEL.
• Questo è un modo di “controllare” per l’effetto di PctEL
quando stimiamo STR.
12

2 modi per rimediare al problema delle variabili omesse
1. Fare esperimento controllato e casuale in cui STR è assegnato
casualmente: PctEL è ancora una determinante dei Voti ma
PctEL è non correlato con STR. (difficile da realizzare in
pratica.
2. Aggiungere PctEL come regressore
13

Il modello di regressione multipla
della popolazione
Consideriamo il caso di 2 regressori:
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
• Y variabile dependente
• X1, X2 2 variabili independenti (regressori)
• (Yi, X1i, X2i) denotano l’i th osservazione di Y, X1, e X2.
• β0 = intercetta della popolazione sconosciuta
• β1 = effetto di una variazione di X1 su Y, tenendo X2 constante
• β2 = effetto di una variazione di X2 su Y, tenendo X1 constante
• ui = errore di regressione (factori omessi)
14

Interpretazione dei coefficienti nella
regressione multipla
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
Consideriamo di far variare X1 di ∆X1 tenendo X2 costante:
Retta di regressione della popolazione prima della variazione:
E dopo:
Y = β0 + β1X1 + β2X2
Y + ∆Y = β0 + β1(X1 + ∆X1) + β2X2
15

Prima: Y = β0 + β1(X1 + ∆X1) + β2X2
Dopo: Y + ∆Y = β0 + β1(X1 + ∆X1) + β2X2
Differenza: ∆Y = β1∆X1
Perciò:
β1 =
β2 =
∆Y
∆ X
, tenendo X2 constante
1
∆Y
∆X
2
, tenendo X1 constante
β0 = valore previsto di Y quando X1 = X2 = 0.
16

Con 2 regressori, lo stimatore OLS risolve il seguente problema:
n
∑
min [ Y − ( b + b X + b X )]
b0, b1, b2 i 0 1 1i 2 2i
i=
1
• Lo stimatore OLS minimizza la differenza fra i valori attuali e
quelli previsti dalla regressione
• Il problema di minimizzazione si risolve utilizzando il calcolo
• Otteniamo così β0 e β1.
2
17

Es:
Voti ˆ = 698.9 – 2.28×STR
Includiamo la nuova variabile (PctEL):
Voti ˆ
= 686.0 – 1.10×STR – 0.65PctEL
• Che succede al coefficiente di STR?
• Perchè? (Nota: corr(STR, PctEL) = 0.19)
18

Multiple regression in STATA
reg testscr str pctel, robust;
Regression with robust standard errors Number of obs = 420
F( 2, 417) = 223.82
Prob > F = 0.0000
R-squared = 0.4264
Root MSE = 14.464
------------------------------------------------------------------------------
| Robust
testscr | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
str | -1.101296 .4328472 -2.54 0.011 -1.95213 -.2504616
pctel | -.6497768 .0310318 -20.94 0.000 -.710775 -.5887786
_cons | 686.0322 8.728224 78.60 0.000 668.8754 703.189
------------------------------------------------------------------------------
Voti ˆ = 686.0 – 1.10×STR – 0.65PctEL
19

Misure di bontà della regressione
Attuale = predetto + residuo: Yi = Y ˆ
i + u ˆi SER = deviation standard di u ˆi (con correzione per g.l.)
RMSE = deviation standard di u ˆi (senza correzione per g.l.)
R 2 = frazione della varianza di Y spiegata da X
2
R = “aggiustato R 2 ” = R 2 con correzione per g.l;
2
R < R 2
20

R 2 e 2
R
L’R 2 ha la stessa definizione vista per il caso di un singolo
regressore
R 2 = ESS SSR
= 1− ,
TSS TSS
dove ESS =
n
∑
i=
1
( Yˆ −Yˆ)
i
2
, SSR =
n
∑
2
uˆ
i , TSS =
i=
1
n
i=
1
( Y −Y)
• Ma cresce sempre quando aggiungiamo un regressore
∑
i
2
.
21

L’
2
R corregge questo problema
Aggiustato R 2 :
Nota che
R
2
2
R =
⎛ n −1
⎞SSR
1−
⎜ ⎟
⎝n−k −1⎠TSS
2
R < R 2 , se n è grande diventano molto simili
22

(1)
(2)
Voti ˆ
Voti ˆ
= 698.9 – 2.28×STR,
R 2 = .05, SER = 18.6
= 686.0 – 1.10×STR – 0.65PctEL,
R 2 = .426,
2
R = .424, SER = 14.5
23

Assunzione per la Regressione
Multipla
Yi = β0 + β1X1i + β2X2i + … + βkXki + ui, i = 1,…,n
1. E(u|X1 = x1,…, Xk = xk) = 0.
2. (X1i,…,Xki,Yi), i =1,…,n, are i.i.d.
4
3. grandi outliers sono rari: X1,…, Xk; E( X 1i)
< ∞,…, E(
∞, E( Y ) < ∞.
4
i
4. non c’è perfetta multicollinearità.
4
X ki)
<
24

Assunzione #1
E(u|X1 = x1,…, Xk = xk) = 0
• Stessa interpretazione del caso di un singolo regressore.
• Se c’è una variabile omessa in (1) allora questa condizione
non è più valida
• Il fallimento di questa condizione conduce al problema della
bias dovuta a variabili omesse
• La soluzione – se è possibile – è di includerre le variabili
omesse nella regressione.
25

Assunzione #2: (X1i,…,Xki,Yi), i =1,…,n, sono i.i.d.
Soddisfatta se i dati sono raccolti in campionamento casuale
semplice.
Assunzione #3: grandi outliers sono rari
Stessa assunzione vista per il caso di un singolo regressore
26

Assunzione #4: Non c’è multicollinearità perfetta
Multicollinearità perfetta si ha quando un regressore è il
risultato di una funzione lineare esatta di altri regressori
Es: se includiamo STR due volte:
regress testscr str str, robust
Regression with robust standard errors Number of obs = 420
F( 1, 418) = 19.26
Prob > F = 0.0000
R-squared = 0.0512
Root MSE = 18.581
-------------------------------------------------------------------------
| Robust
testscr | Coef. Std. Err. t P>|t| [95% Conf. Interval]
--------+----------------------------------------------------------------
str | -2.279808 .5194892 -4.39 0.000 -3.300945 -1.258671
str | (dropped)
_cons | 698.933 10.36436 67.44 0.000 678.5602 719.3057
-------------------------------------------------------------------------
27

Distribuzione Campionaria dello
stimatore OLS
Sotto le 4 Assunzioni OLS,
• La distribuzione esatta di 1
ˆ β in campioni finiti ha media β1, la
var( 1
ˆ β ) è inversamente proporzionale a n; così come per 2
ˆ β .
• Oltre alla media e varianza l’esatta distribuzione di 1
ˆ β è complicata
a parte che per n grande…
• 1
ˆ β è consistente: 1
ˆ
p
β → β1 (Legge dei grandi numeri)
ˆ β1−E( ˆ β1)
•
si distribuisce approssimativamente come N(0,1)
var( ˆ )
β
1
(CLT)
• Ciò vale per tutti 2
ˆ β ,…, ˆ β k
Niente di nuovo!
28

Multicollinearità Perfetta e
Imperfetta
Ulteriori esempi di multicollinearità perfetta:
Regressione dei Voti su:
• una costante = 1 per tutti i valori,
• D, Di = 1 se STR ≤ 20, e = 0 altrimenti,
• B, Bi = 1 se STR >20, e = 0 altrimenti,
di conseguenza Bi = 1 – Di, multicollinearità perfetta
Dovremmo eliminare l’intercetta o una delle due dummy
29

La trappola “dummy”
Supponiamo di avere un insieme di molte variabili binarie
che sono mutualmente esclusive ed esaustive ( ci sono categorie
multiple e ogni osservazione ricade in una e una sola categoria
(tipicamente quando si inserisce la categoria“altri”). Se
includiamo tutte queste “dummy” e una costante avremmo un
caso di multicollinearità perfetta.
• Soluzione :
1. Omettere uno dei gruppi, oppure
2. Omettere l’intercetta
• Attenzione: cambia l’interpretazione dei coefficienti!!!
30

• multicollinearità perfetta di solito è dovuta a errori nelle
definizioni dei regressori o da stranezze nei dati
• se c’è multicollinearità perfetta, il software automaticamente
elimina uno dei regressori a caso.
• La soluzione è di eliminare uno dei regressori
31

multicollinearità imperfetta: due o più regressori sono altamente
correlati.
Il diagramma a nuvola fra due variabili altamente correlate si
approssima a una linea retta.
32

multicollinearità imperfetta implica che la stima di uno o più
coefficienti di regressione non sarà precisa
• Intuitivamente: il coefficiente di X1 misura l’effetto di X1
tenendo costante X2; ma se X1 e X2 sono correlate, c’è poca
variazione di X1 una volta che teniamo costante X2 – i dati
sono poco informativi su quello che succede quando X1 varia
e X2 è costante, la varianza dello stimatore OLS del
coefficiente di X1 sarà grande.
• multicollinearità imperfetta implica grandi standard error per
uno o più coefficienti OLS
33

Test d’Ipotesi nelle regressioni multiple
ˆ β − E(
ˆ β )
var( ˆ β )
• 1 1
1
~N(0,1) (CLT).
• Le ipotesi su β1 possono essere testate usando la usuale tstatistica,
e gli intervalli di confidenza { ˆ β 1 ± 1.96×SE( ˆ β 1)}.
• Così come per β2,…, βk.
ˆ ˆ β sono generalmente non independentemente e
• β 1 e 2
identicamente distribuite – così come le statistiche-t.
34

Es:
(1)
Voti ˆ
= 698.9 – 2.28×STR
(10.4) (0.52)
(2) Voti ˆ = 686.0 – 1.10×STR – 0.650PctEL
(8.7) (0.43) (0.031)
• Il coefficiente di STR nella (2) è l’effetto che una variazione di
una unità di STR ha su Voti, tenendo costante PctEL nei
distretti.
• Il coefficiente di STR diminuisce
• L’intervallo di confidenza diventa {–1.10 ± 1.96×0.43} = (–
1.95, –0.26)
• la statistica t di βSTR = 0 è t = –1.10/0.43 = –2.54
35

Standard errors in multiple
regression in STATA
reg testscr str pctel, robust;
Regression with robust standard errors Number of obs = 420
F( 2, 417) = 223.82
Prob > F = 0.0000
R-squared = 0.4264
Root MSE = 14.464
------------------------------------------------------------------------------
| Robust
testscr | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
str | -1.101296 .4328472 -2.54 0.011 -1.95213 -.2504616
pctel | -.6497768 .0310318 -20.94 0.000 -.710775 -.5887786
_cons | 686.0322 8.728224 78.60 0.000 668.8754 703.189
------------------------------------------------------------------------------
Voti ˆ
= 686.0 – 1.10×STR – 0.650PctEL
(8.7) (0.43) (0.031)
Nota che gli standard error sono robusti!!!
36

Test d’ Ipotesi Congiunta
Definiamo Expn = la spesa per alunno:
TestScorei = β0 + β1STRi + β2Expni + β3PctELi + ui
L’ipotesi che le risorse scolastiche non contano corrisponde a
testare che sia STR che Expn non sono significative:
H0: β1 = 0 e β2 = 0
vs. H1: sia β1 ≠ 0 che β2 ≠ 0 o entrambi
Votii = β0 + β1STRi + β2Expni + β3PctELi + ui
37

H0: β1 = 0 e β2 = 0
vs. H1: sia β1 ≠ 0 che β2 ≠ 0 o entrambi
• Un’ipotesi congiunta specifica un valore per più di un
coefficiente, impone un vincolo.
• In generale, una ipotesi congiunta dà origine a q
restrizioni. Nell’esempio, q = 2, e le 2 restrizioni sono β1
= 0 e β2 = 0.
• Utilizziamo la statistica F per accettare o rifiutare l’ipotesi
nulla
38

In grandi campioni, F si distribuisce come una
2
χ q /q.
2
Valori critici di χ q /q nelle apposite tavole statistiche
q valori critici al 5%
1 3.84
2 3.00 (il caso di prima)
3 2.60
4 2.37
5 2.21
p-valore = probabilità nella coda della distribuzione della
oltre la statistica-F attualmente calcolata.
2
χ q /q
39

eg testscr str expn_stu pctel, r;
Regression with robust standard errors Number of obs = 420
F( 3, 416) = 147.20
Prob > F = 0.0000
R-squared = 0.4366
Root MSE = 14.353
------------------------------------------------------------------------------
| Robust
testscr | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------+----------------------------------------------------------------
str | -.2863992 .4820728 -0.59 0.553 -1.234001 .661203
expn_stu | .0038679 .0015807 2.45 0.015 .0007607 .0069751
pctel | -.6560227 .0317844 -20.64 0.000 -.7185008 -.5935446
_cons | 649.5779 15.45834 42.02 0.000 619.1917 679.9641
------------------------------------------------------------------------------
NOTE
test str expn_stu; The test command follows the regression
( 1) str = 0.0 There are q=2 restrictions being tested
( 2) expn_stu = 0.0
F( 2, 416) = 5.43 The 5% critical value for q=2 is 3.00
Prob > F = 0.0047 Stata computes the p-value for you
40

Le regressioni Vincolate (V) e Non
Vincolate (NV)
Test nel caso di errori omoschedastici:
Es: I coefficienti di STR e Expn sono uguali a zero?
Modello non vincolato (sotto H1):
Votii = β0 + β1STRi + β2Expni + β3PctELi + ui
Modello vincolato (sotto H0):
Votii = β0 + β3PctELi + ui
• Il numero di vincoli sotto H0 è q = 2
• R 2 sarà alto nel caso non vincolato
41

statistica-F nel caso di errori
omoschedastici:
dove:
Fq,n-k–1 =
( 2 2
R )
NV − RV
/ q
( 2
1−
R ) / ( n −k
−1)
NV
NV
2
R V = R 2 del modello vincolato
2
R NV = R 2 del modello non vincolato
q = numero di vincoli sotto ipotesi nulla
k NV = numero di regressori nel modello non ristretto
42

Modello ristretto:
Voti ˆ = 644.7 –0.671PctEL,
(1.0) (0.032)
Modello non ristretto:
2
R V = 0.4149
Voti ˆ = 649.6 – 0.29STR + 3.87Expn – 0.656PctEL
(15.5) (0.48) (1.59) (0.032)
2
R NV=
0.4366, k NV=
3, q = 2
dunque F =
=
( 2 2
R )
NV − RV
/ q
( 2
1−
R ) / ( n − k −1)
NV
NV
(.4366 − .4149) / 2
(1 − .4366) /(420 −3− 1)
Note: F robusta alla eteroschedast = 5.43…
= 8.01
43

2
La distribuzione F “sta ad” una q/q
come la
distribuzione tn–1 “sta alla” distribuzione N(0,1)
2
La Fq,∞ e la χ /q sono approssimativamente uguali
q
Di regola si deve sempre utilizzare la F-statistica
2
robusta (Fq,∞) ed i valori critici riferiti a χq
/q
χ
44

Test di più di un coefficiente con
una singola restrizione
Yi = β0 + β1X1i + β2X2i + ui, i = 1,…,n
Consideriamo il seguente test di ipotesi,
H0: β1 = β2 vs. H1: β1 ≠ β2
La ipotesi nulla impone una singola restrizione (q = 1) su più di
un coefficiente – non è un’ipotesi congiunta con restrizioni
multiple (come nel caso di β1 = 0 e β2 = 0).
45

Ci sono due metodi per testare restizioni single su coefficienti
multipli:
1. Trasformare la regressione
in modo che la restrizione diventa una restrizione su un
singolo coefficiente in una restrizione equivalente,
opp,
2. Fare direttamente il test
46

Metodo #1: Trasformiamo la
regressione
Yi = β0 + β1X1i + β2X2i + ui
H0: β1 = β2 vs. H1: β1 ≠ β2
Aggiungendo e sottraendo β2X1i:
opp
dove
Yi = β0 + β1X1i (– β2 X1i ) (+ β2X1i ) +β2 X2i + ui
Yi = β0 + (β1 – β2) X1i + β2(X1i + X2i) + ui
Yi = β0 + γ1 X1i + β2Wi + ui
γ1 = β1 – β2
Wi = X1i + X2i
47

(a) Sistema originale:
Yi = β0 + β1X1i + β2X2i + ui
H0: β1 = β2 vs. H1: β1 ≠ β2
(b)Transformato sistema:
Yi = β0 + γ1 X1i + β2Wi + ui
dove γ1 = β1 – β2 e Wi = X1i + X2i
H0: γ1 = 0 vs. H1: γ1 ≠ 0
Il nostro test diventa γ1 = 0 nella specificatione (b).
48

Metodo #2: Fare il test direttamente
Es:
Yi = β0 + β1X1i + β2X2i + ui
H0: β1 = β2 vs. H1: β1 ≠ β2
Votii = β0 + β1STRi + β2Expni + β3PctELi + ui
Test β1 = β2 vs. β1 ≠ β2 (2-code):
Per i dettagli in Laboratorio, quasi ogni software ha il suo modo
49

Un approccio generale per selezionare
le variabili e specificare un modello
• Specificare un modello di riferimento o “benchmark”
• Specificare a insieme di possibili variabili “candidate” come
alternative plausibili
• la scelta di una “candidata” rispetto ad un’altra cambia il
valore di (β1)?
• la variabile candidata è statisticamente significativa?
• possiamo semplicemente mirare a massimizzare R 2 ?
50

Digressione sulle misure di bontà
cercando solo il massimo di R 2 2
and R potremmo ottenere uno
stimatore non corretto e perdere contatto con il nostro reale
obiettivo.
• Un R 2 2
(o R ) alto significa che i regressori scelti spiegano
bene le variazioni di Y.
• Un R 2 2
(o R ) non significa che abbiamo eliminato il problema
delle variabili omesse.
• Un R 2 2
(o R ) non significa che abbiamo ottenuto uno
stimatore corretto dell’effetto causale (β1).
• Un R 2 2
(o R ) non significa che le variabili incluse sono
statisticamente significative.
51

Es:
• Variabili a disposizione nel data set:
• student-teacher ratio (STR)
• percentuale di bimbi che non hanno inglese come lingua
madre (PctEL)
• spesa scolastica per alunno (Expen)
• nome del distretto
• percentuale di bambini che potrebbero ricevere sussidi o il
pranzo gratis
• reddito medio per distretto
• Quali di queste variabili includere?
52

Torniamo a guardare i dati…
53

Digressione sulla presentazione dei
risultati di una regressione
Una tabella di risultati di una regressione dovrebbe includere:
• I coefficienti stimati
• standard errors
• misure di “bontà”
• numero di osservazioni
• statistica-F
• ogni altra informazione che riteniamo opportuna.
Per esempio:
54

• la regressione multipla ci permette di stimare l’effetto di
una variazione di X1 su Y, tenendo constante X2.
• Se possiamo misurare una variabile, possiamo evitare di
fornire stime non corrette semplicemente includendola.
• Non c’è una regola unica.
• L’approccio più comune è quello di specificare un
modello di base, basato su un ragionamento a-priori e poi
esplorare altre ragionevoli alternative
56