Probleme mit dem linearen Regressionsmodell Eine Übersicht

Probleme mit dem linearen Regressionsmodell
Eine Übersicht
Bernhard Böhm, TU-Wien

Ökonometrische Probleme
• Multikollinearität
• Heteroskedastie
• Autokorrelation (serielle Korrelation)
• Verzögerte endogene Variable
• Fehlspezifikation (Spezifikationsfehler)
• Fehler in Variablen
• Parameterkonstanz, variable Koeffizienten, und
Strukturbrüche

ultikollinearität (1)
• Exakte Multikollinearität: Es besteht eine
lineare Abhängigkeit zwischen den
erklärenden Variablen.
• Verletzt A4. (X'X) ist singulär!
Kleinstquadratschätzer existiert nicht!
• Abhilfe: Entferne Variable, die die
Abhängigkeit verursacht.

ultikollinearität (2)
• In Praxis: oft "nahezu"-Multikollinearität
• Überprüfung: durch Korrelationsmatrix der
Regressoren
• Schätzer sind unverzerrt und effizient
• Aber: es ist schwierig Koeffizientenschätzer
mit kleinen Standardabweichungen zu
bekommen

ultikollinearität (3)
Ähnlich dem Problem einer sehr kleinen
Stichprobe: “micronumerosity”
• insignifikante Koeffizienten,
aber R² kann hoch sein
• Schätzer reagieren sehr sensitiv auf kleine
Änderungen in den Daten

eteroskedastie
• Die Varianzen der Fehler sind nicht konstant über
die Stichprobe.
• Verletzt A2.
• Folgen für Schätzer:
1. Koeffizientenschätzer sind linear unverzerrt,
aber nicht effizient.
2. Geschätzte Varianzen sind verzerrt, daher sind
keine korrekten Test möglich
• Diagnose durch Betrachten von Streudiagrammen,
oder Schätzungen auf Basis von Teilstichproben

Abhilfe für das Heteroskedastieproblem
Verwende heteroskedastie-konsistente Standardfehler (HCSE)
White (1980)).
White-Test auf Heteroskedastie: Schätze eine Hilfsregression der
uadrierten OLS Residuen auf eine Konstante, die Regressoren, ihre
uadrate und Kreuzprodukte. Unter der H0 der Homoskedastie ist
.R² dieser Hilfsregression asymptotisch χ²(q) verteilt, wobei q die
nzahl der Variablen der Hilfsgleichung minus einer ist. Ist der
ritische Wert größer als der geschätzte kann die H0 nicht verworfen
erden.
Weitere Möglichkeiten: Transformation oder Redefinition von
Variablen kann helfen (z.B. Verhältnisse, logarithmische
Transformation von Variablen), Gruppenbildung

Autokorrelation (serielle Korrelation)
• Fehlerterme sind nicht voneinander unabhängig,
d.h. E(u i u j ) ≠ 0 für i ≠ j, für bestimmte i,j=1,...,T
•VerletztA2.
• Folgen für Schätzung:
• unverzerrt und konsistent, aber nicht effiziente
Koeffizientenschätzer
• verzerrte Varianzenschätzer

Durbin-Watson Test (DW-Test) (1)
• Zur Entdeckung von Autokorrelation erster
Ordnung d.h.: E(u t u t-1 ) ≠ 0.
z.B. u t = ρu t-1 + ε t |ρ|

Durbin-Watson Test (DW-Test) (2)
Wie verwendet man den DW-Test

Durbin-Watson Test (DW-Test) (3)
• H0: ρ = 0 gegen H1: ρ ≠ 0,
• DW berechnen und mit tabellierten Werten vergleichen:
• Tabelle enthält d u („upper“) und d L („lower“) Schranken
• H0 wird abgelehnt, wenn DW < d L ist (positive
Autokorrelation) oder wenn DW > 4- d L ist (negative
Autokorrelation).
• Liegt d u < DW < 4- d u , kann H0 nicht abgelehnt
werden.
• Liegt d L < DW < d u oder 4- d u < DW < 4- d L
(Unbestimmtheitsbereich), ist der Test nicht schlüssig.

Durbin-Watson test (DW-test) (4)
• Test ist verzerrt wenn verzögerte endogene
Variable unter den Regressoren sind.
Verwende alternative Tests (h-test and M-test (Durbin
1970), LM-tests (Breusch-Godfrey(1978));
• für Tests auf höhere Ordnung betrachte
auch die geschätzte Autokorrelationsfunktion
der Residuen.

Stationäre stochastische Prozesse
•Seix t eine Folge von Zufallsvariablen
{x 1 ,...,x T } (d.h. ein stochastischer Prozess) mit
• Mittelwert: E(x t ) = µ
• Varianz: var(x t ) = E(x t -µ)² = σ²
• Kovarianz: γ k = E(x t -µ)(x t+k -µ)
• Ist Mittel und Varianz konstant, die Kovarianz
nur eine Funktion von k , dann nennt man x t
einen stationären stochastischen Prozeß

Autokorrelationsfunktion (ACF) (1)
• Die ACF eines stationären stochastischen
Prozesses bei Verzögerung k ist definiert als
ρ k = γ k /γ 0
• Da eine Zeitreihe als eine Realisation eines
stochastischen Prozesses interpretiert wird,
wird das Korrelogramm (die Stichproben
ACF) mit den Stichproben Varianzen und
Kovarianzen berechnet.

Autokorrelationsfunktion (ACF) (2)
m die Signifikanz eines Autokorrelationskoeffizienten ρ k zu
esten:
Für die Stichprobenautokorrelation eines stationären
rozesses mit normalverteilten Fehlern verwende ein
äherungsweises Konfidenzintervall
(ρ k ± 1.96*1/√T) = 95%.
um alle Koeffizienten bis zur Ordnung m zu testen,
erwende entweder die Box-Pierce Q-statistic:
der die Ljung-Box (LB) statistic:
LB = T
⎛
Q
=
ˆ ρ
T
m
∑
2
ρˆ k
k=
1
m 2
k
2
( T + 2) ∑
⎜ ~ χ
m
k = 1 T k
⎟
−
⎝
⎞
⎠

Verzögerte endogene Variable
Hier handelt es sich um den Fall von
stochastischen Regressoren
verletzt A3.
Folgen für die Schätzung:
. Wenn u t A1 und A2 erfüllt, ist der Schätzer konsistent,
asymptotisch unverzerrt und asymptotisch effizient (aber
verzerrt in endlichen Stichproben).
. Ist u t autokorreliert, ist der Schätzer inkonsistent!
Modell muß mit anderer Methode geschätzt
werden (GLS, ML,IV)

Misspezifikation (Spezifikationsfehler)
Relativ zum ”wahren” Modell, das dem
datenerzeugenden Prozeß entspricht, kann
das konkrete Modell
• zu viele Parameter aufweisen (es ist
allgemeiner als notwendig),
• zu wenig Parameter aufweisen (ist zu
restriktiv),
• die falsche funktionale Form aufweisen

Wirkungen von Spezifikationsfehlern
Wahres Modell
y=X 1 β 1 +X 2 β 2 +u
β 2 =0
y=X 1 β 1 +X 2 β 2 +u
β 2 ≠0
Aktuelles
Modell
y=X 1 β 1 +X 2 β 2 +u
β 2 =0
y=X 1 β 1 +X 2 β 2 +u
β 2 ≠0
OLS von β 1 und
σ² unverzerrt
und effizient
OLS von β 1 , β 2
und σ² sind
unverzerrt aber
ineffizient
OLS von β 1 und
σ² sind verzerrt
OLS von β 1 , β 2
und σ² sind
unverzerrt und
effizient

Fehler in Variablen
Werden Variable fehlerhaft gemessen, so führt dies
zu inkonsistenten KQ Schätzern:
z.B. theoretische Beziehung y t =bx t , beobachtete
Variable werden mit Fehlern ξ und η gemessen:
y t* = y t + ξ t und x t* = x t + η t
Es folgt, dass die Beziehung zwischen den
beobachteten Variablen
y t* =bx t* + (ξ t -bη t ) stochastisch ist, und Annahme
A3 verletzt.
Falls σ 2 η≠0, ist der KQ Schätzer von b inkonsistent

Parameterkonstanz, variable Koeffizienten, und
Strukturbrüche
• Ziel einer guten Modellspezifikation ist es,
ein Modell mit invarianten (konstanten)
Parametern zu finden.
• Tests auf Strukturbrüche, d.h. auf
signifikante Änderungen in den Parameter
Werten, stützen sich entweder auf die
Verwendung von Teilstichproben, oder
verwenden die Beobachtungen rekursiv.

Tests auf Parameterkonstanz
Chow-Test auf Strukturbruch:
(Chow G.C., Tests of Equality between Sets of Coefficients in Two Linear
Regressions, Econmetrica, 52, 1960, 211-22)
• um herauszufinden ob ein Strukturbruch zu
einem bestimmten Zeitpunkt t * stattgefunden hat
• Bilde zwei Regressionsgleichungen
y t = x t b (1) + u
(1)
t für t=1,..., t *
y t = x t b (2) + u
(2)
t für t=t * +1, t * +2, ...,T
mit den Dimensionen: y t : (1x1), b (i) : (kx1) x t = (x t1 ,x t2 ,...x tk ): (1xk)
beide Fehlerterme seien unabhängig normalverteilt mit Mittel
Null und gleicher konstanter Varianz σ².

Chow - Strukturbruchtest
Unter H 0 : b (1) = b (2) (konstante Struktur) ist die
Teststatistik
Chow =
[ ]
(1) (1) (2) (2)
e'e − (e 'e + e 'e ) / k
[(e
'e e 'e )] (1) (1) (2) (2)
+ /( T − 2k)
~ F (k,T-2k)
e sind die OLS-Residuen im gemeinsamen Modell b (1) = b (2) ,
e (i) sind die OLS-Residuen der getrennten Modelle,
k ist die Anzahl der erklärenden Variablen in Matrix X

Andere Strukturbruchtests
• Prognosetests: Fehlprognosen weisen auf
Strukturveränderungen hin
• Verwende rekursive Residuen (wiederholte
Anwendung der KQ Methode mit jeweils
einer Beobachtung mehr)
• CUSUM, CUSUMSQ: kumulierte
Residuen- (quadrat)summen