i N - Ruprecht-Karls-Universität Heidelberg

Ökonometrische Methoden III:
Die lineare Regression
Vorlesung an der Ruprecht-Karls-Universität Heidelberg
WS 2006/2007
Prof. Dr. Lars P. Feld
Ruprecht-Karls-Universität Heidelberg,
Universität St. Gallen (SIAW-HSG),
CREMA und CESifo
Emp. FiWi I
1

Ökonometrische Methoden III:
Die lineare Regression
• Das Schätzverfahren OLS
• Die Mechanik von OLS: Minimierung der
Quadrate
• Numerische Eigenschaften und Anpassungsgüte
• Das klassische lineare Regressionsmodell
• Inferenz
• Das lineare Regressionsmodell mit mehreren
Regressoren
• Zusammenfassung
Emp. FiWi I
2

Literatur
• Lechner, M. (2001), Methoden der
empirischen Wirtschaftsforschung, Skript,
Universität St. Gallen, Kapitel 5, 6 und 7.
Emp. FiWi I
3

Übung
• Programmaufruf Eviews:
– Start/Programme/Statistik/EViews4 oder
– N:\Statistik\EViews4.1\EViews4.exe
• Eviews Workfiles (nur Lesezugriff):
– F:\Eviews-Daten\*.wf1
• Eigenen Ordner einrichten:
– X:\Eviews-Dateien\
– Workfiles von F:... nach X ... kopieren und nur
mit diesen Kopien arbeiten.
Emp. FiWi I
4

Das Schätzverfahren OLS I
• Regressionszusammenhang in der
Population
E( Y | X = x)
= α + xβ
Notation:
0 0
Y: Zu erklärende (abhängige) Zufallsvariable; y: ein bestimmter Wert (Realisation)
von Y.
X: Erklärende (unabhängige) Zufallsvariable; x: ein bestimmter Wert von X.
α
0
: Konstante; (unbekannter) wahrer Wert des Parameters α .
β
0
: Steigungsparameter; (unbekannter) wahrer Wert des Parameters β .
Emp. FiWi I
5

Das Schätzverfahren OLS II
• Regressionszusammenhang in der Population
– „Regression von Y auf X“: der „mittlere“ Wert von Y
gegeben ein bestimmter Wert von X (bedingter
Erwartungswert von Y gegeben X = x) wird als eine
lineare Funktion von x aufgefasst.
– Zusammenhang zwischen X und Y ist nicht exakt.
– Die erwarteten Werte für alle möglichen Werte von X
bilden die sogenannte Regressionsgerade.
– Stochastischer linearer Zusammenhang zwischen den
Variablen Y und X.
– Aussagen über die Wahrscheinlichkeiten des Auftretens
von Werten ober- bzw. unterhalb des erwarteten
Wertes.
Emp. FiWi I
6

Das Schätzverfahren OLS III
Abbildung 1: Beispiel - Bedingte Verteilung der individuellen Konsumausgaben für
unterschiedliche Einkommensniveaus
Quelle: Gujarati, Abb. 2.1, S. 35.
Emp. FiWi I
7

Das Schätzverfahren OLS IV
Umformulierung der Regressionsfunktion mit Hilfe eines Fehlerterms (U):
U ≡ Y − E( Y | X = x)
= Y −α
− xβ
0 0
Y = E( Y | X = x)
+ U = α + xβ
+ U ; mit E( U | X = x) = 0 (per Definition).
0 0
• Am Modell hat sich nichts geändert!
• Interpretation: Y lässt sich durch eine systematische Komponente α0 + xβ0
und
eine zufällige Komponente U erklären. Die zufällige Komponente enthält keinerlei
Information über die systematische Komponente (und umgekehrt).
Emp. FiWi I
8

Das Schätzverfahren OLS V
Mögliche Interpretationen des Fehlerterms U:
Zufällige Abweichung der Realisation
y
i
von Y | X xi
= , bzw. von ihrem bedingten
Erwartungswert α0 + x i
β0
(technische Erklärung, die immer gilt).
Ungenauigkeit der Theorie, die den Zusammenhang von Y und X erklären soll (z.B.
erklärt Humankapital sicher nur einen Teil des Einkommens).
Explizite stochastische Komponente, die in der Theorie eine wohl definierte Rolle
spielt (z.B. CAPM: diversifizierbares Risiko).
Im vorhandenen Datensatz nicht beobachtete Variable. Gilt dann E( U | X = x) = 0 ?
(Ein Problem falls U mit X korreliert ist, da dann die Trennung zwischen Fehlerterm
und erklärenden Variablen nicht mehr eindeutig ist).
Variablen, die für die Analyse nicht von Interesse sind, aber trotzdem einen Einfluss
auf Y haben könnten. Gilt dann E( U | X = x) = 0 ? (Problem falls U mit X korreliert).
Messfehler. Gilt dann E( U | X = x) = 0 ? (Stichprobenregression fehlspezifiziert).
Auffangen einer Fehlspezifikation des Modells (d.h. evtl. vorhandene Nichtlinearitäten
etc. Gilt dann E( U | X = x) = 0 ? (Problem falls U mit X korreliert).
9

Das Schätzverfahren OLS VI
DIE REGRESSIONSFUNKTION IN DER STICHPROBE
Es erscheint intuitiv plausibel, die Koeffizienten, definiert anhand der Populationsgrößen,
mittels der korrespondierenden Stichprobengrössen zu schätzen (Analog-
Prinzip). Somit erhält man als Schätzverfahren für:
E( Y ) :
y
N
1 N
= ∑ y ;
N i = 1
i
E( X ) :
x
N
1 N
= ∑ x ;
N i = 1
i
Var( X ) :
1
ˆ σ ∑ ( ) ;
−
N
2 2
x
= xi − x
N
N
N 1 i=
1
2
ˆ
x
:
N
(
i
)
σ = Var x ;
N
Cov( Y, X ) :
N
1
ˆ σ = ∑ ( x − x )( y − y ) ; ˆ σ
yx
: = CovN ( yi , xi
).
N
−
yx N
i N i N
N 1 i=
1
Emp. FiWi I
10

Das Schätzverfahren OLS VII
Setzt man die einzelnen Teile zusammen, dann erhält man das gewünschte
Schätzverfahren für die beiden Koeffizienten α
0
und β
0
:
ˆ β
1
ˆ σ 1
N
∑
( x − x )( y − y ) ( x − x )( y − y )
i N i N i N i N
yx N N − i = 1 i = 1
N
= = =
2
N N
ˆ σ 1
x N
2 2
∑ ( xi − xN ) ∑ ( xi − xN
)
N −1
i= 1 i=
1
N
∑
;
( x − x )( y − y )
.
i N i N
ˆ
i 1
N
= yN − xN N
= yN − xN N
2
∑ ( xi
− xN
)
i=
1
=
ˆ α β
N
∑
Emp. FiWi I
11

Das Schätzverfahren OLS VIII
ANMERKUNGEN
Im Gegensatz zur Regressionsgeraden in der Population ( E( Y | X = x)
= α0 + xβ0
), ist
die Regressionsgerade in der Stichprobe yˆ
,
= ˆ α + x ˆ β zufällig!
N i N i N
Das Residuum einer Beobachtung u ˆN , i
, das mit dem Fehlerterm in der Populationsregression
korrespondiert, wird als Abweichung der Schätzung yˆN , i
von der
tatsächlichen Realisation y
N , i
definiert: uˆ ˆ ˆ ˆ
N , i
= yi − yN , i
= yi −α
N
− xiβ
N .
Emp. FiWi I
12

Das Schätzverfahren OLS IX
Abbildung 2: Regressionsgeraden basierend auf zwei unterschiedlichen, zufälligen
Stichproben aus der gleichen Population
Quelle: Gujarati, Abb. 2.3, S. 43.
Emp. FiWi I
13

Die Mechanik von OLS: Minimierung der
Quadrate I
• Man kann das zuvor beschriebene
Schätzverfahren mit Hilfe eines anderen
Ansatzes erhalten, der auch den Namen
‘ordinary least squares‘ (Methode der
kleinsten Quadrate, KQ) erklärt.
• OLS minimiert die Summe der quadrierten
Abstände der einzelnen Beobachtungen
zu der Regressionsgeraden.
Emp. FiWi I
14

Die Mechanik von OLS: Minimierung der
Quadrate II
Abbildung 3: Das OLS - Schätzverfahren
y
x
Emp. FiWi I
15

Die Mechanik von OLS: Minimierung der
Quadrate III
ZIELFUNKTION:
N
N
ˆ
2 2
N N
= ui = yi − − xi
α , β i= 1 α , β i=
1
∑ ∑ .
( ˆ α , β ) arg min [ ( α, β )] arg min [ α β ]
(d.h. ˆ α N
und ˆN β sind die Argumente der Funktion ui
( α, β ) , die die
Summe
N
2
∑ [ ui
( α, β )] minimieren).
i=
1
Emp. FiWi I
16

Die Mechanik von OLS: Minimierung der
Quadrate IV
BEDINGUNGEN ERSTER ORDNUNG:
α :
∂
N
∑
i=
1
( uˆ
)
∂α
N , i
2
= 0
=
N
∑
∂ ( y − ˆ α − x ˆ β )
i=
1
i N i N
∂α
2
=
N
2( ˆ ˆ
∑ yi −α
N
− xi β
N
)( −1)
= 0.
i=
1
β :
∂
N
∑
i=
1
( uˆ
)
∂β
N , i
2
= 0
=
N
∑
∂ ( y − ˆ α − x ˆ β )
i=
1
i N i N
∂β
2
=
N
2( ˆ ˆ
∑ yi −α
N
− xiβ
N
)( −xi
) = 0.
i=
1
Emp. FiWi I
17

Die Mechanik von OLS: Minimierung der
Quadrate V
Aus diesen Gradienten erhält man die sogenannten OLS- Normalgleichungen:
NORMALGLEICHUNGEN:
α :
N
y N ˆ α ( x ) ˆ
∑ = + ∑ β
ˆ α ˆ
N
= y N
− x N
β N ;
i N i N
i= 1 i=
1
N
β :
N N N
2
( y ) ( ) ˆ ( ) ˆ
ixi = xi α
N
+ xi β
N
i= 1 i= 1 i=
1
∑ ∑ ∑ .
Emp. FiWi I
18

Die Mechanik von OLS: Minimierung der
Quadrate VI
Hieraus lässt sich nach einigen Umformungen ˆN β direkt ableiten:
N N N
2
( y ˆ
ˆ
ixi ) = ( xi )( yN − xN β
N
) + ( xi ) β
N
i= 1 i= 1 i=
1
ˆ α = y −x
ˆ β
∑ ∑ ∑
N N N N
N
N
ˆ
2
( y ) ( ) ( ) ˆ
ixi = NxN yN − xN β
N
+ ∑ xi β
N
i= 1 i=
1
∑
N
N
2 ˆ
2
( y ) ( ) ˆ
ixi − NxN yN = − NxN β
N
+ ∑ xi β
N
i= 1 i=
1
∑
N
∑
[ ( x ) ] ˆ
i=
1
2 2
i −NxN βN
ˆ
=
N
∑
i=
1
β
N
( y x ) − Nx y
N
∑
i=
1
i i N N
x
2 2
i
− NxN
Emp. FiWi I
19

Die Mechanik von OLS: Minimierung der
Quadrate VII
ˆ
1
N
N
∑
i=
1
β
N
=
1
N
( y x ) − x y
N
∑
i=
1
i i N N
x
2 2
i
− xN
=
=
1
N
N
∑
i=
1
[( y − y )( x − x )]
1
N
i N i N
N
∑
i=
1
( x − x )
i
N
2
ˆ β = CovN ( yi , xi
)
N
Var ( x )
.
N
i
Emp. FiWi I
20

Die Mechanik von OLS: Minimierung der
Quadrate VIII
Dieser Übergang ist gültig, denn es gilt:
N −1 1 1
Var ( x ) = ( x − x ) = ( x + x − 2 x x ) =
N N N
N
N
2 2 2
N i ∑ i N ∑ i N i N
i= 1 i=
1
1 1 1
= ∑ − ∑ + = ∑ −
N
N N
N N N
2 2 2 2
( xi ) (2 xi ) xN xN ( xi ) xN
i= 1 i= 1 i=
1
2x
2
N
;
N N N
N −1 1 1 1
Cov ( y x ) = ∑[( y − y )( x − x )] = ∑( y x + x y − y x − y x ) = ∑(
y x ) − x y
N N N N
N i i i N i N i i N N N i i N i i N N
i= 1 i= 1 i=
1
Emp. FiWi I
21

Numerische Eigenschaften und
Anpassungsgüte I
• Die numerischen Eigenschaften eines
Schätzverfahrens gelten unabhängig vom
zugrundeliegenden Modell und sind somit
immer gültig wenn das entsprechende
Schätzverfahren angewendet wird.
– Das OLS Schätzverfahren ist eine Funktion der
Daten und kann daher immer berechnet werden.
– Das OLS Schätzverfahren ist eine eindeutige
Punktschätzung.
– Die OLS Regressionsgerade kann direkt aus der
Schätzung der Koeffizienten berechnet werden.
Emp. FiWi I
22

Numerische Eigenschaften und
Anpassungsgüte II
• Numerische Eigenschaften.
– Die Regressionsgerade geht durch den Mittelwert
der Daten.
– Die Residuen sind mit dem Mittelwert der
geschätzten Abhängigen in der Stichprobe
unkorreliert.
– Die Residuen sind mit der erklärenden Variablen
in der Stichprobe unkorreliert.
• Anpassungsgüte
– Das geläufigste Maß zur Messung der
Anpassungsgüte ist das Bestimmtheitsmaß:
2
R
Emp. FiWi I
23

Numerische Eigenschaften und
Anpassungsgüte III
• Herleitung des Bestimmtheitsmaßes
Zerlegung gemäß Definition des Residuums: y ˆ ˆ
i
= yN , i
+ uN , i
.
Varianzzerlegung: Var ˆ ˆ ˆ ˆ
N
( yi ) = VarN ( yN , i
) + VarN ( uN , i
) + 2 CovN ( yN , i, uN , i
) .
Cov ( yˆ
, u ˆ ) = 0
Vereinfachung:
, ,
N N i N i
Emp. FiWi I
24

Numerische Eigenschaften und
Anpassungsgüte IV
• Herleitung des Bestimmtheitsmaßes
Interpretation von Var ( ˆ
N
y
N , i
) : Durch die Schätzung erklärte Varianz.
von Var ( ˆ
N
u
N , i
) : Durch die Schätzung nicht erklärte Varianz.
Anteil der erklärten Varianz an der Gesamtvarianz:
ˆ ˆ
2
Var ( y ) Var ( u )
R
Var ( y ) Var ( y )
N N , i N N , i
= = 1− ;
N i N i
Emp. FiWi I
25

Numerische Eigenschaften und
Anpassungsgüte V
• Eigenschaften des Bestimmtheitsmaßes
2
0 R 1
≤ ≤ ;
2
R =
2
R =
0
1
keine Anpassung;
perfekte Anpassung.
OLS minimiert
N
2
∑ uˆ
N , i
=
i=
1
N Var
N N , i
N
1
da uˆ N , i = 0
N
∑
i=
1
( uˆ
)
OLS maximiert das
2
R !
Emp. FiWi I
26

Numerische Eigenschaften und
Anpassungsgüte VI
• Eigenschaften des Bestimmtheitsmaßes
2
R ausgedrückt in Termini der Summe der Quadrate (sum of squares, SS):
R
N
N
2 2
∑( yˆ
ˆ
N , i
− yN ) ∑( uN , i)
2 i= 1 i=
1
= = 1−
N
N
2 2
∑( yi − yN ) ∑( yi − yN
)
i= 1 i=
1
;
R
2
= Estimated SS Residual SS
1
Total SS
= − Total SS
.
Emp. FiWi I
27

Numerische Eigenschaften und
Anpassungsgüte VII
• Eigenschaften des Bestimmtheitsmaßes
2
R hat auch eine Interpretation als Maß für die Korrelation zwischen tatsächlichem
und vorhergesagtem Wert der abhängigen Variablen.
DIES LÄSST SICH WIE FOLGT ZEIGEN:
Corr ( y , yˆ
) = ρ( y , yˆ
) =
N i N , i i N , i
Cov
( y , yˆ
)
N i N , i
Var ( y ) Var ( yˆ
)
N i N N , i
=
Cov ( yˆ + uˆ , yˆ
)
N N , i N , i N , i
Var ( y ) Var ( yˆ
)
N i N N , i
Emp. FiWi I
28

Numerische Eigenschaften und
Anpassungsgüte VIII
• Eigenschaften des Bestimmtheitsmaßes
=
Var yˆ
N i
( , ) 0
Cov ( yˆ , yˆ ) + Cov ( yˆ , uˆ
)
N N , i N , i N N , i N , i
Var ( y ) Var ( yˆ
)
N i N N , i
=
Var
N
( yˆ
)
N , i
Var ( y ) Var ( yˆ
)
N i N N , i
=
Var
N
Var
( yˆ
)
N
N , i
( y )
i
=
2
R .
Emp. FiWi I
29

Das klassische lineare Regressionsmodell I
• Annahmen
– Das Modell ist linear in den Parametern.
• Diese auf den ersten Blick sehr restriktive Annahme kann in
vielen Fällen harmlos sein, da man durch geschickte Definition
der funktionalen Form der Variablen, die in X auftreten, ein
hohes Maß an Flexibilität erreichen kann.
– Der Erwartungswert des Fehlerterms ist 0 und variiert
nicht mit X.
• Die Unkorreliertheit von U und X, ist zentral für die
statistischen Eigenschaften.
• Problematisch: 'Modellfehlspezifikationen', z.B. fehlende
Variablen, die mit den enthaltenen Variablen korreliert sind.
• Fehlende Variablen sind implizit im Fehlerterm enthalten.
Emp. FiWi I
30

Das klassische lineare Regressionsmodell II
• Annahmen
– Die Realisationen von U sind identisch und
unabhängig verteilt und die Varianz von U
ist unabhängig von X (Homoskedastie).
• Modellverletzungen durch Heteroskedastie und
Autokorrelation.
Emp. FiWi I
31

Das klassische lineare Regressionsmodell
III
Abbildung 4: Homoskedastie
Quelle: Gujarati, Abb. 3.4, S. 62.
Emp. FiWi I
32

Das klassische lineare Regressionsmodell
IV
Abbildung 5: Heteroskedastie
Quelle: Gujarati, Abb. 3.5, S. 62.
Emp. FiWi I
33

Das klassische lineare Regressionsmodell V
Abbildung 6: Unterschiedliche Abhängigkeiten der Fehlerterme: (a) positive Autokorrelation;
(b) negative Autokorrelation (c) keine Autokorrelation.
Quelle: Gujarati, Abb. 3.6, S. 64.
Emp. FiWi I
34

Das klassische lineare Regressionsmodell
VI
• Annahmen
– Deterministischer, nicht konstanter
Regressor
• Bsp: Multikollinearität, d.h. man kann dann die
erklärende Variable nicht mehr von der Konstanten
unterscheiden und das OLS-Schätzverfahren für
den Steigungsparameter ist nicht mehr definiert.
– Normalverteilte Fehlerterme
• Viele der 'guten' statistischen Eigenschaften von
OLS bleiben auch ohne diese Annahme erhalten,
jedoch wird die Inferenz bei Gültigkeit dieser
Annahme vereinfacht.
Emp. FiWi I
35

Das klassische lineare Regressionsmodell
VII
• Eigenschaften
– OLS ist unverzerrt
• Ein Schätzverfahren ist unverzerrt (unbiased),
wenn der Erwartungswert des geschätzten
Parameters gleich dem wahren Wert des
unbekannten Parameters ist.
– OLS ist BLUE (Gauss-Markov-Theorem)
• OLS besitzt im klassischen linearen Regressionsmodell
die kleinste mögliche Varianz aller in Y
linearen und unverzerrten Schätzverfahren (der
Beweis wird hier nicht aufgeführt).
• OLS wird daher Best Linear Unbiased Estimator
genannt.
Emp. FiWi I
36

• Grundprinzipien
Inferenz I
– Das Ziel von Testverfahren ist es, Rückschlüsse darüber
zu erhalten, ob die für die Schätzung verwendete Stichprobe
tatsächlich aus einer Population mit den angenommenen
Eigenschaften stammt oder ob man von einer
Fehlspezifikation dieser Eigenschaften auszugehen hat.
– Der wohl am meisten verwendete Test ist der sogenannte
t-Test bzw. Signifikanztest.
– Ziel dieses Testverfahrens ist es, herauszufinden, ob eine
entsprechende Variable tatsächlich zu einer bestimmten
Spezifikation eines Modells 'gehört' (Signifikanz) oder ob
ihr Einfluss statistisch vernachlässigbar ist.
Emp. FiWi I
37

• Grundprinzipien
Inferenz II
– Zuerst sind zwei Hypothesen zu definieren: die Nullhypothese
H 0 und die Alternativhypothese H 1 , die eine für
möglich gehaltene Verletzung der Nullhypothese darstellt.
– Das Testverfahren ist eine auf den Daten basierende
Vorschrift, die besagt, ob die Nullhypothese abgelehnt wird
oder nicht. Somit ist das Testverfahren eine Zufallsvariable
(da die Daten zufällig sind).
– Die Rolle der beiden Alternativen ist asymmetrisch: Man
wird immer nur die Ablehnung oder Nichtablehnung von
H 0 als Ergebnis erhalten. Insbesondere wird H 1 nicht
notwendigerweise dadurch angenommen, dass H 0
abgelehnt wird.
Emp. FiWi I
38

Inferenz III
• Signifikanztests des Steigungsparameters
– Überprüfung der Hypothese, dass der (wahre)
Steigungsparameter der Regressionsgeraden gleich a sei.
– Dabei wird im folgenden von der Gültigkeit der Annahme
der Normalverteilung der Fehlerterme ausgegangen.
0
H : β
0
= a ,
1
H : β0 ≠ a .
Emp. FiWi I
39

Inferenz IV
Für die Schätzung des Steigungsparameters mit OLS wurde die
Normalverteilung des Schätzverfahrens für β
0
abgeleitet:
ˆ
2
~ ( , σ
0
β )
N
N β
0
N Var ( x )
N
i
0
H
⇒
2
ˆ σ
0
β
N
~ N ( a, ) .
N Var ( x )
N
i
Die Standardabweichung ergibt sich daher als
σ
N Var
2
0
N
( x )
i
.
Emp. FiWi I
40

Inferenz V
Abbildung 7: Die Normalverteilung von ˆN β in termini des Mittelwertes ( β
0
) und des
Standardfehlers von ˆN β
Hinweis: b steht für ˆN β , sd für die Standardabweichung. Quelle: Dougherty, Abb. 3.4, S. 92.
Emp. FiWi I
41

Inferenz VI
Um den Test durchzuführen, ersetzen wir nun in Abbildung 7 das unbekannte β
0
durch a, dem Wert der unter der
Hypothese
0
H für β
0
postuliert wird. Ausgehend von der dargestellten Verteilung sehen wir, dass fast alle
Realisationen der ZV
ˆN
β unter der Nullhypothese (d.h. bei Gültigkeit von
und
2
σ
0
a + 2
zu liegen kommen.
N Var ( x )
N
i
0
H ) zwischen
a − 2
σ
N Var
2
0
N
( x )
i
Als Ergebnis der Schätzung von ˆN β sind drei Szenarien vorstellbar:
1)
ˆN
β kommt weit im Inneren dieses Intervalls zu liegen.
2)
ˆN
β liegt in der Nähe von
2
σ
0
a ± 2
.
N Var ( x )
N
i
3)
ˆN
β liegt deutlich außerhalb der Grenzen.
Emp. FiWi I
42

• Fall (1)
Inferenz VII
– Keinerlei Evidenz gegen die Gültigkeit der
Nullhypothese ableiten.
• Fall (3)
– Evidenz gegen die Nullhypothese sehr stark, denn eine
solche Realisation ist unter der Nullhypothese zwar
möglich, jedoch höchst unwahrscheinlich.
• Fall (2)
– Da die exakte Intervallgrenze vom gewählten
Signifikanzniveau abhängt, lässt sich Fall 2) ohne
weitergehende Betrachtungen nicht analysieren.
Emp. FiWi I
43

• T-Test
Inferenz VIII
– Die Varianz der Fehlerterme ist normalerweise
unbekannt und muss durch einen geschätzten Wert
ersetzt werden.
– Häufig wird als Schätzer die T-Statistik verwendet.
tˆ ( N − K) = ( ˆ β − a) /
N
N
ˆ σ
N Var
2
N
N
( x )
i
Emp. FiWi I
44

Inferenz IX
• T-Test
– Diese modifizierte Statistik hat eine Verteilung aus der
Klasse der sogenannten t – Verteilungen.
– Die Mitglieder dieser Klasse unterscheiden sich durch
ihre Anzahl an Freiheitsgraden (degrees of freedom; df).
– Im Vergleich zur Standardnormalverteilung haben diese
Verteilungen dickere Enden.
– Mit zunehmenden Freiheitsgraden nähern sich die t-
Verteilungen jedoch der Standardnormalverteilung
beliebig nahe an.
Emp. FiWi I
45

Inferenz X
Hinweis: Da die Eigenschaften der Teststatistiken in endlichen Stichproben auf der
Gültigkeit der Normalverteilungsannahme für die Fehlerterme beruhen, ist es
sinnvoll, diese Annahme ebenfalls zu überprüfen. Der am häufigsten angewandte
Test hierfür ist der Spezifikationstest von Jarque und Bera. Er basiert darauf, mit
Hilfe der Residuen einen Hinweis darauf zu erhalten, ob die zentralen,
standardisierten dritten und vierten Momente (Schiefe = Skewness: SK , Wölbung
= Kurtosis: K ) den korrespondierenden Momenten der Nomalverteilung
entsprechen ( SK = 0, K = 3). Die Teststatistik lautet für die Nullhypothese 'U
normalverteilt':
2 2
skN
( kN
3)
JBN
N ⎡ −
= +
⎤
⎢
⎣
6 24
⎥ ; mit
⎦
sk
N
=
1
∑
N
( ˆ σ )
N
3
uˆ
i,
N
i=
1
2 3/ 2
N
;
k
N
=
1
∑
N
( σ )
N
4
uˆ
i,
N
i=
1
2 2
ˆ
N
.
JBN
d
⎯⎯→ χ
2 (2) .
Emp. FiWi I
46

Inferenz XI
Tabelle 1: Signifikanzniveaus basierend auf verschiedenen t-Verteilungen
Kritischer Bereich
Signifikanzniveau (p- Werte)
10 % 5% 1% 0.1%
Einseitiger Test (df = 8) ± 1.40 ± 1.85 ± 2.90 ± 4.50
(df = 18) ± 1.33 ± 1.73 ± 2.55 ± 3.61
(df = 98) ± 1.29 ± 1.66 ± 2.37 ± 3.18
Beidseitiger Test (df = 8) ± 1.85 ± 2.31 ± 3.56 ± 5.04
(df = 18) ± 1.73 ± 2.10 ± 2.88 ± 3.92
(df = 98) ± 1.66 ± 1.98 ± 2.63 ± 3.39
Anmerkung: Diese Zahlen sind Ergebnis einer Abfrage in Gauss (1 Zeile!). Sie können jedoch auch in
EVIEWS oder jedem Ökonometrie- und Statistikbuch nachgeschlagen werden.
Emp. FiWi I
47

Das lineare Regressionsmodell mit
mehreren Regressoren I
• Um ökonomische Zusammenhänge zu
modellieren, kommt man normalerweise
nicht umhin, mehrere Erklärungsfaktoren zu
berücksichtigen.
• Die korrespondierende Erweiterung des
einfachen linearen Regressionsmodells ist das
sogenannte multiple Regressionsmodell.
y = x β + x β + ... + x β + ... + x β + u
i 1, i 1,0 2, i 2,0 k , i k ,0 K , i K ,0 i
K
y = ∑ x β + u
i k , i k ,0 i
k = 1
Emp. FiWi I
48

Das lineare Regressionsmodell mit
mehreren Regressoren II
• Annahmen des klassischen linearen
Regressionsmodells
K
1)
k
βk
,0
k = 1
K
Y = ∑ X + U yi = ∑ xk , iβk ,0
+ ui
, ∀ i = 1,..., N
k = 1
Linearität in den
Parametern.
2) E( U ) = E( U | X1 = x1 , X
2
= x2,..., X
K
= xK
) = 0
E( UX
k
) = 0 , ∀ k = 1,..., K E( Y | X1 = x1, X
2
= x2 ,..., X
K
= xK ) = ∑ X
k
βk
,0
Erwartungswert des Fehlerterms gleich 0 und unabhängig von X ,..., 1
X
K .
K
k = 1
Emp. FiWi I
49

Das lineare Regressionsmodell mit
mehreren Regressoren III
• Annahmen des klassischen linearen
Regressionsmodells
1)
2
⎧ σ
0
wenn i = j
E ( U
iU j
) = E ( U
iU j
| x1, i
,..., xK , i
) = ⎨
, ∀ i, j = 1,..., N Keine Autokorrelation
⎩0
wenn i ≠ j
und keine Heteroskedastie.
2) Die W erte der erklärenden Variablen sind vorgegeben. Die erklärenden Variablen
sind linear unabhängig (Multikollinearität bei linearer Abhängigkeit, aber nicht bei
nicht-linearer).
3)
U ~ N (0, σ ) . Normalverteilung des Fehlerterms.
2
0
Emp. FiWi I
50

Das lineare Regressionsmodell mit
mehreren Regressoren IV
• Berechnung
Minimiert man die Quadrate der Residuen (
N
∑
i=
1
( y − x β )
i
i
2
) bezüglich β , so erhält man
als Ausdruck für das OLS – Verfahren
ˆ β
OLS
N
⎡ 2
⎤ ⎡ ⎤
⎢ ∑ x1, i ∑ x1, ix2, i
⋯ ∑ x1, ixK , i ⎥ ⎢∑
x1,
i
yi
⎥
i i i i
⎢ ⎥ ⎢ ⎥
⎢ ⎥ ⎢ ⎥
⎢ x x ⋱
x x ⎥ ⎢ x y ⎥
∑ ∑ ∑
2, i 1, i 2, i K , i 2, i i
= ⎢
i i ⎥ ⎢
i ⎥
⎢ ⋮ ⋱ ⋮ ⎥ ⎢ ⋮ ⎥
⎢ ⎥ ⎢ ⎥
⎢ 2
xK , ix1, i
x ⎥ ⎢
K , i
xK , i
y ⎥
i
⎢∑ ⋯ ⋯ ∑
⎣ i i
⎥⎦ ⎢∑
⎣ i
⎥⎦
−1
.
Emp. FiWi I
51

Das lineare Regressionsmodell mit
mehreren Regressoren V
• Residuen
Die OLS – Residuen sind orthogonal zu allen Regressoren. Wenn im Modell eine
Konstante enthalten ist, dann folgt daraus direkt:
N
N
∑ x ⋅ uˆ
= ∑ 1⋅ uˆ
= 0 →
1, i i i
i= 1 i=
1
N
∑ uˆ i
= 0 . (gemäß der Definition von x
1,i
)
i=
1
Daher verläuft die Regressionshyperebene durch die Mittelwerte der Daten:
N
∑ uˆ
i
=
i=
1
ˆ 1 1
( y − x β ) = y − x ˆ β = y − x ˆ β = 0
N N N
ˆ
∑ ∑ ∑ y
i i N i i N N N N
i= 1 N i= 1 N i=
1
⇒ = x β .
N N N
Außerdem folgt die Gleichheit der Mittelwerte der beobachteten abhängigen Variablen
und der entsprechenden vorhergesagten Werte:
y
N
= yˆ
mit
N
N
1
yˆ
= x ˆ β x ˆ
∑ = β .
N i N N N
N i=
1
Emp. FiWi I
52

Das lineare Regressionsmodell mit
mehreren Regressoren VI
• Bestimmtheitsmaß
An der Berechnung des
2
R ändert sich beim
Übergang zur multivariaten Regression nichts.
R
K
Var ( x ˆ )
ˆ
ˆ
2
VarN y ∑ β
=
N , i
Var
k 1
N
u
=
N , i
N i N Covar ( 2
, , ˆ
( )
N xi k uN , i ) 0 ( ) uˆ
N
= = = 1− = 1−
Var ( y ) Var ( y ) Var ( y ) Var ( y )
N i N i N i N i
.
Emp. FiWi I
53

Das lineare Regressionsmodell mit
mehreren Regressoren VII
• Bestimmtheitsmaß
– Man kann durch Hinzunahme weiterer Regressoren,
die keine linearen Funktionen der schon enthaltenen
Regressoren sind, das Bestimmtheitsmaß beliebig
nahe an 1 annähern.
– Daher wird ein korrigiertes Bestimmtheitsmaß
berechnet.
R
u N − K
= 1 −
Var y /( N − 1)
2
2
ˆ
N
/( )
N
( )
i
=
N − 1
N − K
2
1 − (1 − R )
R
< R .
2 2
Emp. FiWi I
54

Das lineare Regressionsmodell mit
mehreren Regressoren VIII
• Bestimmtheitsmaß
– Das korrigierte Bestimmtheitsmaß kann fallen, wenn
weitere Regressoren aufgenommen werden.
– Es kann sogar negativ werden.
– Problem der Hinzunahme einer Konstanten
– Keine Interpretation des Bestimmtheitsmaßes in
einem Modell ohne Konstante.
Emp. FiWi I
55

Das lineare Regressionsmodell mit
mehreren Regressoren IX
• Eigenschaften von OLS
1)
ˆk , N
β ist unverzerrt, ∀ k = 1,..., K .
2) Var( ˆ βk , N
) und Covar( ˆ β ˆ
k , N
, β
l,
N
) , ∀k ≠ l, k, l = 1,..., K , sind Funktionen des
2
Parameters σ
0
und der beobachteten Werten der erklärenden Variablen X1,..., X
K .
3) Kein anderes in Y
N
lineares und unverzerrtes Schätzverfahren hat eine geringere
Varianz (Gauss – Markov – Theorem, Best Linear Unbiased Estimator).
4) Das OLS Schätzverfahren ist eine normalverteilte Zufallsvariable:
ˆ β ~ N( β , Var( ˆ β )) , ∀ k = 1,..., K .
k , N
0 k , N
Die Schätzverfahren für die unbekannten Koeffizienten sind gemeinsam
normalverteilt.
Emp. FiWi I
56

Das lineare Regressionsmodell mit
mehreren Regressoren X
• Inferenz
– Für die Berechnung und die Verteilung der t-Tests
ändert sich beim Übergang vom univariaten zum
multivariaten Regressionsmodell nichts.
t( N − K) = ( ˆ β − a) / Vˆ
k , N
• Interpretation des t-Tests
kk
H
0
ˆ β = a .
:
k , N
– Es wird beim Signifikanztest zum Beispiel überprüft,
ob die Variable k keinen Einfluss ausübt, gegeben
den Einfluss aller anderen Variablen.
– Die Ergebnisse des Tests hängen von den anderen
Variablen in die Regressionsgleichung ab.
Emp. FiWi I
57

Das lineare Regressionsmodell mit
mehreren Regressoren XI
• F-Test für die Signifikanz der Residuen
R
– Ist das Bestimmtheitsmaß signifikant von null
verschieden?
– Residuenzerlegung des Bestimmtheitsmaßes:
K
Var ( x ˆ )
ˆ
ˆ
2
VarN y ∑ β
=
N , i
Var
k 1
N
u
=
N , i
N i N Covar ( 2
, , ˆ
( )
N xi k uN , i ) 0 ( ) uˆ
N
= = = 1− = 1−
Var ( y ) Var ( y ) Var ( y ) Var ( y )
N i N i N i N i
R
N
N
2 2
∑( yˆ
ˆ
N , i
− yN ) ∑( uN , i
)
2 i= 1 i=
1
= = 1−
N
N
2 2
∑( yi − yN ) ∑( yi − yN
)
i= 1 i=
1
=
ESS = TSS −RSS
Estimated SS ( ESS) Residual SS ( RSS)
= 1−
.
Total SS ( TSS) Total SS ( TSS)
Emp. FiWi I
58

Das lineare Regressionsmodell mit
mehreren Regressoren XII
• F-Test für die Signifikanz der Residuen
– Den F-Test auf die Signifikanz der Regression erhält
man mit den beiden Varianzkomponenten ESS und
RSS und deren Freiheitsgraden (df). Die Freiheitsgrade
für ESS sind K-1 (Anzahl der geschätzten
Koeffizienten außer der Konstanten) und für RSS
sind es N-K.
F( K −1, N − K)
=
ESS /( K −1)
.
RSS /( N − K)
Emp. FiWi I
59

Das lineare Regressionsmodell mit
mehreren Regressoren XIII
• F-Test für die Signifikanz der Residuen
– Die F-Statistik entspricht einer F-Verteilung mit den
entsprechenden Freiheitsgraden.
– Die kritischen Werte werden üblicherweise in der
Ökononmetriesoftware angegeben.
• F-Test für die gemeinsame Signifikanz von
Koeffizienten
– Die Intuition des Tests ist folgende: Man vergleicht
den 'Fit' des Modells mit den entsprechenden Regressoren
(unrestringiertes Modell) mit dem 'Fit' des Modells
ohne diese Regressoren (restringiertes Modell).
Emp. FiWi I
60

Das lineare Regressionsmodell mit
mehreren Regressoren XIV
• F-Test für die gemeinsame Signifikanz von
Koeffizienten
– Wenn die Verbesserung des 'Fit' beim Übergang vom
restringierten zum unrestringierten Modell statistisch
signifikant ist, dann wird das restringierte Modell
verworfen, d.h. die Koeffizienten sind gemeinsam
statistisch signifikant von null verschieden.
– Man kann zeigen, dass folgende Prüfgröße einer F-
Verteilung folgt:
F( K − M , N − K)
=
R U
( RSS − RSS ) /( K − M )
U
RSS /( N − K)
=
2U
2R
( R − R ) /( K − M )
2U
(1 ) /( )
− R N − K
.
Emp. FiWi I
61

Das lineare Regressionsmodell mit
mehreren Regressoren XV
• F-Test für die gemeinsame Signifikanz von
Koeffizienten
U
RSS :
RSS des unrestringierten Modells.
R
RSS : RSS des restringierten Modells (es gilt
RSS
R
U
≥ RSS ).
2 U
R :
2 R
R :
K :
M :
2
R des unrestringierten Modells.
2
R des restringierten Modells.
Anzahl der Koeffizienten im unrestringierten Modell.
Anzahl der Koeffizienten im restringierten Modell.
K
− M : Anzahl der im restringierten Modell auf 0 gesetzten Koeffizienten.
Emp. FiWi I
62

Das lineare Regressionsmodell mit
mehreren Regressoren XVI
• t-Test für die Gleichheit zweier Koeffizienten
0
H : βk ,0
= βl,0
⇔ : − = 0
k ≠ l .
0
H βk
,0
βl,0
H β β
1
:
k ,0
≠
l,0
⇔ : − ≠ 0
k ≠ l .
1
H βk
,0
βl,0
t-Statistik:
t( N − K)
=
ˆ β
− ˆ β
k , N l,
N
Var( ˆ β − ˆ β )
k , N l,
N
.
Var( ˆ β − ˆ β ) = Var( ˆ β ) + Var( ˆ β ) − 2 Cov( ˆ β , ˆ β ) .
mit k , N l, N k , N l, N k , N l,
N
Emp. FiWi I
63

Zusammenfassung
• OLS als das am häufigsten angewendete
Schätzverfahren.
• Bedeutsamkeit der Annahmen und Eigenschaften:
– Heteroskedastie und Autokorrelation
– Omitted Variable Bias.
• Inferenz mit t-Test:
– Bedeutsamkeit der Normalverteilungsannahme.
• Multivariate Regression
– Herstellung der ökonomischen ceteris paribus
Bedingung.
Emp. FiWi I
64