Vorlesung:Multivariate Analyseverfahren

Vorlesung:Multivariate Analyseverfahren
Josef Brüderl, Oktober 2004
Multivariate Verfahren sind statistische Verfahren zur Analyse
der Beziehungsstruktur mehrerer Variablen. Man kann
multivariate Verfahren in drei große Gruppen unterteilen
• Verfahren, die mehrdimensionale Datenstrukturen auf wenige
Dimensionen reduzieren (Faktorenanalyse)
• Verfahren, die Beobachtungen anhand mehrerer Variablen
klassifizieren (Clusteranalyse)
• Verfahren, die den Einfluß von unabhängigen Variablen auf
die abhängigen Variablen erfassen (Regressionsanalyse)
In dieser Vorlesung können aus Zeitgründen nur Verfahren der
Regressionsanalyse behandelt werden (ergänzend wird in die
Faktorenanalyse eingeführt). Der Grund für die Betonung der
Regressionsverfahren ist, daß die große Mehrzahl der sozialwissenschaftlichen
Forschungsarbeiten an der Identifikation
,,kausaler“ Effekte anhand nicht-experimenteller Daten interessiert
ist, wozu Regressionsverfahren besonders geeignet sind.
Regressionsmodelle mit einer abhängigen und mehreren
unabhängigen Variablen bezeichnet man als multiple Modelle.
Von multivariater Regression spricht man, wenn mehrere
abhängige Variablen gemeinsam betrachtet werden. Nach dieser
Unterscheidung sind die meisten Modelle dieser Vorlesung
multipler Natur, nur an einigen Stellen werden wir multivariate
Modelle behandeln.
Zum Begriff ,,Regression“: Sir Francis Galton untersuchte
1889 den Zusammenhang der Körpergröße von Vätern und
Söhnen. Dabei ,,erfand“ er die Regression. Er schätzte
Gs � 85. 7 � 0. 56Gv.
Da dies bedeutet, daß die Größe des Sohns zum Mittel ,,zurückschreitet“
nannte er dieses Verfahren Regression. Der Name des
Verfahrens rührt somit von der ersten Anwendung her!

Multivariate Verfahren, Brüderl 2
1) Was ist eine Regression?
Wir betrachten zwei Variablen (Y, X). Unsere Daten sind die
realisierten Werte dieser Variablen
�y1,x1�, … , �yn,xn�
bzw.
�yi,xi�, für i � 1, … ,n.
In einer Regression betrachtet man im Prinzip die bedingte
Verteilung von Y in Abhängigkeit von den Werten von X
(Regression von Y auf X). Y wird als abhängige Variable
bezeichnet und X als unabhängige. In der Regressionsanalyse
beschäftigt man sich also mit den bedingten Verteilungen
f�Y � y|X� x�.
Wir ordnen damit jedem Merkmalswert von X eine Funktion zu,
und zwar die bedingte Verteilung von Y. Dies ist die allgemeine
Idee einer Regression.
Dies ist praktisch nur schwer darstellbar. Die primäre Funktion
statistischer Verfahren, nämlich die in den Daten enthaltene
Information auf wenige Kennzahlen zu reduzieren, ist hier nicht
erfüllt. Deshalb charakterisiert man die bedingten Verteilungen
durch idealerweise nur eine Kennzahl:
• Y metrisch: bedingtes arithmetisches Mittel
• Y metrisch, ordinal: bedingtes Quantil
• Y nominal: bedingte Häufigkeiten (Kreuztabelle!)
Es hängt vom Meßniveau von Y ab, welche Kennzahl man verwenden
kann. Aber selbst für nominales Y läßt sich die bedingte
Verteilung durch Kennzahlen beschreiben. Damit ist eine
Regression für jedes Y-Meßniveau durchführbar.

Multivariate Verfahren, Brüderl 3
Regression mit diskretem X
In diesem Fall errechnet man für jeden vorkommenden X-Wert
die Kennzahl der bedingten Verteilung.
Beispiel: ALLBUS 1994
Y ist das monatliche Nettoeinkommen und X die Bildung. Da Y
metrisch ist, können wir für jedes Bildungsniveau E�Y|x�, das
bedingte arithmetische Mittel, berechnen. Ein Vergleich dieser
Mittelwerte liefert uns Information über den ,,Effekt“ der Bildung
auf das Einkommen. Im Prinzip handelt es sich hierbei um eine
Varianzanalyse.
Bei der folgenden Graphik handelt es sich um ein Streudiagramm
der Daten. Da Bildung nur 4 Werte annimmt, würden
sich die Einkommenswerte stark überdecken. Deshalb wurden
die Werte ,,gejittered“. Die bedingten Mittelwerte wurden mit
einer Linie verbunden, um die Art des Zusammenhangs visuell
besser erkennen zu können.
Einkommen in DM
10000
8000
6000
4000
2000
Nur Vollzeit, unter 10.000 DM (N=1459)
0
Haupt Real Abitur Uni
Bildung

Multivariate Verfahren, Brüderl 4
Regression mit stetigem X
In diesem Fall ist die direkte Errechnung der Kennzahl nicht
praktikabel, weil für die meisten X-Werte nur wenige Y-Werte
vorliegen werden. Es kommen zwei Verfahren in Betracht.
Nicht-Parametrische Regression
Für jeden (im Prinzip) möglichen X-Wert werden die Y-Werte in
einer Umgebung von x benutzt, um die Kennzahl zu berechnen
(local averaging). Bildlich gesprochen läßt man eine Fenster
konstanter Breite über den Wertebereich von X gleiten. Über alle
Datenpunkte in dem Fenster errechnet man dann z.B. das
Y-Mittel. Diese Werte verbindet man dann mit einer Linie. Je
größer man die Umgebung wählt, desto glatter wird die
Regressionsfunktion.
Beispiele: Lokale Mean (Median) Regression, Lowess Smoother
Parametrische Regressionsmodelle
Man nimmt an, daß die Kennzahlen einer Funktion folgen: g�x;��.
Man unterstellt also ein parametrisches Regressions- modell.
Gegeben die Daten und das gewählte Modell, schätzt man die
Parameter � so, daß die Regressionsfunktion am besten auf die
Daten paßt. Man muß sich also zusätzlich noch für ein
Schätzkriterium entscheiden.
Beispiel: OLS-Regression
Man nimmt ein lineares Modell für den bedingten Mittelwert an.
E�Y|x� � g�x;�, �� ����x.
Als Schätzkriterium verwendet man üblicherweise OLS
n
min ∑
�,�
i�1
�yi − g�xi;�, ��� 2 .
Es sei betont, daß die OLS-Regression nur eines der möglichen
Regressionsmodelle darstellt. Es gibt viele weitere Modelle
(quadratisch, logarithmisch, ...) und auch alternative Schätzkriterien
(LAD, ML, ...). OLS ist so beliebt, weil die Schätzer
leicht zu errechnen und anschaulich zu interpretieren sind.

Multivariate Verfahren, Brüderl 5
Ein Vergleich von lokaler und modellhafter Regression
Die Daten stammen aus dem ALLBUS 1994. Y ist das monatliche
Nettoeinkommen und X das Alter. Wir berechnen:
1) eine lokale Mean Regression (rot)
2) eine (naive) lokale Median Regression (grün)
3) eine OLS-Regression (blau)
DM
10000
8000
6000
4000
2000
0
Nur Vollzeit, unter 10.000 DM (N=1461)
15 25 35 45 55 65
Alter
Alle drei Regressionskurven sagen uns, daß das mittlere
(bedingte) Einkommen mit dem Alter ansteigt. Die beiden lokalen
Regressionen deuten zusätzlich eine gewisse Nicht- Linearität
an. Sie können die Daten besser anpassen, weil sie kein
idealisierendes Modell mit wenigen Parametern unter- stellen.
Dafür läßt sich die Information, die die OLS-Regression liefert,
viel einfacher interpretieren (� �37. 3).
Zur Interpretation einer Regression
Statistisch gesehen sind Regressionen Verfahren, mit denen
man Zusammenhänge zwischen Verteilungen sichtbar machen
kann, in dem wir die bedingte Verteilung (bzw. Kennzahlen) als
Funktion bedingender Variablen darstellen. Ob diese Regressionsfunktion
kausal interpretiert werden kann, muß inhaltlich
entschieden werden (d.h. man braucht eine Theorie, s.
Goldthorpe, 2000, On Sociology).

Multivariate Verfahren, Brüderl 6
2) Explorative Datenanalyse
Im folgenden sollen graphische Verfahren zum ,,Erforschen“ von
Daten vorgestellt werden. Diese Verfahren sind sehr hilfreich, um
ein ,,Gefühl“ für die Daten zu bekommen (Exploration). Wir
benötigen sie insbesondere für die Regressionsdiagnostik.
Beispiel: Anscombes Quartett
Dieses Beispiel verdeutlicht, daß ein und dieselbe Regression
von völlig unterschiedlichen Daten erzeugt werden kann. Eine
graphische Inspektion der Daten kann solchen Fehlschlüssen
vorbeugen.

Multivariate Verfahren, Brüderl 7
Univariate Verteilungen
Beispiel: Wir betrachten die V423 (monatliches Nettoeinkommen
des Befragten in DM). Wir nehmen nur Vollzeiterwerbstätige
(V25�1) bis zum Alter 65 (V247≤65). N�1475.
Anteil
.4
.3
.2
.1
0
0 3000 6000 9000
DM
12000 15000 18000
Histogramm
DM
18000
15000
12000
9000
6000
3000
0
eink
394 828 952
1128 1157 1180 1353 224 260 267 803 851 871
724 779
1023 1029 279 407 493 523 534 656 17
1166 1351 281 643
1048 1054 1083 1085 1119 1130 1399 100 108 113 152 166 342 348 408 444 454 571 682 711 812 955 40 57 60
1051 1059 258 341
1101 103
114
253 290
370 405
506 543
616
658
708
1123 723 755 762 841 856 865 924 930
Box-Plot
Das Histogramm ist mit 18 Intervallen (,,bins“) gezeichnet. Man
erkennt die deutlich rechtsschiefe Verteilung. Über 8000,- DM
finden sich nur noch wenige Beobachtungen. Aber: Verteilung ist
nur diskret und hängt von der Zahl der Intervalle ab.
Das Box-Plot zeigt die drei Quartile. Die Whisker sind 1.5 mal
den IQR lang. Die Rechtsschiefe erkennt man daran, daß der
untere Whisker kürzer ist. Weiterhin kann man in einem Box-Plot
sehr schön die Ausreißer identifizieren.
Eine nicht-parametrische Dichteschätzung erhält man mittels der
Kerndichteschätzer. An einer festgelegten Zahl von Stellen (n)
wird in Intervallen der Breite 2w mittels einer Gewichtungsfunktion
(,,Kern“) die Dichte geschätzt. Folgende Plots
verwenden den Epanechnikov-Kern mit n�100.
.0004
.0003
.0002
.0001
0
0 3000 6000 9000 12000 15000 18000
DM
Kerndichteschätzer, w=100
.0004
.0003
.0002
.0001
0
0 3000 6000 9000 12000 15000 18000
DM
Kerndichteschätzer, w=300

Multivariate Verfahren, Brüderl 8
Vergleich von Verteilungen
Häufig will man feststellen, ob die Daten einer Normalverteilung
folgen. Dazu kann man eine Normalverteilungskurve in den
Dichteplot einzeichnen oder einen statistischen Test durchführen.
Einen graphischen Vergleich ermöglichen Normal-
Probability Plots (o. Normal-Quantile). Die Quantile der Daten
werden gegen die Quantile der theoretischen Normalverteilung
aufgetragen. Abweichungen von der Geraden mit Steigung 1
zeigen Abweichungen von der Normalverteilung an.
DM
18000
15000
12000
9000
6000
3000
0
-3000 0 3000
Inverse Normal
6000 9000
Man erkennt eine deutliche Abweichung von der Normalverteilung.
Die Datenpunkte liegen nicht auf der blauen Gerade. Zu
Beginn sind die beobachteten Einkommenswerte höher als nach
der Normalverteilung zu erwarten wäre. In der Mitte stimmts in
etwa. Am Ende sind die Werte wieder größer (Rechtsschiefe).
Deutlich setzen sich die Ausreißer ab.

Multivariate Verfahren, Brüderl 9
Bivariate Daten
Bivariate Zusammenhänge veranschaulicht man am besten mit
einem Streudiagramm. Überdecken sich die Daten stark, so
,,jittered“ man am besten (überlagert Daten mit einer Zufallsstreuung).
Einen Eindruck von der Art des Zusammenhangs
bekommt man mittels einer nicht-parametrischen Regression.
Bewährt hat sich hierfür der Lowess-Smoother (locally weighted
scatterplot smoother). An der Stelle xi wird eine lineare
Regression berechnet, in die die Daten in der Umgebung
gewichtet eingehen. Die Breite der Umgebung ist steuerbar
durch ,,bandwidth“ (z.B. bwidth�0.8). Es wird trikubisch
gewichtet. Anhand der Regressionsparameter wird dann � y i
berechnet. Dies wird für alle X-Werte gemacht. Die Verbindung
der (xi, � y i ) ergibt die Lowess-Kurve. Je kleiner die Umgebung,
desto näher an den Daten ist die Kurve.
Beispiel: Einkommen in Abhängigkeit von Bildung
Einkommen wie oben. Schulbildung plus Berufsbildung
(V12-V23) wird umgerechnet in Bildungsjahre. N�1471.
DM
18000
15000
12000
9000
6000
3000
0
Lowess smoother, bandwidth = .8
8 10 12 14 16
Bildung
18 20 22 24
DM
18000
15000
12000
9000
6000
3000
0
Lowess smoother, bandwidth = .3
8 10 12 14 16
Bildung
18 20 22 24
Links ist nicht gejittered, es kommt zu starker Überdeckung.
Rechts ist gejittered (j(2)�2% der Zeichenfläche).
Die blaue Kurve ist der Lowess-Smoother. Links werden zur Berechnung
jeweils 80% der Fälle in der Umgebung verwendet,
rechts nur 30%. Die rechte Kurve folgt deshalb wesentlich genauer
den Daten, ist dafür aber unregelmäßiger. In beiden Fällen
erkennt man leichte Nicht-Linearität ab 19 Bildungsjahre.

Multivariate Verfahren, Brüderl 10
Datentransformation
Schiefe und Ausreißer sind insbesondere für Mean-Regressionen
ein Problem. Glücklicherweise kann man aber durch
Potenz-Transformationen Schiefe reduzieren und Ausreißer
,,heranziehen“. Tukeys ,,ladder of powers“:
10
8
6
4
2
0
-2
1 2 3 4 5
x
Beispiel: Einkommensverteilung
.0004
.0003
.0002
.0001
0
0 3000 6000 9000 12000 15000 18000
DM
Kerndichteschätzer, w=300
q�1
.960101
.002133
x 3 q � 3 produziert
x 1.5 q � 1. 5 cyan Rechtsschiefe
x q � 1 schwarz
x .5 q �.5 grün produziert
ln x q � 0 rot Linksschiefe
−x −.5 q � −.5 blau
5.6185 9.85524
lneink
Kernel Density Estimate
q�0
2529.62
0
-.003368 -.000022
inveink
Kernel Density Estimate
q�-1
Exkurs: Potenzfunktionen, ln- und e-Funktion
x0.5 � x 1
2 � 2 x , x−0.5 � 1
x0.5 � 1
2 x , x0�1 Mit ln notieren wir den (natürlichen) Logarithmus zur Basis e � 2, 71828. . . :
y � ln x � ey � x
Daraus folgt ln�ey� � eln y � y.
4
2
-4 -2 0 2x 4
-2
-4
Rechenregeln
exe y � ex�y ln�xy� � ln x � ln y
ex /ey � ex−y ln�x/y� � ln x − ln y
�ex� y � exy ln xy � ylnx

Multivariate Verfahren, Brüderl 11
3) Das einfache Regressionsmodell
Im einfachen Regressionsmodell unterstellt man ein lineares
Modell für den bedingten Mittelwert:
E�Y|x� ����x.
Daraus ergibt sich das Modell zur Beschreibung der Daten:
• A1: yi ����xi��i, i � 1, … ,n.
� und � sind zu schätzende Parameter (Regressionskoeffizienten)
und � ist ein Fehlerterm. A1 enthält insbesondere folgende
Annahmen: Die Beziehung zwischen X und Y ist linear und die
Parameter � und � sind identisch für alle Beobachtungen.
Das Streudiagramm gibt eine graphische Darstellung des
Modells. Die Punkte repräsentieren jeweils eine Beobachtung.
Die Gerade ist die (Modell-)Regressionsgerade mit Achsenabschnitt
� und Steigung �. � gibt den Y-Wert an, wenn X � 0. �
gibt an, um wieviele Einheiten sich Y verändert, wenn X um eine
Einheit steigt. Meist werden die Daten natürlich nicht exakt auf
der Regressionsgeraden liegen, so wie z.B. Beobachtung i. Der
laut Modell zu erwartende Wert (E�yi|xi� ����xi), stimmt nicht
mit dem beobachteten Wert (yi) überein. Die Differenz ist der
Fehler �i.
Über die stochastischen Eigenschaften dieses Fehlerterms
macht man einige weitere Annahmen:
• A2: E��i� � 0, für alle i; im ,,Mittel“ ist der Fehler null
• A3: V��i� �� 2 , für alle i; die Fehlervarianz ist konstant
(Homoskedastizität)

Multivariate Verfahren, Brüderl 12
• A4: Cov��i,�j� � 0, für alle i ≠ j; die Fehlerkovarianzen sind
null (keine Autokorrelation)
• A5: Cov�xi,�j� � 0, für alle i und j; Regressor und Fehler sind
unkorreliert
A5 impliziert unter anderem: der Regressor darf keine Meßfehler
enthalten und er darf mit keinen weiteren unbeobachteten
Variablen (die ja laut A1 im Fehlerterm zusammengefaßt sind)
korreliert sein.
Will man Hypothesen über die Parameter des Modells testen, so
ist eine weitere Annahme nötig:
• A6: �i � N�0, �2�; die Fehler sind normalverteilt
Es ist zu beachten, daß die Normalverteilungsannahme nicht zur
Schätzung der Parameter erforderlich ist. Da in der
Sozialforschung aber praktisch immer Hypothesentests
durchgeführt werden, muß auch A6 üblicherweise gelten.
Schätzung der Modellparameter
Dieses Modell enthält die unbekannten Parameter �, � und �2 .
Anhand der beobachteten Daten können die Parameter
geschätzt werden. Die Schätzer notieren wir mit �̂, �̂ und �̂ 2 .
Insbesondere �̂ interessiert den Sozialforscher, weil dieser
Schätzer Auskunft über den Zusammenhang von X und Y gibt.
Doch nach welchem Kriterium schätzt man? Ein sinnvoller
Ansatz will möglichst gute Prognosen � y i ��̂ ��̂ xi erhalten. Die
Fehler sollten möglichst klein sein. ∑�yi − � y i� ist nicht geeignet,
weil jede Gerade durch ( x,y ) diese Abweichungssumme
minimiert (�0). Deshalb fordert man üblicherweise, daß die
Summe der Abweichungsquadrate
n
∑�yi −
i�1
� y i� 2 n
� ∑
i�1
minimiert wird. � � i nennt man Residuen.
� � i 2 � RSS

Multivariate Verfahren, Brüderl 13
Dies ist die Methode der kleinsten Quadrate (Ordinary Least
Squares, OLS):
min
�̂,�̂ ∑ n
i�1
2 �̂ i � min
�̂,�̂ ∑ n
�yi − �̂ − �
i�1
̂xi� 2 .
Um die Schätzformeln zu erhalten, muß man ableiten:
∂ RSS � 2∑�yi − �̂ − � ∂ �̂ ̂xi��−1� ∂ RSS
∂ �̂ � 2∑�yi − �̂ − �̂ xi��−xi� .
Durch Nullsetzen und Umformen erhält man die sogenannten
Normalgleichungen:
∑ yi � �̂n �� ̂ ∑ xi
∑ xiyi � �̂ ∑ xi �� ̂ ∑ x i 2 .
Aus der ersten Gleichung folgt unmittelbar:
�̂ � ȳ − � ̂ x̄.
Einsetzen in die zweite Gleichung und Umformen ergibt:
� ̂ � ∑ xiyi − n x y
∑ x i 2 − n x 2
� ∑�xi − x̄��yi − ȳ�
∑�xi − x̄� 2
� sXY
s X 2 .
Eigenschaften der Residuen
Aus der Schätzformel für �̂ folgt, daß die Regressionsgerade
durch den Punkt ( x,y ) geht. Mithin gilt immer:
∑ � � i � 0.
Weiterhin folgt aus der zweiten Normalgleichung
∑ xi � � i � 0.
Außerdem gilt:
∑ � �
y i � i � 0.
Residuen unkorreliert mit X-Werten und Prognosewerten.

Multivariate Verfahren, Brüderl 14
Schätzung der Residualvarianz
Die Varianz der Residuen notieren wir mit �̂ 2 . Sie ergibt sich als:
�̂ 2 � 1
n − 2 ∑ �̂ i 2 − �̂ 2 � ∑ �̂ i 2
n − 2 .
n − 2 ist die Zahl der Freiheitsgrade der Residuen (2�Zahl der
Modellparameter, die zu ihrer Berechnung nötig sind).
Eigenschaften der OLS-Schätzer
Die OLS-Schätzer haben bei Gültigkeit von A1-A5 gewisse
wünschenswerte Eigenschaften: Sie sind
• unverzerrt (erwartungstreu: E��̂ � ��)
• in der Klasse der linearen, unverzerrten Schätzer die mit der
kleinsten Stichprobenvarianz (best linear unbiased estimate,
BLUE; Gauß -Markov Theorem)
Will man einen linearen und unverzerrten Schätzer verwenden,
so besagt das Gauß-Markov Theorem, daß die OLS-Schätzer in
dieser Klasse die präzisesten sind.
Außerdem sind sie bei Gültigkeit der Normalverteilungsannahme
(A6) die Maximum-Likelihood (ML) Schätzer und besitzen
somit auch deren Eigenschaften (Konsistenz, Effizienz,
asymptotisch normalverteilt).
Modellfit
Neben der Schätzung der Parameter ist es weiterhin wichtig zu
wissen, wie gut das Modell auf die Daten paßt.
Standardfehler der Regression
Der Fit ist umso besser, je geringer die Streuung der Residuen
ist. Deshalb liegt es nahe, � � (Root MSE in STATA) als Fitmaß zu
verwenden. Da � � in der gleichen Einheit wie Y gemessen ist,
erlaubt der Vergleich von � � und y eine Abschätzung des Fits (im
Bereich 0 � 2 � � liegen 95% der Residuen).
Bestimmtheitsmaß R2 Berechnung ausgehend von der Streuungszerlegung:
�yi − y � � �yi − � y i � � � � y i − y �.

Multivariate Verfahren, Brüderl 15
Quadrieren und Summieren auf beiden Seiten ergibt:
∑�yi − y � 2 � ∑�yi − � y i � 2 � ∑� � y i − y � 2 � ∑ � � i� � y i − y �.
Der letzte Term fällt weg. Damit ergibt sich:
∑�yi − y � 2 � ∑ � � i 2 � ∑� � y i − y � 2
TSS � RSS � ESS
R2 wird nun als Quotient von erklärter zu gesamter Streuung
(Varianz) definiert:
R2 � ESS
TSS � s2 Y � 1 − RSS
2 sY TSS .
Ist R2 � 0, so bedeutet dies, daß das Modell nichts zur Erklärung
der Varianz von Y beiträgt. R2 � 1 dagegen zeigt an, daß
das Modell die Daten vollkommen beschreibt.
Es ist zu beachten, daß R2 den Fit eines linearen Modells beschreibt.
Ein niedriges R2 kann somit auch aus der Nicht-
Linearität der Beziehung resultieren.
Hypothesentests
Im einfachsten Fall wird die Nullhypothese H0 : ���0 gegen die
Alternative H1 : � ≠ �0 getestet (zweiseitiger Test).
Dazu muß zuerst der Standardfehler von �̂ berechnet werden:
�̂ �̂ � �̂
.
n − 1 sx
Die Schätzung von � wird präziser (der Standardfehler kleiner),
wenn das Modell gut fittet und die X-Werte stark streuen.
Dann wird die Testgröße (t-Wert)
t � �̂ − � 0
�̂ � ̂
errechnet. Sie ist t-verteilt mit n − 2 Freiheitsgraden. Die
Nullhypothese wird abgelehnt, wenn der Betrag der Testgröße
größer als der kritische Wert der t-Verteilung ist (bei gegebenem
Signifikanzniveau).

Multivariate Verfahren, Brüderl 16
Meist jedoch ist man nur daran interessiert, ob X überhaupt
einen Einfluß auf Y ausübt (H0 : ��0). Dann lautet die
Testgröße t �� ̂ /�̂ � ̂. Auf dem 95%-Niveau bei großen Fallzahlen
(n � 500) beträgt der kritische Wert 1.96. Ist somit |t|� 1. 96,
können wir die Nullhypothese ablehnen und sprechen von einem
signifikanten Effekt der Variable X.
Beispiel: Einkommen in Abhängigkeit von Bildung
Source | SS df MS Number of obs � 1471
---------�------------------------------ F( 1, 1469) � 216.89
Model | 560447243 1 560447243 Prob � F � 0.0000
Residual | 3.7959e�09 1469 2584014.63 R-squared � 0.1287
---------�------------------------------ Adj R-squared � 0.1281
Total | 4.3564e�09 1470 2963513.43 Root MSE � 1607.5
----------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
-----�----------------------------------------------------------------bild
| 227.7948 15.46764 14.727 0.000 197.4538 258.1358
cons | -41.24655 197.0808 -0.209 0.834 -427.8364 345.3433
-----------------------------------------------------------------------
Der Modellfit fällt mit R 2 � 0. 13 für sozialwissenschaftliche
Verhältnisse gut aus. Allerdings zeigt � ��1608 DM, daß die
Residuen stark um die Regressionsgerade streuen. Für
Prognosezwecke wäre dieses Modell unbrauchbar.
Inhaltlich sehen wir, daß das Einkommen um 228,- DM pro
Bildungsjahr steigt (genauer: der bedingte Erwartungswert).
Hilfreich ist es, die Regressionsgerade in ein Streudiagramm
einzuzeichnen (blau). Ein Vergleich mit der Lowess-Kurve (grün)
zeigt nur zum Schluß hin Abweichungen.
DM
18000
15000
12000
9000
6000
3000
0
8 10 12 14 16
Bildung
18 20 22 24

Multivariate Verfahren, Brüderl 17
4) Das multiple Regressionsmodell
Die Regression wird zu einem multivariaten Analyseverfahren,
wenn man mehr als eine uV einbezieht. Man spricht dann von
multipler Regression:
yi ��0 ��1xi1 ��2xi2 �… ��pxip ��i , i � 1, … ,n.
�0 heißt Regressionskonstante. Die anderen Regressionskoeffizienten
definieren eine p-dimensionale Regressionsebene.
Interpretation: �j gibt an, um wieviel Einheiten sich Y ändert,
wenn sich Xj um eine Einheit erhöht, unter Kontrolle der
anderen im Modell enthaltenen X-Variablen. �j sagt uns,
welcher Effekt verbleibt, wenn wir für die anderen uVs
kontrollieren. Damit ist die multiple Regression das ideale
multivariate Analyseverfahren: wir fügen dem Modell einfach alle
uVs hinzu, von denen wir vermuten, daß von ihnen eine
Scheinkorrelation bzw. Intervention ausgehen könnte.
Beispiel: Statuszuweisungsmodell (ALLBUS 94)
Blau/Duncan (1967) ”The American Occupational Structure”. Wie
erlangt man seine soziale Position? Durch ”achievement” oder
Statusvererbung?
Abhängige Variable ist ”Einkommen” (nur Westdeutsche, Vollzeit).
Der Status des Vaters wird mit der Magnitudeprestigeskala
gemessen (Werte von 20-190), das ”achievement” durch
die eigene Schul- und Berufsbildung (Werte von 9-22).
Fehler 1
Das Statuszuweisungsmodell
Fehler 2
(1) (2)
Konstante 2387 -132
Prestige Vater 12,7 3,4
Bildung 246
R 2 0,05 0,19
N 828 828

Multivariate Verfahren, Brüderl 18
Der bivariate Effekt (Gesamteffekt) des Prestiges des Vaters
wird deutlich kleiner, wenn man für Bildung kontrolliert (Intervention).
Offensichtlich ist ein großer Teil des Herkunftseffektes
über Bildung vermittelt (indirekter Effekt). Der direkte Effekt ist
nicht mehr allzu groß. Zur Verdeutlichung des Gesamtmodells
kann man die standardisierten Regressionskoeffizienten in das
Kausalmodell eintragen (Pfaddiagramm). Die standardisierten
Koeffizienten können verglichen werden.
Fehler 1
0,42 0,40
0,06
Das Pfaddiagramm
Das Regressionsmodell (2)
Fehler 2

Multivariate Verfahren, Brüderl 19
Standardisierte (einfache) Regressionskoeffizienten
Will man die �j vergleichen, so standardisiert man Y und X
(Z-Transformation):
y i ∗ � yi − y
sY
Die Regressionsgleichung lautet nun
, x i ∗ � xi − x
sX
y i ∗ �� ∗ �� ∗ xi ∗ ��i ∗ .
Gesucht sind � ∗ und � ∗ die standardisierten Regressionskoeffizienten.
Es ergibt sich
� ∗ � y ∗ − � ∗ x ∗ � 0,
�∗ � sX ∗Y∗ � 2 sX ∗
sXY
sXsY
� r.
Dies zeigt, daß r gleich dem standardisierten Regressionskoeffizienten
ist (gilt nur bei der einfachen Regression!).
Beziehung von � ∗ und � �: Es gilt � ∗ � � � sX
sY .
"Mechanik" der Drittvariablenkontrolle
Um zu verstehen, was bei der Kontrolle einer weiteren uV
passiert, betrachten wir den Spezialfall mit zwei uVs.
Korrelieren X1 und X2, so müssen die wechselseitigen indirekten
Effekte ”herausgerechnet” werden. Im Prinzip werden dazu die
tatsächlichen Werte von Xj ersetzt durch die Residuen, die man
aus einer Regression mit Xj als Regressand und den anderen
uVs als Regressoren erhält. Es resultieren diese Schätzformeln:
� ∗ 0
� 0
�∗ 1 � ryx1−ryx2rx 1x2 1−rx
2
1x2 �∗ 2 � ryx2−ryx1rx 1x2 1−rx
2
1x2 � � 0 � y − � � 1 x 1 − � � 2 x 2
� � 1 � � ∗ 1
� � 2 � � ∗ 2
Man erkennt, daß für rx1x2 � 0 die selbe Formel wie im bivariaten
Fall resultiert. Für rx1x2 ≠ 0 wird die bivariate Korrelation
”korrigiert” um den indirekten Effekt.
sy
sx 1
sy
sx 2
.
.

Multivariate Verfahren, Brüderl 20
5) Das Regressionsmodell in Matrix-Notation
y �
y1
y2
�
yn
,X �
1 x11 … x1p
1 x21 … x2p
� � �
1 xn1 … xnp
y � X� � �.
Annahmen der Regressionsanalyse
� � Nn�0, �2I� Cov�x, �� � 0
rg�X� � p � 1
, � �
.
�0
�1
�
�p
, � �
Schätzung
Mittels der KQ-Methode erhält man die Schätzer für �,
� ′ � � �X X�−1 ′ X y.
Mit denen kann man die gefitteten Werte schätzen
� � ′ y � X� � X�X X�−1 ′ X y � Hy.
Die geschätzten Fehlerterme (die Residuen) sind
� �
� � y − y � y − Hy � �I − H�y.
Die Residualvarianz ergibt sich aus
�
�
2
� �
�
′�
�
n − p − 1 � y′ y − y ′ X � �
n − p − 1 .
Zum Testen der Regressionskoeffizienten benötigt man deren
Stichprobenvarianzen ( � �j 2 stehen auf der Hauptdiagonalen):
Das Bestimmtheitsmaß ist
R 2 � ESS
TSS
� 1 − RSS
TSS
V� � �� � � � 2 �X ′ X� −1 .
� 1 −
∑
�2 � i
� 1 −
2 ∑�yi − y �
�
�
′�
�
y ′ .
2 y − n y
�1
�2
�
�n
.

Multivariate Verfahren, Brüderl 21
Exkurs: Matrixalgebra
Eine Matrix A der Dimension 3 � 2:
A �
3 11
19 11
77 80
, A ′ �
Ein Spaltenvektor y und der Zeilenvektor y ′ :
y �
2
1
5
3 19 77
11 11 80
, y ′ � 2 1 5 .
Spezielle Matrizen:
• Quadratische Matrizen: Zeilenzahl gleich Spaltenzahl
• Symmetrische Matrizen: Elemente unter und über der
Hauptdiagonalen entsprechen sich (nur quadratische
Matrizen)
• Diagonalmatrix: nur auf der Hauptdiagonalen Elemente
ungleich 0
• Einheitsmatrix: Diagonalmatrix mit Elementen gleich eins (I)
• Nullmatrix: alle Elemente gleich null (0)
• Skalar: 1 � 1 Matrix (Zahl)
Matrixoperationen
Gleichheit: Alle Elemente sind gleich
Matrixaddition: Die Summe zweier Matrizen A � B (gleiche
Dimension) ist die Summe der einzelnen Elemente
3 11
19 11
77 80
Es gilt: A � B � B � A.
Skalarmultiplikation: 2 � B
�
2 5
1 1
3 0
�
5 16
20 12
80 80
.
.

Multivariate Verfahren, Brüderl 22
2
3 5
2 1
�
6 10
4 2
Matrixmultiplikation: AB � C (r � s � s � t � r � t)
2 1
3 4
1 2
�
3 5
2 1
�
2 � 3 � 1 � 2 2 � 5 � 1 � 1
3 � 3 � 4 � 2 3 � 5 � 4 � 1
1 � 3 � 2 � 2 1 � 5 � 2 � 1
.
�
8 11
17 19
7 7
Es gilt: AB ≠ BA (geht sowieso nur bei quadratischen Matrizen).
Es gilt: AI � IA � A.
Es gilt: �A � B� ′ � B ′ � A ′ .
Skalarprodukt: a ′ b � b ′ a � ∑ aibi, (y ′ y �∑y i 2 )
2 1 5
3
1
2
� 2 � 3 � 1 � 1 � 5 � 2 � 17.
Determinanten
Nur bei quadratischen Matrizen. Am einfachsten bei 2 � 2
2 3
1 5
� 2 � 5 − 3 � 1 � 7.
Bei höheren Dimensionen: Man bildet die gewichtete Summe der
Elemente einer Zeile (oder Spalte). Die Gewichte sind die
Kofaktoren (Determinanten der Elemente der Matrix, die nicht in
der gleichen Zeile und Spalte stehen). Das Vorzeichen der
Kofaktoren ergibt sich aus der Summe der Zeilen- und
Spaltenindizes des Elements (gerade��, ungerade�-).
3 1 9
2 0 2
4 6 4
� 3
0 2
6 4
− 2
1 9
6 4
� 4
1 9
0 2
� 72.
Eine Matrix mit Determinante von 0 bezeichnet man als
singuläre Matrix. Dies resultiert daraus, daß sich eine Zeile
.

Multivariate Verfahren, Brüderl 23
(Spalte) als Linearkombination einer oder mehrerer Zeilen
(Spalten) darstellen läß t.
1 4 4
2 6 7
1 2 3
� 0.
Der Rang einer quadratischen Matrix rg�A� ist die maximale Zahl
der linear unabhängigen Zeilen. Sind alle Zeilen unabhängig, so
hat die Matrix vollen Rang. Es gilt: rg�A ′ A� � rg�A�
Eigenschaften:
• |A|� |A ′ |
• |AB|� |A|�|B|
Matrixinversion
Nur bei quadratischen Matrizen: AA −1 � A −1 A � I.
A−1 � 1
|A| adj�A�.
Die adjunkte Matrix von A ist die Matrix, bei der alle Elemente
durch ihre Kofaktoren ersetzt werden und anschließend
transponiert wird.
3 2
1 4
−1
� 1 10
�4 −1
−2 �3
′
�
4
10
− 1
10
2 − 10
3
10
Eigenschaften:
• Inverse nur bei Matrizen mit vollem Rang (� |A|≠ 0)
• �A ′ � −1 � �A −1 � ′
• �AB� −1 � B −1 A −1
• Gilt AA ′ � I, so heißt A orthogonal
.

Multivariate Verfahren, Brüderl 24
Lineare Gleichungssysteme
Mittels der Matrixinversion kann man lineare Gleichungssysteme
lösen
Setzen wir
A �
1 2 −1
3 −1 1
4 3 −2
x1 � 2x2 − x3 � 1
3x1 − x2 � x3 � 5
4x1 � 3x2 − 2x3 � 2
, x �
x1
x2
x3
.
, c �
so können wir das Gleichungssystem schreiben als
Ax � c.
Die Lösung erhalten wir durch Vormultiplikation mit der Inversen
Daraus ergibt sich
x �
A −1 Ax � A −1 c � x � A −1 c.
− 1
6
5
3
13
6
1
6
1
3
5
6
1
6
2 − 3
7 − 6
Eigenwerte und Eigenvektoren
A sei n � n. � heißt Eigenwert und x Eigenvektor, wenn folgende
Gleichung erfüllt ist
Ax ��x � �A − �I�x � 0.
Es gibt n, nicht notwendig verschiedene Eigenwerte und
dazugehörende Eigenvektoren.
Quadratische Form
A sei n � n, dann heißt x ′ Ax quadratische Form. Es gilt
∂x ′ Ax � 2Ax.
∂x
1
5
2
�
1
2
4
.
1
5
2
,

Multivariate Verfahren, Brüderl 25
Ableitung der OLS-Schätzer
Das Regressionsmodell lautet
y � X� � �.
Die OLS-Schätzer von � erhalten wir, indem wir die Summe der
Residuenquadrate minimieren
�
�
′�
�.
Es gilt
min
�̂ ∑ 2 �̂ i � min
�̂ �
�
′� � �
′ � � �y − X�� �y − X�� �
� �′ y ′ y − y ′ X� − � X ′ y � � � ′
�X ′ X� � �
� y ′ y − �2y ′ X� � � � � � ′
�X ′ X� � �
Jedes Produkt der rechten Gleichungen ist ein Skalar, weshalb
�′ � X ′ y � y ′ X � �. Leiten wir nun ab, so erhalten wir
∂ � � ′� �
∂ � � 0 − 2X
�
′ y � 2�X ′ X� � �.
Nullsetzen und umformen liefert die Normalgleichungen
�X ′ X� � � � X ′ y.
Hat X vollen Rang, so können wir dieses lineare Gleichungssystem
eindeutig lösen �� � �X ′ X� −1 X ′ y.
Normalgleichungen für p�2:
n ∑ x1 ∑ x2
∑ x1 ∑ x 1 2 ∑ x2x1
∑ x2 ∑ x1x2 ∑ x 2 2
� � 0
� � 1
� � 2
�
∑ y
∑ yx1
∑ yx2
Hieran erkennt man, daß sich hinter der Matrixform der Normalgleichungen
ein Gleichungssystem verbirgt, daß analog wie bei
der einfachen Regression aufgebaut ist.
.
.

Multivariate Verfahren, Brüderl 26
6) Praktische Regressionsanalyse
In diesem Kapitel werden einige Ergänzungen besprochen, die
für den praktischen Umgang mit Regressionen wichtig sind.
Signifikanztests
Test der Signifikanz des Gesamtmodells (overall F-Test)
Man kann testen, ob alle X-Variablen zusammen zur Erklärung
von Y beitragen. Die H0 ist, daß keine X-Variable einen Einfluß
auf Y zeigt:
H0 : �1 ��2 �… � �p � 0, H1 : �j ≠ 0, für mind. ein j.
Man berechnet hierzu folgende F-Teststatistik:
F � ESS
RSS
n − p − 1
p � R 2
1 − R 2
n − p − 1
p
Die H0 wird abgelehnt, falls
F � F1−��p, n − p − 1�.
� F�p, n − p − 1�.
Wird die H0 abgelehnt, so spricht man oft salopp von der
,,Signifikanz des Regressionsmodells“
Test der Signifikanz mehrerer Effekte (incremental F-Fest)
Manchmal will man testen, ob eine Teilmenge der
Regressionskoeffizienten einen signifikanten Einfluß hat:
H0 : �1 ��2 �… � �k � 0, mit 1 ≤ k ≤ p.
Gilt die H0, so hat man ein Regressionsmodell, in dem die ersten
k uVs fehlen (Nullmodell). Man verwendet auch hier einen
F-Test, bei dem man im Prinzip das R2 2 aus dem Nullmodell (R0) 2 mit dem aus dem Vollmodell (R1) vergleicht
F � R 1 2 − R 0 2
1 − R 1 2
n − p − 1
k
� F�k, n − p − 1�.
Man testet im Prinzip den Anstieg von R 2 vom Null- zum
Vollmodell (beim overall F-Test ist das Nullmodell das Modell mit
nur der Konstanten, also R 0 2 � 0, k � p). Im Fall k�1, ist der
incremental F-Test äquivalent zum t-Test ( F � t).

Multivariate Verfahren, Brüderl 27
Test der Signifikanz eines Regressionskoeffizienten (t-Test)
Die H0 ist, daß die Variable Xj keinen Einfluß auf Y hat
H0 : �j � 0, H1 : �j ≠ 0.
Die Teststatistik ist
t �
� � j
� � � � j
� t�n − p − 1�.
Die H0 wird abgelehnt, falls
|t|� t1−�/2�n − p − 1�.
Für n�500 können wir das entsprechende z-Quantil verwenden.
Können wir die H0 verwerfen, so sprechen wir davon, daß die
Variable Xj einen signifikanten Einfluß auf Y zeigt.
Beispiel: Einkommensregression
Die Humankapitaltheorie sagt voraus, daß das Einkommen
abhängt vom allgemeinen Humankapital (Schulbildung,
Berufserfahrung) und vom spezifischen Humankapital (Erfahrung
im gegenwärtigen Job).
Einkommen ist das monatliche Nettoeinkommen des Befragten
in DM. Indikator für allg. HK ist ”Zahl der Schuljahre” (BILD).
”Jahre der Berufserfahrung” (EXP) mißt allg. und spez. HK. Wir
engen die Stichprobe ein auf 1) ganztägig hauptberufliche, 2)
18-65 jährige und 3) nicht in Ausbildung befindliche
Erwerbstätige.
Source | SS df MS Number of obs � 1240
---------�------------------------------ F( 3, 1236) � 79.32
Model | 573265388 3 191088463 Prob � F � 0.0000
Residual | 2.9778e�09 1236 2409207.55 R-squared � 0.1614
---------�------------------------------ Adj R-squared � 0.1594
Total | 3.5510e�09 1239 2866058.05 Root MSE � 1552.2
----------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
---------�------------------------------------------------------------bild
| 197.6759 17.73214 11.148 0.000 162.8875 232.4643
exp | 34.37167 4.034096 8.520 0.000 26.45724 42.28611
prest | 5.427125 1.591809 3.409 0.001 2.30418 8.550071
_cons | -603.5128 235.2317 -2.566 0.010 -1065.01 -142.0152
-----------------------------------------------------------------------

Multivariate Verfahren, Brüderl 28
Exkurs: Die Stichprobenverteilung von � � (einf. Regression)
Die Formel des Standardfehlers von �̂ lautet:
�̂ �̂ � �̂
.
n − 1 sx
Das STATA-Ado "betasim.ado" (auf Kursverzeichnis) simuliert
Stichprobenverteilung. Damit sieht man sehr schön, wie �̂ �̂ von
den drei Parametern, n, � und sx abhängt. ��1 im folgenden.
density
density
density
4.5
4
3.5
3
2.5
2
1.5
1
.5
0
4.5
4
3.5
3
2.5
2
1.5
1
.5
0
4.5
4
3.5
3
2.5
2
1.5
1
.5
0
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�10, ��1, sX � 1
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�100, ��1, sX � 1
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�100, ��4, sX � 1
density
density
density
4.5
4
3.5
3
2.5
2
1.5
1
.5
0
4.5
4
3.5
3
2.5
2
1.5
4.5
1
.5
4
3.5
3
2.5
2
1.5
1
.5
0
0
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�50, ��1, sX � 1
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�100, ��2, sX � 1
0 .2 .4 .6 .8 1 1.2 1.4 1.6 1.8 2
estimate of beta
Red: Kernel Density; Blue: Normal
n�100, ��4, sX � 4

Multivariate Verfahren, Brüderl 29
Modellspezifikation
Es gelte folgendes Modell
y ��0��1x1 ��2x2 ��.
Wir begehen einen Spezifikationsfehler, wenn wir stattdessen
′ ′ y ��0 ��1 x1 �� ′
schätzen. Da � ′ ����2x2ist A5 verletzt (falls X1 und X2
korreliert sind). Folge ist, daß E� �′ � 1�
≠ �1. Der Schätzer ist
verzerrt (bias). Ein Teil des Effekts von X2 wird irrtümlicherweise
X1 zugerechnet (genauer Fox, S. 126ff).
Dieser Bias (unbeobachtete Heterogenität, omitted variable bias)
ist eins der zentralen Probleme der nicht-experimentellen
Sozialforschung! Denn man kann sich nie sicher sein, dass man
ihm nicht unterliegt. Es ist deshalb sehr wichtig, sich genau zu
überlegen, welche Variablen im Modell sein müssen (Theorie!).
Variablenselektion
Für prognostische Zwecke mag es sinnvoll erscheinen, ein
,,bestes“ Modell aus der Menge der vorhandenen Variablen zu
suchen. Hierfür gibt es verschiedene Selektionsverfahren. Die
meisten beruhen auf schrittweisem Vorgehen, wo z.B. bei jedem
Schritt die Variable in das Modell eingeführt wird, die von den
verbliebenen Variablen den höchsten R2-Zuwachs erzeugt. Dies
wird solange fortgesetzt, bis alle noch nicht im Modell enthaltenen
Variablen einen R2-Zuwachs aufweisen, der unter einer
vorgegebenen Schwelle liegt.
R2 hat hierbei den Nachteil, daß es mit jeder Variable steigt, da
jede weitere Variable mindestens einen Fall ,,erklären“ kann. Mit
n − 1 Variablen wird R2 � 1. Deshalb wird zur Variablenselektion
ein adjustiertes R2 verwendet:
R2 2 p
a � R −
n − p − 1 �1 − R2�. Bsp. oben: Ra 2 � 0. 1614 − 3 0. 8386 � 0. 1594.
1236
Nach einer Variablenselektion sind Signifikanztests sinnlos, da ja
bewußt nur die stärksten Prädiktoren selektiert wurden.

Multivariate Verfahren, Brüderl 30
Kategoriale uVs
In einer Regression muß X metrisch sein. Doch auch kategoriale
(nominal- oder ordinalskalierte) X können einbezogen werden.
X mit 2 Ausprägungen
Man kodiert X sinnvollerweise als 0/1 Variable (Dummy). Eine
Regression mit Dummy nennt man auch Kovarianzanalyse.
Beispiel: Einkommensregression � Mann/Frau, West/Ost
Source | SS df MS Number of obs � 1240
---------�------------------------------ F( 5, 1234) � 107.17
Model | 1.0752e�09 5 215033685 Prob � F � 0.0000
Residual | 2.4759e�09 1234 2006383.71 R-squared � 0.3028
---------�------------------------------ Adj R-squared � 0.3000
Total | 3.5510e�09 1239 2866058.05 Root MSE � 1416.5
----------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
------�---------------------------------------------------------------bild
| 218.9533 16.30217 13.431 0.000 186.9703 250.9363
exp | 32.07012 3.694454 8.681 0.000 24.82201 39.31823
prest | 4.908546 1.45477 3.374 0.001 2.054449 7.762643
frau | -702.0169 88.11401 -7.967 0.000 -874.8867 -529.1471
ost | -1119.518 87.63039 -12.775 0.000 -1291.439 -947.5969
_cons | -229.1536 217.5792 -1.053 0.292 -656.0197 197.7124
-----------------------------------------------------------------------\medskip
Fiktives Beispiel: Geschlecht und Einkommen (Frau�0, Mann�1)
Einkommen
5000
4000
3000
2000
1000
0
-1
0
Geschlecht
Wie muß die Regressionsgerade liegen? Offensichtlich minimiert
man die Residuenquadratsumme, wenn man wählt
� y 0 � y 0 � 2000 und � y 1 � y 1 � 3000. Hieraus können wir nun � �
und � � bestimmen, denn es gilt ja � y 0 � � � und � y 1 � � �� � �.Damit
ergibt sich � ��y 0 � 2000 und � ��y 1 − y 0 � 1000.
Eine Regression mit Dummy ist äquivalent mit einer Varianzanalyse
(also � 2 � R 2 ). Interpretation: � � ist das mittlere Einkommen
der Frauen. � � sagt uns, was Männer im Mittel mehr verdienen.
1
2

Multivariate Verfahren, Brüderl 31
X mit mehr als 2 Ausprägungen (Dummy-Kodierung)
Wir müssen für jede Ausprägung eine Dummy bilden. Damit die
Regression schätzbar ist, muß man eine Dummy weglassen.
berufliche Stellung D1 D2 D3 D4
Arbeiter 1 0 0 0
Design-Matrix: Angestellter 0 1 0 0
Beamter 0 0 1 0
Selbständiger 0 0 0 1
Lassen wir D1 weg, so sind die Regressionskoeffizienten in
Bezug auf die Arbeiter zu interpretieren.
Beispiel: Einkommensregression � berufliche Stellung
Source | SS df MS Number of obs � 1240
---------�------------------------------ F( 8, 1231) � 78.61
Model | 1.2007e�09 8 150092007 Prob � F � 0.0000
Residual | 2.3503e�09 1231 1909268.78 R-squared � 0.3381
---------�------------------------------ Adj R-squared � 0.3338
Total | 3.5510e�09 1239 2866058.05 Root MSE � 1381.8
----------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
------�---------------------------------------------------------------bild
| 182.9042 17.45326 10.480 0.000 148.6628 217.1456
exp | 26.71962 3.671445 7.278 0.000 19.51664 33.9226
prest | 4.163393 1.423944 2.924 0.004 1.369768 6.957019
frau | -797.7655 92.52803 -8.622 0.000 -979.2956 -616.2354
ost | -1059.817 86.80629 -12.209 0.000 -1230.122 -889.5123
angest| 379.9241 102.5203 3.706 0.000 178.7903 581.058
beamt | 419.7903 172.6672 2.431 0.015 81.03569 758.5449
selbst| 1163.615 143.5888 8.104 0.000 881.9094 1445.321
_cons | 52.905 217.8507 0.243 0.808 -374.4947 480.3047
-----------------------------------------------------------------------
Die t-Tests testen die Differenz zur Bezugsgruppe! Sie sagen
damit nichts über die Signifikanz der Variable.
Will man die Signifikanz der Variable insgesamt testen, so kann
man einen inkrementellen F-Test verwenden. Hier
F � 0.3381 − 0. 3028 1231 � 21. 9.
1 − 0. 3381 3
Der kritische Wert bei ��0. 05 ist 2.61. Damit zeigt die berufliche
Stellung einen signifikanten Effekt auf das Einkommen.

Multivariate Verfahren, Brüderl 32
Interaktionseffekte
Man spricht von einer Interaktion, wenn der Effekt einer Variablen vom Wert einer anderen
abhängt. Meist multipliziert man die beiden Variablen, von denen eine Interaktion ausgeht
(multiplikative Interaktion). Generell gilt: das Modell sollte neben den Interaktionseffekten auch
die Haupteffekte enthalten.
Dummy-Interaktion
Frau Ost Frau/Ost
Mann West 0 0 0
Mann Ost 0 1 0
Frau West 1 0 0
Frau Ost 1 1 1
Beispiel: Einkommensregression � Interaktion Frau/Ost
Number of obs � 1240 R-squared � 0.3523
----------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
-------�--------------------------------------------------------------bild
| 188.4242 17.30503 10.888 0.000 154.4736 222.3749
exp | 24.64689 3.655269 6.743 0.000 17.47564 31.81815
prest | 3.89539 1.410127 2.762 0.006 1.12887 6.66191
frau | -1123.29 110.9954 -10.120 0.000 -1341.051 -905.5285
ost | -1380.968 105.8774 -13.043 0.000 -1588.689 -1173.248
angest | 361.5235 101.5193 3.561 0.000 162.3533 560.6937
beamt | 392.3995 170.9586 2.295 0.022 56.99687 727.8021
selbst | 1134.405 142.2115 7.977 0.000 855.4014 1413.409
fr_ost | 930.7147 179.355 5.189 0.000 578.8392 1282.59
_cons | 143.9125 216.3042 0.665 0.506 -280.4535 568.2786
------------------------------------------------------------------------
Conditional-Effect Plots sind das beste Mittel zur Veranschaulichung
von Interaktionseffekten: EXP�0, PREST�50, Arbeiter.
Einkommen
4000
3000
2000
1000
0
m_west m_ost
f_west f_ost
8 10 12 14 16 18
Bildung
Ohne Interaktionseffekt
Einkommen
4000
3000
2000
1000
0
m_west m_ost
f_west f_ost
8 10 12 14 16 18
Bildung
Mit Interaktionseffekt

Multivariate Verfahren, Brüderl 33
Slope-Interaktion
Frau Ost Frau/Ost Bild Bild/Ost
Mann West 0 0 0 x 0
Mann Ost 0 1 0 x x
Frau West 1 0 0 x 0
Frau Ost 1 1 1 x x
Beispiel: Einkommensregression � Interaktion Bildung/Ost
Number of obs � 1240 R-squared � 0.3568
------------------------------------------------------------------------eink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
---------�--------------------------------------------------------------bild
| 218.8579 20.15265 10.860 0.000 179.3205 258.3953
exp | 24.74317 3.64427 6.790 0.000 17.59349 31.89285
prest | 3.651288 1.408306 2.593 0.010 .888338 6.414238
frau | -1136.907 110.7549 -10.265 0.000 1354.197 -919.6178
ost | -239.3708 404.7151 -0.591 0.554 -1033.38 554.6381
angest | 382.5477 101.4652 3.770 0.000 183.4837 581.6118
beamt | 360.5762 170.7848 2.111 0.035 25.51422 695.6382
selbst | 1145.624 141.8297 8.077 0.000 867.3686 1423.879
fr_ost | 906.5249 178.9995 5.064 0.000 555.3465 1257.703
ost_bild | -88.43585 30.26686 -2.922 0.004 -147.8163 -29.05542
_cons | -225.3985 249.9567 -0.902 0.367 -715.7875 264.9905
-------------------------------------------------------------------------
Einkommen
4000
3000
2000
1000
0
m_west m_ost
f_west f_ost
8 10 12 14 16 18
Bildung
Der t-Wert von ost_bild sagt uns, daß der Slope-Unterschied
zwischen West und Ost signifikant ist.

Multivariate Verfahren, Brüderl 34
Allerdings ist jetzt die Ost-Dummy nicht mehr sinnvoll zu
interpretieren, denn die gibt den Unterschied bei Bild�0 an! Der
ist so klein, weil die Westprofile steiler sind als die Ostprofile.
Abhilfe: ANCOVA-Parametrisierung (s. Fox S. 194).
Vollständige Interaktion
Wir testen, ob sich alle Koeffizienten nach West/Ost
unterscheiden: �o ≠ �w. Man berechnet eine Regression mit
allen Interaktionseffekten. Dieses Vollmodell enthält 7 uVs, 7
Interaktionen, den Ost-Haupteffekt und eine Konstante
(R2 � 0.3704). Das Nullmodell ebenso, aber ohne die 7
Interaktionen (R2 � 0. 3381, s. S. 31). Der F-Test ergibt
F � 0.3704 − 0. 3381 1224 � 8. 97
1 − 0. 3704
Der kritische Wert ist 2.02. Damit können wir die H0 identischer
Effekte zurückweisen. Wir sollten deshalb getrennte Modelle für
West- und Ostdeutschland berechnen.
Anmerkung: Dieser Test beruht auf der Annahme, daß die
Fehlervarianz in beiden Gruppen gleich ist (�o 2 �� w 2 ). Für den
Fall, daß dies nicht zutrifft, gibt es alternative Testverfahren.
West Ost
� t � t
Konstante -293 -378
Bild 210 9.11 163 7.22
Exp 29 6.16 11 1.99
Prest 3 1.56 3 1.87
Frau -1159 9.49 -40 0.33
Angest 567 4.34 -32 0.23
Beamt 520 2.53 27 0.09
Selbst 1529 8.20 235 1.24
N 849 391
R2 33.3 20,0
7

Multivariate Verfahren, Brüderl 35
7) Regressionsdiagnostik
Wie bei jedem statistischen Modell beruht auch die Konsistenz
der OLS-Schätzer auf der Gültigkeit der getroffenen Annahmen.
Deshalb sollte man die Gültigkeit dieser Annahmen testen.
Von den 6 Annahmen können 2 nicht getestet werden. A2 nicht,
weil immer gilt E� � �� � 0. A5 nicht, weil immer gilt Cov�X, � �� � 0
(Problem: Fehlspezifikation). Zusätzlich sind Multikollinearität
und Einfluß Probleme, die man diagnostizieren kann.
Multikollinearität
Korrelieren zwei Regressoren vollständig, so liegt lineare Abhängigkeit
vor und �X ′ X� −1 existiert nicht. Dieses Problem tritt
bereits bei nicht perfekter Korrelation auf (bei r � 0, 99 wird es
kritisch). Bei extremer Multikollinearität sind somit die OLS-
Schätzer nicht berechenbar. Bei geringerer Multikollinearität sind
die OLS-Schätzer schätzbar und auch konsistent, allerdings
erhöht Multikollinearität die Standardfehler der OLS-Schätzer,
die Schätzungen sind weniger präzise. Dies sieht man, wenn
man die geschätzte Varianz für � � j schreibt als:
V̂ � � � j� � �̂ 2 1
�n − 1�s2 2
xj 1 − Rj ,
2 wobei Rj das Bestimmtheitsmaß einer Regression aller anderen
Regressoren auf Xj ist. Korreliert Xj hoch mit den anderen
2 Kovariaten (Rj nahe eins), so wird der zweite Faktor sehr groß
(Varianz-Inflations-Faktor, VIF) und der Schätzfehler wächst an.
Ist z.B. Rj�0,9, so ist VIF �2,29, der Standardfehler des
Schätzers erhöht sich um etwas mehr als das Doppelte und der
t-Wert wird halbiert.
Betroffene Variablen einfach wegzulassen, ist keine gute
Lösung. Besser erscheint es, aus den multikollinearen Variablen
einen Index zu bilden, denn meist werden diese Variablen
sowieso ähnliche Konstrukte messen.
Beispiel: Einkommensregression (West)
VIFmax � 1.65. Multikollinearität ist kein Problem.

Multivariate Verfahren, Brüderl 36
A1: Linearität
Problem: Nicht-Linearität verzerrt die Schätzer.
Nicht-Linearitäten erkennt man in den Residuen-Plots.
Abhilfe: Transformationen. Am einfachsten durch Hinzufügen
weiterer X-Terme. Beobachtet man etwa U-förmige Nicht-
Linearität, so nimmt man eine quadrierte X-Variable in die
Regression auf:
yi ��0 ��1xi ��2x i 2 ��i , i � 1, … ,n.
Ist � � 1 � 0 und � � 2 � 0 erhalten wir eine umgekehrt U-förmige
Regressionskurve. Ist � � 1 � 0 und � � 2 � 0 erhalten wir eine
U-förmige Regressionskurve. Das Maximum (Minimum) liegt bei
�
� 1
Xmax � −
2 � .
� 2
Beispiel: Einkommensregression (West)
Die Humankapitaltheorie sagt einen abflachenden Effekt von
EXP voraus. Dies testet man mittels Partiellem-Residuen Plot.
Bei diesem Plot wird zu den Residuen jeweils �̂ jxij hinzuaddiert.
Diese partiellen Residuen trägt man gegen Xj auf. Man addiert
zu den Residuen die Regressionsgerade hinzu, um die Form
einer eventuellen Nicht-Linearität besser erkennen zu können.
e( eink | X,exp ) + b*exp
12000
8000
4000
0
-4000
0 10 20 30 40 50
exp
� t
Con -293
EXP
... s.o.
29 6.16
N 849
R2 33.3
Blau: Regressionsgerade, grün: Lowess. Man erkennt eine deutliche
Nicht-Linearität. Deshalb fügen wir EXP 2 in das Modell ein.

Multivariate Verfahren, Brüderl 37
e( eink | X,exp ) + b*exp
16000 � t
12000
Con -1257
8000
EXP 155 9.10
4000
EXP
0
-4000
0 10 20 30
exp
40 50
2 -2.8 7.69
...
N 849
R2 37.7
Das Partielle-Residuen Plot paßt nun. Sowohl EXP, wie auch
EXP 2 zeigen signifikante Effekte. Wir haben somit tatsächlich
eine umgekehrt U-förmige Beziehung vorliegen. Das Maximum
liegt bei 27 Berufserfahrungsjahren.
A3: Homoskedastizität
Problem: Unter Heteroskedastizität sind die OLS-Schätzer nicht
mehr effizient und die Standardfehler der Schätzer sind verzerrt.
Heteroskedastizität erkennt man am besten, wenn man � � gegen
� y aufträgt. Trichterförmige Muster bedeuten Heteroskedastizität.
Beispiel: Einkommensregression (West)
Residuals
12000
8000
4000
0
-4000
0 1000 2000 3000 4000 5000 60007000
Fitted values
Man erkennt einen Trichter, die Residualvarianz steigt mit � y.
Abhilfe: Transformation (s.u.), GLS, White-Schätzer (s. Skript).

Multivariate Verfahren, Brüderl 38
A4: Autokorrelation
Problem: Unter Autokorrelation sind die OLS-Schätzer nicht
mehr effizient und die Standardfehler der Schätzer sind verzerrt.
Autokorrelation tritt insbesondere bei Zeitreihen und räumlichen
Daten auf. Bei Surveys eher unwahrscheinlich. Man kann
Autokorrelation mittels der Durbin-Watson Teststatistik
diagnostizieren (s. Hamilton, S. 118ff).
Abhilfe: Für Zeitreihen wurden spezielle Regressionsverfahren
entwickelt. Auch der White-Schätzer ist einsetzbar.
A6: Normalverteilung
Problem: Die Signifikanztests sind nicht mehr begründet, falls
die Normalverteilungsannahme verletzt ist. Asymptotisch, d.h.
bei großem n, sind die Tests aber auch dann noch gültig.
Graphisch diagnostizierbar mittels Normal-Probability Plot.
Beispiel: Einkommensregression (West)
Residuals
12000
8000
4000
0
-4000
-4000 -2000 0 2000 4000
Inverse Normal
Man erkennt deutliche Abweichungen am rechten Rand der
Residuenverteilung (rechtsschief).
Abhilfe: Am einfachsten durch Transformation.
Wir sahen in Kapitel 2, daß die Einkommensverteilung rechtsschief
ist. Dies ist der Grund für unser Problem. Eine Transformation
mit q�0 sollte das Problem beheben. Wir bilden also
LNEINK�LN(EINK). Mit dieser neuen aV sehen die obigen Plots
nun folgendermaßen aus:

Multivariate Verfahren, Brüderl 39
Residuals
1.5
1
.5
0
-.5
-1
-1.5
7 7.5 8
Fitted values
8.5 9
Residuals
1.5
1
.5
0
-.5
-1
-1.5
-1 -.5 0
Inverse Normal
.5 1
Mit dieser Transformation haben wir beide Probleme (fast)
beseitigt: die Heteroskedastizität fällt geringer aus, auch die
NVannahme ist besser erfüllt (nur mehr heavy tails).
Wir erhalten folgendes Ergebnis:
Source | SS df MS Number of obs � 849
---------�------------------------------ F( 8, 840) � 82.80
Model | 81.4123948 8 10.1765493 Prob � F � 0.0000
Residual | 103.237891 840 .122902251 R-squared � 0.4409
---------�------------------------------ Adj R-squared � 0.4356
Total | 184.650286 848 .217747978 Root MSE � .35057
----------------------------------------------------------------------lneink
| Coef. Std. Err. t P�|t| 95% Conf. Interval]
-------�--------------------------------------------------------------bild
| .0591425 .0054807 10.791 0.000 .048385 .0699
exp | .0496282 .0041655 11.914 0.000 .0414522 .0578041
exp2 | -.0009166 .0000908 -10.092 0.000 -.0010949 -.0007383
prest | .000618 .0004518 1.368 0.172 -.0002689 .0015048
frau | -.3577554 .0291036 -12.292 0.000 -.4148798 -.3006311
angest | .1714642 .0310107 5.529 0.000 .1105966 .2323318
beamt | .1705233 .0488323 3.492 0.001 .0746757 .2663709
selbst | .2252737 .0442668 5.089 0.000 .1383872 .3121601
_cons | 6.669825 .0734731 90.779 0.000 6.525613 6.814038
-----------------------------------------------------------------------
N.B.: R2 kann nicht mit dem aus der Regr auf eink verglichen werden!
Interpretation: Wir haben ein semi-logarithmisches
Regressionsmodell vorliegen.
ln�yi� ��0��1xi ��i.
Die Koeffizienten sind Effekte auf ln�y�. Das versteht niemand.
Man braucht eine Interpretation in Bezug auf Y. Dazu notieren
wir das Modell als
E�y|x� � e�0��1x .
Der Einheitseffekt (um wieviel verändert sich Y, wenn sich X um
eine Einheit erhöht; bei Long: dicrete unit change) ist
E�y|x � 1� − E�y|x� � E�y|x��e�1 − 1�.

Multivariate Verfahren, Brüderl 40
Der Einheitseffekt ist jedoch von X abhängig, was die
Interpretation erschwert. Eine von X unabhängige Interpretation
erhält man aus:
E�y|x � 1� − E�y|x�
� e
E�y|x�
�1 − 1.
Dies ist die prozentuale Veränderung von Y bei Erhöhung von X
um eine Einheit. Diese Interpretation der Koeffizienten als
Ertragsrate ist sehr anschaulich.
Ist �1 � 0.1, so gilt e�1 − 1 ≈ �1, weshalb in diesem Fall der
Regressionskoeffizient direkt als Ertragsrate interpretiert werden
kann.
Beispiel: Der Effekt von Frau ist e −.358 − 1 � −. 30. Frauen
verdienen also um 30% weniger als Männer. Graphisch kann
man diesen Efekt mit einem Conditional-Effekt Plot
veranschaulichen (Exp variiert, Prest�50, Bild�13, Arbeiter).
Einkommen
4000
3000
2000
1000
0
0 10 20 30 40 50
Berufserfahrung
blau: Frau, rot: Mann
Der Einheitseffekt des Geschlechts (absolute Abstand) verändert
sich mit EXP. Der relative Abstand bleibt aber gleich! Analoges
gilt für den Effekt der Berufserfahrung.

Multivariate Verfahren, Brüderl 41
Einflußreiche Datenpunkte
Ein Datenpunkt ist einflußreich, wenn seine Beseitigung die
Ergebnisse der Regression deutlich verändert.
Problem: (Nur in extremen Fällen) Das Modell repräsentiert
nicht den Großteil der Daten, sondern einen einzelnen Fall.
Ein einflußreicher Datenpunkt ist immer ein Ausreißer.
Insbesondere Fälle mit ungewöhnlichem X- und Y-Wert
beeinflussen die Regression.
Partielles-Regressions Streudiagramm
Streudiagramme sind geeignet, um einflußreiche Datenpunkte
visuell zu identifizieren. Im multiplen Fall muß man sogenannte
Partielle-Regressions Streudiagramme einsetzen (in STATA
”added-variable plot”). Man trägt nicht Y gegen Xj, sondern das
Residuum aus der Regression von Y auf alle anderen X gegen
das Residuum aus der Regression von Xj auf alle anderen X
auf. Bildlich gesprochen wird dadurch aus Y und Xj der Effekt
der anderen Variablen herausgerechnet. Ausreißer im
Partiellen-Regressions Streudiagramm sind somit
ungewöhnliche Datenpunkte, selbst wenn man für die anderen
Variablen kontrolliert. Die Steigung der Regressionsgerade
dieser beiden Residuen ist im übrigen identisch mit dem
multiplen Regressionskoeffizienten der jeweiligen Variable.
Einfluß Statistiken
Man kann den Einfluß einer Beobachtung direkt messen. Dazu
wird untersucht, wie sich �̂ j verändert, wenn Beobachtung i
weggelassen wird (�̂ j�−i�). Das Maß
DFBETASij � �̂ j − � ̂ j�−i�
�̂ � ̂ j�−i�
zeigt an, wie groß der (standardisierte!) Einfluß der Beobachtung
i auf einen Koeffizienten j ist.
DFBETASij � 0, Fallizieht � ̂ j
DFBETASij � 0, Fallizieht � ̂ j
nach oben
nach unten
.

Multivariate Verfahren, Brüderl 42
Da in großen Stichproben eine einzelne Beobachtung kaum
große Veränderungen der Schätzer bewirken kann, wird in der
Literatur eine fallzahlabhängige Schwelle vorgeschlagen: Ist der
Betrag von DFBETASij größer 2/ n , so ist Vorsicht geboten.
Weil für jeden Koeffizienten und für jede Beobachtung ein
DFBETASij berechnet werden kann, empfiehlt sich ein
graphisches Vorgehen. Für jede Variable wird ein Plot erstellt, in
dem DFBETAS gegen die Fallnummer aufgetragen wird (ein
sogenannter Indexplot). Zeichnet man dann die Schwelle als
Linie in dieses Diagramm, so kann man schnell prekäre Fälle
ausfindig machen.
Dies ist relativ umständlich. Cook’s D ist ein Maß, das die
DFBETAS ”mittelt” (genauer s. Skript). Fälle mit besonders
hohem D beeinflussen die Regression stark. Als Schwelle wir
hier 4/n genannt.
Beispiel: Einkommensregression (West)
Wir betrachten die Regression auf EINK (ist einfacher). Widmen
wir uns zuerst dem Effekt von SELBST.
e( eink | X)
12000
8000
4000
0
-4000
coef = 1590.4996, se = 180.50053, t = 8.81
-.4 -.2 0 .2
e( selbst | X )
.4 .6 .8
Partielles-Regressions Plot für Selbst
DFBETAS(Selbst)
.6
.4
.2
0
-.2
16
209
203
172
218
302
393
590
640
13
4
2
56 11 12 13 14 8910 17 18 19
7
15
20 21
22
23
49
24 25 2852
26 27 29 30 31 32 33 34
55 61
36 37 38
39 40 41 42 43 44 45 46 47 48 50 53 54 56 57 58 59 60 62 63 65
5166
68 69
67
3564
70
71 72
81
74
75 76
78 80 82 83
77
79
73
84
90
370
746
93
197 219 314 335 408
683
258
684 801
85
86 87 88 89 91 92 100 94 102 95 98 99
96 103 104
105 106 107 108
109 110 113
111 112
114 115 116 124
117 118 120
119
121
122 123 125 126 127 128 129 130 131
133 134 135 137
140
138 141
139 142 145 146 147 148 150 151 152 153 154
156 157 159 164
158 160 162 163
144 155 161
165 166 167 168 169 170
171
173 174 175 176 177 178
179 181 195
180 182 183 184 185
186 188 189
187 191 193 194 196
198 199
201
200 202 204 205
206 207 210 211 212
213 224
214 215
208 216 217 220 221 222 223 225 227 228 229
230
231 232 234 235 236
233 237 238 239 240 241 242 243 244
249
245 246 247
250 253 259 260
248 251 254 255
261
285
256 257 262 265 266 267
97 190226
263 269 270 272
264
273 274 275
277 278 279 280 282 287 293
281
268 283
284 288 289
295 296
286 290 291 292 294 297 298 299 315
300 301 303 304 305 306
307 308 309 310 311 312 316 317 318 319 321 323 325
326 334
327 328 329 330 332 333 336 337 339 342 343 346
252 271 276313
324
331 338 344
341 345
347 348 349 350 351 353 355 358
363
352 354 356
359 360 361
357 362 364 365 367 368 369 371
372 373 374 376 377 378
382
379 380 381 383 384 385
391
387 388 389 392 394 395 396 398 401
397 400 402 403 404
386
399
406
411 413
407 410
409
412 414 416 417
420 421 444
415
418
419 423 424 426 427 428
425 429 430 431 433 434 435 436 437 439 441 442 443 445 446 447 449 450 451 452
453
454
457
455 459
482
456 458 460 461 462 463 464
465 466 467 468 470 471 472 473 474 475 476 477 478
479 480 481 483
484 486 487 488
485 490 491 492 496 497
493 494 495 498
499 500
501 507
502 504 508 509
505 506 510
511
512
513 514 516 517 518 519 520 521 522 525 526 527 529
532
523 530
533 534
531
535 536 537 538 539 540 543
541 542 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558
559 560 562 563 564 565 566 567 568 575 587 613
569 570 571 572 573 574 577
576 580 581 582 583 584 585 586 592
591
593
597
594
595 596 599 600 601 602 603 604 605 606 607 608 609 610 611 612 614 615 616 617 618
619 620 621 622 623 624 630
626
625
628 629
631
632
635 636 648
779
633 634 638 639 641 642 643 644 645 647 649 650 651 652 653 655
654 656 657 658 659 660 661 663 665 666 667 668 669 670 671 672 673 674 675 680
676 677 681 682 685 686
678 687 688 689 690 691
693 694 695 696 697 698 699 702 709 712
703 704 705 706 707 710 711 713 714 715 716 717 718 719 720 722 723
724 725
726
727 728 730
731 732 734
735
736 738 740 741 742
743 744 745 747 748 749 750
751 752 753 754
756
757
758 759 760 761 762
764 766 767 768 770 771 772 773 774 775 776 777 778 780
390422
469 598 733 737 739 763 765 781 782 783
784 793
785 786 788 790 794
792 796 797 798
787 789 791 799 800
802
803 804 805 806 809 833
807 808 810 811 812 813 814 815 816 817 819 820 821
822 823 824 826 829 830 831 832
825 834 835 836 837 838 839
818 828
840 841
842 843 844 845 846 847 848 849
375
192 320 448
579 637
489
101
503 528 589
827
646
132 143
340 432
662
679
366405438
440 515
524561
578 664700
701 708 729
322
588
755
795
136 149
721
0 200 400
Fallnummer
600 800
627
692
Indexplot für DFBETAS(Selbst)
Im linken Plot erkennt man einige einlußreiche Datenpunkte:
einige Selbständige mit großen positiven Einkommensresiduen
ziehen die Regressionsgerade hoch. Dies zeigt auch der Indexplot.
Insgesamt 8 Fälle ziehen den Effekt der Selbständigkeit um
jeweils mind. 0.4 Standardfehler hoch. Man erkennt auch, daß
die Schwelle (~�0.07) viel zu niedrig ist.
769

Multivariate Verfahren, Brüderl 43
Diese Prozedur müßte man nun für alle Kovariaten durchmachen.
Einfacher geht’s, wenn man das zusammenfassende
Maß D betrachtet.
Cooks D
.14
.12
.1
.08
.06
.04
.02
0
209
203
172
302
627
590
1 2 34 11 5678910 12 13 14 15
16
17 18 19 20 21 22 23 24
25
35
26 27 28 29 30 31 32 33 34 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
64
65 66 67 68 69
70
71 72
73
74 75 76 77 78
79
80 81 82 83 84 85 86 87 88 89
90 91
322 393 438
93 136 143 218
489
531
721
588
149
313 370
92 100 94 101
95 102 103 96 104 97 98 105 99 106 107 108 109 110 111 112 113 114 115 116 117 118 119
120 121 122 123 124 125 126 127 128 129 130 131
132 133 134 135 137 138 139 140 141 142 144 145 146 147 148 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198
199 200 201 202
204 205 206 207 208 210 211 212 213 214 215 216 217 219 220 221 222 223 224 226
225 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266
268
267 269 270 271 272 273 274 275 276
286
277 278 279 280 281 282 283 284 285 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 303 304 305 306 307 308 309 310 311 312 314 315
316 317 318 319 320 321 323 324 325 326 327 328 329 330 331 332 333 334 335
340 363
336 337 338 339 341
344
366
401 405 420
342 343 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 364 365 367 368 369 371 372 373 374
375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 394 395 396 397 398 399 400 402 403 404 406
408
407 409 410 411 412 413 414 415 416 417 418 419 421 422
429 440 523 524 573 664700
769
423 424 425 426 427 428 430 431
432 505
433 434 435 436 437 439 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 506 507 508
509
515 561 578 662
510 511 512 513 514 516 517 518 519 520 521 522 525 526 527
528
529 530 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 562 563 564 565 566 567 568 569 570 571 572 574 575 576 577 579 580 581 582 583 584 585 586 587 589 597637
591 592 593 594 595 596 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 628 629 630 631 632 633 634 635 638
636 639 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 663 665 666 667
671
668 669 670 672 673 674 675 676 677 678 680 681 682 683 684 693 701
708 729 746 755
763 787 789 795
685 686 687 688 689 690 691 694 695 696 697 698 699 702 703 704 705 706 707 709 710 711 712 713 714 715 716 717 718 719 720 722 723 724 725 726 727 728 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 747 748 749 750 751 752 753 754 756 757 758 759 760 761 762 764 765 766 767 768 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 788 790 791 792 793 794 796 797 798 799 800
801 818
802 803 804 805 806 807 808 809 810 811 812 813 814 815 816 817 819 820 821 822
828
823 824 825 826 829 830 831 832 833 834 835 836 837 838 839 840 841 842 843 844 845 846 847 848 849
0 200 400
Fallnummer
600 800
Die Schwelle (~0.005) ist auch hier viel zu niedrig angesetzt.
Man erkennt aber zwei Fälle, die sich deutlich vom Rest
absetzen. Sie üben relativ gesehen sehr starken Einfluß aus. Es
lohnt sich, diese beiden Fälle anzusehen:
eink ydach exp frau selbst D
302. 17500 5808.125 31.5 0 1 .1492927
692. 17500 5735.749 28.5 0 1 .1075122
Es handelt sich um die beiden Großverdiener (Männer, Selbständige).
Sie beeinflussen mehrere Schätzer stark (u.a. Exp,
Frau, Selbst). Zusammen verändern sie die Regression deutlich.
Abhilfe: Als erstes sollte man die identifizierten Datenpunkte auf
Korrektheit überprüfen. Sind die Daten korrekt, so muß man sich
überlegen, was die Punkte gemeinsam haben. Anhand dieser
Überlegungen kommt man evtl. zu einer Verbesserung der
Modellspezifikation. Weglassen ist keine Lösung, dies ist
Manipulation!
Beispiel: Einkommensregression (West)
Was machen wir mit den beiden Großverdienern? Die 17.500,-
DM sind ein zugewiesener Wert (�15.000,- DM). Von daher
haben wir offensichtlich ein Problem. Generell ist die Einkommensangabe
bei Selbständigen problematisch. Deshalb ist es
eine mögliche Lösung, die Selbständigen generell aus dem
Modell auszuschließen. Diese Überlegung führt schließlich zu
folgendem Modell (wieder mit LN(EINK)):
640
692
679
827

Multivariate Verfahren, Brüderl 44
Source | SS df MS Number of obs � 756
---------�------------------------------ F( 7, 748) � 105.47
Model | 60.6491102 7 8.66415861 Prob � F � 0.0000
Residual | 61.4445399 748 .082145107 R-squared � 0.4967
---------�------------------------------ Adj R-squared � 0.4920
Total | 122.09365 755 .161713444 Root MSE � .28661
----------------------------------------------------------------------lneink
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
-------�--------------------------------------------------------------bild
| .057521 .0047798 12.034 0.000 .0481377 .0669044
exp | .0433609 .0037117 11.682 0.000 .0360743 .0506475
exp2 | -.0007881 .0000834 -9.455 0.000 -.0009517 -.0006245
prest | .0005446 .0003951 1.378 0.168 -.000231 .0013203
frau | -.3211721 .0249711 -12.862 0.000 -.370194 -.2721503
angest | .1630886 .0258418 6.311 0.000 .1123575 .2138197
beamt | .1790793 .0402933 4.444 0.000 .0999779 .2581807
_cons | 6.743215 .0636083 106.012 0.000 6.618343 6.868087
-----------------------------------------------------------------------
Durch die Überlegungen in Kapitel 6 und 7 haben wir schließlich
ein sehr gutes Modell gefunden (R2 � 50%). Eine erneute
Überprüfung mittels D zeigt, daß in diesem Modell kein Fall
auffallenden Einfluß hat.
N.B. 1: Die nun gefundene Spezifikation der Einkommensregression
entspricht dem Standard in der einschlägigen
Forschungsliteratur.
N.B. 2: Führt man die Einflußanalyse gleich mit LN(EINK) durch,
so sind die Großverdiener nicht einflußreich. Dafür bekommt
man aber Probleme mit Selbständigen, die ganz wenig verdienen.
Dies legt ebenfalls den Ausschluß der Selbständigen
nahe.
Regressionsdiagnostik als iterativer Prozeß
Da wir das Modell im letzten Schritt deutlich verändert haben,
müßte man eigentlich wieder von vorne beginnen und auf
Linearität, Homoskedastie und Normalverteilung testen.
Verändert man aufgrund dieser Überprüfungen wieder etwas, so
müßte man wiederum die Einflußdiagnose wiederholen. ...

Multivariate Verfahren, Brüderl 45
8) Rekursive Systeme und Pfadanalyse
Die soziale Welt ist komplex und entsprechend postulieren
theoretische Ansätze oft Kausalstrukturen, die nicht mehr nur mit
einer Gleichung modelliert werden können. Man benötigt
Mehrgleichungssysteme. Ein Mehrgleichungssystem besteht aus
mindestens zwei sogenannten Strukturgleichungen, die die
theoretische Kausalstruktur abbilden.
Graphisch stellt man solche Systeme übersichtlich in einem
Kausaldiagramm dar. Die Variablen stehen in rechteckigen
Kästen, die mittels Pfeilen verbunden sind. Gerade Pfeile
symbolisieren einen gerichteten Kausaleffekt. Gebogene Pfeile
mit zwei Spitzen stehen für eine Korrelation. Exogene Variablen
(X) sind solche Variablen, auf die kein Kausalpfeil zeigt. Endogene
Variablen (Y) sind Ziel mindestens eines Kausalpfeils. Jede
endogene Variable ist zusätzlich mit einem Residualpfeil
markiert. Die Pfeile sind mit Gewichten versehen, die die relative
Stärke des Effektes (bzw. die Korrelation) angeben. Diese
Gewichte nennt man Pfadkoeffizienten (Pfaddiagramm).
Pfadanalyse
Die Pfadanalyse ist ein Verfahren zur Bestimmung der Pfadkoeffizienten
(Wright, 1934). Klassischerweise berechnet man
dieselben aus der Korrelationsmatrix. Es zeigt sich allerdings,
daß dieselben den standardisierten Regressionskoeffizienten
entsprechen. Man berechnet also für jede endogene Variable
eine Regression und trägt die standardisierten Koeffizienten in
das Kausaldiagramm ein.
Beispiel: Statuszuweisungsmodell von Blau/Duncan (1967)
Das Statuszuweisungsmodell postuliert, daß das Berufsprestige
und die Bildung des Vaters einen Einfluß auf das Bildungsniveau
einer Person haben. Dieses wiederum bestimmt
zusammen mit den beiden Herkunftsvariablen das Einkommen
(original das Berufsprestige).
Wir schätzen dieses Modell mit dem ALLBUS 94 (nur Männer,
West, N�591). Wir verwenden ln(EINK) und die Bildung des
Vaters messen wir in Jahren (v219-v230).

Multivariate Verfahren, Brüderl 46
. correlate lneink bild prestv bildv
| lneink bild prestv bildv
---------�-----------------------------------lneink
| 1.0000
bild | 0.4382 1.0000
prestv | 0.2379 0.4551 1.0000
bildv | 0.1955 0.4618 0.7117 1.0000
. regress bild prestv bildv, beta
R-squared � 0.2457
----------------------------------------------------------------bild
| Coef. Std. Err. t P�|t| Beta
---------�------------------------------------------------------prestv
| .022751 .0045259 5.027 0.000 .2562869
bildv | .3026322 .0552227 5.480 0.000 .2794015
_cons | 7.638318 .4821284 15.843 0.000 .
-----------------------------------------------------------------
. regress lneink bild prestv bildv, beta
R-squared � 0.1960
----------------------------------------------------------------lneink
| Coef. Std. Err. t P�|t| Beta
---------�------------------------------------------------------bild
| .070636 .0070377 10.037 0.000 .4276933
prestv | .0013262 .0007888 1.681 0.093 .0904558
bildv | -.0118746 .0096618 -1.229 0.220 -.0663803
_cons | 7.247333 .0982824 73.740 0.000 .
-----------------------------------------------------------------
Anhand dieser Ergebnisse können wir das Pfaddiagramm
erstellen. Bei den Residualpfeilen trägt man üblicherweise
1 − R 2 ab.
0,71
0,26
0,28
Bildung Vater
X 3
0.87
0,09
0,43
-0,07
0.90

Multivariate Verfahren, Brüderl 47
Annahmen
1) Die üblichen Regressionsannahmen
2) Rekursivität
Obiges Modell ist ein sogenanntes rekursives Simultangleichungssystem,
weil der erste Kausalprozeß (Bildungsteilnahme)
zwar den zweiten Kausalprozeß (Statuszuweisung) beeinflußt,
nicht aber umgekehrt. Das Modell wäre nicht-rekursiv, wenn
zusätzlich ein Pfeil von Y2 nach Y1 enthalten wäre. Der
stufenförmige Aufbau eines rekursiven Systems wird besonders
deutlich, wenn man die Regressionsgleichungen niederschreibt
(Personenindex i weggelassen):
y1 � �11 ��12x2 ��13x3 ��1
y2 � �21y1 ��21 ��22x2 ��23x3 ��2 .
Dieses Modell ist ein Simultangleichungssystem, weil die
abhängige Variable Y1 gleichzeitig unabhängige Variable ist. Y1
selbst hängt aber nur von exogenen Größen ab. Ist deshalb Y1
bestimmt, so ergibt sich Y2 rekursiv, indem man die erste
Gleichung in die zweite einsetzt.
Für nicht-rekursive Systeme gibt’s spezielle Schätzverfahren.
3) Fehler der Gleichungen unkorreliert
�1 und �2 dürfen nicht korreliert sein. Dies ist eine eher unrealistische
Annahme. Naheliegend wäre etwa, daß ”ability” in beiden
Fehlern steckt.
Bei korrelierten Fehlern sind die OLS-Schätzer inkonsistent und
nicht identifiziert.
Was bringt Pfadanalyse?
• Übersichtliche Darstellung der Ergebnisse
• Zerlegung des Gesamteffektes in direkten und indirekte
Effekte.
Beispiel ”Bildung Vater” ”Einkommen”:
− 0.07 � 0.28 � 0. 43 � −0. 07 � 0. 12 � 0. 05.

Multivariate Verfahren, Brüderl 48
• Korrelationszerlegung. Die Korrelation einer vorausgehenden
mit einer endogenen Variable ergibt sich als Summe aus dem
Gesamteffekt (Kausaleffekt) und den nicht-kausalen Effekten.
Dazu muß man ”Wrights Rules” beachten (keine Schleifen,
kein Rückwärtsgehen nach Vorwärtsgehen, höchstens ein
gebogener Pfeil).
Beispiel: ”Bildung Vater” ”Einkommen” (unanalyzed effects)
−.066 �.279 �.428 �.71�.09�.71�.256 �.428 �.195
Beispiel: ”Bildung” ”Einkommen” (spurious effects)
.428 −.279 �.066 �.256 �.09−. 256 �.71�. 066 �. 279 �.71�.09 �.438.
Mittels dieser Korrelationszerlegung kann man auch die Pfadkoeffizienten
bestimmen: Man hat fünf Gleichungen in fünf
Unbekannten (Modell ist exakt identifiziert).
Kausalanalyse?
Ursprünglich verband man mit der Pfadanalyse die Hoffnung,
daß sie kausale Effekte zutage fördern kann (daher die
Terminologie). Diese Hoffnung ist natürlich unbegründet. Statistik
(insbesondere mit Querschnittsdaten) ist keine Kausalanalyse.
Hauptprobleme:
• Fehlspezifikation
• Selbstselektion
• zeitliche Reihenfolge
Erweiterungen
Für nicht-rekursive Systeme existieren spezielle Schätzverfahren
(ILS, 2SLS).
Man kann in Mehrgleichungsmodellen auch Meßfehler und
latente Variablen zulassen (LISREL-Modelle, Strukturgleichungsmodelle).
All diese Erweiterungen benötigen allerdings eine Vielzahl von
weiteren, häufig nicht überprüfbarer Annahmen, so daß nicht klar
ist, ob deren Ergebnisse ”besser” sind, als die simplen
OLS-Schätzer.

Multivariate Verfahren, Brüderl 49
9) Das logistische Regressionsmodell
Ist die aV nominal, so sind Mittelwert-Regressionen nicht
sinnvoll. Man kann jedoch die relativen Häufigkeiten betrachten,
und untersuchen, wie dieselben von den Werten der uV bedingt
werden. Y kann mind. 2 mögliche Werte annehmen, dann
besteht eine Regression aus den J�1 Funktionen
�j�x� � f�Y � j|X � x� für j � 0, 1, … ,J.
Ist X diskret, so beschreibt dies eine Kreuztabelle mit den
bedingten relativen Häufigkeiten. Eine Kreuztabelle kann mithin
als Regression aufgefaßt werden!
Haben wir viele uVs und/oder stetige uVs, so ist es allerdings
sinnvoll, parametrische Regressionsmodelle zu konstruieren. Die
gewählte Funktion muß folgende Eigenschaften haben:
0 ≤ �0�x;��, … , �J�x;�� ≤ 1
J
∑ �j�x;�� � 1
j�0
Damit ist die Klasse der für diesen Fall brauchbaren
Regressionsmodelle deutlich eingeschränkt. In der Praxis
verwendet man meist Verteilungsfunktionen.
Das binäre Logit-Modell
Ist Y dichotom (J�1) und wählen wir die logistische Verteilung
��z� � exp�z�/�1 � exp�z��, so erhalten wir das binäre Logit-
Modell (logistische Regression). Man wählt eine lineare
Parametrisierung (�0 ��1x1 �… ��pxp � � ′ x) und erhält
P�Y � 1� � e �′ x
1 � e �′ x � 1
1 � e −�′ x
P�Y � 0� � 1 − P�Y � 1� �
.
1
1 � e �′ x .
Die Regressionskoeffizienten dieses Modells sind nicht einfach
zu interpretieren. Am einfachsten ist die Vorzeicheninterpretation:
ein positiver (negativer) Koeffizient sagt uns, daß mit
steigendem X P(Y�1) zunimmt (abnimmt). Geschätzt werden die
Koeffizienten mit der ML-Methode (OLS nicht sinnvoll).

Multivariate Verfahren, Brüderl 50
Beispiel 1: Wahlverhalten und Wohnort (diskretes X)
Im ALLBUS ist eine Sonntagsfrage enthalten (v329). Wir
dichotomisieren: CDU/CSU�1, andere Parteien�0 (nur Wähler).
Wir untersuchen ob Ost/West einen Einfluß hat. Wir erhalten
folgende Kreuztabelle:
| ost
cdu | 0 1 | Total
-----------�----------------------�----------
0 | 1043 563 | 1606
| 66.18 77.98 | 69.89
-----------�----------------------�----------
1 | 533 159 | 692
| 33.82 22.02 | 30.11
-----------�----------------------�----------
Total | 1576 722 | 2298
| 100.00 100.00 | 100.00
Die logistische Regression liefert folgendes Ergebnis:
. logit cdu ost
Iteration 0: log likelihood � -1405.9621
Iteration 1: log likelihood � -1389.1023
Iteration 2: log likelihood � -1389.0067
Iteration 3: log likelihood � -1389.0067
Logit estimates Number of obs � 2298
LR chi2(1) � 33.91
Prob � chi2 � 0.0000
Log likelihood � -1389.0067 Pseudo R2 � 0.0121
-------------------------------------------------------------------cdu
| Coef. Std. Err. z P�|z| [95% Conf. Interval]
-----�-------------------------------------------------------------ost
| -.5930404 .1044052 -5.680 0.000 -.7976709 -.3884099
cons | -.671335 .0532442 -12.609 0.000 -.7756918 -.5669783
--------------------------------------------------------------------
Der negative Koeffizientenschätzer sagt uns, daß die
Ostdeutschen (signifikant) seltener CDU wählen. Diese Schätzer
reproduzieren die Kreuztabelle, denn:
P�Y � 1|X � Ost� � 1 �. 220
−�−.671−.593�
1 � e
P�Y � 1|X � West� � 1 �. 338.
1 � e−�−.671� Wir sehen, daß das Logit-Modell die Information der Kreuztabelle
nur umformt. Der Vorteil des Logit-Modells kommt erst bei einer
multivariaten Anwendung zum Tragen (d.h., wenn wir mehrere
Kovariaten (uVs) berücksichtigen).

Multivariate Verfahren, Brüderl 51
Warum nicht OLS?
Man könnte versucht sein, einfach das lineare Regressionsmodell
auf eine 0/1 Y-Variable anzuwenden:
E�Y|x� � P�Y � 1|x� � � ′ x.
Dies ist das lineare Wahrscheinlichkeitsmodell. Dieses Modell
hat nicht-normalverteilte und heteroskedastische Fehler. Außerdem
kann es Prognosen außerhalb �0, 1� liefern. Dennoch
funktioniert es häufig ganz gut. In unserem Beispiel liefert es für
praktische Zwecke äquivalente und dazu noch leichter interpretierbare
Ergebnisse (Einheitseffekt auf P(Y�1)):
. regr cdu ost
R-squared � 0.0143
----------------------------------------------------------------------cdu
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
-----�----------------------------------------------------------------ost
| -.1179764 .0204775 -5.761 0.000 -.1581326 -.0778201
cons | .338198 .0114781 29.465 0.000 .3156894 .3607065
-----------------------------------------------------------------------
Beispiel 2: Wahlverhalten und Alter (stetige X)
. logit cdu alter
Iteration 0: log likelihood � -1405.2452
Iteration 3: log likelihood � -1364.6916
Logit estimates Number of obs � 2296
LR chi2(1) � 81.11
Prob � chi2 � 0.0000
Log likelihood � -1364.6916 Pseudo R2 � 0.0289
-----------------------------------------------------cdu
| Coef. Std. Err. z P�|z|
---------�-------------------------------------------alter
| .0245216 .002765 8.869 0.000
_cons | -2.010266 .1430309 -14.055 0.000
------------------------------------------------------
. regress cdu alter
R-squared � 0.0353
-----------------------------------------------------cdu
| Coef. Std. Err. t P�|t|
---------�-------------------------------------------alter
| .0051239 .000559 9.166 0.000
_cons | .0637782 .0275796 2.313 0.021
------------------------------------------------------
Mit steigendem Alter steigt P(CDU). Das lineare Wahrscheinlichkeitsmodell
kommt zu praktisch identischen Ergebnissen.

Multivariate Verfahren, Brüderl 52
CDU
1
.8
.6
.4
.2
0
10 20 30 40 50 60 70 80 90 100
Alter
Dieses Streudiagramm enthält die geschätzten Regressionen:
OLS (blau), Logit (grün), Lowess (braun). Der Grund für die hohe
Übereinstimmung ist die annähernde Linearität der logistischen
Funktion im Intervall �0.2,0. 8�. Der Lowess zeigt eine
Abweichung von der Logit-Funktion bei den Jungen.
Interpretation von Logit-Effekten
Als Effekte auf eine latente Variable
Man kann das Logit-Modell als Schwellenwertmodell mittels
einer stetigen, latenten Variable Y ∗ formulieren. Obiges Bsp.: Y ∗
ist die (unbeobachtete) Differenz des Nutzens einer CDU-
Regierung zu einer anderen Regierung. Wir spezifizieren ein
Regressionsmodell für Y ∗ :
y ∗ � � ′ x ��,
wobei wir allerdings Y ∗ nicht kennen. Wir kennen nur die
resultierende binäre Variable Y, die sich aus dem folgenden
Schwellenwertmodell ergibt:
y � 1, für y ∗ � 0,
y � 0, für y∗ ≤ 0.
Nunmußmanfür�eine Verteilungsannahme treffen. Bei Annahme
einer logistischen Verteilung erhalten wir das Logit-
Modell. Damit können die Koeffizienten als Effekte auf die latente
Variable interpretiert werden. Diese Interpretation findet sich in
der Literatur jedoch nur selten.

Multivariate Verfahren, Brüderl
Diese Formulierung als Schwellenwertmodell macht klar, daß
das Logit-Modell durchaus einen Fehlerterm enthält!
Wahrscheinlichkeiten, Odds und Logits
53
Einfachheitshalber gehen wir nun von nur einem stetigen X aus.
Das Logit-Modell hat drei äquivalente Formulierungen:
Wahrscheinlichkeitsformulierung:
P�Y � 1|x� � e���x .
1 � e���x Oddsformulierung:
P�Y � 1|x�
P�Y � 0|x� � e���x .
"Odds" ist ein Wahrscheinlichkeitsverhältnis (Glücksspiele: die
Gewinnchance, Versicherungswissenschaft: das Risiko).
Logitformulierung (Log-Odds):
ln
P�Y � 1|x�
P�Y � 0|x�
����x.
Beispiel: Folgende Plots mit ��−4, ��0. 8 :
1
0.9
0.8
0.7
0.6
P 0.5
0.4
0.3
0.2
0.1
0
1 2 3 4 5 6 7 8 9 10
X
Wahrscheinlichkeit
5
4.5
4
3.5
3
O 2.5
2
1.5
1
0.5
0
1 2 3 4 5 6 7 8 9 10
X
Odds
L
5
4
3
2
1
0
-1
-2
-3
-4
-5
1 2 3 4 5 6 7 8 9 10
X
Logit
Logit-Interpretation
� ist der Einheitseffekt auf das Logit. Das versteht niemand.
Odds-Interpretation
Erhöht sich X um eine Einheit, so verändert sich das Odds um
den Faktor e � (e ����x�1� � e ���x e � ). e � ist somit als (multiplikativer)
Einheitseffekt auf die Odds zu interpretieren. Diese Interpretation
ist zwar ebenfalls nicht sehr anschaulich, findet sich aber häufig
in der Literatur.

Multivariate Verfahren, Brüderl 54
Beispiel 1: e −.593 �.55. Damit ist das Odds CDU vs. Andere im
Osten um den Faktor 0.55 kleiner. Kontrolle:
Oddsost �. 22/.78 �.282, Oddswest �.338/. 662 �.510, und damit
.510 �.55 �.281.
Vorsicht: Nicht die P(CDU) ist im Osten rund die Hälfte kleiner,
sondern die Odds!
Beispiel 2: e .0245 � 1.0248. Mit jedem Jahr steigt das Odds um
2.5%. Also bei 10 Jahren um 25%? Nein, denn
e .0245�10 � 1.024810 � 1.278, also um 28%.
Andere Formulierung (X Dummy):
P�Y�1|x�1�
P�Y�0|x�1�
P�Y�1|x�0�
P�Y�0|x�0�
�
P�Y � 1|x � 1�P�Y � 0|x � 0�
P�Y � 0|x � 1�P�Y � 1|x � 0� � e� .
e� ist also die bekannte Odds-Ratio.
Wahrscheinlichkeitsinterpretation
Welchen Effekt auf P�Y � 1� hat eine Erhöhung von X um eine
Einheit? Leider hängt dieser Einheitseffekt von X ab (s. obigen
Plot). Deshalb wählt man einen bestimmten X-Wert (meist x )
und errechnet an dieser Stelle
���� x �1�
P�Y � 1| x � 1� − P�Y � 1| x � � e
1 � e���� x �1� − ��� x e .
1 � e��� x
Dies ist die anschaulichste Interpretation der Logit-Effekte.
Normalerweise muß man die Einheitseffekte von Hand
ausrechnen. In STATA gibt es allerdings ein Ado, welches das
macht.
Beispiel 1: Der Einheitseffekt (ausgehend von West) ist
.338 −.220 � −.118, also -12 Prozentpunkte.
Beispiel 2: Das mittlere Alter ist 46.374. damit ist der
Einheitseffekt
1
1 � e2.01−.0245�47.374 − 1 � 0. 00512.
1 � e2.01−.0245�46.374 Das 47. Lebensjahr erhöht die P(CDU) um 0.5 Prozentpunkte.
Man beachte, daß in beiden Beispielen das lineare Wahrscheinlichkeitsmodell
die Einheitseffekte (fast) exakt trifft!

Multivariate Verfahren, Brüderl 55
ML-Schätzung
Man hat Daten �yi,xi� und ein Regressionsmodell
f�Y � y|X � x; ��. Nun muß man die Parameter � so schätzen,
daß das Modell die Daten am besten anpaßt. Dazu gibt es
verschiedene mögliche Kriterien. Das verbreitetste Kriterium ist
das Maximum-Likelihood Prinzip (ML).
Die Idee ist, � � so zu wählen, daß die Likelihood für die beobachteten
Daten maximal wird. Gegeben das Modell und unabhängige
Stichprobenziehungen aus dem Modell ist die Likelihood
n
L��� � � i�1
f�yi,xi; ��.
Der ML-Schätzer wird bestimmt durch Maximierung der Likelihood.
Für die Berechnung ist es vorteilhaft die Log-Likelihood zu
maximieren
n
l��� � ∑ i�1
ln f�yi,xi; ��.
Man bildet die ersten Ableitungen und setzt diese gleich 0.
Die ML-Schätzer haben einige wünschenswerte statistischen
Eigenschaften (gelten nur asymptotisch)
• Konsistenz: E� � � ML � � �
• Normalverteilt: � � ML � N��, I��� −1 �, wobei I��� � −E� ∂2 ln L
∂� ∂� ′ �
• Effizienz: die ML-Schätzer haben minimale Varianz
(Rao-Cramer Schranke)

Multivariate Verfahren, Brüderl 56
ML-Schätzer des binären Logit-Modells
Die Whs. für eine Beobachtung mit Y�1 ist P(Y�1).
Entsprechend für Y�0. Damit lautet die Likelihood
n
L��� � � i�1
e �′ xi
1 � e �′ xi
Die Log-Likelihood ist damit
l��� �
n
∑
i�1
�
n
∑
i�1
�
n
∑ yi�
i�1
′ n
xi − ∑
i�1
yi ln e �′ x i
1�e �′ x i
Ableiten nach � liefert :
yi
�
� �1 − yi� ln
1
1 � e �′ xi
1
1�e �′ x i
�1−yi�
yi ln e �′ xi − yi ln�1 � e �′ xi� − ln�1 � e �′ xi� � yi ln�1 � e �′ xi�
∂l���
∂�
ln�1 � e �′ xi�.
� ∑ yixi − ∑ e�′ xi
1 � e �′ xi
Nullsetzen liefert die Schätzgleichungen:
∑ yixi � ∑ e� � ′ xi
1 � e � � ′ xi
Im Gegensatz zu den OLS-Normalgleichungen sind dies
nicht-lineare Gleichungen, die mittels iterativer Algorithmen
gelöst werden müssen.
xi.
xi.
.

Multivariate Verfahren, Brüderl 57
Signifikanztests und Modellfit
Problem ist, daß die Streuungszerlegung nicht sinnvoll ist.
Deshalb muß man hier anders vorgehen.
Signifikanz des Gesamtmodells
Man vergleicht die Likelihood des Gesamtmodells (ln L1) mit der
des restringierten Modells mit nur der Konstanten (ln L0). Man
berechnet die Likelihood-Ratio Testgröße
�2 � −2ln L0 � 2�ln L1 − ln L0�.
L1
Unter der Nullhypothese H0 : �1 ��2 �… � �p � 0 ist diese
Statistik asymptotisch �2 p-verteilt. Beispiel 2: ln L1 � −1364.7 und ln L0 � −1405.2 (Iteration 0).
�2 � 2�−1364. 7 � 1405. 2� � 81. 0.
Bei einem Freiheitsgrad können wir die H0 zurückweisen.
Signifikanz eines Regressionskoeffizienten
Aus der Informationsmatrix erhält man den Standardfehler jedes
Regressionskoeffizienten. Man berechnet den t-Wert, welcher
asymptotisch normalverteilt ist.
Man kann auch den Likelihood-Ratio Test einsetzen, um
einzelne Koeffizienten oder eine Menge derselben zu testen
(LR-Test vorziehen bei Diskrepanzen).
Modellfit
Der Likelihood-Ratio Test ist kein Fitmaß. Aber auf seiner Basis
haben verschiedene Autoren in Analogie zur linearen Regression
sogenannte Pseudo-R 2 Maße vorgeschlagen. Dies sind
Maße dafür, wieviel von der restringierten Likelihood (das Modell
mit nur einer Konstanten) durch das unrestringierte Modell
”erklärt” werden kann. Sie sind null, wenn die zusätzlichen
Koeffizienten des Modells die Likelihood nicht verbessern.
Anders als im linearen Regressionsmodell ist ihre Obergrenze
allerdings meist nicht eins, sondern liegt darunter.

Multivariate Verfahren, Brüderl 58
Das McFadden Pseudo-R 2 ist definiert als:
2 RMF �
ln L0 − ln L1
ln L0
Es erfaßt die relative Log-Likelihood Verbesserung des
unrestringierten Modells gegenüber dem Modell mit nur einer
Konstanten. Erfahrungsgemäß fällt es eher kleiner aus, als das
R2 des linearen Wahrscheinlichkeitsmodells.
Beispiel 2: R2 � 0.035 und damit etwas größer als
2 RMF � 1405. 2 − 1364. 7 � 0. 029.
1405. 2
Diagnostik
Wie bei der OLS-Regression sollte man auch beim Logit-Modell
Diagnostik betreiben.
Perfekte Diskriminierung
Hat bei diskretem X eine Kategorie nur 0 oder 1, so ist das Logit
Unendlich. Folglich ist das Modell mit dieser Variable nicht
schätzbar. Ähnliches passiert bei stetigen Variablen, wenn ein
Wert perfekt die 0 von der 1 trennt. Manche Programme
erkennen dieses Problem nicht (STATA schon!) und liefern ein
Schätzergebnis. Man erkennt das Problem im Output, wenn
nämlich sehr große Koeffizienten mit sehr großen Standardfehlern
auftauchen.
Funktionale Form
Überprüfbar mit dem Lowess im Streudiagramm (s. obige Abb.).
.

Multivariate Verfahren, Brüderl 59
Beispiel: Ein multivariates Logit-Modell
Wir erweitern unser Wahlmodell um Bildung, Geschlecht und
berufliche Stellung.
. logit cdu bild alter ost frau angest beamt selbst azubi
Iteration 0: log likelihood � -757.23006
Iteration 1: log likelihood � -718.71868
Iteration 2: log likelihood � -718.25208
Iteration 3: log likelihood � -718.25194
Logit estimates Number of obs � 1262
LR chi2(8) � 77.96
Prob � chi2 � 0.0000
Log likelihood � -718.25194 Pseudo R2 � 0.0515
---------------------------------------------------------cdu
| Coef. Std. Err. z P�|z| Odds Eineff
-------�-------------------------------------------------bild
| -.04362 .0264973 -1.646 0.100 .957 -.009
alter | .0351726 .0059116 5.950 0.000 1.035 .007
ost | -.4910153 .1510739 -3.250 0.001 .612 -.094
frau | -.1647772 .1421791 -1.159 0.246 .848 -.033
angest | .1342369 .1687518 0.795 0.426 1.143 .027
beamt | .396132 .2790057 1.420 0.156 1.486 .085
selbst | .6567997 .2148196 3.057 0.002 1.928 .144
azubi | .4691257 .4937517 0.950 0.342 1.598 .102
_cons | -1.783349 .4114883 -4.334 0.000
-----------------------------------------------------------
Die Einheitseffekte sind mit dem Ado "prchange" von Scott Long
berechnet. Sie geben an, um wieviel sich die
Wahlwahrscheinlichkeit der CDU erhöht, wenn X um eine Einheit
steigt (wobei alle Variablen jeweils auf dem Mittelwert sind). Bei
Dummies ist es der Effekt einer Änderung von 0 auf 1.
Ablesebeispiele:
Pro Bildungsjahr sinkt P(CDU) um etwa 1 Prozentpunkt (n.s.)
Selbständige wählen die CDU um 14 Punkte häufiger.

Multivariate Verfahren, Brüderl 60
10) Multinomiale logistische Regression
Mit J � 1 und der multivariaten logistischen Verteilung erhält man
′ exp��
′ jx�
�j�� jx�
�
.
J
′ ∑ exp�� k�0 kx�
Eine dieser Funktionen ist aber redundant, weil die Summe 1
ergeben muß. Deshalb wird normalisiert mit �0 � 0 und das
multinomiale Logit-Modell lautet damit
P�Y � j|X � x� �
P�Y � 0|X � x� �
e �j ′ x
J
1 � ∑ e k�1
�k ′ x
1
J
1 � ∑ e k�1
�k ′ x .
, für j � 1, 2, … ,J
Das binäre Logit-Modell ist offensichtlich der Spezialfall J � 1.
Die Schätzung der Parameter erfolgt mit ML.
Beispiel 1: Wahlverhalten und Wohnort (diskretes X)
Wir unterscheiden nun 6 Parteien: Andere�0, CDU�1, SPD�2,
FDP�3, Grüne�4, PDS�5.
| ost
partei | 0 1 | Total
-----------�----------------------�----------
Andere | 82 31 | 113
| 5.21 4.31 | 4.93
-----------�----------------------�----------
CDU | 533 159 | 692
| 33.88 22.11 | 30.19
-----------�----------------------�----------
SPD | 595 258 | 853
| 37.83 35.88 | 37.22
-----------�----------------------�----------
FDP | 135 65 | 200
| 8.58 9.04 | 8.73
-----------�----------------------�----------
Gruene | 224 91 | 315
| 14.24 12.66 | 13.74
-----------�----------------------�----------
PDS | 4 115 | 119
| 0.25 15.99 | 5.19
-----------�----------------------�----------
Total | 1573 719 | 2292
| 100.00 100.00 | 100.00
. mlogit partei ost, base(0)
Iteration 0: log likelihood � -3476.897

Multivariate Verfahren, Brüderl 61
....
Iteration 6: log likelihood � -3346.3997
Multinomial regression Number of obs � 2292
LR chi2(5) � 260.99
Prob � chi2 � 0.0000
Log likelihood � -3346.3997 Pseudo R2 � 0.0375
---------------------------------------------------partei
| Coef. Std. Err. z P�|z|
---------�------------------------------------------
CDU |
ost | -.2368852 .2293876 -1.033 0.302
_cons | 1.871802 .1186225 15.779 0.000
---------�------------------------------------------
SPD |
ost | .1371302 .2236288 0.613 0.540
_cons | 1.981842 .1177956 16.824 0.000
---------�------------------------------------------
FDP |
ost | .2418445 .2593168 0.933 0.351
_cons | .4985555 .140009 3.561 0.000
---------�------------------------------------------
Gruene |
ost | .0719455 .244758 0.294 0.769
_cons | 1.004927 .1290713 7.786 0.000
---------�------------------------------------------
PDS |
ost | 4.33137 .5505871 7.867 0.000
_cons | -3.020425 .5120473 -5.899 0.000
----------------------------------------------------
(Outcome partei��Andere is the comparison group)
Das mlogit reproduziert wieder die Kreuztabelle (nachrechnen!).
Das "fatale" ist aber, dass die Vorzeichen der Logit-Effekte beim
mlogit nicht mehr unbedingt mit dem Vorzeichen der
Wahrscheinlichkeitseffekte übereinstimmen!! Dies sieht man an
diesem Beispiel, denn z.B. würden wir anhand der Vorzeichen
der Logit-Effekte schließen, daß die Ossis häufiger SPD und
Grüne wählen. Dies ist aber nicht der Fall, wie wir aus der
Kreuztabelle sehen.

Multivariate Verfahren, Brüderl 62
Interpretation der multinomialen Logit-Effekte
Auf Grund der vielen Koeffizienten noch schwieriger.
Logit-Interpretation
Kürzen wir P�Y � j� mit Pj ab, so impliziert das Modell
ln Pj
P0
′
� �jx. Ebenso wie im binären Modell sind die Parameter als Effekte auf
die Log-Odds im Vergleich zum Null-Ereignis interpretierbar.
Diese Interpretation ist aber wenig hilfreich.
Odds-Interpretation
Auch die Odds-Formulierung gibt es im multinomialen Fall
Pj
� e � ′
j x.
P0
e�jk ist der multiplikative Einheitseffekt der Variable Xk auf die
Odds (immer in Bezug auf das 0-Ereignis). Das Vorzeichen von
�jk kann mithin als Richtung des Odds-Effektes interpretiert
werden.
Beispiel 1: Für die SPD ist das Ost-Odds um den Faktor
e .137 � 1.147 größer als das West-Odds.
Kontrolle: OddsOst �.359/.043 � 8. 35,
OddsWest �.378/.052 � 7.27, also 8. 35/7. 27 � 1. 149.
In der Literatur findet man meist diese Interpretation. Außer
wenigen Spezialisten kann diese Interpretation niemand
verstehen. Auch die meisten Wissenschaftler denken nicht in
"Odds", sondern in "Wahrscheinlichkeiten". Deshalb sieht man in
vielen Artikeln, dass Odds-Effekte berichtet werden, im Text aber
im Sinne von Whs.effekten interpretiert werden. Das ist ein
Fehler und kann gewaltig in die Irre führen (s. folgendes Bsp.).
Wahrscheinlichkeitsinterpretation
Die Einheitseffekte sind nicht im Standard-Output enthalten.
Aber man kann sie ausrechnen. Hilfreich ist hier wieder das Ado
"prchange". Es berechnet sie in verschiedenen Varianten. Die
Whs.effekte haben den Nachteil, dass sie vom Wert der uVs
abhängen. Meist setzt man die uVs auf ihren Mittelwert. Am
informativsten sind jedoch Conditional-Effect Plots (s.u.).
Beispiel 1: Rechnet man anhand obigen STATA-Outputs die

Multivariate Verfahren, Brüderl 63
Einheitseffekte aus (Ost verändert sich jeweils von 0 auf 1), so
erhält man exakt die Prozentsatzdifferenzen der Kreuztabelle.
Beispiel: Ein multivariates multinomiales Logit-Modell
uVs: Alter, Bildung und Ost (Konstanten aus Output entfernt).
. mlogit partei bild alter ost, base(0)
Iteration 0: log likelihood � -3476.897
Iteration 6: log likelihood � -3224.9672
Multinomial regression Number of obs � 2292
LR chi2(15) � 503.86
Prob � chi2 � 0.0000
Log likelihood � -3224.9672 Pseudo R2 � 0.0725
-----------------------------------------------------partei
| Coef. Std. Err. z Einh.Eff.
---------�--------------------------------------------
ANDERE |
bild | -0.0078
alter | -0.0012
ost | -0.0041
---------�--------------------------------------------
CDU |
bild | .157302 .0496189 3.170 -0.0035
alter | .0437526 .0065036 6.727 0.0055
ost | -.3697796 .2332663 -1.585 -0.1290
---------�--------------------------------------------
SPD |
bild | .1460051 .0489286 2.984 -0.0092
alter | .0278169 .006379 4.361 0.0006
ost | .0398341 .2259598 0.176 -0.0217
---------�--------------------------------------------
FDP |
bild | .2160018 .0535364 4.035 0.0046
alter | .0215305 .0074899 2.875 -0.0005
ost | .1414316 .2618052 0.540 0.0042
---------�--------------------------------------------
Gruene |
bild | .2911253 .0508252 5.728 0.0148
alter | -.0106864 .0073624 -1.451 -0.0045
ost | .0354226 .2483589 0.143 -0.0068
---------�--------------------------------------------
PDS |
bild | .2715325 .0572754 4.741 0.0010
alter | .0240124 .008752 2.744 -0.0001
ost | 4.209456 .5520359 7.625 0.1574
------------------------------------------------------
(Outcome partei��Andere is the comparison group)
Teilweise haben die Logit- und damit die Odds-Effekte ein
anderes Vorzeichen, als die Einheitseffekte! Ein schönes
Beispiel dafür, wie die Logit-Effekte bei naiver Interpretation in
die Irre führen können, ist der Bild-Effekt bei der SPD. Der
Odds-Effekt ist deutlich positiv und signifikant. Das heißt aber
nicht, daß die P(SPD) mit der Bildung steigt. Im Gegenteil, sie
sinkt sogar! Die Odds steigen, weil mit höherer Bildung die

Multivariate Verfahren, Brüderl 64
Anderen Parteien (die Reps) noch seltener gewählt werden.
Die Einheitseffekte sind aber von X abhängig. Deshalb
Conditional-Effect Plots:
Zuerst nach Alter (Bildung�12):
P(Partei=j)
.5
.4
.3
.2
.1
0
20 30 40 50 60 70
Alter
West
Dann nach Bildung (Alter�46):
P(Partei=j)
.5
.4
.3
.2
.1
0
8 9 10 11 12 13 14 15 16 17 18
Bildung
West
P(Partei=j)
P(Partei=j)
.5
.4
.3
.2
.1
0
.5
.4
.3
.2
.1
0
20 30 40 50 60 70
Alter
Ost
8 9 10 11 12 13 14 15 16 17 18
Bildung
Braun: Andere, schwarz: CDU, rot: SPD, blau: FDP, grün:
Grüne, violett: PDS.
Mit diesen Graphen kann man jedem Laien die Ergebnisse
erläutern! Z.B. negativer Alterseffekt bei den Grünen, positiver
bei der CDU. Bei der SPD ist der Alterseffekt nicht-monoton,
obwohl wir nur einen linearen Term im Modell haben! Mlogit ist
ein komplexes Modell! Ohne Conditional-Effect Plots wird man
diese Komplexität übersehen.
Der Bildungseffekt ist positiv für die Grünen. Für die PDS
ebenso, aber nur im Osten. Negative Bildungseffekte haben wir
für SPD, CDU und Andere.
Allerdings hängen die Plots von den nicht berücksichtigten
Variablen ab. Da sie in STATA leicht zu produzieren sind, kann
Ost

Multivariate Verfahren, Brüderl 65
man aber schnell viele Kombinationen durchspielen.
Bemerkung zu Interaktionseffekten
Obiges Modell ist ohne Interaktionseffekte spezifiziert. Dies gilt
aber nur für die Logit- bzw. Odds-Effekte. Wie wir oben sehen,
können in den Whs.-Effekten dennoch Interaktionen auftreten!
Der Bildungseffekt auf PDS ist im Westen null, im Osten positiv!
Dies gilt generell für nicht-lineare Regressionsmodelle: Sie
können Interaktionseffekte modellieren, obwohl keine
Produktterme im Modell sind. Umgekehrt bedeutet dies, dass die
Koeffizienten der Produktterme nicht-linearer Regressionen nicht
den ganzen Interaktionseffekt erfassen (s. Ai/Norton,
STATA-Journal 2004). Man muss also sehr vorsichtig sein, wenn
man in eine nicht-lineare Regression Produktterme einführt!
Viele Anwender tun dies aber bei logit und mlogit dennoch. In
diesem Fall kann man sich auf die Odds-Interpretation
zurückziehen: exponiert man den Koeffizienten des
Produktterms, so ist dies ein multiplikativer Interaktionseffekt auf
die Odds. Wie oben erwähnt, sind bereits Odds schwer zu
verstehen. Deshalb dürften Aussagen wie "im Osten ist das
Odds doppelt so hoch, wie im Westen" nur wenigen Menschen
verständlich sein.
Signifikanztests und Modellfit
Eine Besonderheit ist der Signifikanztest für eine Variable, denn
für jedes X gibt es mehrere Koeffizienten. Deshalb LR-Test:
. mlogtest, lr
**** Likelihood-ratio tests for independent variables
Ho: All coefficients associated with given variable(s) are 0.
party | chi2 df P�chi2
---------�------------------------educ
| 66.415 5 0.000
age | 164.806 5 0.000
east | 255.860 5 0.000
-----------------------------------

Multivariate Verfahren, Brüderl 66
11) Ereignisdatenanalyse
In der Ereignisdatenanalyse ist die Zeitdauer bis zum Eintritt
eines Ereignisses (T) die abhängige Variable.
Bsp.: Lebensdauer von Patienten, Dauer der Arbeitslosigkeit,
Heiratsalter, Ehedauer bis Scheidung, Dauer bis Beförderung.
Zentrale Ziele: Beschreibung der Verteilung von T; Analyse der
bedingten Verteilungen (Regression).
Verteilung der Ereigniszeiten T:
• Dichtefunktion f�t�: Wahrscheinlichkeit für Ereignis zu t.
• Überlebensfunktion S�t� � 1 − F�t�: Anteil der Überlebenden
zu t (Anteil ohne Ereignis zu t).
• Ratenfunktion r�t� � f�t�/S�t�: Bedingte Whs., daß Ereignis im
nächsten Zeitintervall eintritt, wenn es bisher noch nicht
eingetreten ist.
Beispiel: Jobsuchdauer von Hochschulabsolventen
• Fragestellung: Wie lange dauert es, bis Hochschulabsolventen
nach dem Examen eine Stellung finden? Welche
Faktoren beeinflussen die Dauer?
• Daten: Retrospektivbefragung ehemaliger Gymnasiasten in
NRW 1984 (N�451).
• Methode: Nicht-parametrische Sterbetafelschätzer
0.02
0.015
0.01
0.005
0
0 100 200 300 400 500
Suchdauer in Tagen
Ratenfunktion
1
0.8
0.6
0.4
0.2
0
WIWI
SOZ
0 100 200 300 400 500
Suchdauer in Tagen
Überlebensfunktionen

Multivariate Verfahren, Brüderl 67
Die Struktur von Ereignisdaten
Zustand Y(t)
Geschieden: 2
Verheiratet: 1
Ledig: 0
Episode 1
(Spell)
Episode 2
Episode 3
Episode 4
Zensierung
Interview
14 19 22 26 29
Eheverlauf einer Person
In der Datenmatrix sieht dieser Verlauf so aus:
�14,0��19, 1��22, 2��26, 1��29, 1�.
Aus solchen Ereignisdaten kann man dann die Verweildauern für
das interessierende Ereignis errechnen. T�5 für Heirat, T�3 für
die Scheidung, T�3 für die 2. Ehe. Man beachte aber, daß
letztere Verweildauer (rechts-) zensiert ist.
Die Sterbetafel-Methode
Für explorative Analysen setzt man sinnvollerweise nichtparametrische
Schätzverfahren ein. Ein solches Verfahren ist die
Sterbetafelmethode. Hierzu gruppiert man die Verweildauern in
Intervalle. Sei ni die Zahl der Personen, die in Intervall i eintritt
(noch kein Ereignis oder keine Zensierung hatte). ci sei die
Anzahl der Zensierungen in i. Nimmt man Gleichverteilung der
Zensierungen an, so ergibt sich die Anzahl der dem Risiko
ausgesetzten Fälle (Risikomenge) als
Ri � ni − 1 2 ci.
Sei di die Anzahl der Ereignisse in dem Intervall, dann ist die
bedingte Ereigniswahrscheinlichkeit
�
q i � di .
Die bedingte Überlebenswahrscheinlichkeit ist damit � p i � 1 − � q i .
Ri
T

Multivariate Verfahren, Brüderl 68
Sei hi die Intervallbreite, dann ist der Sterbetafel-Ratenschätzer
� 2
r i �
� q i
hi�1 � � p i� .
Beispiel: Heiratsprozeß, ALLBUS 1980-88
Heiratsrate
.25
.20
.15
.10
.05
0.00
0
5
10
15
Alter-14
20
25
Heiratsraten - Männer
30
Kohorte
1955-60
1935-40
Anteil Ledige
1.0
.9
.8
.7
.6
.5
.4
.3
.2
.1
0.0
0
5
10
15
Alter-14
20
25
30
Überlebensfunktionen - Männer
Kohorte
Proportional Hazard Regressionsmodell
Wir nehmen an, daß X-Variablen (uVs) die Rate proportional
verschieben. Damit können wir das PH-Regressionsmodell
spezifizieren als
r�t|X� � r0�t� ��X .
1955-60
1935-40
r0�t� ist die Basisrate, die laut Modell identisch ist für alle X. � ist
der Regressionseffekt, der als relatives Risiko interpretierbar ist:
Erhöht sich X um eine Einheit, so ist die Rate um das �-fache
höher (0 ����).
Exponential-Modell: Modell mit konstanter Rate
r0�t� ��0.

Multivariate Verfahren, Brüderl 69
Weibull-Modell: Modell mit monotonen Raten (p: shape)
r0�t� � ptp−1�0. 0.03
0.025
0.02
0.015
0.01
0.005
0
5 10 15 20
t
�0 � 0. 01
blau: p�0.8
rot: p�1
grün: p�1.1
magenta: p�2
Generalisiertes log-logistische Modell: Auch glockenförmige
Raten (p: shape, �: scale)
0.03
0.025
0.02
0.015
0.01
0.005
0
5 10 15 20
t
r0�t� � p��t�p−1
1 � ��t�p �0.
�0 � 0. 01, ��0. 2
grün: p�0.5
rot: p�1
blau: p�2
magenta: p�3
ML-Schätzung
Hierbei gibt es ein Problem. Regelmäßig hat man auch zensierte
Beobachtungen. Von denen weiß man nur, daß bis t kein
Ereignis aufgetreten ist. Diese Info ist bei der ML-Schätzung zu
berücksichtigen (z�1 für Ereignis, z�0 für Zensierung). Die
Likelihood Funktion lautet dann
n
L��� � � i�1
f�ti;�� zi � S�ti;�� 1−zi � � i�1
n
r�ti;�� zi � S�ti;��.

Multivariate Verfahren, Brüderl 70
Beispiel: Scheidung nach Religion
• Fragestellung: Wie hängt die Scheidungsrate von der Religion
(Katholisch�1, Evangelisch�0) ab?
• Daten: DJI-Familiensurvey 1988, Erstehen 1949-88,
retrospektiv erfragte Ehedauern
• Methode: Vergleich von Sterbetafelschätzer und ML-Schätzer
Scheidungsrate
.014
.012
.010
.008
.006
.004
.002
0.000
0
5
10
15
20
Ehedauer in Jahren
25
30
Kath. (Loglog)
Evang. (Loglog)
Kath. (Sterbet.)
Evang. (Sterbet.)
��0,65, d.h. das relative Scheidungsrisiko für Katholiken ist
0,65 im Vgl. zu den Protestanten. Prozentinterpretation:
Scheidungsrate der Katholiken ist 35% niedriger.
Alternativ findet man auch folgende Parametrisierung
r�t|X� � r0�t� ��X � r0�t� �e�X , wobei ��e� .
� ist nicht anschaulich zu interpretieren. Das Vorzeichen sagt
uns aber, ob X die Rate erhöht oder senkt. In unserem Beispiel
ist ��−0,43.

Multivariate Verfahren, Brüderl 71
Partial-Likelihood (Cox-Modell)
Bei einem parametrischen Ereignisratenmodell sind Annahmen
über die funktionale Form der Basisrate notwendig. Problem ist,
daß man häufig keine Information über die funktionale Form hat.
Im semi-parametrischen Cox-Modell läßt man die Basisrate
unspezifiziert. Das Cox-Modell enthält damit nur mehr die
Proportionalitätsannahme.
Schätzverfahren
ML ist wegen der unspezifizierten Basisrate nicht anwendbar.
Cox (1972) schlug deshalb vor, nur den Teil der Likelihood zur
Schätzung der Parameter zu verwenden, in dem die unbekannte
Basisrate nicht enthalten ist (Partial-Likelihood).
Analyse der Effekte von Ereignissen
Das PL-Verfahren ermöglicht eine einfache Berücksichtigung
zeitveränderlicher Kovariate.
Ein Hauptvorteil der Ereignisdatenanalyse ist, daß es möglich ist,
zeitveränderliche Kovariate zu berücksichtigen. Damit kann man
untersuchen, welche Effekte zeitlich vorgelagerte Ereignisse auf
spätere Ereignisse haben. Damit können Ereignis-Regressionen
die zeitliche Ordnung - eine wichtige Kausalitätsbedingung -
mitberücksichtigen.

Multivariate Verfahren, Brüderl 72
Beispiel: Cox-Regression mit zeitveränderlicher Kovariate
• Fragestellung: Welche Faktoren beeinflussen die
Scheidungsrate?
• Daten: DJI-Familiensurvey 1988, nur katholische und
evangelische Paare (N�4118)
• Methode: Multivariates Cox-Modell
�-Effekt S.E. t-Wert �-Effekt
HeiKoh 61-70 0,58 0,15 3,89 1,78
HeiKoh 71-80 0,86 0,16 5,22 2,36
HeiKoh 81-88 0,87 0,26 3,37 2,39
Heialter Frau -0,12 0,02 6,39 0,89
Bildung Mann -0,11 0,05 2,40 0,89
Bildung Frau 0,07 0,05 1,31 1,07
Katholisch -0,40 0,10 3,87 0,67
Kohabitation 0,62 0,13 4,92 1,85
Kind (zeitv.) -0,79 0,11 7,36 0,45
Pseudo-R2 3,1%
Referenzgruppe: Evang. Paare, ohne Kohab, ohne Kind, der HeiKoh 49-60.

Multivariate Verfahren, Brüderl 73
12) Hauptkomponenten- und Faktorenanalyse
Nun verlassen wir das Reich der Regressionsanalyse und
wenden uns Verfahren der Datenreduktion zu. Wir versuchen,
eine Menge beobachteter Variablen auf eine geringe Zahl von
unbeobachteten Dimensionen (Faktoren) zu reduzieren.
Das Modell einer Faktorenanalyse ist (ohne Personenindex):
x1 � a11F1 �… �a1JFJ � u1
�
xK � aK1F1 �… �aKJFJ � uK
Xk sind die beobachteten Variablen, die in einem linearem
Modell durch die Faktoren Fj (J � K) ”erklärt” werden. akj sind die
Faktorladungen und uk Fehlerterme. In einem Pfaddiagramm
(K�5, J�2) sieht das so aus:
r 12
F 1
F 2
a 11
a 21
a 32
a 42
a 52
X 1
X 2
X 3
X 4
X 5
.
sqrt(1-h 1 2 )
sqrt(1-h 2 2 )
sqrt(1-h 3 2 )
sqrt(1-h 4 2 )
sqrt(1-h 5 2 )
In diesem Modell wird angenommen, daß einige Faktorladungen
2 2 gleich Null sind. hk heißt Kommunalität und entspricht R in der
Regression. Es ist eine Korrelation zwischen den Faktoren
zugelassen. Im folgenden ist aber r12 � 0.
Schreibt man die Variablen und Faktoren nebeneinander
(Datenmatrix) so kann man das Modell in Matrix-Notation
aufschreiben:
X � FA ′ � U.
u 1
u 2
u 3
u 4
u 5

Multivariate Verfahren, Brüderl 74
Hauptkomponentenanalyse
Hier wird kein Modell unterstellt sondern eine rein mathematische
Zerlegung der X-Matrix durchgeführt. Dies ist möglich,
wenn J � K:
X � FA ′ .
Daraus folgt
F � X�A ′ � −1 .
Es kann gezeigt werden, daß A � V� 1/2 , wobei V die Matrix der
Eigenvektoren der Korrelationsmatrix R ist, und � die Diagonalmatrix
mit den Eigenwerten �j.
Die Faktoren sind dann unkorreliert. Es ist ∑ �j � K. Der durch
einen Faktor erklärte Anteil an der Gesamtvarianz ist �j/K. Die akj
geben die Stärke des Zusammenhangs von Xk und Fj.
Hauptkomponenten Faktorenanalyse
Läßt man die erklärungsschwächeren Faktoren weg, so ist man
wieder bei der Faktorenanalyse. Übliches Kriterium ist, nur
Faktoren beizubehalten deren Eigenwert über eins liegt.
Die Kommunalität sagt für jedes Xk, welchen Anteil an seiner
Varianz die beibehaltenen Faktoren erklären. Sie ist
J
2 hk � ∑j�1 2 akj. Die ”Uniqueness” ist definiert als 1 − h k 2 .
Beispiel: Einstellungen zu Staat und Wirtschaft
Im ALLBUS 94 wurden hierzu 8 Items erhoben (v79-v86).
. factor v79-v86, pcf
(obs�2845)
(principal component factors; 2 factors retained)
Factor Eigenvalue Difference Proportion Cumulative
-------------------------------------------------------------
1 2.34234 0.97202 0.2928 0.2928
2 1.37032 0.37972 0.1713 0.4641
3 0.99060 0.14906 0.1238 0.5879
4 0.84155 0.07590 0.1052 0.6931
5 0.76564 0.13058 0.0957 0.7888
6 0.63506 0.05608 0.0794 0.8682
7 0.57899 0.10349 0.0724 0.9406
8 0.47550 . 0.0594 1.0000

Multivariate Verfahren, Brüderl 75
Factor Loadings
Variable | 1 2 Uniqueness
----------�-------------------------------v79
| 0.24560 0.52474 0.66433
v80 | 0.61271 0.27328 0.54991
v81 | -0.48909 0.69191 0.28205
v82 | -0.47573 0.65234 0.34813
v83 | 0.55617 0.18114 0.65787
v84 | 0.55894 0.08467 0.68042
v85 | 0.68550 0.06762 0.52552
v86 | 0.59114 0.26730 0.57911
Zwei Faktoren erfüllen das Eigenwertkriterium. Das 2-Faktorenmodell
erklärt aber nur wenig Varianz.
Eigenvalues
2.5
2
1.5
1
.5
0 2 4
Factor Number
6 8
Der dritte Faktor liegt nur knapp unter eins. Der Scree-Plot kann
die Entscheidung über die Zahl der beizubehaltenden Faktoren
unterstützen. Wo die Kurve abflacht, sollte man die Grenze
ziehen. In unserem Fall ist unklar, ob 2 oder 3 Faktoren sinnvoll
sind. Wegen der geringen erklärten Varianz entscheiden wir uns
für drei Faktoren.
factor v79-v86, pcf mineigen(0.9)
Factor Loadings
Variable | 1 2 3 Uniqueness
----------�------------------------------------------v79
| 0.24560 0.52474 -0.67614 0.20716
v80 | 0.61271 0.27328 0.12025 0.53545
v81 | -0.48909 0.69191 0.11773 0.26820
v82 | -0.47573 0.65234 0.34255 0.23079
v83 | 0.55617 0.18114 -0.14147 0.63786
v84 | 0.55894 0.08467 0.58430 0.33901
v85 | 0.68550 0.06762 0.14946 0.50318
v86 | 0.59114 0.26730 -0.06334 0.57509

Multivariate Verfahren, Brüderl 76
Rotation
Diese Lösung ist aber noch nicht besonders anschaulich. Auf
Faktor 1 lädt so ziemlich alles (bis auf v79). Auf Faktor 2 laden
insbesondere v79, v81, v82 und auf Faktor 3 laden v79, v84.
Man kann die Interpretierbarkeit einer Faktoranalyse verbessern,
indem man rotiert (im Prinzip das Koordinatensystem
dreht). Dies darf man, weil jede Linearkombination der Faktoren
wieder eine Lösung des obigen Gleichungssystems darstellt
(insofern ist jede Faktorlösung beliebig!!). Ein beliebtes
Verfahren ist die Varimax-Rotation.
Fiktives Beispiel
F 2R
X 4
F 2
X 1
X2
X3
F 1R
F 1
akj vor Varimax
F1
F2
X1 .50 .50
X2 .50 -.40
X3 .70 .70
X4 -.60 .60
Beispiel: Einstellungen zu Staat und Wirtschaft
. rotate
(varimax rotation)
Rotated Factor Loadings
Variable | 1 2 3 Uniqueness
----------�-----------------------------------------v79
| -0.01972 0.06131 -0.88809 0.20716
v80 | 0.62919 -0.05167 -0.25689 0.53545
v81 | -0.13495 0.83570 -0.12325 0.26820
v82 | -0.01507 0.87431 0.06761 0.23079
v83 | 0.41850 -0.18548 -0.39064 0.63786
v84 | 0.78201 -0.01570 0.22181 0.33901
v85 | 0.64572 -0.24151 -0.14674 0.50318
v86 | 0.51214 -0.10817 -0.38848 0.57509
akj nach Varimax
F1R F2R
X1 .71 -.02
X2 .05 -.64
X3 .99 -.03
X4 .02 .85
Nun sind die Faktoren leichter interpretierbar. Auf Faktor 1 laden
v80, v84, v85 (wirtschaftliche Ungerechtigkeit). Auf Faktor 2 v81,
v82 (kein Wohlfahrtsstaat). Auf Faktor 3 v79 (Individualis- mus:
Achtung Vorzeichen!). v83 und v86 passen nicht so recht.

Multivariate Verfahren, Brüderl 77
Faktorscores
Anhand der Faktorlösung kann man für jede Beobachtung die
geschätzten Faktorwerte berechnen. Diese kann man dann in
weiteren Analysen verwenden.
. score f1 f2 f3
(based on rotated factors)
Scoring Coefficients
Variable | 1 2 3
----------�-------------------------------v79
| -0.17488 0.01776 -0.76982
v80 | 0.32909 0.06746 -0.10040
v81 | 0.03732 0.54631 -0.11323
v82 | 0.15521 0.59798 0.07600
v83 | 0.14985 -0.06382 -0.26023
v84 | 0.52302 0.12978 0.34392
v85 | 0.32793 -0.05716 -0.00644
v86 | 0.22142 0.00541 -0.23827
. summ f1 f2 f3
Variable | Obs Mean Std. Dev. Min Max
---------�-------------------------------------------------f1
| 2845 3.21e-10 1 -2.73211 3.450658
f2 | 2845 -1.06e-10 1 -1.458208 3.57989
f3 | 2845 -6.91e-11 1 -2.72251 2.928601
. corr f1 f2 f3
(obs�2845)
| f1 f2 f3
---------�--------------------------f1
| 1.0000
f2 | 0.0000 1.0000
f3 | 0.0000 0.0000 1.0000
. regress f2 eink
Source | SS df MS Number of obs � 2557
---------�------------------------------ F( 1, 2555) � 160.44
Model | 144.090999 1 144.090999 Prob � F � 0.0000
Residual | 2294.66405 2555 .898107261 R-squared � 0.0591
---------�------------------------------ Adj R-squared � 0.0587
Total | 2438.75505 2556 .954129519 Root MSE � .94769
---------------------------------------------------------------------f2
| Coef. Std. Err. t P�|t| [95% Conf. Interval]
-----�---------------------------------------------------------------eink
| .0001423 .0000112 12.666 0.000 .0001203 .0001643
cons | -.3186571 .0295908 -10.769 0.000 -.3766815 -.2606327
----------------------------------------------------------------------
Befragte mit höherem Einkommen sind eher gegen den
Wohlfahrtsstaat.