Lineare Regression (Kap. 1-5) (pdf) - Seminar für Statistik - ETH Zürich

3.3. MULTIPLE REGRESSION IST MEHR ALS VIELE EINFACHE 293.3 Multiple Regression ist viel mehr als viele einfache RegressionenabcDie multiple Regression wurde eingeführt, um den Einfluss mehrerer erklärender Grössenauf eine Zielgrösse zu erfassen. Ein verlockender, einfacherer Ansatz zum gleichenZiel besteht darin, für jede erklärende Variable eine einfache Regression durchzuführen.Man erhält so ebenfalls je einen geschätzten Koeffizienten mit Vertrauensintervall. In derComputer-Ausgabe der multiplen Regression stehen die Koeffizienten in einer einzigenTabelle. Ist das der wesentliche Vorteil?Die Überschrift über diesen Abschnitt behauptet, dass der Unterschied der beiden Ansätze– mehrere einfache gegen eine multiple Regressionsanalyse – viel grundlegender ist. Dassoll im Folgenden begründet werden.⊲ An künstlichen Beispielen lassen sich solche Effekte noch klarer veranschaulichen. InAbbildung 3.3.b sind für den Fall einer kontinuierlichen erklärenden Variablen X (1) undeiner Gruppierungsvariablen X (2) vier mögliche Fälle aufgezeichnet. Die gestrichelten Geradenzeigen das Modell, nach dem die Beobachtungen erzeugt wurden: Zwei paralleleGeraden mit Steigung β 1 und einem vertikalen Abstand von β 2 . Die Beobachtungen derbeiden Gruppen tragen verschiedene Symbole. Die ausgezogene Gerade stellt das Resultateiner einfachen Regression von Y auf X (1) dar; das schmale Rechteck am rechten Randzeigt den Unterschied zwischen den Gruppenmittelwerten der Zielgrösse, was der einfachenRegression von Y gegen X (2) entspricht. Die Gerade und das Rechteck zeigen alsodas Resultat, das man erhält, wenn man die beiden Regressoren X (1) und X (2) je miteinfacher Regression ”abhandelt“.Die Ergebnisse der multiplen Regression sind nicht eingezeichnet; sie widerspiegeln dasModell ziemlich genau. Die vier Fälle zeigen die Schwierigkeiten der Interpretation voneinfachen Regressionen drastisch:(A) Beide Variablen haben einen positiven Effekt, β 1 > 0, β 2 > 0. Die geschätzteSteigung und der Unterschied der Gruppenmittelwerte werden zu gross.(B)Kein Effekt der kontinuierlichen erklärenden Variablen X (1) . Die geschätzte Geradeerhält ihre Steigung durch den Unterschied zwischen den Gruppen.(C) Entgegengesetzte Effekte, β 1 < 0, β 2 > 0. Die geschätzte Steigung zeigt einenpositiven Effekt der kontinuierlichen erklärenden Variablen X (1) auf die Zielgrösse,während er in Wirklichkeit negativ ist!(D)Hier sind die Effekte so eingerichtet, dass sie sich gegenseitig aufheben. Man wirdfälschlicherweise schliessen, dass keine der beiden Variablen einen Einfluss auf Yhat. ⊳Wenn wir uns das Modell der multiplen Regression vergegenwärtigen, wird klar, wie derUnterschied zu den Ergebnissen der einfachen Regression entsteht: Der Koeffizient β 1 beispielsweisegibt an, um wie viel sich der erwartete Wert der Zielgrösse erhöht, wenn X (1)um 1 erhöht wird – und alle anderen erklärenden Variablen gleich bleiben. Im Beispielbleibt die Ladung und die Stelle gleich; wir erhalten also die Steigung der Geraden innerhalbder Stelle bei konstanter Ladung – und gehen, wenn die Wechselwirkung im Modellfehlt, davon aus, dass diese für beide Stellen gleich ist.Betrachten wir die einfache Regression der Zielgrösse auf X (1) , dann wird sich die Bedeutungvon β 1 ändern. Die zweite ausgewählte Stelle wurde bei grösseren Distanzen erfasstals die erste und führte trotzdem tendenziell zu gleich hohen Erschütterungen. Teilweise