1 E<strong>in</strong>leitung In <strong>der</strong> Statistik ist man häug an e<strong>in</strong>em l<strong>in</strong>earen Zusammenhang zwischen reellen Daten <strong>in</strong>teressiert, also an e<strong>in</strong>em Zusammenhang <strong>der</strong> Form Y = Xβ + ɛ (1.1) mit e<strong>in</strong>er Designmatrix X ∈ R n×p , e<strong>in</strong>em Parametervektor β ∈ R p und e<strong>in</strong>em n- dimensionalen Zufallsvektor ɛ. <strong>Die</strong> Designmatrix X = (x i,j ) i,j=0,...,p−1 enthält <strong>in</strong> <strong>der</strong> ersten Spalte nur E<strong>in</strong>sen, also x 1,0 = . . . = x n,0 = 1, und hat ansonsten reelle E<strong>in</strong>träge. (x i,1 , . . . , x i,p−1 ) geben für i = 1, . . . , n verschiedene Realisationen <strong>der</strong> sogenannten unabhängigen Variablen an und Y = (Y 1 , . . . , Y n ) t ist die abhängige Variable, die sich aus den unabhängigen durch e<strong>in</strong>en mit dem Fehler ɛ behafteten l<strong>in</strong>earen Zusammenhang erklären lässt. Man nimmt an, dass <strong>der</strong> Fehler unabhängig von <strong>der</strong> Beobachtung immer die gleiche Form hat, also unabhängig identisch verteilte ɛ 1 , . . . , ɛ n , und dass man ke<strong>in</strong>en systematischen Fehler macht, also E(ɛ) = 0 und somit E(Y ) = Xβ. Auÿerdem setzt man häug V(ɛ i ) < ∞ voraus, um mehr statistische Mittel zur Lösung des Problems zur Verfügung zu haben. E<strong>in</strong> solches Modell nennt man multiple l<strong>in</strong>eare Regression. In dieser Arbeit wird <strong>der</strong> E<strong>in</strong>fachheit halber nur <strong>der</strong> Fall p = 2 betrachtet. Damit vere<strong>in</strong>facht sich die Modellgleichung (1.1) zu Y i = β 0 + β 1 x i + ɛ i ∀ i = 1, . . . , n (1.2) mit zwei reellen Parametern β 0 und β 1 . Das Modell beschreibt also e<strong>in</strong>e Gerade und heiÿt e<strong>in</strong>fache l<strong>in</strong>eare Regression. <strong>Die</strong> Aufgabe <strong>der</strong> Regression besteht nun dar<strong>in</strong>, zu gegebenen Realisationen (x i , y i ), i = 1, . . . , n die unbekannten Parameter β 0 und β 1 möglichst gut zu schätzen. Das heiÿt, die Modellgleichung (1.2) soll für die geschätzten Parameter ˆβ 0 und ˆβ 1 möglichst genau erfüllt se<strong>in</strong>: y i ≈ ˆβ 0 + ˆβ 1 x i ∀ i = 1, . . . , n. E<strong>in</strong> weit verbreitetes Verfahren dafür ist die <strong>Methode</strong> <strong>der</strong> <strong>kle<strong>in</strong>sten</strong> Quadrate, die zum ersten Mal 1805 vom französischen Mathematiker Adrien-Marie Legendre publiziert wurde 5