Skriptum

Beispiel 2.5.
r x,y =
3.14
1.83 · 1.81 = 0.95
Bei der Regression versucht man, eine Funktion f (Modell) zu finden, mit der
ein Merkmal y durch das andere Merkmal x mittels f (x) möglichst gut geschätzt
werden kann (Modellanpassung). Dabei soll die gesamte Abweichung durch die
Wahl der Parameter von f minimiert werden.
Definition 2.6. Die Summe der Fehlerquadrate (sum of squared errors, SSE) ist
S(f , x, y) :=
n∑
(y i − f (x i )) 2 .
i=1
Definition 2.7. Die Regression nach der Methode der kleinsten Quadrate ist
die Minimierung der Summe der Fehlerquadrate durch Variation der Parameter
a 1 , a 2 ,... des Modells f a1 ,a 2 ,....
(â 1 , â 2 ,...) = argmin
a 1 ,a 2 ,...
S(f a1 ,a 2 ,..., x, y) = argmin
a 1 ,a 2 ,...
n∑
(y i − f a1 ,a 2 ,...(x i )) 2
Definition 2.8. Bei der linearen Regression setzt sich f aus einer Linearkombination
f = a 1 f 1 + a 2 f 2 + ... + a m f m zusammen. Die f k können dabei beliebige
Funktionen sein.
Satz 2.9. Die Lösung einer linearen Regression ergibt sich aus der Lösung des linearen
Gleichungssystems C a = b, wobei a der Vektor der m Parameter a 1 , a 2 ,...
ist, C eine m × m Matrix und b ein m-Vektor ist mit
i=1
i=1
n∑
n∑
C k,l = f k (x i )f l (x i ), b k = y i f k (x i ).
Beweis. Das Maximum von S(f , x, y) als Funktion der Parameter a k können wir
durch partielles Ableiten nach den a k und Nullsetzen ermitteln.
0 =
∂S(f , x, y)
= ∂ n∑
(y i − a 1 f 1 (x i ) − a 2 f 2 (x i ) − ... − a m f m (x i )) 2
∂a k ∂a k i=1
n∑
= 2(y i − a 1 f 1 (x i ) − a 2 f 2 (x i ) − ...)f k (x i ).
i=1
Durch Nullsetzen und Hineinziehen und Trennen der Summe bekommen wir
n∑
n∑
n∑
n∑
a 1 f 1 (x i )f k (x i ) + a 2 f 2 (x i )f k (x i ) + ... a m f m (x i )f k (x i ) = y i f k (x i ),
i=1
i=1
was der Zeile k des obigen Gleichungssystems entspricht.
i=1
i=1
i=1
9