Einführung in die Numerische Mathematik - Lehrstuhl Numerische ...

4.5 Überbestimmte Gleichungssysteme, Gauß’sche Ausgleichrechnung
Dies ergibt die vier Gleichungen:
a 0 − 1 4 a 1 + 1
16 a 2 = 0
a 0 + 1 2 a 1 + 1 4 a 2 = 1
a 0 + 2a 1 + 4a 2 = 0
a 0 + 5 2 a 1 + 25 4 a 2 = 1
Wir versuchen, das lineare Gleichungssystem mit Gauß-Elimination zu lösen:
⎛
⎞
1 − 1 1
4 16
0
1 1
⎜1 2 4
1⎟
⎝1 2 4 0⎠
5 25
1
2 4
1
→
⎛
⎞
1 − 1 1
4 16
0
⎜0 3 3 4⎟
⎝
63
0 9 ⎠
16
0
99
0 11
4
4
→
⎛
⎞
1 − 1 1
4 16
0
⎜0 3 3 4⎟
⎝0 0 − 81 ⎠
16
−12 .
319
0 0
16
4
D.h., es müsste gelten a 2 = 64/27 ≈ 2.37 sowie a 2 = 64/319 ≈ 0.2.
In Anbetracht von Satz 3.6 ist dieses Ergebnis für die Lagrange-Interpolation zu erwarten.
Bei allgemeinen überbestimmten Gleichungssystemen muss daher die Zielstellung geändert
werden: gesucht wird nicht die Lösung des Gleichungssystems, sondern ein Vektor
x ∈ R m , welcher in gewissem Sinne die beste Approximation ist. Entsprechend der Bestapproximation
von Funktionen aus Abschnitt 3.6.1 definieren wir:
Definition 4.65 (Methode der kleinsten Fehlerquadrate, Least-Squares). Es sei Ax = b
mit A ∈ R n×m und b ∈ R n . Dann ist die Least-Squares Lösung x ∈ R m als die Näherung
bestimmt, deren Defekt die kleinste euklidische Norm annimmt:
‖b − Ax‖ 2 = min
y∈R m ‖b − Ay‖ 2 (4.9)
Der wesentliche Unterschied zwischen dieser Aufgabenstellung und Satz 3.79 zur Gauß-
Approximation ist die Wahl der Norm: hier betrachten wir die euklidische Vektor-Norm,
bei der Gauß-Approximation von Funktionen die L 2 -Norm. Beiden Normen ist gemein,
dass sie durch ein Skalarprodukt gegeben sind. Es gilt:
Satz 4.66 (Kleinste Fehlerquadrate). Angenommen, für die Matrix A ∈ R n×m mit n > m
gilt m = rang(A). Dann ist die Matrix A T A ∈ R m×m positiv definit und die Least-Squares-
Lösung x ∈ R m ist eindeutig bestimmt als Lösung des Normalgleichungssystems:
A T Ax = A T b.
Beweis: (i) Es gilt rang(A) = m. D.h. Ax = 0 gilt nur dann, wenn x = 0. Hieraus folgt
die positive Definitheit der Matrix A T A:
(A T Ax, x) 2 = (Ax, Ax) 2 = ‖Ax‖ 2 2 > 0 ∀x ≠ 0,
und das Gleichungssystem A T Ax = A T b ist für jede rechte Seite b ∈ R n eindeutig lösbar.
159