Lineare Algebra - SAM - ETH Zürich

Lineare Algebra (2007)
Kapitel 7 — Kleinste Quadrate, QR
Eine Orthogonalprojektion hat die Eigenschaft, dass für Punkte y,
die nicht in der “Projektionsebene” liegen, für die also y /∈ im P
gilt, das Bild Py der am nächsten bei y liegende Punkt des Unterraumes
im P ist. Dies ergibt sich sofort aus dem Satz von Pythagoras
(Satz 2.13). Die Orthogonalprojektion liefert damit die Lösung
eines linearen Approximationsproblems in der 2–Norm:
Satz 7.6 Für eine Orthogonalprojektion P gilt:
‖y − Py‖ 2 = min
z∈im P ‖y − z‖ 2 . (7.15)
Analoges gilt in einem beliebigen Vektorraum mit Skalarprodukt
für die durch das Skalarprodukt definierte Norm (6.7) aufgrund des
allgemeinen Satzes von Pythagoras (Satz 6.2).
7.2 Die Methode der kleinsten Quadrate
Wir betrachten nun das überbestimmte lineare Gleichungssystem
[overdetermined linear system]
Ax = y (7.16)
mit einer “hohen” m × n–Matrix (m > n). Es hat im allgemeinen
ja keine Lösung. Wir wissen, dass genau dann eine existiert, wenn
y ∈ R(A), aber das wird hier nicht vorausgesetzt. Weil man die
Gleichungen (7.16) nur bis auf einen Fehler lösen kann, nennt man
sie Fehlergleichungen.
Wenn es keine exakte Lösung gibt, ist es naheliegend, x ∈ E n so
zu wählen, dass der Residuenvektor [residual vector] (kurz: das
Residuum [residual])
r :≡ y − Ax (7.17)
minimale Euklidische Norm (2–Norm, “Länge”) hat, d.h., dass die
Quadratsumme
‖r‖ 2 =
m∑
rk 2 falls r ∈ R m (7.18)
k=1
bzw.
‖r‖ 2 =
m∑
|r k | 2 falls r ∈ C m (7.19)
k=1
minimal wird. Die entsprechende Lösung x heisst die Lösung im
Sinne der kleinsten Quadrate [least squares solution] des überbestimmten
Systems Ax = y.
Wir nehmen an, dass die Kolonnen von A linear unabhängig sind,
also ker A = {o} gilt und A H A nach Lemma 7.3 regulär ist. Auf
Grund von Satz 7.6 wissen wir, dass ‖r‖ minimal ist, wenn gilt
Ax = P A y, d.h. Ax = A(A H A) −1 A H y .
c○M.H. Gutknecht 30. September 2007 LA-Skript 7-5