Lineare Algebra - SAM - ETH Zürich

Kapitel 7 — Kleinste Quadrate, QR Lineare Algebra (2007)
Da ker A = {o}, folgt hieraus
oder
x = (A H A) −1 A H y (7.20)
A H Ax = A H y . (7.21)
Dies sind die Normalgleichungen [normal equations]. Man bekommt
sie, indem man die Fehlergleichungen von links mit A H multipliziert.
Sie bedeuten gerade, dass r = y − Ax auf den Kolonnen
von A senkrecht steht:
A H r = o oder r ⊥ R(A) . (7.22)
Die Matrix (A H A) −1 A H in (7.20) heisst Pseudoinverse [pseudoinverse]
von A. (Falls Rang A < m, ist die Definition komplizierter.)
Zusammengefasst gilt:
Satz 7.7 Es sei A ∈ E m×n , Rang A = n ≤ m, y ∈ E m . Dann
hat das überbestimmte Gleichungssystem Ax = y eine eindeutig
bestimmte Lösung x im Sinne der kleinsten Quadrate, d.h. x mit
‖Ax − y‖ 2 = min
˜x∈E n ‖A˜x − y‖2 . (7.23)
x kann berechnet werden durch Lösen des regulären Systems (7.21)
der Normalgleichungen. Der Residuenvektor r :≡ y − Ax steht
senkrecht auf R(A).
Beispiel 7.2: Gegeben seien die 4 × 2 Matrix A aus (7.7) und y =
(
3 6 −3 9
) T. Es soll x =
(
x1 x 2
) T so bestimmt werden, dass
⎛
‖r‖ = ‖y − Ax‖ =
⎜
⎝
∥
3
6
−3
9
⎞
⎛
⎟
⎠ − ⎜
⎝
4 6
2 −2
2 6
1 −7
⎞
⎟
⎠
)
x 2 ∥
(
x1
minimal wird. Es ist A T y = ( 27 −75 ) T und A T A =
Die Normalgleichungen (7.21) lauten also
Es wird x = ( 2.10
und
r = y − Ax =
( 25 25
25 125
⎛
⎜
⎝
−1.02 ) T , also
3
6
−3
9
⎞ ⎛
⎟
⎠ − ⎜
⎝
) ( ) (
x1 27
=
x 2 −75
4 6
2 −2
2 6
1 −7
⎞
⎟
⎠
‖r‖ = 1.3416... .
( 2.10
−1.02
( 25 25
25 125
(7.24)
)
.
)
. (7.25)
⎛
)
= ⎜
⎝
0.72
−0.24
−1.08
−0.24
⎞
⎟
⎠
(7.26)
LA-Skript 7-6 30. September 2007 c○M.H. Gutknecht