KAPITEL 4. Lineare Ausgleichsrechnung Beispiel 4.1. Das ...

KAPITEL 4. Lineare Ausgleichsrechnung
Beispiel 4.1. Das Ohmsche Gesetz:
Eine Meßreihe von Daten:
U = RI
(U i , I i ) (Spannung, Stromstärke), i = 1, . . . , m.
Aufgabe: man bestimme aus diesen Meßdaten den Widerstand R im
Stromkreis. Theoretisch:
U i = RI i , i = 1, . . . , m.
Aber Daten sind mit Fehlern behaftet.
U
✻
❜
❜
★
U i
❜ ❜
❜
❜ ❜
★ ★★★★★★★★★★★★ I i
✲
I
Dahmen-Reusken Kapitel 4 1

Man kann hierzu versuchen, die durch eine Wahl von R bedingten
Residuen U i − RI i zu quadrieren, aufzusummieren und dasjenige R zu
suchen, das diesen Ausdruck minimiert:
f(R) :=
m∑
i=1
(RI i − U i ) 2 = min .
Da f eine quadratische Funktion ist, kann nur ein Extremum vorliegen,
das durch die Nullstelle der Ableitung gegeben ist:
0 = f ′ (R) =
m∑
i=1
( ∑ m
2(RI i − U i )I i = 2R Ii
2
i=1
Hier ergibt sich diese Nullstelle R ∗ als
)
− 2
m∑
i=1
U i I i .
R ∗ =
( ∑ m
i=1
U i I i
)/( m ∑
Ii
2
i=1
)
. △
Dahmen-Reusken Kapitel 4 2

Beispiel 4.2.
In der Fourieranalyse wird eine T-periodische Funktion f durch eine
Linearkombination der T-periodischen trigonometrischen Polynome
1, cos(ct), sin(ct), cos(2ct), sin(2ct), . . . , cos(Nct), sin(Nct)
mit c := 2π
T
in der Form
approximiert.
g N (t) = 1 2 a 0 +
N∑
k=1
(a k cos(kct) + b k sin(kct)) ,
Annahme: nicht f, sondern nur eine Reihe von Meßdaten
b i ≈ f(t i ), 0 ≤ t 1 < t 2 < . . . < t m ≤ T,
ist bekannt, wobei m > 2N + 1.
Ansatz zur Bestimmung der Koeffizienten a 0 , a 1 , b 1 , a 2 , b 2 , . . . , a N , b N :
m∑
i=1
(g N (t i ) − b i ) 2 = min . △
Dahmen-Reusken Kapitel 4 3

Das allgemeine lineare Ausgleichsproblem
Das Minimierungsproblem
m∑
i=1
(y(t i ; x 1 , . . . , x n ) − b i ) 2 =
m∑
i=1
(a i,1 x 1 + . . . + a i,n x n − b i ) 2 = min
wird in Matrixform dargestellt. Setzt man
A = (a i,j ) m,n
i,j=1 ∈ Rm×n , b ∈ R m ,
nimmt das Minimierungsproblem eine kompakte Form an:
Also:
‖Ax − b‖ 2 2 = min
x∈R n .
Zu gegebenem A ∈ R m×n und b ∈ R n , bestimme x ∗ ∈ R n , für das
gilt.
‖Ax ∗ − b‖ 2 = min
x∈R n ‖Ax − b‖ 2
Dahmen-Reusken Kapitel 4 4

Beispiel 4.3.
Man vermutet, daß die Meßdaten
einer Gesetzmäßigkeit der Form
t 0 1 2 3
y 3 2.14 1.86 1.72
y = f(t) = α 1
1 + t + β
mit noch zu bestimmenden Parametern α, β ∈ R gehorchen. Das zugehörige
lineare Ausgleichsproblem hat die Gestalt (4.14), mit
x =
(
α
β)
, A =
⎛ ⎞
1 1
1 2
1
⎜1
⎝3 1
⎟
⎠
1
4 1
, b =
⎛
⎜
⎝
3
2.14
1.86
1.72
⎞
⎟
⎠ .
△
Dahmen-Reusken Kapitel 4 5

Normalgleichungen
Die Lösung von (4.14) läßt sich auf die Lösung des linearen Gleichungssystems
A T Ax = A T b
reduzieren, das häufig als Normalgleichungen bezeichnet wird.
Beachte: für A ∈ R m×n ist die Matrix A T A ∈ R n×n stets quadratisch.
Kernaussage:
Satz 4.5. x ∗ ∈ R n ist genau dann Lösung des linearen Ausgleichsproblems
(4.14), wenn x ∗ Lösung der Normalgleichungen
A T Ax = A T b
ist. Das System der Normalgleichungen hat stets mindestens eine
Lösung. Sie ist genau dann eindeutig, wenn Rang(A) = n gilt.
Dahmen-Reusken Kapitel 4 6

Geometrische Interpretation
Anschaulich ist klar, daß die Differenz b − Ax gerade senkrecht auf
dem Bildraum Bild(A) = {Ax | x ∈ R n } stehen muß, damit der Abstand
‖Ax − b‖ 2 minimal ist. Also gilt:
‖Ax − b‖ 2 = min ⇐⇒ Ax − b ⊥ Bild(A) ,
✻
R m−n
✒
b ❅
❅
❅
✁ ✁✁✁✁✁✕
✒ Ax ∗
b − Ax ∗
❅■
❅
❅✁ ✁✁✁✁✁✁ x ∗ ∈ R n
Bild(A)
= {Ax | x ∈ R n }
✲
R n
Dahmen-Reusken Kapitel 4 7

In Beispiel 3.32 wurde bereits folgende Tatsache gezeigt:
Bemerkung 4.6. Falls A ∈ R m×n vollen (Spalten-)Rang n hat,
so ist die Matrix A T A ∈ R n×n symmetrisch positiv definit.
Annahme: Wir beschränken uns in den Abschnitten 4.3 und 4.4 auf
den Fall, daß A vollen Spaltenrang hat: Rang(A) = n.
Der Fall Rang(A) < n wird in Abschnitt 4.7 diskutiert.
Dahmen-Reusken Kapitel 4 8

Kondition des linearen Ausgleichsproblems
κ 2 (A) := max
x≠0
Ausgleichsproblem mit Störungen:
/
‖Ax‖ 2
min
‖x‖ 2 x≠0
‖A˜x −˜b‖ 2 = min .
‖Ax‖ 2
‖x‖ 2
.
❍ ❍❍❍❍❥
δb
˜b
b
✟ ✟✟✟✟✟✟✟✟✟✟✟✟✟✟✟✟✯
✒❍ Θ Ax ∗ A˜x
✲ ✲
Satz 4.7. Für die Kondition des linearen Ausgleichsproblems
bezüglich Störungen in b gilt
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≤ κ 2(A) ‖˜b − b‖ 2
.
cosΘ ‖b‖ 2
Dahmen-Reusken Kapitel 4 9

A :=
⎛
⎜
⎝
Beispiel 4.8.
⎞
1 1
⎟
0 0⎠ , b :=
0 1
⎛
⎜
⎝
0.01
1
0
⎞
⎟
⎠ .
Man kann einfach nachrechnen, daß κ 2 (A) ≈ 2.62 und
( )
x ∗ = (A T A) −1 A T 0.01
b =
0
gilt. Für ˜b = (0.01,1,0.01) T erhält man
Daraus folgt
˜x = (A T A) −1 A T˜b =
( )
0
.
0.01
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≈ 100 ‖˜b − b‖ 2
‖b‖ 2
,
also eine schlechte Kondition. Es gilt
cosΘ = ‖Ax∗ ‖ 2
‖b‖ 2
= 0.01. △
Dahmen-Reusken Kapitel 4 10

Kondition des linearen Ausgleichsproblems
Satz 4.9. Für die Kondition des linearen Ausgleichsproblems
bezüglich Störungen in A gilt
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≤ ( κ 2 (A) + κ 2 (A) 2 tanΘ ) ‖Ã − A‖ 2
‖A‖ 2
.
Dahmen-Reusken Kapitel 4 11

Numerische Lösung des linearen Ausgleichsproblems
Lösung der Normalgleichungen
Die Matrix A T A ist symmetrisch positiv definit.
Folglich ergibt sich die Methode:
• Berechne A T A, A T b.
• Berechne die Cholesky-Zerlegung
von A T A.
• Löse
LDL T = A T A
Ly = A T b,
L T x = D −1 y
durch Vorwärts- bzw. Rückwärtseinsetzen.
Dahmen-Reusken Kapitel 4 12

Nachteile dieser Vorgehensweise
• Die Berechnung von A T A ist für große m aufwendig und birgt
die Gefahr von Genauigkeitsverlust durch Auslöschungseffekte. Die
Einträge von A T A sind also mit (möglicherweise erheblichen relativen)
Fehlern behaftet.
• Bei der Lösung des Systems A T Ax = A T b über das Cholesky-
Verfahren werden die Rundungsfehler in A T A und A T b mit
verstärkt. Es gilt
κ 2 (A T A)
κ 2 (A T A) = κ 2 (A) 2 .
Folglich wird die Rundungsfehlerverstärkung durch κ 2 (A) 2 beschrieben.
Dahmen-Reusken Kapitel 4 13

Beispiel 4.12.
A =
⎛
⎜
⎝
√ √
3 3
δ 0
0 δ
⎞
⎟
⎠ , b =
⎛
⎜
⎝
⎞
2 √ 3
⎟
δ ⎠ , 0 < δ ≪ 1.
δ
Das lineare Ausgleichsproblem ‖Ax − b‖ 2 = min hat die Lösung
x ∗ = (1,1) T (für alle δ > 0). Außerdem gilt Θ = 0.
Daher wird die Kondition dieses Problems durch κ 2 (A) beschrieben.
Man rechnet einfach nach, daß
√
6
κ 2 (A) ≈
δ
gilt. Ein stabiles Verfahren sollte ein Resultat ˜x liefern, mit
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
κ 2 (A) eps .
Dahmen-Reusken Kapitel 4 14

Die Lösung dieses Problems über die Normalgleichungen und das
Cholesky-Verfahren auf einer Maschine mit eps ≈ 10 −16 ergibt:
δ = 10 −4 :
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≈ 2 ∗ 10 −8 ≈ 1 3 κ 2(A) 2 eps
δ = 10 −6 :
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≈ 2 ∗ 10 −4 ≈ 1 3 κ 2(A) 2 eps .
Dahmen-Reusken Kapitel 4 15

Lösung über QR-Zerlegung
Satz 4.13. Sei A ∈ R m×n mit Rang(A) = n und b ∈ R m . Sei
Q ∈ R m×m eine orthogonale Matrix und ˜R ∈ R n×n eine obere
Dreiecksmatrix, so daß
QA = R :=
) (˜R } n
∅ } m − n .
Dann ist die Matrix ˜R regulär. Schreibt man
Qb =
(
b1
b 2
)
} n
} m − n ,
dann ist x ∗ = ˜R −1 b 1 die Lösung des linearen Ausgleichsproblems
(4.14). Die Norm ‖Ax ∗ − b‖ 2 ist gerade durch ‖b 2 ‖ 2 gegeben.
Grundidee:
‖Ax − b‖ 2 2 = ‖QAx − Qb‖2 2 = ‖Rx − Qb‖2 2 = ‖˜Rx − b 1 ‖ 2 2 + ‖b 2‖ 2 2 .
Dahmen-Reusken Kapitel 4 16

Aus Satz 4.13 ergibt sich nun folgende Methode:
• Bestimme von A die QR-Zerlegung
) (˜R
QA = (˜R ∈ R n×n ),
∅
z.B. mittels Givens-Rotationen oder Householder-Spiegelungen
und berechne Qb = ( b 1
b2
)
.
• Löse
mittels Rückwärtseinsetzen.
˜Rx = b 1
Die Norm des Residuums min x∈R n ‖Ax − b‖ 2 = ‖Ax ∗ − b‖ 2 ist gerade
durch ‖b 2 ‖ 2 gegeben.
Dahmen-Reusken Kapitel 4 17

Beispiel 4.15.
Sei
A =
⎛
⎜
⎝
⎞
3 7
⎟
0 12⎠ , b =
4 1
⎛
⎜
⎝
10
1
5
⎞
⎟
⎠ ,
d.h. m = 3, n = 2. Man bestimme die Lösung x ∗ ∈ R 2 von
‖Ax − b‖ 2 = min .
• Annullierung von a 3,1 :
A (2) = G 1,3 A =
⎛
⎜
⎝
⎞
5 5
⎟
0 12⎠ , b (2) = G 1,3 b =
0 −5
(In der Praxis werden die Transformationen G 1,3 A und G 1,3 b ausgeführt,
ohne daß G 1,3 explizit berechnet wird.)
⎛
⎜
⎝
10
1
−5
⎞
⎟
⎠ .
Dahmen-Reusken Kapitel 4 18

• Annullierung von a (2)
3,2 :
A (3) = G 2,3 A (2) =
⎛
⎜
⎝
5 5
0 13
0 0
⎞
⎟
⎠ =
Lösung von
( )
5 5
( x ) ( 1 10)
=
0 13 x
37 2 13
durch Rückwärtseinsetzen:
(
x ∗ 301
=
169 , 37 ) T
.
169
) (˜R
, b (3) = G
∅ 2,3 b (2) =
⎛
⎜
⎝
⎞
10
37
13
⎟
− 55 ⎠ .
13
Als Norm des Residuums ergibt sich:
‖b 2 ‖ 2 = 55
13 . △
Dahmen-Reusken Kapitel 4 19

Wegen Satz 3.41 gilt
κ 2 (A) = κ 2 (˜R),
d.h., das Quadrieren der Kondition, das bei den Normalgleichungen
auftritt, wird vermieden. Außerdem ist die Berechnung der
QR-Zerlegung über Givens- oder Householder-Transformationen
ein sehr stabiles Verfahren, wobei die Fehlerverstärkung durch
κ 2 (A) (und nicht κ 2 (A) 2 ) beschrieben wird.
Dahmen-Reusken Kapitel 4 20

Beispiel 4.16
Wir nehmen A und b wie in Beispiel 4.12. Die Methode über die QR-
Zerlegung von A, auf einer Maschine mit eps ≈ 10 −16 , ergibt
δ = 10 −4 :
δ = 10 −6 :
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≈ 2.2 ∗ 10 −16 ,
‖˜x − x ∗ ‖ 2
‖x ∗ ‖ 2
≈ 1.6 ∗ 10 −16 .
Wegen der sehr guten Stabilität dieser Methode sind diese Resultate
viel besser als die Resultate in Beispiel 4.12.
△
Dahmen-Reusken Kapitel 4 21

4.5 Zum statistischen Hintergrund - lineare Regression
Gegeben seien Daten (t 1 , y 1 ), . . . ,(t m , y m ) mit
t i : feste (deterministische) Meßpunkte,
y i : Realisierungen von Zufallsvariablen Y i .
Lineare Regression basiert auf dem Ansatz
Y i =
n∑
k=1
a k (t): geeignete Ansatzfunktionen,
F i : Meßfehler (Zufallsvariablen).
a k (t i )x k + F i , i = 1, . . . , m,
Ziel: eine Schätzung ˆx = (ˆx 1 , . . . ,ˆx n ) T für den unbekannten Parametersatz
x = (x 1 , . . . , x n ) T ∈ R n bestimmen.
Einen solchen Schätzer liefert die lineare Ausgleichsrechnung.
Sei nämlich ˆx die Lösung des linearen Ausgleichsproblems
‖Ax − y‖ 2 2 → min .
Dann ist ˆx ebenfalls eine Zufallsvariable.
Dahmen-Reusken Kapitel 4 22

ˆx als Best Linear Unbiased Estimator (BLUE)
Annahmen:
- F i unabhängig, identisch verteilt mit Erwartungswert E(F i ) = 0
- Varianz-Kovarianzmatrix
Dann gilt
V (F) := E(FF T ) = ( E(F i F j ) ) m
i,j=1 = σ2 I
E(ˆx) = x, V (ˆx) = E ( (ˆx − x)(ˆx − x) T ) = σ 2 (A T A) −1 .
Der Schätzer ist erwartungstreu und hat minimale Varianz.
Man spricht von einem Best Linear Unbiased Estimator (BLUE).
Dahmen-Reusken Kapitel 4 23

ˆx als Maximum-Likelihood-Schätzer
Annahmen:
- F i unabhängig, identisch verteilt mit Erwartungswert 0
- Varianz-Kovarianzmatrix V (F) = σ 2 I
- F i normalverteilt
⇒: Y i normalverteilt, E(Y ) = Ax, V (Y ) = σ 2 I. Dichtefunktion von Y i :
( z−(Ax)i
σ
f i (z) = 1
σ √ 2π e−1 2
Für die Meßreihe y 1 , . . . , y m ist die Likelihood-Funktion definiert durch
L(x; y 1 , . . . , y m ) :=
m∏
i=1
f i (y i ) =
) 2
.
( 1
2πσ 2 )m
2
e
− 1
2σ 2‖y−Ax‖22 .
Ein Parameterwert ˜x heißt Maximum-Likelihood-Schätzwert, wenn
L(˜x; y 1 , . . . , y m ) ≥ L(x; y 1 , . . . , y m )
für alle x ∈ R n
Der Maximum-Likelihood-Schätzer ist gerade der Schätzer ˆx aus dem
linearen Ausgleichsproblem, weil
‖y − A˜x‖ 2 = min
x∈R n ‖y − Ax‖ 2.
Dahmen-Reusken Kapitel 4 24

4.6 Orthogonale Projektion auf einem Teilraum
Gegeben: ein Vektorraum V über R mit einem Skalarprodukt 〈·, ·〉.
Durch ‖v‖ := 〈v, v〉 1 2 wird eine Norm auf V definiert.
Aufgabe. Sei U ⊂ V ein n-dimensionaler Teilraum von V .
Zu v ∈ V bestimme u ∗ ∈ U, für das
gilt.
‖u ∗ − v‖ = min
u∈U
‖u − v‖
Im Falle des linearen Ausgleichsproblems ist U = Bild(A), A ∈ R m×n ,
V = R m , 〈u, v〉 = ∑ m
j=1 u j v j , D.h. ‖ · ‖ = ‖ · ‖ 2 .
Bemerkung 4.18. Weil U ein endlich-dimensionaler Teilraum ist, existiert
ein Element in U mit minimalem Abstand zu v, d.h. es existiert
u ∗ ∈ U, für das ‖u ∗ − v‖ = min u∈U ‖u − v‖ gilt.
△
Dahmen-Reusken Kapitel 4 25

Satz 4.20. Unter den Bedingungen von Aufgabe 4.17 existiert ein
eindeutiges u ∗ ∈ U, das
‖u ∗ − v‖ = min ‖u − v‖
u∈U
erfüllt. Ferner gilt das genau dann, wenn
〈u ∗ − v, u〉 = 0 ∀u ∈ U,
d.h. , u ∗ − v senkrecht (bzgl. 〈·, ·〉) zu U ist.
u ∗ ist somit die orthogonale Projektion (bzgl. 〈·, ·〉) von v auf U.
Die Lösung der Aufgabe 4.17 ist also die orthogonale Projektion
(bzgl. 〈·, ·〉) von v auf den Unterraum U.
v
U
✡ ✡✡✡✡✡✡✡✡✣
✲
u ∗
Dahmen-Reusken Kapitel 4 26

Eigenschaften der Projektion
Zu v ∈ V existiert ein eindeutiges P U (v) ∈ U, so daß v − P U (v) ⊥ U,
d.h. , 〈v − P U (v), u〉 = 0 ∀ u ∈ U.
Mit P U : V → U ist also eine wohldefinierte Abbildung gegeben.
(i) Die Abbildung P U : V → U ist linear.
(ii) P U ist ein Projektor, d.h. P U (u) = u für alle u ∈ U (P 2 U = P U).
(iii) Die Abbildung P U ist symmetrisch,
d.h. 〈P U (v), w〉 = 〈v, P U (w)〉, ∀ v, w ∈ V.
(iv) P U is beschränkt und zwar gilt ‖P U ‖ = sup ‖v‖=1 ‖P U (v)‖ = 1.
Dahmen-Reusken Kapitel 4 27

Wie kann man P U (v) berechnen?
Sei {φ 1 , . . . , φ n } eine Basis für U. Dann hat û = P U (v) eine eindeutige
Darstellung
P U (v) =
n∑
j=1
c j φ j
mit gewissen Koeffizienten c j = c j (v). Es gilt
0 = 〈v − P U (v), φ k 〉 = 〈v, φ k 〉 −
n∑
j=1
Definiert man die Gram-Matrix G := ( 〈φ k , φ j 〉 ) n
c j 〈φ j , φ k 〉, k = 1, . . . , n.
j,k=1
c = (c 1 , . . . , c n ) T , v = (〈v, φ 1 〉, . . . , 〈v, φ n 〉) T so ergibt sich
Gc = v
und die Vektoren
Die Berechnung einer orthogonalen Projektion läuft also im
allgemeinen auf die Lösung eines symmetrisch positiv definiten
Gleichungssystems hinaus.
Dahmen-Reusken Kapitel 4 28

4.7 Singulärwertzerlegung (SVD) und Pseudoinverse
Wir definieren die Lösungsmenge
L(b) := {x ∈ R n | x ist Lösung des linearen Ausgleichproblems}
Lemma 4.24. Die Lösungsmenge L(b) hat folgende Eigenschaften:
(i) Es existiert ein eindeutiges x ∗ ∈ R n , so daß x ∗ = L(b) ∩Kern(A) ⊥ ,
wobei Kern(A) ⊥ := {z ∈ R n | y T z = 0 , ∀ y ∈ Kern(A)}.
(ii) Für alle x ∈ L(b) \ {x ∗ } gilt ‖x‖ 2 > ‖x ∗ ‖ 2 , d.h., x ∗ hat die kleinste
Euklidische Norm in L(b).
Folgerung 4.25. Sei b ∈ R m , A ∈ R m×n . Die Aufgabe
⎧
⎨
⎩
bestimme x ∗ mit minimaler Euklidischer Norm,
für das ‖Ax ∗ − b‖ 2 = min x∈R n ‖Ax − b‖ 2 gilt,
hat eine eindeutige Lösung.
Dahmen-Reusken Kapitel 4 29

Singulärwertzerlegung
Satz 4.27. Zu jeder Matrix A ∈ R m×n existieren orthogonale
Matrizen U ∈ R m×m , V ∈ R n×n und eine Diagonalmatrix
mit
so daß
Σ := diag(σ 1 , . . . , σ p ) ∈ R m×n , p = min{m, n} ,
σ 1 ≥ σ 2 ≥ . . . ≥ σ p ≥ 0,
U T AV = Σ.
Die σ i heißen Singulärwerte von A (singular values). Die Spalten der
Matrizen U, V nennt man die Links- bzw.Rechtssingulärvektoren.
Dahmen-Reusken Kapitel 4 30

Pseudoinverse
Satz 4.28. Sei U T AV = Σ eine Singulärwertzerlegung von
A ∈ R m×n mit Singulärwerten
σ 1 ≥ . . . ≥ σ r > σ r+1 = . . . = σ p = 0, p = min{m, n}.
Definiere A + ∈ R n×m durch
A + = V Σ + U T
mit
Σ + = diag(σ −1
1 , . . . , σ−1 r ,0, . . . ,0) ∈ R n×m .
Dann ist A + b = x ∗ die Lösung des allgemeinen linearen
Ausgleichproblems.
A + heißt Pseudoinverse von A.
Dahmen-Reusken Kapitel 4 31

Lemma 4.29. Sei U T AV = Σ eine Singulärwertzerlegung von A mit
Singulärwerten σ 1 ≥ . . . ≥ σ r > σ r+1 = . . . = σ p = 0, p = min{m, n}.
Die Spalten der Matrizen U und V werden mit u i bzw. v i notiert.
Dann gilt:
(i) Av i = σ i u i , A T u i = σ i v i , i = 1, . . . , p.
(ii) Rang(A) = r.
(iii) Bild(A) = span{u 1 , . . . , u r }, Kern(A) = span{v r+1 , . . . , v n }.
(iv) ‖A‖ 2 = σ 1 .
(v) Sei κ ∗ 2 (A) := ‖A‖ 2‖A + ‖ 2 = σ 1
σ r
. Falls Rang(A) = n ≤ m, so gilt
(vi) { σ i | i = 1, . . . , r} = {
κ ∗ 2 (A) = κ 2(A) = max ‖x‖ 2 =1 ‖Ax‖ 2
min ‖x‖2 =1 ‖Ax‖ 2
√
λ i (A T A) | i = 1, . . . , n } \ {0} .
Dahmen-Reusken Kapitel 4 32

Abb. 4.6. Orthogonale Basis in R n und R m
R n
R m
span{v r+1 , . . . , v n }
❇❇▼ = Kern(A)
❇
❇
❇
❇
❇
✏✶
❇✏
✏✏✏✏✏ span{v 1 , . . . , v r }
0 = Bild(A T )
A ✛ ✲
A T
span{u r+1 , . . . , u m }
= Kern(A T )
. .
✂ ✂✂✂✂✂✂✂✍
0
span{u 1 , . . . , u r }
= Bild(A)
Dahmen-Reusken Kapitel 4 33

Abb. 4.7. Geometrische Interpretation der Singulärwertzerlegung
R m
R n
v i
❇❇▼
❇
❇ x
.
❇ ✒
.
.
.
. .
.
❇
. ✏✶
v T ❇
i x v j
.. .
❇
✏ .
.
.
✏✏✏✏✏ . .
vj T ..
x
A ✲
. .
.
u i
.
.
. Ax
σ i vi Tx ✟✯.
... .
✂ ✂✂✂✂✂✂✂✍
.
✟ ✟✟✟✟✟
σ j vj Tx
u j
.
.
.
.
.
.
. .
.
.
.
.
.
Dahmen-Reusken Kapitel 4 34

4.7.1 Berechnung von Singulärwerten
Lemma 4.30. Sei A ∈ R m×n , und seien Q 1 ∈ R m×m , Q 2 ∈ R n×n
orthogonale Matrizen. Dann haben A und Q 1 AQ 2 die gleichen Singulärwerte.
Transformation auf Bidiagonalgestalt; Beispiel:
Eine Householder-Transformation Q 1 , so daß
Q 1 A =
⎛
⎜
⎝
∗ ∗ ∗ ∗
0 ∗ ∗ ∗
0 ∗ ∗ ∗
0 ∗ ∗ ∗
0 ∗ ∗ ∗
⎞
⎟
⎠
(
∗ v
T
= 1
∅ ∗
)
Dahmen-Reusken Kapitel 4 35

Sei ˜Q 1 ∈ R 3×3 eine Householder-Transformation, so daß
˜Q 1 v 1 = ( ∗ 0 0) T . Mit ˆQ 1 :=
(
∗ v
T
Q 1 AˆQ 1 = 1
∅ ∗
( )
1 ∅
∅ ˜Q 1
) ( )
1 ∅
∅ ˜Q 1
erhält man
=
⎛
⎜
⎝
∗ ∗ 0 0
0 ∗ ∗ ∗
0 ∗ ∗ ∗
0 ∗ ∗ ∗
0 ∗ ∗ ∗
Auf ähnliche Weise können Nulleinträge erzeugt werden in der 2. Spalte,
2. Zeile, 3. Spalte und 4. Spalte:
⎛ ⎞
⎛ ⎞
∗ ∗ 0 0
∗ ∗ 0 0
0 ∗ ∗ ∗
0 ∗ ∗ 0
Q 1 AˆQ 1 → Q 2 Q 1 AˆQ 1 = ⎜0 0 ∗ ∗⎟
⎝0 0 ∗ ∗⎠ → Q 2Q 1 AˆQ 1 ˆQ 2 = ⎜0 0 ∗ ∗⎟
⎝0 0 ∗ ∗⎠
0 0 ∗ ∗
0 0 ∗ ∗
⎛ ⎞
⎛ ⎞
∗ ∗ 0 0
∗ ∗ 0 0
0 ∗ ∗ 0
0 ∗ ∗ 0
→ Q 3 Q 2 Q 1 AˆQ 1 ˆQ 2 = ⎜0 0 ∗ ∗⎟
⎝0 0 0 ∗⎠ → Q 4Q 3 Q 2 Q 1 AˆQ 1 ˆQ 2 = ⎜0 0 ∗ ∗⎟
⎝0 0 0 ∗⎠ .
0 0 0 ∗
0 0 0 0
Dahmen-Reusken Kapitel 4 36
⎞
⎟
⎠
.

Bemerkung 4.31. Der Aufwand zur Berechnung der oberen Bidiagonalmatrix
B in 4.65 beträgt mn 2 + O(mn) Operationen.
△
Die Matrix A und die sich ergebende Bidiagonalmatrix B haben die
gleichen Singulärwerte.
Die Singulärwerte der Matrix A sind die Wurzeln der Eigenwerte der
Tridiagonalmatrix B T B.
Für die Berechnung der Eigenwerte dieser Matrix werden im allgemeinen
sehr viel weniger arithmetische Operationen benötigt als für die
Berechnung der Eigenwerte der (vollbesetzten) Matrix A T A.
Dahmen-Reusken Kapitel 4 37

4.7.2 Rangbestimmung
Lemma 4.32. Sei U T AV = Σ eine Singulärwertzerlegung von A mit
Singulärwerten σ 1 ≥ . . . ≥ σ r > σ r+1 = . . . = σ p = 0, p = min{m, n}.
Für 0 ≤ k ≤ p − 1 gilt:
min{ ‖A − B‖ 2 | B ∈ R m×n , Rang(B) ≤ k } = σ k+1 .
Folgerung 4.33. Für A und à = A + ∆A ∈ R m×n mit Singulärwerten
σ 1 ≥ . . . ≥ σ p bzw. ˜σ 1 ≥ . . . ≥ ˜σ p , p = min{m, n}, gilt
|σ k − ˜σ k |
|σ 1 |
≤ ‖∆A‖ 2
‖A‖ 2
, für k = 1, . . . , p.
In diesem Sinne ist das Problem der Singulärwertbestimmung gut konditioniert.
Dahmen-Reusken Kapitel 4 38

Der Numerische Rang
Sei à = (ã i,j ) eine mit Rundungsfehlern behaftete Annäherung von A,
wobei ã i,j = a i,j (1 + ǫ i,j ) mit |ǫ i,j | ≤ eps.
Mit E := (a i,j ǫ i,j ) ∈ R m×n ergibt sich
‖A − Ã‖ 2 = ‖E‖ 2 ≤ √ m‖E‖ ∞ ≤ √ m‖A‖ ∞ eps ≤ √ mn‖A‖ 2 eps .
Deswegen definieren wir:
BÃ(eps) := { C ∈ R m×n | ‖Ã − C‖ 2
‖Ã‖ 2
≤ √ mn eps } .
Der numerische Rang Rang num (Ã) der Matrix à ist:
Rang num (Ã) := min{Rang(B) | B ∈ BÃ(eps) } .
Dieser numerische Rang hängt von der Maschinengenauigkeit eps ab.
Dahmen-Reusken Kapitel 4 39

Bestimmung des numerischen Ranges:
Seien ˜σ 1 ≥ . . . ≥ ˜σ p die Singulärwerte der Matrix Ã. Es gilt
min
Rang(B)≤k
‖Ã − B‖ 2
‖Ã‖ 2
= ˜σ k+1
˜σ 1
, 1 ≤ k < p .
Die Umgebung BÃ(eps) enthält also eine Matrix B mit Rang(B) = k
genau dann, wenn ˜σ k+1 /˜σ 1 ≤ √ mn eps.
Der numerische Rang der Matrix à ist deshalb:
Rang num (Ã) = min{1 ≤ k ≤ p | ˜σ k+1 ≤ ˜σ 1
√ mn eps }.
Dahmen-Reusken Kapitel 4 40

4.34. Beispiel
Wir betrachten die Matrizen
A 1 =
⎛
1
10
2
10
⎜ 3
⎝10
4
10
⎞
1
3
0
2
3
3
3
3
0⎟
⎠
4
3
7
, A 2 = A 1 + 10 eps
⎛
⎜
⎝
1
0
0
0
⎞
⎟
⎠
(
1 0 0
)
,
wobei eps ≈ 2 ∗ 10 −16 . Es gilt Rang(A 1 ) = 2, Rang(A 2 ) = 3 .
Die berechneten Singulärwerte dieser Matrizen sind
7.776, 1.082, 1.731 ∗ 10 −16 bzw. 7.776, 1.082, 2.001 ∗ 10 −15 .
In beiden Fällen sind die drei berechneten Singulärwerte strikt positiv,
jedoch gilt
Rang num (A 1 ) = Rang num (A 2 ) = 2.
In der Praxis würde man hieraus schließen, daß beide Matrizen den
Rang 2 haben.
△
Dahmen-Reusken Kapitel 4 41