Methode der kleinsten Quadrate
Methode der kleinsten Quadrate
Methode der kleinsten Quadrate
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
<strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong><br />
Matrizen mit vollem Rang<br />
Benjamin Straub<br />
27. Mai 2011<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Inhaltsverzeichnis<br />
1 Einführung<br />
2 Minimierung des Fehlers<br />
3 Normalengleichung<br />
Beispiel<br />
4 QR-Zerlegung<br />
Beispiel<br />
5 Givens Transformation<br />
6 Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Zu finden:<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Gerade, die den Punkten (0, 6), (1, 0), (2, 0) am nächsten liegt.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Zu finden:<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Gerade, die den Punkten (0, 6), (1, 0), (2, 0) am nächsten liegt.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Zu finden:<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Gerade, die den Punkten (0, 6), (1, 0), (2, 0) am nächsten liegt.<br />
Gerade b = C + Dt<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Zu finden:<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Gerade, die den Punkten (0, 6), (1, 0), (2, 0) am nächsten liegt.<br />
Gerade b = C + Dt<br />
Optimal wäre also, wenn C<br />
und D die 3 Gleichungen<br />
erfüllen:<br />
C + 0D = 6<br />
C + 1D = 0<br />
C + 2D = 0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
Vektor b keine Linearkombination <strong>der</strong> Spalten von A<br />
Ax = b ist nicht lösbar!!<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
Vektor b keine Linearkombination <strong>der</strong> Spalten von A<br />
Ax = b ist nicht lösbar!!<br />
Ziel<br />
Minimierung des Fehlers e = b − Ax<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Allgemeine Problematik<br />
Zu lösen: Ax = b<br />
Aber es gibt mehr Gleichungen als Unbekannte<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Allgemeine Problematik<br />
Zu lösen: Ax = b<br />
Aber es gibt mehr Gleichungen als Unbekannte<br />
Wenn b nicht im Spaltenraum liegt, liefert das<br />
Eliminationsverfahren eine unmögliche Gleichung<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Allgemeine Problematik<br />
Zu lösen: Ax = b<br />
Aber es gibt mehr Gleichungen als Unbekannte<br />
Wenn b nicht im Spaltenraum liegt, liefert das<br />
Eliminationsverfahren eine unmögliche Gleichung<br />
Kleinstes Fehlerquadrat<br />
Ist die Länge von e = b − Ax so klein wie möglich, so nennt man<br />
ˆx, “das beste x“, eine Lösung mit kleinstem Fehlerquadrat<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Warum 2-Norm?<br />
min �Ax − b�2<br />
φ(x) = 1<br />
2�Ax − b�22 ist eine differenzierbare Funktion<br />
Die 2-Norm bleibt bei orthogonaler Transformation erhalten<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Warum 2-Norm?<br />
min �Ax − b�2<br />
φ(x) = 1<br />
2�Ax − b�22 ist eine differenzierbare Funktion<br />
Die 2-Norm bleibt bei orthogonaler Transformation erhalten<br />
Bemerkung<br />
Sei Q orthogonale Matrix, dann gilt:<br />
�Qx� 2 2 = (Qx)T (Qx) = x T Q T Qx = x T Ex = x T x = �x� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Geometrisch<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Wie kann man den Fehler e = b − Ax so klein wie möglich machen?<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Geometrisch<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Wie kann man den Fehler e = b − Ax so klein wie möglich machen?<br />
Je<strong>der</strong> Vektor Ax liegt in dem durch die Spalten von A<br />
aufgespannten Raum<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Geometrisch<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Wie kann man den Fehler e = b − Ax so klein wie möglich machen?<br />
Je<strong>der</strong> Vektor Ax liegt in dem durch die Spalten von A<br />
aufgespannten Raum<br />
Gesucht ist <strong>der</strong> Punkt im aufgespannten Raum, <strong>der</strong> am<br />
nächsten an b liegt<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Geometrisch<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Wie kann man den Fehler e = b − Ax so klein wie möglich machen?<br />
Je<strong>der</strong> Vektor Ax liegt in dem durch die Spalten von A<br />
aufgespannten Raum<br />
Gesucht ist <strong>der</strong> Punkt im aufgespannten Raum, <strong>der</strong> am<br />
nächsten an b liegt<br />
e muss orthogonal zum aufgespannten Raum sein<br />
⇒ A T (b − Ax) = 0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
A ∈ R m×n , m ≥ n, rang(A) = n, x, z ∈ R n und α ∈ R<br />
φz(α) = �A(x + αz) − b� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
A ∈ R m×n , m ≥ n, rang(A) = n, x, z ∈ R n und α ∈ R<br />
φz(α) = �A(x + αz) − b� 2 2<br />
φz(α) = (A(x + αz) − b) T (A(x + αz) − b)<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
A ∈ R m×n , m ≥ n, rang(A) = n, x, z ∈ R n und α ∈ R<br />
φz(α) = �A(x + αz) − b� 2 2<br />
φz(α) = (A(x + αz) − b) T (A(x + αz) − b)<br />
= (x + αz) T A T A(x + αz) − 2(x + αz) T A T b + b T b<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
A ∈ R m×n , m ≥ n, rang(A) = n, x, z ∈ R n und α ∈ R<br />
φz(α) = �A(x + αz) − b� 2 2<br />
φz(α) = (A(x + αz) − b) T (A(x + αz) − b)<br />
= (x + αz) T A T A(x + αz) − 2(x + αz) T A T b + b T b<br />
= α 2 (z T A T Az) + 2α(z T A T Ax − z T A T b)<br />
+ (x T A T Ax + b T b − 2x T A T b)<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
A ∈ R m×n , m ≥ n, rang(A) = n, x, z ∈ R n und α ∈ R<br />
φz(α) = �A(x + αz) − b� 2 2<br />
φz(α) = (A(x + αz) − b) T (A(x + αz) − b)<br />
= (x + αz) T A T A(x + αz) − 2(x + αz) T A T b + b T b<br />
= α 2 (z T A T Az) + 2α(z T A T Ax − z T A T b)<br />
+ (x T A T Ax + b T b − 2x T A T b)<br />
= α 2 �Az� 2 2 + 2αz T A T (Ax − b) + �Ax − b� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Betrachten wir<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
φz(α) = �A(x+αz)−b� 2 2 = α 2 �Az� 2 2+2αz T A T (Ax−b)+�Ax−b� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Betrachten wir<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
φz(α) = �A(x+αz)−b� 2 2 = α 2 �Az� 2 2+2αz T A T (Ax−b)+�Ax−b� 2 2<br />
Wenn x Lösung des Ausgleichsproblems, dann muss<br />
A T (Ax − b) = 0 sein (φz′(α) = 0)<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Betrachten wir<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
φz(α) = �A(x+αz)−b� 2 2 = α 2 �Az� 2 2+2αz T A T (Ax−b)+�Ax−b� 2 2<br />
Wenn x Lösung des Ausgleichsproblems, dann muss<br />
A T (Ax − b) = 0 sein (φz′(α) = 0)<br />
Ansonsten, wenn z = −A T (Ax − b) und α sehr klein, dann<br />
gilt:<br />
�A(x + αz) − b�2 < �Ax − b�2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Betrachten wir<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
φz(α) = �A(x+αz)−b� 2 2 = α 2 �Az� 2 2+2αz T A T (Ax−b)+�Ax−b� 2 2<br />
Wenn x Lösung des Ausgleichsproblems, dann muss<br />
A T (Ax − b) = 0 sein (φz′(α) = 0)<br />
Ansonsten, wenn z = −A T (Ax − b) und α sehr klein, dann<br />
gilt:<br />
�A(x + αz) − b�2 < �Ax − b�2<br />
Wenn x und x + αz Lösungen, dann ist z ∈ Kern(A)<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Damit haben wir die<br />
Normalengleichung<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Sei m ≥ n, A ∈ R m×n , b ∈ R m und n = rang(A). Ein Vektor<br />
x ∈ R n ist genau dann Lösung des Ausgleichsproblems, wenn x die<br />
Normalengleichung A T Ax = A T b erfüllt.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Analytisch<br />
Damit haben wir die<br />
Normalengleichung<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Sei m ≥ n, A ∈ R m×n , b ∈ R m und n = rang(A). Ein Vektor<br />
x ∈ R n ist genau dann Lösung des Ausgleichsproblems, wenn x die<br />
Normalengleichung A T Ax = A T b erfüllt.<br />
Bemerkung<br />
AT A ist wegen vollem Spaltenrang von A positiv definit:<br />
xT (AT A)x = (Ax) T (Ax) = �Ax�2 2 > 0<br />
Also besitzt die Normalengleichung eine eindeutige Lösung<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
<strong>Methode</strong> <strong>der</strong> Normalengleichung<br />
Algorithmus A T Ax = A T b<br />
1 Berechne C := A T A<br />
2 Berechne b‘ := A T b<br />
3 Bestimme Cholesky-Faktor G von C, d.h. G T G = C<br />
4 Löse G T y = b‘ mittels Vorwärtssubstitution<br />
5 Löse Gx = y mittels Rückwärtssubstitution<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Rechenaufwand <strong>der</strong> Normalengleichung<br />
Aufstellen von C := A T A n(n + 1)m ∼ n 2 m<br />
Berechnen von b‘ := A T b<br />
Cholesky-Zerlegung von A T A<br />
Löse G T y = b‘<br />
Löse Gx = y<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Rechenaufwand <strong>der</strong> Normalengleichung<br />
Aufstellen von C := A T A n(n + 1)m ∼ n 2 m<br />
Berechnen von b‘ := A T b 2mn<br />
Cholesky-Zerlegung von A T A<br />
Löse G T y = b‘<br />
Löse Gx = y<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Rechenaufwand <strong>der</strong> Normalengleichung<br />
Aufstellen von C := A T A n(n + 1)m ∼ n 2 m<br />
Berechnen von b‘ := A T b 2mn<br />
Cholesky-Zerlegung von A T A<br />
Löse G T y = b‘<br />
Löse Gx = y<br />
n 3<br />
3<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Rechenaufwand <strong>der</strong> Normalengleichung<br />
Aufstellen von C := A T A n(n + 1)m ∼ n 2 m<br />
Berechnen von b‘ := A T b 2mn<br />
n 3<br />
3<br />
Löse G T y = b‘ n 2<br />
Cholesky-Zerlegung von A T A<br />
Löse Gx = y n 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Rechenaufwand <strong>der</strong> Normalengleichung<br />
Aufstellen von C := A T A n(n + 1)m ∼ n 2 m<br />
Berechnen von b‘ := A T b 2mn<br />
n 3<br />
3<br />
Löse G T y = b‘ n 2<br />
Cholesky-Zerlegung von A T A<br />
Aufwand Praxis<br />
Löse Gx = y n 2<br />
Für m ∼ n beträgt <strong>der</strong> Rechenaufwand (m + n<br />
3 )n2 .<br />
Da oft m ≫ n dominieren die Berechnung von A T A und A T b die<br />
Gesamtkosten.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
In Matrixschreibweise: A = ⎣1<br />
1<br />
⎤<br />
0<br />
1⎦<br />
,<br />
2<br />
� �<br />
C<br />
x = ,<br />
D<br />
⎡ ⎤<br />
6<br />
b = ⎣0⎦<br />
0<br />
1 C := AT �<br />
3<br />
A =<br />
3<br />
�<br />
3<br />
5<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
�<br />
3<br />
�<br />
3<br />
1 C := A T A =<br />
2 b‘ := A T b ⇒ b‘ =<br />
3 5<br />
� �<br />
6<br />
0<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
�<br />
3<br />
�<br />
3<br />
1 C := A T A =<br />
2 b‘ := A T b ⇒ b‘ =<br />
3 5<br />
� �<br />
6<br />
0<br />
3 Cholesky Zerlegung G T G = C ⇒ G =<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
�√ √<br />
3 3<br />
0 √ �<br />
2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
�<br />
3<br />
�<br />
3<br />
1 C := A T A =<br />
2 b‘ := A T b ⇒ b‘ =<br />
3 5<br />
� �<br />
6<br />
0<br />
3 Cholesky Zerlegung G T G = C ⇒ G =<br />
4 G T y = b‘ ⇒ y =<br />
� √<br />
2 3<br />
−3 √ �<br />
2<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
�√ √<br />
3 3<br />
0 √ �<br />
2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
�<br />
3<br />
�<br />
3<br />
1 C := A T A =<br />
2 b‘ := A T b ⇒ b‘ =<br />
3 5<br />
� �<br />
6<br />
0<br />
3 Cholesky Zerlegung G T G = C ⇒ G =<br />
4 G T � √<br />
2 3<br />
y = b‘ ⇒ y =<br />
−3 √ �<br />
2<br />
� �<br />
5<br />
5 Gx = y ⇒ x =<br />
−3<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
�√ √<br />
3 3<br />
0 √ �<br />
2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Damit haben wir<br />
Die Gerade b = 5 − 3t<br />
Beispiel<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Zurück zum Beispiel<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Damit haben wir<br />
Die Gerade b = 5 − 3t<br />
Beispiel<br />
Fehlervektor ⎡ ⎤<br />
1<br />
e = b − Aˆx = ⎣−2⎦<br />
1<br />
Dieser ist orthogonal zu den<br />
Spalten von A<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Angenommen<br />
A ∈ R m×n , m ≥ n, b ∈ R m und eine orthogonale Matrix<br />
Q ∈ R m×m wurde berechnet, sodass:<br />
QT ⎡<br />
∗<br />
⎢<br />
A = R = ⎢ 0<br />
⎢ 0<br />
⎢<br />
⎣ .<br />
· · ·<br />
. ..<br />
· · ·<br />
⎤<br />
∗<br />
⎥<br />
∗ ⎥<br />
0 ⎥ =<br />
⎥<br />
. ⎦<br />
0 · · · 0<br />
� �<br />
R1<br />
0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Angenommen<br />
A ∈ R m×n , m ≥ n, b ∈ R m und eine orthogonale Matrix<br />
Q ∈ R m×m wurde berechnet, sodass:<br />
QT ⎡<br />
∗<br />
⎢<br />
A = R = ⎢ 0<br />
⎢ 0<br />
⎢<br />
⎣ .<br />
· · ·<br />
. ..<br />
· · ·<br />
⎤<br />
∗<br />
⎥<br />
∗ ⎥<br />
0 ⎥ =<br />
⎥<br />
. ⎦<br />
0 · · · 0<br />
� �<br />
R1 n<br />
0 m − n<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus Ax = b<br />
1 QT � �<br />
R1 n<br />
A = R =<br />
0 m − n<br />
2 QT � �<br />
˜b1 n<br />
b =<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch Rückwärtseinsetzen, denn:<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus Ax = b<br />
1 QT � �<br />
R1 n<br />
A = R =<br />
0 m − n<br />
2 QT � �<br />
˜b1 n<br />
b =<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch Rückwärtseinsetzen, denn:<br />
�Ax − b� 2 2 = �Q T (QRx − b)� 2 2 = �Rx − ˜b� 2 2 =<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus Ax = b<br />
1 QT � �<br />
R1 n<br />
A = R =<br />
0 m − n<br />
2 QT � �<br />
˜b1 n<br />
b =<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch Rückwärtseinsetzen, denn:<br />
�Ax − b�2 2 = �QT (QRx − b)�2 2 = �Rx − ˜b� 2 2 =<br />
� �2<br />
�<br />
�<br />
� R1x − ˜b1 �<br />
�<br />
0x − ˜b2<br />
�<br />
2<br />
= �R1x − ˜b1� 2 2 + � ˜b2� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus<br />
1 Q T A = R =<br />
2 Q T b =<br />
� �<br />
R1 n<br />
0 m − n<br />
� �<br />
˜b1 n<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch<br />
Rückwärtseinsetzen<br />
Bemerkung<br />
Wenn rang(A) = rang(R1) = n,<br />
dann ist ˆx eindeutig bestimmt.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus<br />
1 Q T A = R =<br />
2 Q T b =<br />
� �<br />
R1 n<br />
0 m − n<br />
� �<br />
˜b1 n<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch<br />
Rückwärtseinsetzen<br />
Bemerkung<br />
Wenn rang(A) = rang(R1) = n,<br />
dann ist ˆx eindeutig bestimmt.<br />
�Ax − b�2 2 minimal<br />
⇔ �R1x − ˜b1� 2 2 = 0<br />
Es gilt: min �Ax − b�2 2 = � ˜b2� 2 2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Beispiel<br />
Ausgleichsproblem mittels QR-Zerlegung<br />
Algorithmus<br />
1 Q T A = R =<br />
2 Q T b =<br />
� �<br />
R1 n<br />
0 m − n<br />
� �<br />
˜b1 n<br />
˜b2 m − n<br />
3 Löse R1x = ˜b1 durch<br />
Rückwärtseinsetzen<br />
Rechenaufwand<br />
Bemerkung<br />
Wenn rang(A) = rang(R1) = n,<br />
dann ist ˆx eindeutig bestimmt.<br />
�Ax − b�2 2 minimal<br />
⇔ �R1x − ˜b1� 2 2 = 0<br />
Es gilt: min �Ax − b�2 2 = � ˜b2� 2 2<br />
QR-<strong>Methode</strong> benötigt 2n2 (m − n<br />
3 ) (Haushol<strong>der</strong>-Transformationen)<br />
Vernachlässigbar: O(mn) für Berechnung von ˜b und O(n2 ) für die<br />
Rücksubstitution.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Nochmal zum Beispiel<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
1 Q T A =<br />
⎡<br />
⎢<br />
⎢−<br />
⎣<br />
�<br />
1<br />
�3 1<br />
� 2<br />
1<br />
6<br />
� 1<br />
3<br />
−<br />
0<br />
�<br />
2<br />
3<br />
�<br />
1<br />
� 3<br />
1<br />
� 2<br />
1<br />
6<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
⎤<br />
⎡ ⎤ ⎡√<br />
√<br />
⎥ 1 0<br />
3 3<br />
⎥ ⎣1<br />
1⎦<br />
= R = ⎣ 0<br />
⎦<br />
1 2<br />
√ ⎤<br />
2⎦<br />
0 0<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Nochmal zum Beispiel<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
1 Q T A = R =<br />
2 Q T b =<br />
⎡<br />
⎢<br />
⎢−<br />
⎣<br />
⎡√<br />
√<br />
3 3<br />
⎣ 0 √ ⎤<br />
2⎦<br />
0 0<br />
�<br />
1<br />
�3 1<br />
� 2<br />
1<br />
6<br />
� 1<br />
3<br />
−<br />
0<br />
�<br />
2<br />
3<br />
�<br />
1<br />
� 3<br />
1<br />
� 2<br />
1<br />
6<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
⎤<br />
⎡ ⎤ ⎡<br />
⎥ 6 2<br />
⎥ ⎣0⎦<br />
= ⎣<br />
⎦<br />
0<br />
√ 3<br />
−3 √ ⎤<br />
√<br />
2⎦<br />
6<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Nochmal zum Beispiel<br />
Beispiel<br />
⎡<br />
1<br />
⎤<br />
0<br />
In Matrixschreibweise: A = ⎣1<br />
1⎦<br />
, x =<br />
1 2<br />
1 QT ⎡√<br />
3<br />
A = R = ⎣ 0<br />
√<br />
3<br />
√ ⎤<br />
2⎦<br />
2<br />
0 0<br />
QT ⎡<br />
2<br />
b = ⎣<br />
√ 3<br />
−3 √ 3<br />
⎤<br />
√<br />
2⎦<br />
6<br />
�√ √<br />
3 3<br />
R1x =<br />
0 √ � � �<br />
C<br />
=<br />
2 D<br />
⎡ ⎤<br />
� � 6<br />
C<br />
, b = ⎣0⎦<br />
D<br />
0<br />
� √<br />
2 3<br />
−3 √ �<br />
⇒ D = −3 ⇒ C = 5<br />
2<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Ausgleichsproblem mittels Givens Transformation<br />
Angenommen<br />
A ∈ Rm×n , m ≥ n, b ∈ Rm und MT M = D ist Diagonal und<br />
M T � �<br />
S1 n<br />
A =<br />
0 m − n<br />
ist obere Dreiecksmatrix.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Ausgleichsproblem mittels Givens Transformation<br />
Angenommen<br />
A ∈ Rm×n , m ≥ n, b ∈ Rm und MT M = D ist Diagonal und<br />
M T � �<br />
S1 n<br />
A =<br />
0 m − n<br />
ist obere Dreiecksmatrix.<br />
Wenn MT � �<br />
˜b1 n<br />
b =<br />
˜b2 m − n<br />
dann gilt:<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Ausgleichsproblem mittels Givens Transformation<br />
Angenommen<br />
A ∈ Rm×n , m ≥ n, b ∈ Rm und MT M = D ist Diagonal und<br />
M T � �<br />
S1 n<br />
A =<br />
0 m − n<br />
ist obere Dreiecksmatrix.<br />
Wenn MT � �<br />
˜b1 n<br />
b =<br />
˜b2 m − n<br />
dann gilt:<br />
�Ax − b� 2 2 = �D −1/2 M T Ax − D −1/2 M T b� 2 2<br />
=<br />
�<br />
�<br />
�<br />
� D−1/2<br />
�� S1<br />
0<br />
�<br />
x −<br />
� ˜b1<br />
˜b2<br />
���2 ���<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong><br />
2
Wie vergleichen?<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Zur Bewertung <strong>der</strong> Qualität einer berechneten Lösung ˆx, sollte<br />
man sich fragen:<br />
Wie nah ist ˆx an x?<br />
Wie klein ist ê = b − Aˆx verglichen mit e = b − Ax<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Wie vergleichen?<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Zur Bewertung <strong>der</strong> Qualität einer berechneten Lösung ˆx, sollte<br />
man sich fragen:<br />
Wie nah ist ˆx an x?<br />
Wie klein ist ê = b − Aˆx verglichen mit e = b − Ax<br />
Gefühl<br />
Wenn die Spalten von A fast abhängig sind, dann könnte was<br />
schief laufen.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition einer Matrix<br />
Definition<br />
A ∈ R m×n , rang(A) = n ⇒ κ2(A) =<br />
Kondition<br />
Vergleich<br />
σmax (A)<br />
σmin(A)<br />
(σ= Singulärwert)<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition einer Matrix<br />
Definition<br />
A ∈ R m×n , rang(A) = n ⇒ κ2(A) =<br />
Das passt<br />
Kondition<br />
Vergleich<br />
σmax (A)<br />
σmin(A)<br />
(σ= Singulärwert)<br />
Wenn die Spalten von A fast abhängig sind, dann ist κ2(A) groß.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel Kondition<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
⎡<br />
1<br />
A = ⎣0<br />
0<br />
10−6 ⎤ ⎡<br />
0<br />
⎦ , δA = ⎣0<br />
0<br />
0<br />
0 0<br />
0 10−8 ⎤ ⎡<br />
⎦ , b = ⎣ 1<br />
⎤ ⎡<br />
0⎦<br />
, δb = ⎣<br />
1<br />
0<br />
⎤<br />
0⎦<br />
0<br />
und x und ˜x minimieren �Ax − b�2 und �(A + δA)x − (b + δb)�2<br />
� � �<br />
1<br />
1<br />
dann ist x = , ˜x =<br />
0 .9999 · 104 ⎡<br />
�<br />
, e = ⎣ 0<br />
⎤ ⎡<br />
0<br />
0⎦<br />
, ˜e = ⎣−.9999<br />
· 10<br />
1<br />
−2<br />
.9999 · 100 ⎤<br />
⎦<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Beispiel Kondition<br />
Angenommen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
⎡<br />
1<br />
A = ⎣0<br />
0<br />
10−6 ⎤ ⎡<br />
0<br />
⎦ , δA = ⎣0<br />
0<br />
0<br />
0 0<br />
0 10−8 ⎤ ⎡<br />
⎦ , b = ⎣ 1<br />
⎤ ⎡<br />
0⎦<br />
, δb = ⎣<br />
1<br />
0<br />
⎤<br />
0⎦<br />
0<br />
und x und ˜x minimieren �Ax − b�2 und �(A + δA)x − (b + δb)�2<br />
� � �<br />
1<br />
1<br />
dann ist x = , ˜x =<br />
0 .9999 · 104 ⎡<br />
�<br />
, e = ⎣ 0<br />
⎤ ⎡<br />
0<br />
0⎦<br />
, ˜e = ⎣−.9999<br />
· 10<br />
1<br />
−2<br />
.9999 · 100 ⎤<br />
⎦<br />
Da κ2(A) = 10 6 ist:<br />
�˜x−x�2<br />
�x�2 ≈ .9999 · 104 ≤ κ2(A) 2 �δA�2<br />
�A�2 = 1012 · 10 −8<br />
�˜e−e�2<br />
�b�2 ≈ .7070 · 10−2 ≤ κ2(A) �δA�2<br />
�A�2 = 106 · 10 −8<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Vergleich Normalengleichung und QR<br />
Problem<br />
Die Matrix A ist schon schlecht<br />
konditioniert.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Vergleich Normalengleichung und QR<br />
Normalengleichung<br />
besitzt etwa die Hälfte des<br />
Rechenaufwandes, wenn<br />
m ≫ n.<br />
benötigt nicht so viel<br />
Speicher.<br />
Aber es erhöht die<br />
Kondition, denn:<br />
κ2(A T A) = κ2(A) 2<br />
⇒ Wenn e klein und κ2(A)<br />
groß ist, keine genaue<br />
Lösung.<br />
Problem<br />
Die Matrix A ist schon schlecht<br />
konditioniert.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Vergleich Normalengleichung und QR<br />
Normalengleichung<br />
besitzt etwa die Hälfte des<br />
Rechenaufwandes, wenn<br />
m ≫ n.<br />
benötigt nicht so viel<br />
Speicher.<br />
Aber es erhöht die<br />
Kondition, denn:<br />
κ2(A T A) = κ2(A) 2<br />
⇒ Wenn e klein und κ2(A)<br />
groß ist, keine genaue<br />
Lösung.<br />
Problem<br />
Die Matrix A ist schon schlecht<br />
konditioniert.<br />
Mittels QR<br />
ist für eine größere Anzahl<br />
von Matrizen geeigent,<br />
denn: Orthogonale Matrizen<br />
verän<strong>der</strong>en die Kondition<br />
nicht!<br />
Wenn e groß und κ2(A)<br />
groß ist, keine genaue<br />
Lösung.<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Quellen<br />
Einführung<br />
Minimierung des Fehlers<br />
Normalengleichung<br />
QR-Zerlegung<br />
Givens Transformation<br />
Normalengleichung Versus QR<br />
Kondition<br />
Vergleich<br />
Gene H. Golub, Charles F. Van Loan. Matrix Computation<br />
Third Edition.<br />
Gilbert Strang. Lineare Algebra.<br />
http://www.math.ethz.ch/education/bachelor/<br />
lectures/fs2009/math/nm/kapitel7-2p.pdf<br />
Vielen Dank!<br />
Benjamin Straub <strong>Methode</strong> <strong>der</strong> <strong>kleinsten</strong> <strong>Quadrate</strong>
Change language