Normalengleichungen - imng

Normalengleichungen
Für eine beliebige m × n Matrix A erfüllt jede Lösung x des
Ausgleichsproblems
|Ax − b| → min
die Normalengleichungen
A t Ax = A t b ,
Normalengleichungen 1-1

Normalengleichungen
Für eine beliebige m × n Matrix A erfüllt jede Lösung x des
Ausgleichsproblems
|Ax − b| → min
die Normalengleichungen
A t Ax = A t b ,
d.h. das Residuum r = Ax − b ist orthogonal zu dem von den Spalten von
A aufgespannten Unterraum Bild A .
Ax
AR n
0
Ax − b
b
Normalengleichungen 1-2

Die Matrix A t A ist quadratisch und hat Dimension n. Sie ist genau dann
invertierbar, wenn Rang A = n, d.h. wenn die Spalten von A linear
unabhängig sind.
Normalengleichungen 1-3

Die Matrix A t A ist quadratisch und hat Dimension n. Sie ist genau dann
invertierbar, wenn Rang A = n, d.h. wenn die Spalten von A linear
unabhängig sind.
Die Normalengleichungen sind auch im singulären Fall lösbar; die Lösung
ist dann jedoch nicht eindeutig.
Normalengleichungen 1-4

Beweis:
Minimalität von x =⇒
|A(x + ty) − b| 2 ≥ |Ax − b| 2 , ∀t ∈ R, y ∈ R n
Normalengleichungen 2-1

Beweis:
Minimalität von x =⇒
|A(x + ty) − b| 2 ≥ |Ax − b| 2 , ∀t ∈ R, y ∈ R n
äquivalente Ungleichung
2ty t A t r + t 2 y t A t Ay ≥ 0
mit
(Ax − b) t y = y t (Ax − b),
r = Ax − b
Normalengleichungen 2-2

Beweis:
Minimalität von x =⇒
|A(x + ty) − b| 2 ≥ |Ax − b| 2 , ∀t ∈ R, y ∈ R n
äquivalente Ungleichung
2ty t A t r + t 2 y t A t Ay ≥ 0
mit
(Ax − b) t y = y t (Ax − b),
r = Ax − b
nicht-negative Parabel in t y t (A t r) = 0
Normalengleichungen 2-3

Beweis:
Minimalität von x =⇒
|A(x + ty) − b| 2 ≥ |Ax − b| 2 , ∀t ∈ R, y ∈ R n
äquivalente Ungleichung
2ty t A t r + t 2 y t A t Ay ≥ 0
mit
(Ax − b) t y = y t (Ax − b),
r = Ax − b
nicht-negative Parabel in t y t (A t r) = 0
y beliebig ⇒ A t r = 0
Normalengleichungen 2-4

Beispiel:
(i)
⎛
A = ⎝
2 0
1 1
0 2
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
Normalengleichungen 3-1

Beispiel:
(i)
⎛
A = ⎝
2 0
1 1
0 2
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
Normalengleichungen
( 5 1
1 5
) ( ) (
x1 3
=
x 2 3
)
Normalengleichungen 3-2

Beispiel:
(i)
⎛
A = ⎝
2 0
1 1
0 2
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
Normalengleichungen
( 5 1
1 5
) ( ) (
x1 3
=
x 2 3
)
eindeutige Lösung x = ( 1/2 1/2 ) t mit Residuum r = ( 1 −2 1 )
t
Normalengleichungen 3-3

(ii)
⎛
A = ⎝
2 4
1 2
0 0
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
Normalengleichungen 3-4

(ii)
⎛
A = ⎝
2 4
1 2
0 0
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
linear abhängige Spalten singuläre Normalengleichungen
( ) ( ) ( )
5 10 x1 3
=
10 20 x 2 6
Normalengleichungen 3-5

(ii)
⎛
A = ⎝
2 4
1 2
0 0
⎞
⎛
⎠ , b = ⎝
0
3
0
⎞
⎠
linear abhängige Spalten singuläre Normalengleichungen
( ) ( ) ( )
5 10 x1 3
=
10 20 x 2 6
Lösung
( 3/5 − 2t
x =
t
)
, t ∈ R
nicht eindeutig, aber eindeutiges Residuum
⎛ ⎞ ⎛ ⎞ ⎛ ⎞
2 4 ( ) 0 6/5
r = ⎝1 2⎠
3/5
− ⎝3⎠ = ⎝−12/5⎠
0
0 0
0 0
Normalengleichungen 3-6

Beispiel:
Computer-Tomographie
Rekonstruktion einer Dichte x(u, v) aus dem Intensitätsverlust von
Röntgenstrahlen entlang von k Bündeln aus l parallelen Geraden
R i : (u i , v i ) + R(cos ϑ i , sin ϑ i ),
i = 1, . . . , m = kl
Normalengleichungen 4-1

Beispiel:
Computer-Tomographie
Rekonstruktion einer Dichte x(u, v) aus dem Intensitätsverlust von
Röntgenstrahlen entlang von k Bündeln aus l parallelen Geraden
R i : (u i , v i ) + R(cos ϑ i , sin ϑ i ),
i = 1, . . . , m = kl
Approximation von x durch stückweise konstante Funktion auf einem
Raster von Quadraten Q j und Näherung für die Linienintegrale
∫
n∑
b i = x(u i + t cos ϑ i , v i + t sin ϑ i ) dt ≈ a i,j x j
R
j=1
Normalengleichungen 4-2

Beispiel:
Computer-Tomographie
Rekonstruktion einer Dichte x(u, v) aus dem Intensitätsverlust von
Röntgenstrahlen entlang von k Bündeln aus l parallelen Geraden
R i : (u i , v i ) + R(cos ϑ i , sin ϑ i ),
i = 1, . . . , m = kl
Approximation von x durch stückweise konstante Funktion auf einem
Raster von Quadraten Q j und Näherung für die Linienintegrale
∫
n∑
b i = x(u i + t cos ϑ i , v i + t sin ϑ i ) dt ≈ a i,j x j
R
mit x j einer Approximation von x(u, v) auf Q j und
a i,j = |R i ∩ Q j |
j=1
der Länge des Durchschnitts der Geraden R i mit dem Quadrat Q j
Normalengleichungen 4-3

Beispiel:
Computer-Tomographie
Rekonstruktion einer Dichte x(u, v) aus dem Intensitätsverlust von
Röntgenstrahlen entlang von k Bündeln aus l parallelen Geraden
R i : (u i , v i ) + R(cos ϑ i , sin ϑ i ),
i = 1, . . . , m = kl
Approximation von x durch stückweise konstante Funktion auf einem
Raster von Quadraten Q j und Näherung für die Linienintegrale
∫
n∑
b i = x(u i + t cos ϑ i , v i + t sin ϑ i ) dt ≈ a i,j x j
R
mit x j einer Approximation von x(u, v) auf Q j und
a i,j = |R i ∩ Q j |
j=1
der Länge des Durchschnitts der Geraden R i mit dem Quadrat Q j
m >> n Ausgleichsproblem zur Bestimmung von x aus den Daten b
Normalengleichungen 4-4

ÙÚ℄
11 × 11 Raster, Winkel
ϑ = 0, π/16, π/8, . . .
mit 11 parallelen Scan-Richtungen im Abstand der Rasterquadratbreite
Normalengleichungen 4-5