Pseudo-Inverse - imng

Pseudo-Inverse
Mit der Singulärwert-Zerlegung USV ∗ einer m × n-Matrix A lässt sich die
Lösung des Ausgleichsproblems |Ax − b| → min
Pseudo-Inverse 1-1

Pseudo-Inverse
Mit der Singulärwert-Zerlegung USV ∗ einer m × n-Matrix A lässt sich die
Lösung des Ausgleichsproblems |Ax − b| → min mit minimaler Norm in
der Form
x = A + b, A + = VS + U ∗ ,
schreiben, wobei A + als Pseudo-Inverse von A bezeichnet wird, und
S + = diag(1/s 1 , . . . , 1/s k , 0, . . . , 0), k = Rang A ,
die n × m-Diagonalmatrix mit den Kehrwerten der positiven singulären
Werte ist.
Pseudo-Inverse 1-2

Bezeichnen {u 1 , . . . , u m } und {v 1 , . . . , v n } die orthonormalen Basen aus
den Spalten von U bzw. V , so lässt sich die lineare Abbildung
b ↦→ x = A + b in der faktorisierten Form
x =
k∑
l=1
1
s l
(u ∗ l b)v l
darstellen. Daraus folgt insbesondere, dass
Kern A + = span{u k+1 , . . . , u m }, Bild A + = span{v 1 , . . . , v k }
und ‖A + ‖ 2 = 1/s k .
Pseudo-Inverse 1-3

Beweis:
Invarianz der 2-Norm unter unitären Transformationen =⇒
|Ax − b| = |U ∗ (Ax − b)|
Pseudo-Inverse 2-1

Beweis:
Invarianz der 2-Norm unter unitären Transformationen =⇒
|Ax − b| = |U ∗ (Ax − b)|
setze
c = U ∗ b, y = V ∗ x
Pseudo-Inverse 2-2

Beweis:
Invarianz der 2-Norm unter unitären Transformationen =⇒
setze
|Ax − b| = |U ∗ (Ax − b)|
c = U ∗ b,
y = V ∗ x
äquivalentes Minimierungsproblem
⎛ ⎞
s 1 y 1 − c 1
.
|Sy − c| =
s k y k − c k
−c k+1
→ min
⎜ ⎟
⎝
. ⎠
∣ −c m
∣
Pseudo-Inverse 2-3

Beweis:
Invarianz der 2-Norm unter unitären Transformationen =⇒
setze
|Ax − b| = |U ∗ (Ax − b)|
c = U ∗ b,
y = V ∗ x
äquivalentes Minimierungsproblem
⎛ ⎞
s 1 y 1 − c 1
.
|Sy − c| =
s k y k − c k
−c k+1
→ min
⎜ ⎟
⎝
. ⎠
∣ −c m
∣
Lösung der ersten k Gleichungen Minimum
y i = c i /s i , i = 1, . . . k
Pseudo-Inverse 2-4

Normtreue der unitären Matrix V (|x| = |y|)
für die Lösung minimaler Norm
y k+1 = · · · = y n = 0
Pseudo-Inverse 2-5

Normtreue der unitären Matrix V (|x| = |y|)
y k+1 = · · · = y n = 0
für die Lösung minimaler Norm Insgesamt folgt
y = S + c, s + i,j = {
1/s i für i = j ≤ k
0 sonst .
Pseudo-Inverse 2-6

Beispiel:
Lösung des Ausgleichproblems für
⎛
⎞
2 −4 5
A = ⎜ 6 0 3
⎟
⎝ 2 −4 5 ⎠ ,
6 0 3
⎛
b = ⎜
⎝
1
3
−1
3
⎞
⎟
⎠
Pseudo-Inverse 3-1

Beispiel:
Lösung des Ausgleichproblems für
⎛
⎞
2 −4 5
A = ⎜ 6 0 3
⎟
⎝ 2 −4 5 ⎠ ,
6 0 3
⎛
b = ⎜
⎝
1
3
−1
3
⎞
⎟
⎠
(i) Berechnung der Singulärwert-Zerlegung:
⎛
A t A = ⎝
80 −16 56
−16 32 −40
56 −40 68
⎞
⎠
Pseudo-Inverse 3-2

Eigenwerte und Eigenvektoren
s1 2 = 144, s2 2 = 36, s3 2 = 0, V = 1 ⎝
3
⎛
2 2 −1
−1 2 2
2 −1 2
⎞
⎠
Pseudo-Inverse 3-3

Eigenwerte und Eigenvektoren
s1 2 = 144, s2 2 = 36, s3 2 = 0, V = 1 ⎝
3
S =
⎛
⎜
⎝
12 0 0
0 6 0
0 0 0
0 0 0
⎞
⎟
⎠ ,
⎛
AV = ⎜
⎝
⎛
6 −3 0
6 3 0
6 −3 0
6 3 0
2 2 −1
−1 2 2
2 −1 2
⎞
⎟
⎠ = US
⎞
⎠
Pseudo-Inverse 3-4

Eigenwerte und Eigenvektoren
s1 2 = 144, s2 2 = 36, s3 2 = 0, V = 1 ⎝
3
S =
⎛
⎜
⎝
12 0 0
0 6 0
0 0 0
0 0 0
⎞
⎟
⎠ ,
⎛
AV = ⎜
⎝
⎛
6 −3 0
6 3 0
6 −3 0
6 3 0
2 2 −1
−1 2 2
2 −1 2
⎞
⎟
⎠ = US
Spalte 1 und 2 von U: Division der entsprechenden Spalten von AV durch
die singulären Werte
Einheitsvektoren
⎞
⎠
Pseudo-Inverse 3-5

Eigenwerte und Eigenvektoren
s1 2 = 144, s2 2 = 36, s3 2 = 0, V = 1 ⎝
3
S =
⎛
⎜
⎝
12 0 0
0 6 0
0 0 0
0 0 0
⎞
⎟
⎠ ,
⎛
AV = ⎜
⎝
⎛
6 −3 0
6 3 0
6 −3 0
6 3 0
2 2 −1
−1 2 2
2 −1 2
⎞
⎟
⎠ = US
Spalte 1 und 2 von U: Division der entsprechenden Spalten von AV durch
die singulären Werte
Einheitsvektoren
restliche Spalten: Ergänzen zu einer orthonormalen Basis
⎞
⎠
Pseudo-Inverse 3-6

Eigenwerte und Eigenvektoren
s1 2 = 144, s2 2 = 36, s3 2 = 0, V = 1 ⎝
3
S =
⎛
⎜
⎝
12 0 0
0 6 0
0 0 0
0 0 0
⎞
⎟
⎠ ,
⎛
AV = ⎜
⎝
⎛
6 −3 0
6 3 0
6 −3 0
6 3 0
2 2 −1
−1 2 2
2 −1 2
⎞
⎟
⎠ = US
Spalte 1 und 2 von U: Division der entsprechenden Spalten von AV durch
die singulären Werte
Einheitsvektoren
restliche Spalten: Ergänzen zu einer orthonormalen Basis
U = 1 2
⎛
⎜
⎝
1 −1 −1 1
1 1 −1 −1
1 −1 1 −1
1 1 1 1
⎞
⎟
⎠
⎞
⎠
Pseudo-Inverse 3-7

(ii) Pseudo-Inverse und Ausgleichslösung:
Pseudo-Inverse 3-8

(ii) Pseudo-Inverse und Ausgleichslösung:
Zerlegung A = USV ∗
⎛
⎞ ⎛
1
A + 12
0 0 0
= V ⎝ 1
0
6
0 0 ⎠ U ∗ = 1 ⎝
72
0 0 0 0
−2 6 −2 6
−5 3 −5 3
4 0 4 0
⎞
⎠
Pseudo-Inverse 3-9

(ii) Pseudo-Inverse und Ausgleichslösung:
Zerlegung A = USV ∗
⎛
⎞ ⎛
1
A + 12
0 0 0
= V ⎝ 1
0
6
0 0 ⎠ U ∗ = 1 ⎝
72
0 0 0 0
−2 6 −2 6
−5 3 −5 3
4 0 4 0
⎞
⎠
Lösung minimaler Norm:
⎛
x = A + b = 1 ⎝
4
2
1
0
⎞
⎠
Pseudo-Inverse 3-10

Beispiel:
Kontrolle topographischer Höhendaten h i durch Messung von
Höhendifferenzen d i,j
Pseudo-Inverse 4-1

Beispiel:
Kontrolle topographischer Höhendaten h i durch Messung von
Höhendifferenzen d i,j
Messfehler d i,j ≠ h i − h j
Pseudo-Inverse 4-2

Beispiel:
Kontrolle topographischer Höhendaten h i durch Messung von
Höhendifferenzen d i,j
Messfehler d i,j ≠ h i − h j
Höhenkorrekturen x i durch Lösen des Ausgleichsproblems
∑
(i,j)
(
d i,j − ( (h i + x i ) − (h j + x j ) )) 2
−→ min
Pseudo-Inverse 4-3

ËÖÖÔÐÑÒØ×
Modellproblem mit wenigen Daten:
¾½
¾ ½¿ ¾¾
¿ ¿½
¿¾¼
Pseudo-Inverse 4-4

ËÖÖÔÐÑÒØ×
Modellproblem mit wenigen Daten:
¾½
¾ ½¿ ¾¾
¿ ¿½
¿¾¼
Höhen und Differenzwerte:
h = (834, 561, 207, 9) t ,
d = (276, 631, 822, 356, 549) t
Pseudo-Inverse 4-5

überbestimmtes System
⎛
A(h + x) = d, A =
⎜
⎝
1 −1 0 0
1 0 −1 0
1 0 0 −1
0 1 −1 0
0 1 0 −1
⎞
⎟
⎠ ,
⎛
d = ⎜
⎝
⎞
d 1,2
d 1,3
d 1,4
⎟
d 2,3
⎠
d 2,4
Pseudo-Inverse 4-6

überbestimmtes System
⎛
A(h + x) = d, A =
⎜
⎝
1 −1 0 0
1 0 −1 0
1 0 0 −1
0 1 −1 0
0 1 0 −1
⎞
⎟
⎠ ,
⎛
d = ⎜
⎝
⎞
d 1,2
d 1,3
d 1,4
⎟
d 2,3
⎠
d 2,4
Lösung minimaler Norm
x = A + (d − Ah)
Pseudo-Inverse 4-7

überbestimmtes System
⎛
A(h + x) = d, A =
⎜
⎝
1 −1 0 0
1 0 −1 0
1 0 0 −1
0 1 −1 0
0 1 0 −1
⎞
⎟
⎠ ,
⎛
d = ⎜
⎝
⎞
d 1,2
d 1,3
d 1,4
⎟
d 2,3
⎠
d 2,4
Lösung minimaler Norm
x = A + (d − Ah) =
⎛
⎜
⎝
1
−1
−3
3
⎞
⎟
⎠
Pseudo-Inverse 4-8

überbestimmtes System
⎛
A(h + x) = d, A =
⎜
⎝
1 −1 0 0
1 0 −1 0
1 0 0 −1
0 1 −1 0
0 1 0 −1
⎞
⎟
⎠ ,
⎛
d = ⎜
⎝
⎞
d 1,2
d 1,3
d 1,4
⎟
d 2,3
⎠
d 2,4
Lösung minimaler Norm
x = A + (d − Ah) =
⎛
⎜
⎝
1
−1
−3
3
Minimum-Norm-Lösung sinnvoll kleinstmöglichen Korrekturen
⎞
⎟
⎠
Pseudo-Inverse 4-9