5. Linearni problem najmanjših kvadratov

4.10 Posebni sistemi
4.10.1 Kompleksni sistem
Rešujemo Ax = b, kjer A ∈ C n×n , x, b ∈ C n .
• Če računamo v kompleksni aritmetiki, potem lahko uporabimo kar algoritem z LU
razcepom z delnim pivotiranjem.
• Sistem lahko prevedemo na dvakrat večji realni sistem
[ ] [ ]
A1 −A 2 x1
A 2 A 1 x 2
=
[
b1
]
,
b 2
kjer je A = A 1 + iA 2 , x = x 1 + ix 2 in b = b 1 + ib 2 .
Če primerjamo število realnih operacij, je prvi način za polovico cenejši.
Bor Plestenjak - Numerična analiza 2004

4.10.2 Simetrične pozitivno definitne matrike
A ∈ R n×n je simetrična pozitivno definitna (s.p.d.), če je A = A T in x T Ax > 0 za vsak
x ≠ 0.
Izrek 1.
Velja:
1) Naj bo det Y ≠ 0. Potem je A s.p.d. ⇐⇒ Y T AY s.p.d.
2) A s.p.d. in H = A(1 : k, 1 : k) poljubna vodilna podmatrika, k ≤ n, =⇒ H s.p.d.
3) A s.p.d. in H = A([i 1 i 2 · · · i k ], [i 1 i 2 · · · i k ]) poljubna podmatrika, simetrična
glede na diagonalo =⇒ H s.p.d.
4) A s.p.d. ⇐⇒ A = A T in vse lastne vrednosti A so pozitivne.
5) A s.p.d. =⇒ a ii > 0 za ∀i in max i,j |a ij | = max i |a ii |.
6) A s.p.d. =⇒ LU razcep brez pivotiranja se izvede in u ii > 0 za ∀i.
7) A s.p.d. ⇐⇒ obstaja taka nesingularna spodnja trikotna matrika V s pozitivnimi
elementi na diagonali, da je A = V V T .
Razcep A = V V T imenujemo razcep Choleskega, V pa faktor Choleskega.
Bor Plestenjak - Numerična analiza 2004

Razcep Choleskega
Če iz A = V V T zapišemo enačbo za a jk , j ≥ k, dobimo
a jk =
k∑
v ji v ki =
i=1
∑k−1
i−1
v ji v ki + v jk v kk ,
odtod pa algoritem za razcep Choleskega:
k = 1, . . . , n
(
v kk = a kk − ∑ ) 1/2
k−1
i=1 v2 ki
j = k + 1, .(. . , n
v jk = 1
v
a jk − ∑ )
k−1
kk
i=1 v jiv ki
Število operacij je
n∑
(2k + 2(n − k)k) = 1 3 n3 + O(n 2 ).
k=1
Poleg polovice manj operacij porabimo tudi polovico manj prostora kot pri LU razcepu.
Bor Plestenjak - Numerična analiza 2004

Zgled za razcep Choleskega
k = 1, . . . , n
(
v kk = a kk − ∑ ) 1/2
k−1
i=1 v2 ki
j = k + 1, .(. . , n
v jk = 1
v
a jk − ∑ )
k−1
kk
i=1 v jiv ki
⎡
⎤
4 −2 4 −2 4
−2 10 1 −5 −5
Faktor Choleskega za A =
⎢ 4 1 9 −2 1
⎥
⎣ −2 −5 −2 22 7 ⎦ je
4 −5 1 7 14
Bor Plestenjak - Numerična analiza 2004
V =
⎡
2
−1 3
⎢ 2 1 2
⎣ −1 −2 1 4
2 −1 −1 2 2
⎤
⎥
⎦ .

Če A ni s.p.d., se v algoritmu pod korenom pojavi nepozitivna vrednost. Računanje razcepa
Choleskega je najcenejša metoda za ugotavljanje pozitivne definitnosti simetrične matrike.
Reševanje s.p.d. sistema Ax = b:
1) A = V V T ,
2) V y = b,
3) V T x = y.
Iz analize napak sledi, da izračunana rešitev ˜x zadošča (A + δA)˜x = b, kjer je
‖δA‖ ∞ ≤ 3n 2 ɛ‖A‖ ∞ .
To pomeni, da je reševanje preko razcepa Choleskega numerično stabilno.
Bor Plestenjak - Numerična analiza 2004

4.10.3 Simetrične nedefinitne matrike
Pri simetrični matriki ne želimo uporabljati LU razcepa, saj ne ohranja simetrije.
nesingularno A obstaja razcep
P AP T = LDL T ,
kjer je L spodnja trikotna matrika z enicami na diagonali, D pa bločno diagonalna matrika
z bloki 1 × 1 ali 2 × 2. Število operacij za razcep je
n 3
3 + O(n2 ).
Za
Zgled za to, da potrebujemo 2 × 2 bloke v D je npr. A =
[ ] 0 1
.
1 0
Bor Plestenjak - Numerična analiza 2004

4.10.4 Tridiagonalne matrike
LU razcep brez pivotiranja tridiagonalne matrike
A =
⎡
⎢
⎣
a 1 b 1
c 2 a 2
. . .
b 2
. . . . . .
⎤
⎥
c n−1 a n−1 b n−1
⎦
c n a n
je
L =
⎡
⎢
⎣
1
l 2 1
. . . . . .
l n 1
⎤
⎡
⎥
⎦ in U = ⎢
⎣
u 1 b 1
. . . . . .
u n−1
b n−1
u n
⎤
⎥
⎦ .
Za razcep in nadaljnje reševanje sistema Ax = b potrebujemo O(n) operacij in O(n)
prostora, saj shranimo le neničelne diagonale matrik A, L in U.
Bor Plestenjak - Numerična analiza 2004

Tridiagonalne matrike in delno pivotiranje
Pri delnem pivotiranju dobimo
U =
⎡
⎢
⎣
u 1 v 1 w 1
. . . . . . . . .
u n−2 v n−2 w n−2
u n−1 v n−1
u n
⎤
⎥
⎦ ,
pivotna rast pa je omejena z 2. To pomeni, da je reševanje tridiagonalnega sistema preko
LU razcepa z delnim pivotiranjem obratno stabilno.
Podobno velja za pasovne matrike, ki imajo poleg glavne še p diagonal nad in q diagonal
pod glavno diagonalo.
Bor Plestenjak - Numerična analiza 2004

4.10.5 Razpršene matrike
Matrika je razpršena, če je večina njenih elementov enakih 0, ostali pa nimajo kakšne
posebne strukture. Pri taki matriki shranimo le indekse in vrednosti neničelnih elementov.
Pri LU razcepu razpršene matrike oz. razcepu Choleskega za s.p.d. razpršeno matriko so
lahko faktorji L, U oziroma V daleč od razpršenosti.
Pomaga lahko, če stolpce in vrstice predhodno tako preuredimo, da bo pri razcepu nastalo
čim manj novih neničelnih elementov. Obstajajo različni algoritmi in pristopi, ki za različne
tipe matrik dajejo različne rezultate.
Ponavadi se za razpršene matrike uporablja iterativne metode namesto direktnih.
Bor Plestenjak - Numerična analiza 2004

Matlab in posebni sistemi
Razcep Choleskega dobimo z ukazom chol. Uporaba:
• V=chol(A): V je taka zgornja trikotna matrika, da je A = V T V .
pozitivno definitna, dobimo sporočilo o napaki.
Če A ni simetrična
Za delo z razpršenimi matrikami imamo na voljo več ukazov, podroben seznam dobimo z
help sparfun, nekaj glavnih ukazov pa je:
• sparse: konstrukcija razpršene matrike, tako npr. A=sparse(B) naredi razpršeno
matriko A z neničelnimi elementi matrike B, A=sparse(i,j,a,m,n) pa naredi
razpršeno matriko velikosti m × n z neničelnimi elementi a k na indeksih (i k , j k ).
• B=full(A): iz razpršene matrike naredi nazaj polno.
• spy(A): grafično prikaže strukturo matrike A in število neničelnih elementov.
• nz(A): število neničelnih elementov.
• normest(A): oceni 2-normo matrike A.
Bor Plestenjak - Numerična analiza 2004

5. Linearni problemi najmanjših kvadratov
5.1 Predoločeni sistemi
Imamo linearni sistem Ax = b, kjer je A pravokotna matrika m × n in m > n, x ∈ R n
in b ∈ R m .
⎡ ⎤
⎡ ⎤
⎢
⎣ A ⎣
⎥ x ⎦ =
⎦
⎡ ⎤
⎢
⎣ b ⎥
⎦
Imamo več enačb kot neznank, zato tak sistem imenujemo predoločen sistem. V
splošnem nima rešitve, lahko pa poiščemo x, pri katerem bo napaka Ax − b najmanjša.
Predpostavimo še, da je rang(A) = n, sicer tak x ni enoličen.
Če iščemo minimum ‖Ax−b‖ 2 , potem govorimo o rešitvi po metodi najmanjših kvadratov.
Bor Plestenjak - Numerična analiza 2004

Primer 1
Pri statistiki ocenjujemo parametre modela na podlagi opazovanj. Predpostavimo, da je
uspeh b študenta v prvem letniku odvisen od
• a 1 : uspeha v srednji šoli,
• a 2 : uspeha na maturi,
• a 3 : uspeha na sprejemnem izpitu.
Določiti moramo parametre x 1 , x 2 , x 3 v linearnem modelu b = x 1 a 1 + x 2 a 2 + x 3 a 3 . Če
vzamemo podatke za m študentov, dobimo predoločeni sistem
⎡
⎤ ⎡ ⎤
a 11 a 12 a 13 ⎡ ⎤ b ⎢ a 21 a 22 a 23
x 1
1
⎥ ⎣
⎣ .
. ⎦ x 2
⎦ = ⎢ b 2
⎥
⎣ . ⎦ .
x
a m1 a m2 a 3
m3 b m
Bor Plestenjak - Numerična analiza 2004

Primer 2 - polinomska aproksimacija
Iščemo polinom p(x) = a 0 + a 1 x + · · · + a n x n , ki se najbolje prilega točkam (x i , y i ),
i = 1, . . . , m.
Dobimo predoločeni sistem
⎡
1 x 1 · · · x n 1
1 x 2 · · · x n 2
⎢ . . .
⎣
1 x m · · · x n m
⎤ ⎡
⎡ ⎤
a 0
⎢ a 1
⎥
⎣
⎥ . ⎦ = ⎢
⎦ a n
⎣
⎤
y 1
y 2
.
⎥
⎦
y m
.
Bor Plestenjak - Numerična analiza 2004

Primer 3 - aproksimacija z nelinearnim modelom
Iščemo krivuljo oblike y = ae bx , ki se najbolje prilega točkam (x i , y i ), i = 1, . . . , m. V
tem primeru si lahko pomagamo tako, da model lineariziramo:
ln y = ln a + bx.
Tako dobimo predoločeni sistem
⎡ ⎤
1 x 1
[ ]
⎢ 1 x 2
⎥ ln a
⎣ . . ⎦ b
1 x m
⎡ ⎤
ln y 1
= ⎢ ln y 2
⎥
⎣ . ⎦ .
ln y m
Če nelinearni model dobro opisuje podatke, potem bo rešitev lineariziranega modela zelo
dober približek za rešitev originalnega problema.
Bor Plestenjak - Numerična analiza 2004

Primer 4 - geodetske meritve
Imamo mrežo točk v ravnini. Poznamo razdalje med nekaterimi pari točk in pa kote med
nekaterimi trojicami točk. Nekatere točke so znane (fiksne), ostale pa so znane manj
natančno, na podlagi meritev pa bi radi njihovo točnost izboljšali.
Vsake toliko časa je potrebno točke iz mreže izračunati natančneje, saj so točke vedno bolj
goste, premikanje tektonskih plošč premika točke, ipd.
Bor Plestenjak - Numerična analiza 2004

Tako dobimo enačbe za razdalje:
in kote
d 2 ij = ((x j + δx j ) − (x i + δx i )) 2 + ((y j + δy j ) − (y i + δy i )) 2
cos 2 θ jik · d 2 ij d2 ik = ((z ′ j − z′ i )T (z ′ k − z′ i ) ) 2
.
V enačbah zanemarimo vse kvadratne δ člene in dobimo predoločen sistem za δ i . Pri tem
nekatere točke ne premikamo, npr. referenčne točke prvega reda.
V ZDA so npr. leta 1974 reševali sistem s 700000 točkami in to je bil takrat največji
linearni sistem rešen z računalnikom.
Bor Plestenjak - Numerična analiza 2004

5.2 Normalni sistem
Če sistem Ax = b z leve pomnožimo z A T , dobimo normalni sistem
A T Ax = A T b.
To je nesingularen sistem n × n, saj je A polnega ranga.
Lema 2.
Dokaz.
Rešitev normalnega sistema je rešitev po metodi najmanjših kvadratov.
Če definiramo
ϕ(x) = ‖b − Ax‖ 2 2 = (b − Ax)T (b − Ax),
potem dobimo gradϕ(x) = 2A T Ax − 2A T b. V stacionarni točki mora biti gradient
enak 0, torej A T Ax = A T b. Da je to res minimum, se vidi iz Hessejeve matrike za ϕ(x),
ki je enaka simetrični pozitivno definitni matriki A T A.
Bor Plestenjak - Numerična analiza 2004

Geometrijska razlaga
Za b ∈ R n iščemo Ax ∈ im(A), da bo razdalja ‖b − Ax‖ 2 minimalna. To pa pomeni,
da v linearnem podprostoru im(A) iščemo najboljšo aproksimacijo b v normi ‖.‖ 2 . Rešitev
je ortogonalna projekcija b na im(A), torej mora biti ostanek b − Ax pravokoten na
im(A). Ker pa stolpci A tvorijo bazo za im(A), od tod dobimo normalno enačbo.
b
r=b−Ax
Lin A
y=Ax
Bor Plestenjak - Numerična analiza 2004

Reševanje normalnega sistema
A T Ax = A T b
Matrika A T A je s.p.d., zato za reševanje normalnega sistema uporabimo razcep Choleskega.
Število operacij za izračun A T A, razcep Choleskega in reševanje sistema je
n 2 m + 1 3 n3 + O(n 2 ),
ker pa je ponavadi m ≫ n, je najpomembnejši člen n 2 m.
Normalni sistem je najpreprostejši način reševanja predoločenega sistema, ni pa najstabilnejši.
Bor Plestenjak - Numerična analiza 2004

Primer
Denimo, da iščemo polinom p(x) = a 0 + a 1 x + · · · + a n x n stopnje n, ki se najbolje
prilega točkam (x i , y i ), i = 1, . . . , m. Matrika B = A T A ima elemente
b ij =
m∑
k=1
x i+j−2
k
.
Če so točke x i enakomerno porazdeljene po intervalu (0, 1), torej x i = i/(m + 1), velja
b ij =
m∑
( k
k=1
m + 1
) i+j−2
≈ (m + 1)
∫ 1
0
x i+j−2 dx = m + 1
i + j − 1 ,
to pa pomeni, da je
B ≈ (m + 1)H n+1 .
Ker so Hilbertove matrike zgled za zelo občutljive matrike, računanje aproksimacijskega
polinoma visoke stopnje preko normalnega sistema ni stabilno.
Bor Plestenjak - Numerična analiza 2004

5.3 Teorija motenj
Za matriko A, ki je ranga r, je
κ 2 (A) = ‖A‖ 2 ‖A + ‖ 2 = σ 1(A)
σ r (A) .
Izrek 3. Naj bo A ∈ R m×n , m ≥ n, rang(A) = n, x = A + b rešitev predoločenega
sistema in r = Ax − b. Naj bo ˜x = (A + δA) + (b + δb), kjer je
ɛ = max
Potem je (A + δA) ranga k in velja
‖˜x − x‖ 2
‖x‖ 2
≤ ɛκ 2(A)
1 − ɛκ 2 (A)
( ‖δA‖2
, ‖δb‖ )
2
‖A‖ 2 ‖b‖ 2
< 1
κ 2 (A) .
(
)
‖r‖ 2
2 + (κ 2 (A) + 1)
.
‖A‖ 2 ‖x‖ 2
Bor Plestenjak - Numerična analiza 2004

Povzetek izreka:
‖˜x − x‖ 2
‖x‖ 2
≤ ɛκ 2(A)
1 − ɛκ 2 (A)
(
)
‖r‖ 2
2 + (κ 2 (A) + 1)
‖A‖ 2 ‖x‖ 2
• ko je ‖r‖ 2 majhna, je občutljivost reda O(κ 2 (A)),
• če ‖r‖ 2 ni zanemarljiva, je občutljivost predoločenega sistema reda O(κ 2 2 (A)),
• v primeru r = 0 se ocena ujema z oceno občutljivosti linearnega sistema.
Oceno za občutljivost predoločenega sistema moramo združiti z oceno sistema, ki ga na
koncu rešimo, da dobimo rešitev. Pri normalnem sistemu je občutljivost enaka κ 2 2 (A),
tako da imamo ne glede na občutljivost predoločenega sistema v oceni vedno κ 2 2
(A). Pri
QR razcepu ali singularnem razcepu pa se občutljivost ne poveča in ostane κ 2 (A), tako
da je celotna ocena odvisna od velikosti ‖r‖ 2 .
Bor Plestenjak - Numerična analiza 2004

5.4 QR razcep
Denimo, da poznamo razcep A = QR, kjer je Q matrika m × n z ortonormiranimi
stolpci, R pa zgornja trikotna matrika n × n. Tak razcep imenujemo QR razcep. Potem
iz normalnega sistema dobimo
A T Ax = A T b
(QR) T QRx = (QR) T b
R T Rx = R T Q T b
Rx = Q T b
Rešitev po metodi najmanjših kvadratov torej dobimo, če rešimo zgornje trikotni sistem
Rx = Q T b.
Reševanje preko QR razcepa je stabilnejše od normalnega sistema.
Bor Plestenjak - Numerična analiza 2004

Gram-Schmidtova ortogonalizacija
Denimo, da je A = [a 1 · · · a n ] in Q = [q 1 · · · q n ]. Potem iz A = QR sledi
a k =
k∑
r ik q i .
i=1
Vektorji q 1 , . . . , q i so ortonormirani in razpenjajo isti podprostor kot a 1 , . . . , a i . To
pomeni, da lahko Q in R dobimo z Gram-Schmidtovo ortogonalizacijo stolpcev matrike A:
k = 1, . . . , n
q k = a k
i = 1, . . . , k − 1
r ik = q T i a k (CGS) ali r ik = q T i q k (MGS)
q k = q k − r ik q i
r kk = ‖q k ‖ 2
q k = q k
r kk
CGS je klasična Gram-Schmidtova metoda,
metoda.
MGS pa modificirana Gram-Schmidtova
Bor Plestenjak - Numerična analiza 2004

Primerjava CGS in MGS
Pri eksaktnem računanju vrneta CGS in MGS identične rezultate, numerično pa je MGS
stabilnejši od CGS.
Če vzamemo ɛ = 10 −10 in preko CGS in MGS v Matlabu ortogonaliziramo vektorje
x 1 =
⎡
⎣
1 + ɛ
1
1
⎤
⎦ , x 2 =
⎡
⎣
⎤
1
1 + ɛ ⎦ , x 3 =
1
⎡
⎣
⎤
1
1 ⎦ ,
1 + ɛ
dobimo pri CGS q T 2 q 3 ≈ 0.5, kar je zelo narobe, pri MGS pa q T 2 q 3 = −1.1 · 10 −16 .
Število operacij za QR razcep je približno
2mn 2 ,
kar je približno dvakrat toliko operacij kot pri normalnem sistemu (za m ≫ n).
Bor Plestenjak - Numerična analiza 2004

Reševanje predoločenega sistema preko MGS
Pri reševanju predoločenega sistema z MGS moramo paziti na zadnji korak. Nepravilno je
reševati sistem Rx = Q T b, saj bomo pri računanju Q T b izgubili vso natančnost, ki smo
jo pridobili, ko smo namesto CGS izvajali MGS.
Pravilno je, da najprej z MGS naredimo QR razcep za z vektorjem b razširjeno matrko A:
[ ] R z
[ A b ] = [ Q q n+1 ] .
ρ
Sedaj dobimo
[ ] x
Ax − b = [ A b ]
−1
[ ] [ ]
R z x
= [ Q q n+1 ]
ρ −1
= Q(Rx − z) − ρq n+1 .
Ker je q n+1 ⊥ Q, bo minimum dosežen pri Rx = z.
Bor Plestenjak - Numerična analiza 2004