TEMA 3 `ALGEBRA LINEAL NUM`ERICA §1. EL M`ETODE ... - UPC

TEMA 3
ÀLGEBRA LINEAL NUMÈRICA
§1. EL MÈTODE DE MÍNIMS QUADRATS
Recordem:
Sistema
Ax = b
incompatible
⇔ b /∈ Im A
Pot passar que el sistema Ax = b sigui incompatible perquè b té errors de mesura o petites
perturbacions.
b
π( b )
(proj. ortogonal)
Im A
(sub. vectorial)
Què podem fer aleshores?
Gauss, 1801: el mètode de mínims quadrats.
- Canviem el terme independent b pel vector de Im A més proper a b: la projecció
ortogonal de b en Im A.
- Resolem el sistema compatible Ax = π(b).
- La x obtinguda no compleix Ax − b = 0 (no és solució exacta), però minimitza el
residu Ax − b = π(b) − b (és la millor aproximació).
Proposició: La solució del sistema
A t Ax = A t b
és la solució aproximada per mínims quadrats de Ax = b.
Observem també: si el sistema original Ax = b té solució, les solucions de A t Ax = A t b
són les mateixes.
L’aplicació habitual dels mínims quadrats és calcular funcions de regressió:
- Busquem una funció f, que depén de qualsevol nombre de variables.
- Hem mesurat la funció en una llista de punts, i coneixem una taula de valors
f(P1), f(P2), . . . , f(Pm).
Resum de la teoria del tema 3 de l’assignatura Geometria, 1er curs, graus d’Enginyeria en Tecnologies
Industrials, Química i de Materials de l’ETSEIB, UPC, Barcelona. Curs 2010–11. c○Dret de còpia
propietat de Jaume Amorós Torrent. Es permet usar i difondre aquest texte amb finalitats no comercials,
sempre que es citin l’autor i l’origen mantenint aquest avís. Per a qualsevol altre ús heu de demanar
autorització a l’autor, a http://www.ma1.upc.edu/∼amoros.
1

2 UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11
- Tenim una base de funcions conegudes g1, . . . , gn,
- i volem trobar f de la forma f = λ1g1 + λ2g2 + · · · + λngn que compleixi la taula
de valors f(P1), . . . , f(Pm)
La fòrmula universal per calcular aquestes funcions de regressió és:
(λ1, . . . , λn) és la solució del sistema lineal
el vector x =
⎛
⎜
⎝
g1(P1)
g1(P2)
.
g2(P1)
g2(P2)
.
. . .
. ..
gn(P1)
gn(P2)
.
⎞⎛
⎞ ⎛
λ1
⎟⎜
⎟⎜
.
⎟ ⎜
⎟
⎠⎝
⎠ = ⎜
⎝
f(P1)
f(P2)
.
⎞
⎟
⎠
g1(Pm) g2(Pm)
. . . gn(Pm)
λn
f(Pm)
A x b
Si el sistema no és compatible, s’ha de resoldre per mínims quadrats.
Exemple 1: Càlcul d’una recta de regressió (el cas més comú de regressió): Els punts
(x, y) = (1, 1), (3, 2), (4, 3), (5, 2) estan aproximadament alineats:
Volem trobar la recta que millor els aproximi en el sentit de mínims quadrats (la recta de
regressió).
La recta té equació y = mx + c, i m, c són les incògnites que hem de trobar. Per tal que la
recta passi pels 4 punts, ha de ser solució del sistema:
x y
1 1
3 2
4 3
5 2
⎧
⎪⎨
⎪⎩
m + c = 1
3m + c = 2
4m + c = 3
5m + c = 2
és un sistema lineal en m, c, però incompatible!
Resolem el sistema per mínims quadrats. Matricialment és:
⎛
1
⎜ 3
⎝ 4
⎞ ⎛ ⎞
1 1
1 ⎟ m ⎜
1 ⎠ = ⎜ 2 ⎟
c ⎝ 3 ⎠
5 1
2
A
b

S’ha de resoldre:
Ho calculem:
I el sistema és
UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11 3
A t A =
A t b =
que té per solució aproximada
El residu (error) és
A t
m
A
c
1 3 4 5
1 1 1 1
1 3 4 5
1 1 1 1
51 13
13 4
m
c
0.3429
A
0.8857
⎛
= A t b
1 1
3 1
4 1
⎞
⎜
⎝
5 1
⎛ ⎞
1
⎜ 2 ⎟
⎝ 3 ⎠
2
=
m
c
=
=
0.3429
0.8857
⎛
⎜
− b = ⎜
⎝
⎟
⎠ =
29
8
29
8
51 13
13 4
,
0.2286
−0.0857
−0.7429
0.6
que té norma 0.9856. Així, l’aproximació no és gaire bona, sobretot per culpa dels dos
darrers punts.
Fórmula ”dels estadístics”per la recta de regressió.
La recta de regressió dels punts (x1, y1), (x2, y2), . . . , (xn, yn) és y = mx + c on m, c són
solució del sistema
x 2 1 + x 2 2 + · · · + x 2 n x1 + x2 + · · · + xn
x1 + x2 + · · · + xn
n
m
c
⎞
⎟
⎠
x1y1 + . . . + xnyn
=
y1 + y2 + . . . + yn
Vegem ara com es calcula una
Exemple 2: paràbola de regressió. Els punts (x, y) = (1, 1), (2, 2), (3, 2), (4, 2.5), (5, 1) no
estan gaire alineats:

4 UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11
Enlloc de buscar una recta y = mx + c que els aproximi, decidim buscar una funció de
grau 2: y = ax 2 + bx + c (una paràbola). Perquè la paràbola passi pels punts ha de ser
solució del sistema:
En forma matricial,
x y
1 1
2 2
3 2
4 2.5
5 1
⎛
⎜
⎝
⎧
⎪⎨
⎪⎩
a + b + c = 1
4a + 2b + c = 2
9a + 3b + c = 2
16a + 4b + c = 2.5
25a + 5b + c = 1
⎞
1 1 1 ⎛
4 2 1 ⎟
9 3 1 ⎟ ⎝
⎟
16 4 1 ⎠
25 5 1
a
⎛ ⎞
⎞ 1
⎜
b ⎠ = ⎜ 2 ⎟
⎝ 2.5 ⎠
c
1
Resolem el sistema per mínims quadrats (preferiblement a màquina!) i obtenim
a ≈ −0.3214, b ≈ 1.9786, c ≈ −0.7
Així, la paràbola y(x) = −0.3214x 2 +1.9786x−0.7 (indicada a la figura) és la que aproxima
millor els punts. Els residus són
(1−y(1), 2−y(2), 2−y(3), 2.5−y(4), 1−y(5)) = (0.0429, 0.0286, −0.3429, 0.4286, −0.1571)
Exemple 3: Una regressió amb corbes exponencials. Trobem la funció de tipus y(x) =
c1e x + c2e 2x que aproximi en sentit de mínims quadrats els valors observats
x 0.25 0.50 0.75 1.00 1.25 1.50 1.75 2.00
y 2.2 2.8 3.3 4.0 4.5 4.9 4.9 3.9

UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11 5
Cal resoldre per mínims quadrats el sistema
⎛ ⎞
c1
A
c2
⎜
⎜
= ⎜
⎝
e 0.25 e 0.5
e 0.5 e 1
e 0.75 e 1.5
e 1 e 2
e 1.25 e 2.5
e 1.5 e 3
e 1.75 e 3.5
e 2 e 4
⎟
⎠
c1
c2
⎛
⎜
⎜
= ⎜
⎝
2.2
2.8
3.3
4.0
4.5
4.9
4.9
3.9
⎞
⎟ = b
⎟
⎠
Resolent A t Ax = A t b obtenim c1 ≈ 1.9882, c2 ≈ −0.1978. I el residu és
r = (2.2−y(0.25), . . . , 3.9−y(2)) = (−0.0268, 0.0596, −0.0226, 0.0569, −0.0300, −0.0379, 0.0083, 0.0076)
La petitesa del residu dóna credibilitat al model de doble exponencial que hem usat. La
seva norma és r = 0.1025. Per exemple, si busquem la recta de regressió pels punts
observats obtenim un residu amb norma 1.4838, i si busquem la parabola de regressió
el residu té norma 0.7359. Entre models alternatius que depenen del mateix nombre de
paràmetres el més adequat és el que dóna el residu més petit. (En canvi, minimitzar el
residu a base d’afegir paràmetres no té cap mèrit)
Exemple 4: una regressió multilineal. Ara volem trobar una funció lineal f(x, y) =
ax + by + c que aproximi als valors observats
x y z=f(x,y)
1 1 3.11
2 1 2.89
3 1 2.77
1 2 3.05
2 2 3.30
3 2 3.44
Una funció f que passés exactament pels punts observats compliria el sistema lineal
⎛
⎜
⎝
1 1 1
2 1 1
3 1 1
1 2 1
2 2 1
3 2 1
⎞
⎛
⎟ ⎛
⎟ ⎝
⎟
⎠
a
⎞ ⎜
b ⎠ ⎜
= ⎜
c
⎜
⎝
3.11
2.89
2.77
3.05
3.30
3.44
El sistema és incompatible perque els punts observats no són coplanars, però resolent-lo per
mínims quadrats obtenim la funció lineal de regressió f(x, y) = 0.0125x + 0.34y + 2.5583.
El residu és
r = (0.1992, −0.0333, −0.1658, −0.2008, 0.0367, 0.1642) ,
que sigui acceptable o massa gran dependrà del marge d’error que ens puguem permetre.
⎞
⎟
⎠

6 UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11
Aproximacions L 2 :
El producte escalar L 2 entre 2 funcions contínues f, g : [a, b] → R és
〈f, g〉 =
b
a
f(x)g(x)dx
Aquest producte és bilineal en f, g, simètric, definit positiu (〈f, f〉 = 0 si f = 0). És un
pas al límit del producte escalar euclidi ordinari, en que veiem la funció com un vector que
té una component f(x) per cada x ∈ [a, b], i la suma sobre tot x ∈ [a, b] és la integral.
L’espai vectorial C0 ([a, b]) = {f : [a, b] → R contínua } té dimensió infinita, però
podem considerar subespais seus de dimensió finita F ⊂ C0 ([a, b]).
L’aproximació L2 de f : [a, b] → R en F és la projecció ortogonal π(f), calculada amb
el producte escalar L2 , de f en F. El residu és f − π(f).
Com F té dimensió finita, aquesta projecció es calcula amb les mateixes fòrmules que
una projecció ortogonal cap a F ⊂ Rn .
Cas ràpid: Disposem d’una base ortogonal de F.
Si g1, . . . , gn són funcions que formen una base ortogonal de F, la projecció de f és la
suma de les projeccions ortogonals de f en cada recta [g1], . . . [gn], que venen donades per
la fòrmula de projecció sobre una recta. Aixi l’aproximació L 2 de f en F és
π(f) = 〈g1, f〉
〈g1, g1〉 g1 + 〈g2, f〉
〈g2, g2〉 g2 + · · · + 〈gn, f〉
〈gn, gn〉 gn
Exemple: La sèrie de Fourier. Considerem funcions contínues en l’interval [0, 2π], i el
subespai Fn que té base 1 = cos(0x), cos(x), cos(2x), . . . , cos(nx), sin(x), sin(2x), . . . , sin(nx).
Aquesta base és ortogonal, ja que per j = k i l qualsevol es té
〈cos(jx), cos(kx)〉 =
2π
0
cos(jx) cos(kx)dx = 0, 〈sin(jx), sin(kx)〉 =
〈sin(jx) cos(lx)〉 =
2π
No és ortonormal, perque els vectors tenen norma
〈1, 1〉 =
2π
0
0
sin(jx) cos(lx)dx = 0
1 2 dx = 2π, 〈cos(jx), cos(jx)〉 =
〈sin(jx), sin(jx)〉 =
2π
0
2π
0
sin(jx) 2 dx = π
De manera que la projecció ortogonal de f en Fn ve donada per
Sn(f) =
2π
0 f(x)dx
· 1 +
2π
+
2π
0
2π
0
f(x) cos(x)dx
cos(x) + · · · +
π
f(x) sin(x)dx
sin(x) + · · · +
π
2π
0
2π
0
2π
0
cos(jx) 2 dx = π,
sin(jx) sin(kx)dx = 0,
f(x) cos(nx)dx
cos(nx)
π
f(x) sin(nx)dx
sin(nx)
π

UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11 7
Aquestes projeccions s’anomenen sumes de Fourier de f, i el seu límit quan n → ∞ és la
sèrie de Fourier de f.
Exemple concret: Busquem la suma de Fourier per f(x) = x i n = 2. Els productes
escalars L2 són
2π
0
x · 1dx = 2π 2 ,
2π
0
2π
0
x cos(x)dx = 0,
x sin(x)dx = −2π,
2π
0
2π
0
x cos(2x)dx = 0,
x sin(2x)dx = −π.
De manera que S2(f) = π − 2 sin(x) − sin(2x). El residu té norma 2.2278.
Cas lent: disposem d’una base no ortogonal de F.
La projecció ortogonal de f en F = [g1, . . . , gn] és en aquest cas una combinació lineal
π(f) = λ1g1 + · · · + λngn
en la que els coeficients λ1, . . . , λn són solució del sistema lineal
⎛
⎞ ⎛ ⎞
〈g1, g1〉 〈g1, g2〉 . . . 〈g1, gn〉 λ1
⎜ 〈g2, g1〉 〈g2, g2〉 . . . 〈g2, gn〉 ⎟ ⎜ λ2 ⎟
⎟ ⎜ ⎟
⎝ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ⎠ ⎝
.
⎠
〈gn, g1〉 〈gn, g2〉 . . . 〈gn, gn〉
=
⎛ ⎞
〈g1, f〉
⎜ 〈g2, f〉 ⎟
⎜ ⎟
⎝
.
⎠
〈gn, f〉
Exemple: Busquem el polinomi de grau ≤ 1 que aproxima L2 a f(x) = sin(x) en [0, 2π].
Ara hem de calcular la projecció ortogonal de sin(x) en F = [1, x]. Els productes escalars
de la base 1, x són
〈1, 1〉 =
2π
0
1 2 dx = 2π, 〈1, x〉 = 〈x, 1〉 =
2 8π3 2π 3
λ2
2π
0
λn
xdx = 2π 2 , 〈x, x〉 =
de manera que la projecció π(sin(x)) = λ1 + λ2x ha de cumplir
2 2π 2π λ1 〈1, sin(x)〉
=
=
〈x, sin(x)〉
El sistema té solució λ1 = 3
π , λ2 = − 3
π 2 .
0
−2π
§2. LA DESCOMPOSICIÓ EN VALORS SINGULARS (SVD)
2π
0
x 2 dx = 8π3
3 ,
Teorema: (Descomposició en valors singulars, dita SVD) Si A és una matriu real qualsevol
de mida m×n, existeix una descomposició A = U ·D ·V t , amb U m×m ortogonal, V n×n
ortogonal i
⎛
⎞
σ1 0 · · · 0
⎜ .. ⎜ .
⎟
. ⎟
D = ⎜
⎟
⎝ 0 σr . ⎠
0 · · · · · · 0 · · · 0
amb σ1 ≥ σ2 ≥ . . . ≥ σr > 0 i r = rang A.
σ1, . . . , σr són els valors singulars de A.

8 UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11
Interpretació: A és la matriu d’una aplicació lineal f : R n → R m en bases canòniques
de sortida i d’arribada, D és la matriu de f en bases ortonormals v1, . . . , vn de sortida i
u1, . . . , um d’arribada, i la descomposició A = UDV t és el canvi de base
M e e (f) = C u e M v u(f)C e v
Com trobar la SVD: Diagonalitzar la matriu simètrica S = A t · A. Siguin λ1 ≥ · · · ≥ λr
els VAPs no nuls.
- els valors singulars són σ1 = √ λ1, . . . σr = √ λr,
- els VEPs ortonormalitzats de S són la base de sortida v1, . . . , vn; posats en columna
formen V ,
- u1 = 1
σ1 Av1, . . . , ur = 1
σr Avr són vectors ortonormals a Rm , es poden completar
fins una base ortonormal i posats en columna formen U.
La norma euclidiana d’una matriu A és
Propietats de la norma A:
A = max
v=0
Av
v
- És l’estirament màxim que pot rebre un vector al aplicar-li A: Av ≤ Av.
- És el valor màxim de la funció h(v) = Av en l’esfera unitat {v ∈ Rn | v = 1}.
- És igual al valor singular més gran de A: A = σ1.
Aplicació: Propagació d’errors en sistemes lineals. Si tenim un sistema d’equacions lineals
Ax = b amb A invertible, i coneixem el terme independent b amb un error ∆b (de mesura
. . . ), aleshores l’error en la solució calculada del sistema és ∆x ≤ A−1∆b. Si enlloc de A−1 tenim la SVD de A, notem que A−1 = 1 (l’invers del valor singular
σr
més petit).
Exemple 1: f : R2 → R2
3 −8
té matriu en base canònica A =
. Busquem la SVD:
4 6
S = A t
25 0
A =
0 100
Ordenant els VAPs de gran a petit tenim σ1 = √ 100 = 10, σ2 = √ 25 = 5, i base de sortida
v1 = (0, 1), v2 = (1, 0).
La base d’arribada és u1 = 1
10 Av1 =
(o de f) és:
3 −8
4 6
4 −
= 5
− 4
5
3
5
3
5
3
5
4
5
, u2 = 1
5 Av2 =
10 0
0 5
3
5
4
5
0 1
1 0
t
. Així la SVD de A
En les bases v1, v2 de sortida i u1, u2 d’arribada l’aplicació lineal és (˜x, ˜y) = f(¯x, ¯y) =
(10¯x, 5¯y), així que la circumferència unitat S 1 = {(¯x, ¯y)|¯x 2 + ¯y 2 = 1} té imatge f(S 1 ) =
{(˜x, ˜y)|
˜x 2 ˜y 2
+ = 1}. Això és una elipse, amb eixos u1, u2.
10 5

UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11 9
Notem que A−1 = 1
x
. Així, si hem de resoldre un sistema lineal A
5 y
= b i tenim
el terme independent b conegut amb un error ∆b, el vector solució (x, y) que obtenim té un
error màxim ∆b
5 . Per exemple, si les dos components de b estan arrodonides a la unitat
més propera el tamany màxim de l’error en b és (0.5, 0.5) ≈ 0.7, i obtindrem la solució
(x, y) amb un error màxim ∆(x, y) ≤ 0.14.
Exemple 2: f : R 3 → R 2 té matriu en bases canòniques A =
la SVD.
⎛
S = A t A = ⎝
5 −2 1
−2 1 0
1 0 1
⎞
⎠
2 −1 0
1 0 1
. Busquem-li
té polinomi característic cS(t) = −t(t2 − 7t + 6), VAPs t = 6, 1, 0 (el VAP 0 era inevitable
perquè com rang A = 2, també rang AtA = 2). Per tant els valors singulars de A són
σ1 = √ 6 = A, σ2 = 1. La base ortonormal de sortida esta formada per VEPs de S:
- Per λ1 = 6, calculem Nuc (S − 6Id) = [(5, −2, 1)]. Escollim vector unitari v1 =
√1 (5, −2, 1).
30
- Per λ2 = 1, calculem Nuc (S − Id) = [(0, 1, 2)]. Escollim vector unitari v2 =
√1 (0, 1, 2).
5
- Pel teorema espectral el VEP que falta és ortogonal a v1, v2. Triem v3 = v1 × v2 =
√1 (−1, −2, 1).
6
La base d’arribada és u1 = 1
√ 6 Av1 = 1
√ 5 (2, 1), u2 = Av2 = 1
√ 5 (−1, 2). La SVD expressada
matricialment és
2 −1 0
1 0 1
=
2
√5
1
√ 5
√−1 5
√2 5
√ 6 0 0
0 1 0
⎛
⎝
5
√ 30
−2
√ 30
1
√ 30
0 − 1
√ 6
√1 −
5 2 √
6
Prenent coordenades ¯x, ¯y, ¯z en la base v de sortida, i ˜x, ˜y en la base u d’arribada l’aplicació
lineal és (˜x, ˜y) = f(¯x, ¯y, ¯z) = ( √ 6¯x, ¯y). Amb aquesta expressió tan senzilla podem, per
exemple, calcular que la imatge per f (per A) de la bola unitat {¯x 2 + ¯y 2 + ¯z 2 ≤ 1}, és
{(˜x, ˜y) | ˜x2
6 + ˜y2 ≤ 1} (la component ¯z de sortida és enviada per f a 0, i només cal comprovar
la imatge de la bola unitat en el pla ¯x, ¯y).
2
√ 5
1
√ 6
⎞
⎠
t

10 UPC - ENG. INDUSTRIAL - GEOMETRIA - 10–11