6. QR razcep in singularni razcep

Razširjeni QR razcepPoleg QR razcepa poznamo še razširjeni QR razcep A = ˜Q ˜R, kjer je ˜Q ortogonalnamatrika m × m, ˜R pa zgornja trapezna matrika m × n. Prvih n stolpcev matrike ˜Qin zgornji kvadrat matrike ˜R tvori QR razcep matrike A. Tudi razširjeni QR razcep bomoponavadi imenovali kar QR razcep, saj je vse razvidno iz dimenzij matrik.[ ]Naj bo A = ˜Q ˜R, kjer je ˜Q = [Q Q 1 ] in ˜R R= . Potem velja0[‖Ax − b‖ 2 = ‖ ˜Q T R(Ax − b)‖ 2 = ‖0]x −[ Q T ] [bRx − Q T ]bQ T 1 b ‖ 2 = ‖Q T 1 b ‖ 2 .Zgornji del lahko uničimo, spodnjega pa ne. Velja torejminimum pa je dosežen pri Rx = Q T b.minx∈R n ‖Ax − b‖ 2 = ‖Q T 1 b‖ 2,Bor Plestenjak - Numerična analiza 2004

5.5 Givensove rotacijeV ravnini vektor x = [x 1 x 2 ] T zarotiramo za kot ϕ v neg. smeri tako, da ga pomnožimoz matriko[ ]R T c s=,−s ckjer sta c = cos ϕ in s = sin ϕ. Če to posplošimo na rotacijo v ravnini (i, k) v R n ,dobimo matriko R T ik, ki je enaka identiteti razen v i-ti in k-ti vrstici, kjer je[ ]R T c sik ([i, k], [i, k]) = .−s cZa vektor y = R T ik x velja y j = x j , j ≠ i, ky i = cx i + sx ky k = −sx i + cx kin c, s lahko izberemo tako, da bo y k = 0. Rešitev je√r = x 2 i + x2 k , c = x ir ,s = x kr .Bor Plestenjak - Numerična analiza 2004

Matriko R ik imenujemo Givensova rotacija. Pri množenju matrike z R T ikse spremenita lei-ta in k-ta vrstica. Z ustreznimi rotacijami, ki jih uporabljamo v pravilnem vrstnem redu,lahko v matriki uničimo vse elemente pod diagonalo in tako izračunamo QR razcep.Zgled za matriko 4 × 3:⎡⎤× × ×A = ⎢ × × ×⎥⎣ × × × ⎦× × ×R T 23·−→⎡⎢⎣R T 12·−→× × ×0 × ×0 0 ×0 × ×⎡⎢⎣⎤⎥⎦× × ×0 × ×× × ×× × ×R T 24·−→⎡⎢⎣⎤⎥⎦R T 13·−→× × ×0 × ×0 0 ×0 0 ×⎡⎢⎣⎤⎥⎦× × ×0 × ×0 × ×× × ×R T 34·−→⎡⎢⎣⎤⎥⎦R T 14·−→× × ×0 × ×0 0 ×0 0 0⎡⎢⎣⎤× × ×0 × ×0 × ×0 × ×⎥⎦ = ˜R.Matrika ˜R je zgornja trapezna, v zgornjem kvadratu pa vsebuje matriko R. Produkt˜Q = R 12 R 13 R 14 R 23 R 24 R 34 je ortogonalna matrika, ki v prvih n stolpcih vsebuje matrikoQ. Tako smo dobili razcep A = QR.Pri množenju z R T jkse j-ta in k-ta vrstica spremenita v linearni kombinaciji j-te in k-tevrstice. Če je v nekem stolpcu v obeh vrsticah 0, se to ne pokvari z množenjem z RT jk .Bor Plestenjak - Numerična analiza 2004⎤⎥⎦

Število operacij za reševanje Ax = b je približno3mn 2 − n 3 .Če potrebujemo Q, imamo še dodatnih 6m 2 n − 3mn 2 operacij.Matriko n × n tako po Givensu transformiramo v zgornjo trikotno z uporabo 2n 3 operacij,za Q pa potrebujemo še dodatnih 3n 3 .Bor Plestenjak - Numerična analiza 2004

5.6 Householderjeva zrcaljenjaZa vektor w ∈ R n , kjer je w ≠ 0, definiramoP = I − 2w T w wwT .P je simetrična in ortogonalna matrika, saj je P = P T in P 2 = I. Vsak vektor x ∈ R nlahko zapišemo kotx = αw + u,kjer je u ⊥ w. DobimoP x = −αw + u,kar pomeni, da je P zrcaljenje preko hiperravnine, ki je ortogonalna na w.imenujemo Householderjevo zrcaljenje.Matriko PMnoženje s P izvedemo tako, da izračunamo P x = x − 1 m (xT w)w, kjer je m = 1 2 wT w.Če imamo taka neničelna vektorja x in y, da je ‖x‖ 2 = ‖y‖ 2 , potem velja P x = y, čeizberemo w = y − x.Bor Plestenjak - Numerična analiza 2004

Z množenjem matrike z ustreznimi zrcaljenji jo lahko spremenimo v zgornjo trapezno obliko.⎡⎤ ⎡⎤ ⎡⎤ ⎡⎤× × × × × × × × × × × ×A = ⎢ × × ×˜P⎥ 1·⎣ × × × ⎦ −→ ⎢ 0 × ×˜P⎥ 2·⎣ 0 × × ⎦ −→ ⎢ 0 × ×˜P⎥ 3·⎣ 0 0 × ⎦ −→ ⎢ 0 × ×⎥⎣ 0 0 × ⎦ .× × × 0 × × 0 0 × 0 0 0Pri tem je˜P i =( i − 1 m − i + 1 )i − 1 I i−1 0.m − i + 1 0 P i˜Q T = ˜P 3 ˜P2 ˜P1 , torej ˜Q = ˜P1 ˜P2 ˜P3 . Namesto računanja ˜Q raje shranimo vektorje w i .Število operacij za reševanje Ax = b je približno2mn 2 − 2 3 n3 ,Za Q potrebujemo še dodatnih 4m 2 n−2mn 2 operacij. Matriko n×n s Householderjevimizrcaljenji transformiramo v zgornjo trikotno z uporabo 4 3 n3 operacij, za Q pa potrebujemoše dodatnih 2n 3 .Bor Plestenjak - Numerična analiza 2004

Primerjava metod• Število operacij za reševanje predoločenega sistema Ax = b, m ≫ n:– normalni sistem: mn 2 ,– MGS: 2mn 2 ,– Givens: 3mn 2 − n 3 ,– Householder: 2mn 2 − 2 3 n3 .• Število operacij za reševanje kvadratnega sistema Ax = b, m = n:– LU razcep: 2 3 n3 ,– Householder: 4 3 n3 ,– Givens: 2n 3 .Bor Plestenjak - Numerična analiza 2004

5.7 Singularni razcepZa A ∈ R m×n , m ≥ n, obstaja singularni razcepA = UΣV T ,kjer sta U ∈ R m×m in V ∈ R n×n ortogonalni matriki in Σ ∈ R m×n oblike⎡⎤σ 1 . . .Σ =⎢ σ n ⎥⎣⎦ ,kjer so σ 1 ≥ σ 2 ≥ · · · ≥ σ n ≥ 0 singularne vrednosti A.V primeru n < m dobimo SV razcep tako, da transponiramo SV razcep za A T .Bor Plestenjak - Numerična analiza 2004

Informe Técnico CISIAD-10-03Requisitos de OpenMarkovun diagrama de influencia o una cadena de Markov en un archivo,utilizando el mismo formato citado en el párrafo anterior, incluyendo lastablas de potenciales creadas y editadas por el usuario.• El usuario debe tener la posibilidad de cambiar las propiedadesextendidas de la red incluidas en esta fase, tales como tablas de valoresdiscretizados y tablas de probabilidades.• Para evitar que cualquier modificación sobre la red o alguno desus elementos sea definitiva, la interfaz debe extender las capacidadesactuales y dar al usuario la posibilidad de deshacer modificaciones asícomo rehacer las modificaciones.• Dado que este software será usado en diferentes países, losmódulos de internacionalización de los textos, que por defectopresentan los literales de la interfaz en inglés, se deben extender parapermitir el cambio de idioma de presentación a decisión del usuariodurante el uso del programa. El software debe estar preparado parapermitir añadir textos en otros idiomas sin tener que modificar el códigofuente.• Debe incluirse una ayuda de usuario teniendo en cuenta que dichousuario tiene conocimientos de técnicas de modelado gráfico de redesde probabilidades pero también que puede no tenerlas. Asimismo, debeincorporarse manuales para el futuro desarrollador de OpenMarkovtanto en la ayuda interna del programa como en los manuales de losque este documento es parte integrante.• La interfaz de usuario debe ser intuitiva y fácil de usar, facilitandoun entorno de trabajo que use las tecnologías gráficas actuales.Con todos estos elementos en cuenta, tanto la documentación externa(este documento) como la documentación interna (ayuda en línea paradesarrollador y comentarios de código fuente, en inglés), deben serabundantes y aclaratorias para que otra persona pueda continuar con elInforme Técnico CISIAD-10-03 Página 11 de 125

Rang matrikeNaj bo σ r > 0 in σ r+1 = · · · = σ n = 0. Razdelimo V na [V 1 V 2 ], kjer jeV 1 := [v 1 · · · v r ] in V 2 := [v r+1 · · · v n ] in U na [U 1 U 2 ], kjer je U 1 := [u 1 · · · u r ]in U 2 := [u r+1 · · · u m ].Pomen velja:• r se ujema z rang(A),• stolpci U 1 tvorijo bazo za imA,• stolpci V 2 tvorijo bazo za ker A,• stolpci U 2 tvorijo bazo za ker A T ,• stolpci V 1 tvorijo bazo za imA T .Poleg omenjenega poznamo tudi SV razcep oblike A = Ũ ˜ΣV T , kjer je Ũ matrika m × nz ortonormiranimi stolpci, ˜Σ = diag(σ 1 , . . . , σ r ), V pa je n × n ortogonalna matrika.Ũ se ujema s prvimi n stolpci matrike U, ˜Σ pa je zgornji kvadrat Σ v SV razcepuA = UΣV T .Bor Plestenjak - Numerična analiza 2004

PsevdoinverzZa matriko A ∈ R m×n , m ≥ n, rang(A) = n, definiramo (Moore-Penroseov) psevdoinverzA + ∈ R n×m kotA + = (A T A) −1 A T .V primeru m < n in rang(A) = m definiramo A + = A T (AA T ) −1 .Rešitev predoločenega sistema polnega ranga Ax = b lahko zapišemo kot x = A + b.Če A ni polnega ranga, je psevdoinverz definiran preko SV razcepa. Naj bo A ∈ R m×n ,m ≥ n, rang(A) = r in A = UΣV T , kjer jeU = ( r m − r ) ( r n − r( r n − r )) r S 0U 1 U 2 , V = V 1 V 2 , Σ =m − r 0 0in S = diag(σ 1 , . . . , σ r ). Potem je A + = V Σ + U T , kjer jeΣ + =( r m − rr S −1 0n − r 0 0).Bor Plestenjak - Numerična analiza 2004

Najboljša aproksimacija z matriko nižjega rangaIzrek 3. Naj bo A = UΣV T SV razcep A in rang(A) > k. Naj bok∑A k = σ i u i v T ioziroma A k = UΣ k V T , kjer jei=1⎡⎤σ 1 . . .σ k Σ k =0 . . ..⎢0⎥⎣⎦Potem veljamin ‖B − A‖ 2 = ‖A k − A‖ 2 = σ k+1 .rang(B)=kTo pomeni, da je A k najboljša aproksimacija matrike A z matriko ranga k, σ k+1 pa nampove, kako daleč je A od prostora matrik ranga k.Bor Plestenjak - Numerična analiza 2004

Če je A ∈ R m×n , m ≥ n, rang(A) = r < n in A = UΣV T singularni razcep,potem ima izmed vseh vektorjev x, ki minimizirajo normo ‖Ax − b‖ 2 , najmanjšo normox = A + b oziromar∑ u T ix =b v iσ iini=1‖Ax − b‖ 2 2 =m∑i=r+1(u T i b)2 .Dokaz.Za poljuben x ∈ R n velja‖Ax − b‖ 2 2 = ‖(U T AV )(V T x) − U T b‖ 2 2 = ‖Σa − U T b‖ 2 2=r∑(σ i a i − u T i b)2 +i=1m∑i=r+1(u T i b)2 ,kjer je a = V T x. To bo očitno minimalno pri a i = uT i bσza i = 1, . . . , r, komponenteia r+1 , . . . , a m pa so poljubne. Da dobimo minimalni x = V a vzamemo a r+1 = · · · =a m = 0.Bor Plestenjak - Numerična analiza 2004

Odrezani singularni razcepPri majhnih singularnih vrednostih si lahko pomagamo z odrezanim singularnim razcepom,kjer nekaj najmanjših singularnih vrednosti postavimo na 0 in si mislimo, da imamo matrikoz defektnim rangom.V primeru defektnega ranga velja: če je σ r najmanjša neničelna singularna vrednost, potemza rešitev Ax = b po metodi najmanjših kvadratov veljax =r∑i=1u T i bσ iv i ,od tod pa je razvidno, da je ‖x‖ 2 ≥ ‖b‖ 2σrkvečjemu za ‖δb‖ 2σr .in da sprememba b v b + δb spremeni rešitevBor Plestenjak - Numerična analiza 2004

Zgled uporabe odrezanega singularnega razcepaDenimo, da delamo medicinsko raziskavo o učinku nekega zdravila na količino sladkorja vkrvi. Za vsakega pacienta (i = 1, . . . , m) zberemo naslednje podatke:• a i1 : količina sladkorja v krvi na začetku zdravljenja,• a i2 : predpisana količina zdravila,• a i3 , . . . , a i9 : telesna teža za vsak dan v tednu,• a ij : ostale meritve (j = 10, . . . , n).• b i : količina sladkorja ob koncu zdravljenja.Želimo predvideti b i pri danih a i1 , . . . , a in in model je b j = ∑ nk=1 a jkx k .Stolpci a 3 , . . . , a 9 so zelo slabo linearno neodvisni (telesna teža za cel teden), če neupoštevamo tega in ne odrežemo minimalnih singularnih vrednosti, lahko dobimo zeločudne rezultate. Pravilni način je odrezati minimalne singularne vrednosti in nato vzetiminimalno rešitev.Bor Plestenjak - Numerična analiza 2004

Nedoločeni problemNedoločen problem je Ax = b, kjer je A ∈ R m×n , m < n in rang(A) = m. Izmedvseh rešitev vzamemo tisti x, ki ima najmanjšo normo, rešitev pa je x = A + b oziromax = A T (AA T ) −1 b.Bor Plestenjak - Numerična analiza 2004

Ukazi v MatlabuTako kot navadni sistem tudi predoločeni sistem Ax = b v Matlabu rešimo z x=A\b.Matlab za reševanje uporabi QR razcep s Householderjevimi zrcaljenji.QR razcep dobimo z ukazom [Q,R]=qr(A).Singularni razcep dobimo z ukazom [U,S,V]=svd(A).Psevdoinverz dobimo z ukazom pinv(A).Bor Plestenjak - Numerična analiza 2004