Numerička linearna algebra - Odjel za matematiku - Sveučilište ...

110 7. Problem najmanjih kvadrata0 = ∂ g(x + λy) = 1 (〈Ay, Ax − b〉 + 〈Ax − b, Ay〉) = Re〈Ax − b, Ay〉.∂λ 2Slično vrijedi i za0 = ∂∂λ g(x + λiy) = 1 (−i〈Ay, Ax − b〉 + i〈Ax − b, Ay〉)2= iIm〈Ax − b, Ay〉.Time smo pokazali da je 〈Ax − b, Ay〉 = 0 pa je Ax − b ⊥ Ay za sve y ∈ C n .□Korolar 7.1 Vektor x ∈ C n rješava linearni problem najmanjih kvadrataako i samo akoA ∗ Ax = A ∗ b. (7.1)Dokaz. Iz teorema 7.1 znamo da će x biti rješenje linearnog problem najmanjihkvadrata ako i samo ako Ax−b ⊥ Im(A). To je ekvivalentno činjenicida je Ax − b ⊥ a i za svaki stupac a i matrice A, odnosno A ∗ (Ax − b) = 0. □Definicija 7.1 Sustav linearnih jednadžbi (7.1) zovemo normalnim jednadžbamaza problem najmanjih kvadrata.Promatrat ćemo razne algoritme za rješavanje linearnog problema najmanjihkvadrata. Prvi najčešće nazivamo algoritam za rješavanje linearnogproblema najmanjih kvadrata (LPNK) preko sustava normalnih jednadžbi ion se izravno temelji na sustavu normalnih jednadžbi.Algoritam za LPNK pomoću sustava normalnih jednadžbi.ulaz: A ∈ C m×n , m ≥ n i rang(A) = n, b ∈ C mizlaz: x ∈ C n koji minimizira ‖Ax − b‖ 21: izračunaj A ∗ A i A ∗ b2: riješi (A ∗ A)x = A ∗ bNapomena 7.1 Izračunavanje produkata A ∗ A i A ∗ b zahtijeva asimptotski∼ 2mn 2 operacija za m, n → ∞. Budući da je A ∗ A hermitska, trebamoizračunati samo pola elemenata što se može napraviti u ∼ mn 2 operacija.Rješavanje (A ∗ A)x = A ∗ b pomoću QR faktorizacije zahtijeva 4 3 n3 operacija,što nam sve zajedno daje sljedeću asimptotsku ocjenuC(m, n) ∼ mn 2 + 4 3 n3 .