i p i : r i+1 = r i − α i Ap i〈r j+1 , r i 〉 = 〈r j , r i 〉 − α j 〈Ap j , r i 〉α j 〈Ap j , r i 〉 = 〈r j , r i 〉 − 〈r j+1 , r i 〉α j β ij 〈Ap j , p j 〉 = 〈r j+1 , r i 〉 − 〈r j , r i 〉∴ β ij = 〈ri , r j+1 〉α j 〈Ap j , p j 〉 − ⎧ 〈rj , r i 〉βα j 〈Ap j , p j 〉 ij =⎪⎨ 1 〈r i , r j+1 〉⎪⎩β ij = α j 〈Ap j , p j 〉 , i = j + 1⎪⎩ 0, i > j + 1e p i are linearly independent.i−1 p i−1 ,,ie i = e i−1 + α i−1 p i−1e i = e 0 +⎪⎩i−1∑α j p j .j=0Shortest recurrence possible!m−1∑ ∑i−1j j j〈p i β, r j 〉 = 〈r i , r j ik p k 〉 +k=0β ik 〈p k , r j 〉 for i < jSince the second term of RHS in (5.6) is zero and 〈p i , r j 〉 = 0 for i < j,Conjugate〈p i , r j 〉 = 〈r i , r j 〉 + β ik 〈p k ,gradientr j 〉 for i < j (5.6)k=0⎧⎨〈r i , r j 〉 = 0 for i < j⎧⎩〈p i , r i 〉 = 〈r i , r i 〉 for i = j.Thereforep i = r i +k=0∑i−1Since the second term of RHS in (5.6) is zero and 〈p i , r j 〉 = 0 for i < j,Thereforeor ...β =⎨〈r , r j 〉 = 0 for i < j⎩〈p , r i 〉 = 〈r i , r i 〉 for i = j.⎧⎪⎨0β =⎧⎪⎨β 10 0 ∅∅β 21 0. .. . ..⎪⎩0⎧⎪⎨ 1 〈r i , r j+1 〉α j 〈Ap j , p j 〉 , i = j + 10, i > j + 1β 10 0 ∅∅β m−1,m−2 0⎫⎪⎬β 21 0. .. . ..⎪⎭β m−1,m−2 0⎫⎪⎬⎪⎭26
α i−1 〈Ap i−1 , p i−1 〉 〈r i−1 , p i−1 〉 〈Ap i−1 , p i−1 〉∴ β i = 〈ri , r i 〉〈r i−1 , p i−1 〉Conjugate gradient(Hestenes and Stiefel, [3], Lanczos, [4])Given x 0 , r 0 = b − Ax 0 , p 0 = r 0 ,k = 0do ”until convergence”end doα k = 〈rk , p k 〉〈Ap k , p k 〉x k+1 = x k + α k p kr k+1 = r k − α k Ap kβ k+1 = 〈rk+1 , r k+1 〉〈r k , r k 〉p k+1 = r k+1 + β k+1 p kk = k + 1Stiefel (1952) and Lanczos (1950)1) <strong>Krylov</strong> Subspace Methods27