An Introduction to the Conjugate Gradient Method Without the ...

Contents1. Introduction 12. Notation 13. The Quadratic Form 24. The Method of Steepest Descent 6¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡ £ ¡ ¢ ¡ £ ¡ £ ¡ ¡ ¢ ¡¡ £ ¡¡ £ ¡ £ ¡ ¡ ¢ ¡ £ ¡ £¢ £ ¡¡ £ £ ¡ ¡ ¡ ¢ ¢ £ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £ ¡¡¡ £ ¡£ ¢ ¡ £ ¡¡ £ ¡ ¢ ¡ £ ¡¡ ¡ £ £ ¡ ¡ ¢ ¡ ¡ ¡ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £5. Thinking with Eigenvectors and Eigenvalues 95.1. Eigen do it if I try 95.2. Jacobi iterations 115.3. A Concrete Example 12¡ £ ¡ ¢ £ ¡¡¡ £ ¡ £ ¡ ¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £ ¢ ¡ £ ¡£ ¡ ¢ £ ¡¡ £ £ ¡ ¡ ¡ ¡ ¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £6. Convergence Analysis of Steepest Descent 136.1. Instant Results 136.2. General Convergence 17¡¡ ¢ £ ¡¡ £ ¡¡ £ ¡ ¡ £ ¡ £ ¡ ¢ ¡ ¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡ £ ¢ ¡ £ ¡ ¢ ¡ ¡ £ ¡ £ ¡£ ¡ ¡ £ ¡ ¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡ £ £ ¡ ¢ £ ¡ ¡ ¡£ ¡¡¡ £ ¡ ¡ ¢ £ £ ¡ ¡ ¡ ¡ £ ¡ ¡ £ ¢ ¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡ £7. The Method of Conjugate Directions 217.1. Conjugacy 217.2. Gram-Schmidt Conjugation 257.3. Optimality of the Error Term 268. The Method of Conjugate Gradients 30¢ £ ¡¡ £ ¡¡ £ ¢ ¡¡ ¡ £ ¡ £ ¡¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡ £ £ ¡ ¢ ¡¡¡ £ ¡ ¢ £ ¡ ¡ ¡ ¢ ¡ ¡ £ £ ¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡¡ £ ¡ ¢ £ ¡¡ £9. Convergence Analysis of Conjugate Gradients 329.1. Picking Perfect Polynomials 339.2. Chebyshev Polynomials 3510. Complexity 37¡ £ ¡¡ ¢ £ ¡ £ ¡ £ ¡¡ £ ¡¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡ £ ¡ ¡ ¢¡ £ ¢ ¡ £ £ ¡ ¡ ¡ ¡¡ £ ¢ ¡ £ ¡¡ £ ¡ ¢ ¡ £ ¡¡ £ ¡ ¢ ¡ £ ¡¡ £ ¡ ¢ ¡ £ ¡¡ £ ¡ ¢ £11. Starting and Stopping 3811.1. Starting 3811.2. Stopping 3812. Preconditioning 3913. Conjugate Gradients on the Normal Equations 41¡ £ ¡ ¢ ¡ £ ¡¡ £ ¡ ¢ ¡ £ ¡¡ ¡ £ ¢ ££ ¢ ¡ £ ¡¡ ¢ ¢ £ £ ¡ ¡ ¡ ¡ £ ¡ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £ ¡ £ ¡£ ¢ ¡¡ £ ¡¡ £ ¢ ¡ £ ¡¡¡ £ ¢ ¡ £ £ ¡ ¡ ¡ ¡¡ £ ¢ ¡ £ ¡¡¡ £ ¢ ¡ £ ¡¡ £14. The Nonlinear Conjugate Gradient Method 4214.1. Outline of the Nonlinear Conjugate Gradient Method 4214.2. General Line Search 4314.3. Preconditioning 47A Notes 48£ ¡¡ £ ¡¡ ¢ ¡ £ ¡ ¢ ¡ ¡ £ ¡ £ ¡¡ £ ¢ ¡¡ £ ¡¡ £ ¢ ¡ £ £ ¡ ¡ £ ¡ £ ¡ ¢ ¡£ £ ¡ ¡ ¡ ¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £ ¡ £ ¡ ¢ ¢¡ ¢ £ ¡¡ £ £ ¡ ¡ ¡ ¡ ¢ £ £ ¡ ¡¡ £ ¡¡ ¢ £ ¡¡ £ ¡¡ £B Canned Algorithms 49B1. Steepest Descent 49B2. Conjugate Gradients 50B3. Preconditioned Conjugate Gradients 51i