С.П. Шарый - Институт вычислительных технологий СО РАН

3.10. Нестационарные итерационные методы 365Интересно и поучительно рассмотреть геометрическую иллюстрациюработы метода наискорейшего спуска.Градиент функционала энергии нормален к его поверхностям уровня,и именно по этим направлениям осуществляется «спуск» — движениев сторону решения. Шаг в методе наискорейшего спуска идётна максимально возможную величину — до пересечения с касательнымэллипсоидом. Поэтому траектория метода наискорейшего спускаявляется ломаной, звенья которой перпендикулярны друг другу (см.Рис. 3.22).Хотя доказательство Теоремы 3.10.1 основано на мажоризации наискорейшегоспуска методом простой итерации и может показаться довольногрубым, оценка (3.113) в действительности весьма точно передаётособенности поведения метода, а именно, замедление сходимостипри M ≫ µ. Тот факт, что в случае плохой обусловленности матрицысистемы движение к решению в методе наискорейшего спуска весьмадалеко от оптимального, подтверждается вычислительной практикой иможет быть понято на основе геометрической интерпретации. Искомоерешение находится при этом на дне глубокого и вытянутого оврага, аметод «рыскает» от одного склона оврага к другому вместо того, чтобыидти напрямую к глубочайшей точке — решению.3.10в Метод минимальных невязокДругой популярный подход к выбору итерационных параметров τ kв нестационарном итерационном процессе (3.110)x (k+1) ← x (k) −τ k(Ax (k) −b ) , k = 0,1,2,...,был предложен С.Г. Крейном и М.А. Красносельским в работе [24] иназван ими методом минимальных невязок. Его псевдокод приведёнв Табл. 3.8. Каждый шаг этого метода минимизирует ‖Ax − b‖ 2 или,что равносильно, ‖Ax−b‖ 2 2 в направлении невязки k-го приближения,равной r (k) = Ax (k) −b. Оказывается, что это эквивалентно наибольшемувозможному уменьшению A ⊤ A-нормы погрешности приближённогорешения системы. В самом деле, если x ⋆ — точное решение системы