С.П. Шарый - Институт вычислительных технологий СО РАН

3.10. Нестационарные итерационные методы 363Таблица 3.7. Псевдокод метода наискорейшего спускадля решения систем линейных уравненийk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )END DOr (k) ← Ax (k) −b ;τ k ← ‖r(k) ‖ 2 2〈Ar (k) ,r (k) 〉 ;x (k+1) ← x (k) −τ k r (k) ;k ← k +1 ;Доказательство оценки (3.113) и теоремы в целом будет полученопутём сравнения метода наискорейшего спуска с методом градиентногоспуска с постоянным оптимальным шагом.Пусть в результате выполнения (k−1)-го шага метода наискорейшегоспуска получено приближение x (k) , и мы делаем k-ый шаг, которыйдаёт x (k+1) . Обозначима также через ˜x результат выполнения с x (k)одного шага метода простой итерации, так что˜x = x (k) −τ ( Ax (k) −b ) .Из развитой в предшествующей части параграфа теории вытекает, чтопри любом выборе параметра τДалее, из равенства (3.111)Φ(x (k+1) ) ≤ Φ(˜x).Φ(x) = 1 2 ‖x−x⋆ ‖ 2 A − 1 2 〈Ax⋆ ,x ⋆ 〉с постоянным вычитаемым 1 2 〈Ax⋆ ,x ⋆ 〉 следует, что12 ‖x(k+1) −x ⋆ ‖ 2 A ≤ 1 2 ‖˜x−x⋆ ‖ 2 A ,