С.П. Шарый - Институт вычислительных технологий СО РАН

364 3. Численные методы линейной алгебрыт. е.‖x (k+1) −x ⋆ ‖ A ≤ ‖˜x−x ⋆ ‖ A . (3.114)Иными словами, метод, обеспечивающий лучшее убывание значенияфункционала энергии одновременно обеспечивает лучшее приближениек решению в энергетической норме.В методе градиентного спуска с постоянным шагом — совпадающемс методом простой итерации (3.98) или (3.109) — имеем˜x−x ⋆ = (I −τA)(x (k) −x ⋆ ), k = 0,1,2,....Матрица (I−τA) является многочленом первой степени от матрицы A,и потому можем применить неравенство (3.25) из Предложения 3.3.8(стр. 247):‖˜x−x ⋆ ‖ A ≤ ‖I −τA‖ 2 ‖x (k) −x ⋆ ‖ A .При этом у метода наискорейшего спуска оценка заведомо не хужеэтой оценки, в которой взято значение параметра шага τ = 2/(M +µ),оптимальное для спуска с постоянным шагом. Тогда в соответствии с(3.114) и с оценкой (3.100) для метода простой итерации получаем( ) M −µ‖x (k+1) −x ⋆ ‖ A ≤ ‖x (k) −x ⋆ ‖ A , k = 0,1,2,...,M +µоткуда следует доказываемая оценка (3.113).x ⋆x (0)Рис. 3.22. Иллюстрация работы метода наискорейшего спуска.