С.П. Шарый - Институт вычислительных технологий СО РАН

3.10. Нестационарные итерационные методы 361т. е. градиент функционала Φ равен невязке решаемой системы линейныхуравнений в рассматриваемой точке. Важнейшим выводом из этогофакта является тот, что метод простой итерации (3.98)–(3.109) являетсяни чем иным, как методом градиентного спуска (3.112) для минимизациифункционала энергииΦ, в котором шагτ k выбран постоянными равным τ. Вообще, метод градиентного спуска (3.112) оказываетсяравносильным простейшему нестационарному итерационному методу(3.110).Выбор величины шага τ k является очень ответственным делом, таккак от него зависит и наличие сходимости, и её скорость. Спуск понаправлению антиградиента обеспечивает убывание целевой функциилишь при достаточно малых шагах, и потому при неудачно большойвеличине шага мы можем попасть в точку, где значение функционалане меньше, чем в текущей точке. С другой стороны, слишком малыйшаг приведёт к очень медленному движению в сторону решения.Для градиентного метода с постоянным шагом его трактовка как методапростой итерации позволяет, опираясь на результат §3.9г, выбратьшаг τ k = const, который наверняка обеспечивает сходимость процесса.Именно, если положительные числа µ и M — это нижняя и верхняяграницы спектра положительно определённой матрицы A решаемойсистемы, то в соответствии с (3.99) для сходимости следует взятьτ k = τ =2M +µ .Другой способ выбора шага состоит в том, чтобы потребовать τ kнаибольшим возможным, обеспечивающим убывание функционала Φвдоль выбранного направления спуска по антиградиенту. При этомполучается разновидность градиентного спуска, называемая методомнаискорейшего спуска, теория которого была разработана в конце 40-хгодов XX века Л.В. Канторовичем.Для определения конкретной величины шага τ k в методе наискорейшегоспуска нужно подставить выражение x (k) −τ k Φ ′ (x (k) ) = x (k) −τ k (Ax (k) −b) в аргумент функционала энергии и продифференцироватьполучающееся отображение по τ k . Для удобства выкладок обозначим