С.П. Шарый - Институт вычислительных технологий СО РАН

3.10. Нестационарные итерационные методы 3593.10б Метод наискорейшего спускаВ предшествующем пункте были предложены две вариационные переформулировкизадачи решения системы линейных алгебраическихуравнений. Как находить минимум соответствующих функционалов?Прежде, чем строить конкретные численные алгоритмы, рассмотримобщую схему.Пусть f : R n → R — некоторая функция, ограниченная снизу навсём пространстве R n и принимающая своё наименьшее значение в x ⋆ ,так чтоf(x) ≥ f(x ⋆ ) = minx∈R nf(x) для любых x ∈ Rn .Нам нужно найти точку x ⋆ . При этом саму функцию f, для которойищется экстремум, в теории оптимизации называют целевой функцией.Различают экстремумы локальные и глобальные. Локальными называютэкстремумы, в которых значения целевой функции лучше, чемв некоторой окрестности рассматривамой точки. Глобальные экстремумыдоставляют функции значения, лучшие всех значений функции навсей её области определения. Нас в связи с задачей минимизации функционалаэнергии интересуют, конечно, его глобальные минимумы.Типичным подходом к решению задач оптимизации является итерационноепостроение последовательности значений аргумента {x (k) },которая «минимизирует» функцию f в том смысле, чтоlimk→∞ f(x(k) ) = minx∈R nf(x).Если построенная последовательность {x (k) } сходится к некоторомупределу, то он и является решением задачи x ⋆ в случае непрерывнойфункции f.Метод градиентного спуска, является способом построения последовательности,которая является минимизирующей для определённогокласса дифференцируемых целевых функций, и заключается в следующем.Пусть уже найдено какое-то приближение x (k) , k = 0,1,2,..., кточке минимума функции f(x). Естественная идея состоит в том, чтобыиз x (k) сдвинуться по направлению наибольшего убывания целевойфункции, которое противоположно направлению градиента f ′ (x (k) ),т. е. взятьx (k+1) ← x (k) −τ k f ′ (x (k) ), (3.112)