С.П. Шарый - Институт вычислительных технологий СО РАН

362 3. Численные методы линейной алгебрыневязку r (k) := Ax (k) −b. ИмеемΦ ( x (k) −τ k r (k)) = 2〈 1 A(x (k) −τ k r (k) ),x (k) −τ k r (k)〉 −〈b,x (k) −τ k r (k) 〉= 2〈 1 Ax (k) ,x (k)〉 〈−τ k Ax (k) ,r (k)〉 〈+ 1 2 τ2 k Ar (k) ,r (k)〉−〈b,x (k) 〉+τ k 〈b,r (k) 〉.При дифференцировании выписанного выражения по τ k не зависящиеот него члены исчезнут, и мы получимddτ kΦ ( x (k) −τ k r (k)) = − 〈 Ax (k) ,r (k)〉 +τ k 〈Ar (k) ,r (k) 〉+〈b,r (k) 〉= τ k〈Ar (k) ,r (k)〉 − 〈 Ax (k) −b,r (k)〉= τ k〈Ar (k) ,r (k)〉 −〈r (k) ,r (k) 〉.Таким образом, в точке экстремума по τ k из условиянеобходимо следуетddτ kΦ ( x (k) −τ k r (k)) = 0τ k = 〈r(k) ,r (k) 〉〈Ar(k),r (k)〉.Легко видеть, что при найденном значении τ k функционалом энергиидействительно достигается минимум по выбранному направлениюспуска, так как тогда его вторая производная по τ k , равная〈Ar (k) ,r (k) 〉,положительна. В целом, псевдокод метода наискорейшего градиентногоспуска для решения системы линейных алгебраических уравненийAx = b представлен в Табл. 3.7.Теорема 3.10.1 Если A — симметричная положительно определённаяматрица, то последовательность {x (k) }, порождаемая методомнаискорейшего спуска, сходится к решению x ⋆ системы уравненийAx = b из любого начального приближения x (0) , и быстрота этойсходимости оценивается неравенством‖x (k) −x ⋆ ‖ A ≤( ) k M −µ‖x (0) −x ⋆ ‖ A , k = 0,1,2,..., (3.113)M +µгде µ, M — нижняя и верхняя границы спектра матрицы A.