С.П. Шарый - Институт вычислительных технологий СО РАН

С.П. ШарыйКурсВЫЧИСЛИТЕЛЬНЫХМЕТОДОВ

КурсВЫЧИСЛИТЕЛЬНЫХМЕТОДОВС. П. ШарыйИнститут вычислительных технологий СО РАННовосибирск – 2014

Книга является систематическим учебником по курсу вычислительных методови написана на основе лекций, читаемых автором на механико-математическомфакультете Новосибирского государственного университета. Особенностьюкниги является изложение методов интервального анализа и результатовконструктивной математики, связанных с традиционными разделамичисленного анализа.c○ С.П. Шарый, 2010–2014 г.

ОглавлениеПредисловие 8Глава 1. Введение 91.1 Погрешности вычислений . . . . . . . . . . . . . . . . . . 111.2 Компьютерная арифметика . . . . . . . . . . . . . . . . . 161.3 Обусловленность математических задач . . . . . . . . . . 181.4 Интервальная арифметика . . . . . . . . . . . . . . . . . . 211.5 Интервальные расширения функций . . . . . . . . . . . . 271.6 Элементы конструктивной математики . . . . . . . . . . 311.7 Сложность задач и трудоёмкость алгоритмов . . . . . . . 331.8 Доказательные вычисления на ЭВМ . . . . . . . . . . . . 35Литература к главе 1 . . . . . . . . . . . . . . . . . . . . . . . . 38Глава 2. Численные методы анализа 412.1 Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.2 Интерполирование функций . . . . . . . . . . . . . . . . . 442.2а Постановка задачи и её свойства . . . . . . . . . . 442.2б Интерполяционный полином Лагранжа . . . . . . 492.2в Разделённые разности и их свойства . . . . . . . . 522.2г Интерполяционный полином Ньютона . . . . . . . 592.2д Погрешность алгебраической интерполяции . . . . 632.3 Полиномы Чебышёва . . . . . . . . . . . . . . . . . . . . . 682.3а Определение и основные свойства . . . . . . . . . 682.3б Применения полиномов Чебышёва . . . . . . . . . 732.4 Интерполяция с кратными узлами . . . . . . . . . . . . . 742.5 Общие факты алгебраической интерполяции . . . . . . . 802.6 Сплайны . . . . . . . . . . . . . . . . . . . . . . . . . . . . 863

4 Оглавление2.6а Элементы теории . . . . . . . . . . . . . . . . . . . 862.6б Интерполяционные кубические сплайны . . . . . . 892.6в Экстремальное свойство кубических сплайнов . . 952.7 Нелинейные методы интерполяции . . . . . . . . . . . . . 972.8 Численное дифференцирование . . . . . . . . . . . . . . . 982.8а Интерполяционный подход . . . . . . . . . . . . . . 1002.8б Оценка погрешности дифференцирования . . . . . 1042.8в Метод неопределённых коэффициентов . . . . . . 1112.8г Полная погрешность дифференцирования . . . . . 1132.9 Алгоритмическое дифференцирование . . . . . . . . . . . 1172.10 Приближение функций . . . . . . . . . . . . . . . . . . . . 1192.10а Обсуждение постановки задачи . . . . . . . . . . . 1192.10б Существование и единственностьрешения задачи приближения . . . . . . . . . . . . 1222.10в Задача приближения в евклидовом пространстве 1252.10г Среднеквадратичное приближение функций . . . 1282.11 Полиномы Лежандра . . . . . . . . . . . . . . . . . . . . . 1332.11а Мотивация и определение . . . . . . . . . . . . . . 1332.11б Основные свойства полиномов Лежандра . . . . . 1382.12 Численное интегрирование . . . . . . . . . . . . . . . . . . 1422.12а Постановка и обсуждение задачи . . . . . . . . . . 1422.12б Простейшие квадратурные формулы . . . . . . . . 1462.12в Квадратурная формула Симпсона . . . . . . . . . 1502.12г Интерполяционные квадратурные формулы . . . 1572.12д Дальнейшие формулы Ньютона-Котеса . . . . . . 1602.12е Метод неопределённых коэффициентов . . . . . . 1642.13 Квадратурные формулы Гаусса . . . . . . . . . . . . . . . 1652.13а Задача оптимизации квадратур . . . . . . . . . . . 1652.13б Простейшие квадратуры Гаусса . . . . . . . . . . . 1672.13в Выбор узлов для квадратурных формул Гаусса . 1712.13г Практическое применение формул Гаусса . . . . . 1742.13д Погрешность квадратур Гаусса . . . . . . . . . . . 1772.14 Составные квадратурные формулы . . . . . . . . . . . . . 1802.15 Сходимость квадратур . . . . . . . . . . . . . . . . . . . . 1832.16 Вычисление интегралов методом Монте-Карло . . . . . . 1882.17 Правило Рунге для оценки погрешности . . . . . . . . . . 193Литература к главе 2 . . . . . . . . . . . . . . . . . . . . . . . . 194

Оглавление 5Глава 3. Численные методы линейной алгебры 1983.1 Задачи вычислительной линейной алгебры . . . . . . . . 1983.2 Теоретическое введение . . . . . . . . . . . . . . . . . . . . 2013.2а Основные понятия . . . . . . . . . . . . . . . . . . 2013.2б Собственные числа и собственные векторы . . . . 2083.2в Разложения матриц, использующие спектр . . . . 2123.2г Сингулярные числа и сингулярные векторы . . . 2143.2д Сингулярное разложение матриц . . . . . . . . . . 2193.2е Матрицы с диагональным преобладанием . . . . . 2223.3 Нормы векторов и матриц . . . . . . . . . . . . . . . . . . 2243.3а Векторные нормы . . . . . . . . . . . . . . . . . . . 2243.3б Топология на векторных пространствах . . . . . . 2293.3в Матричные нормы . . . . . . . . . . . . . . . . . . 2343.3г Подчинённые матричные нормы . . . . . . . . . . 2383.3д Топология на множествах матриц . . . . . . . . . 2433.3е Энергетическая норма . . . . . . . . . . . . . . . . 2453.3ж Спектральный радиус . . . . . . . . . . . . . . . . 2473.3з Матричный ряд Неймана . . . . . . . . . . . . . . 2523.4 Приложения сингулярного разложения . . . . . . . . . . 2553.4а Исследование неособенности и ранга матриц . . . 2553.4б Решение систем линейных уравнений . . . . . . . 2563.4в Малоранговые приближения матрицы . . . . . . . 2573.4г Метод главных компонент . . . . . . . . . . . . . . 2593.5 Обусловленность систем линейных уравнений . . . . . . 2613.5а Число обусловленности матриц . . . . . . . . . . . 2613.5б Примеры плохообусловленных матриц . . . . . . . 2663.5в Практическое применение числа обусловленности 2683.6 Прямые методы решения линейных систем . . . . . . . . 2723.6а Решение треугольных линейных систем . . . . . . 2753.6б Метод Гаусса для решения линейных систем . . . 2763.6в Матричная интерпретация метода Гаусса . . . . . 2793.6г Метод Гаусса с выбором ведущего элемента . . . . 2823.6д Существование LU-разложения . . . . . . . . . . . 2863.6е Разложение Холесского . . . . . . . . . . . . . . . . 2903.6ж Метод Холесского . . . . . . . . . . . . . . . . . . . 2923.7 Методы на основе ортогональных преобразований . . . . 2973.7а Обусловленность и матричные преобразования . . 2973.7б QR-разложение матриц . . . . . . . . . . . . . . . . 3003.7в Ортогональные матрицы отражения . . . . . . . . 302

6 Оглавление3.7г Метод Хаусхолдера . . . . . . . . . . . . . . . . . . 3063.7д Матрицы вращения . . . . . . . . . . . . . . . . . . 3093.7е Процессы ортогонализации . . . . . . . . . . . . . 3123.8 Метод прогонки . . . . . . . . . . . . . . . . . . . . . . . . 3173.9 Стационарные итерационные методы . . . . . . . . . . . . 3233.9а Краткая теория . . . . . . . . . . . . . . . . . . . . 3233.9б Сходимость стационарных одношаговых методов 3263.9в Подготовка системы к итерационному процессу . 3323.9г Оптимизация скалярного предобуславливателя . . 3363.9д Итерационный метод Якоби . . . . . . . . . . . . . 3393.9е Итерационный метод Гаусса-Зейделя . . . . . . . . 3443.9ж Методы релаксации . . . . . . . . . . . . . . . . . . 3493.10 Нестационарные итерационные методы . . . . . . . . . . 3543.10а Теоретическое введение . . . . . . . . . . . . . . . . 3543.10б Метод наискорейшего спуска . . . . . . . . . . . . 3593.10в Метод минимальных невязок . . . . . . . . . . . . 3653.10г Метод сопряжённых градиентов . . . . . . . . . . 3683.11 Методы установления . . . . . . . . . . . . . . . . . . . . . 3723.12 Теория А.А. Самарского . . . . . . . . . . . . . . . . . . . 3743.13 Вычисление определителей и обратных матриц . . . . . . 3783.14 Оценка погрешности приближённого решения . . . . . . 3813.15 Линейная задача о наименьших квадратах . . . . . . . . 3843.16 Проблема собственных значений . . . . . . . . . . . . . . 3853.16а Обсуждение постановки задачи . . . . . . . . . . . 3853.16б Обусловленность проблемы собственных значений 3883.16в Коэффициенты перекоса матрицы . . . . . . . . . 3923.16г Круги Гершгорина . . . . . . . . . . . . . . . . . . 3963.16д Отношение Рэлея . . . . . . . . . . . . . . . . . . . 3993.17 Численные методы для проблемы собственных значений 4023.17а Предварительное упрощение матрицы . . . . . . . 4023.17б Степенной метод . . . . . . . . . . . . . . . . . . . 4043.17в Обратные степенные итерации . . . . . . . . . . . 4123.17г Сдвиги спектра . . . . . . . . . . . . . . . . . . . . 4143.17д Метод Якоби . . . . . . . . . . . . . . . . . . . . . . 4163.17е Базовый QR-алгоритм . . . . . . . . . . . . . . . . 4223.17ж Модификации QR-алгоритма . . . . . . . . . . . . 4253.18 Численные методы сингулярного разложения . . . . . . . 427Литература к главе 3 . . . . . . . . . . . . . . . . . . . . . . . . 428

Оглавление 7Глава 4. Решение нелинейных уравнений и их систем 4334.1 Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4334.2 Вычислительно-корректные задачи . . . . . . . . . . . . . 4354.2а Предварительные сведения и определения . . . . 4354.2б Задача решения уравнений не являетсявычислительно-корректной . . . . . . . . . . . . . 4384.2в ε-решения уравнений . . . . . . . . . . . . . . . . . 4404.2г Недостаточность ε-решений . . . . . . . . . . . . . 4424.3 Векторные поля и их вращение . . . . . . . . . . . . . . . 4454.3а Векторные поля . . . . . . . . . . . . . . . . . . . . 4454.3б Вращение векторных полей . . . . . . . . . . . . . 4474.3в Индексы особых точек . . . . . . . . . . . . . . . . 4504.3г Устойчивость особых точек . . . . . . . . . . . . . 4514.3д Вычислительно-корректная постановка . . . . . . 4534.4 Классические методы решения уравнений . . . . . . . . . 4544.4а Предварительная локализация решений . . . . . . 4554.4б Метод дихотомии . . . . . . . . . . . . . . . . . . . 4564.4в Метод простой итерации . . . . . . . . . . . . . . . 4594.4г Метод Ньютона и его модификации . . . . . . . . 4624.4д Методы Чебышёва . . . . . . . . . . . . . . . . . . 4644.5 Классические методы решения систем уравнений . . . . 4664.5а Метод простой итерации . . . . . . . . . . . . . . . 4664.5б Метод Ньютона и его модификации . . . . . . . . 4674.6 Интервальные линейные системы уравнений . . . . . . . 4694.7 Интервальные методы решения уравнений . . . . . . . . 4714.7а Основы интервальной техники . . . . . . . . . . . 4714.7б Одномерный интервальный метод Ньютона . . . . 4744.7в Многомерный интервальный метод Ньютона . . . 4774.7г Метод Кравчика . . . . . . . . . . . . . . . . . . . . 4804.8 Глобальное решение уравнений и систем . . . . . . . . . . 481Литература к главе 4 . . . . . . . . . . . . . . . . . . . . . . . . 486Обозначения 490Краткий биографический словарь 494Предметный указатель 501

ПредисловиеПредставляемая вниманию читателей книга написана на основе курсалекций по вычислительным методам, которые читаются автором намеханико-математическом факультете Новосибирского государственногоуниверситета. Её содержание в основной своей части традиционнои повторяет на современном уровне тематику, заданную ещё в знаменитых«Лекциях о приближённых вычислениях» акад. А.Н. Крылова,первом в мире систематическом учебнике методов вычислений. Условноматериал книги можно назвать «вычислительные методы-1», посколькув стандарте университетского образования, существует втораячасть курса, посвящённая численному решению дифференциальныхуравнений, как обыкновенных, так и в частных производных, интегральныхуравнений и др.Вместе с тем, книга имеет ряд особенностей. Во-первых, в ней широкопредставлены элементы интервального анализа и современные интервальныеметоды для решения традиционных задач вычислительнойматематики. Во-вторых, автор счёл уместным поместить в книгу краткийочерк идей конструктивной математики и теории сложности вычислений,тесно связанных с предметом математики вычислительной.8

Глава 1ВведениеКурс методов вычислений является частью более широкой математическойдисциплины — вычислительной математики, которую можнонеформально определить «как математику вычислений» или «математику,возникающую в связи с разнообразными процессами вычислений».При этом под «вычислениями» понимается не только получениечислового ответа к задаче, доведение результата «до числа», но и получениеконструктивных представлений (приближений) для различныхматематических объектов. С 70-х годов XX века, когда качественнонового уровня достигло развитие вычислительных машин и их применениево всех сферах жизни общества, можно встретить расширительноетолкование содержания вычислительной математики, как «разделаматематики, включающего круг вопросов, связанных с использованиемЭВМ» (определение А.Н. Тихонова).Иногда в связи с вычислительной математикой и методами вычисленийиспользуют термин «численный анализ», возникший в США вконце 40-х годов XX века. Он более узок по содержанию, так как воглаву угла ставит расчёты числового характера, а аналитические илисимвольные вычисления, без которых в настоящее время невозможнопредставить вычислительную математику и её приложения, отодвигаетна второй план.Развитие вычислительной математики в различные историческиепериоды имело свои особенности и акценты. Начиная с античности(вспомним Архимеда) и вплоть до Нового времени вычислительныеметоды гармонично входили в сферу научных интересов крупнейшихматематиков — И. Ньютона, Л. Эйлера, Н.И. Лобачевского, К.Ф. Гаусса,9

10 1. ВведениеК.Г. Якоби и многих других, чьи имена остались в названиях популярныхчисленных методов. В XX веке, и особенно в его второй половине,на первый план выдвинулась разработка и применение конкретныхпрактических алгоритмов для решения сложных задач математическогомоделирования (в основном, вычислительной физики, механикии управления). Нужно было запускать и наводить ракеты, улучшатьхарактеристики самолётов и других сложных технических устройств ит. п.На развитие вычислительной математики большое или даже огромноевлияние оказывали конкретные способы вычислений и вычислительныеустройства, которые возникали по ходу развития технологийи применялись в процессах вычислений. В частности, огромное по своимпоследствиям влияние было испытано вычислительной математикойв середине XX века в связи с появлением электронных цифровыхвычислительных машин.Три типа задач, в основном, интересуют нас в связи с процессомвычислений:• Как конструктивно найти (вычислить) тот или иной математическийобъект или его конструктивное приближение? К примеру,как найти производную, интеграл, решение диффренциальногоуравнения и т. п. вещи?• Какова трудоёмкость нахождения тех или иных объектов? можетли она быть уменьшена и как именно?• Если алгоритм для нахождения некоторого объекта уже известен,то как наилучшим образом организовать вычисления по этомуалгоритму на том или ином конкретном вычислительном устройстве?Например, чтобы при этом уменьшить погрешность вычисленияи/или сделать его менее трудоёмким?Вопросы из последнего пункта сделались особенно актуальными в связис развитием различных архитектур электронных вычислительныхмашин, в частности, с связи с вхождением в нашу повседневную жизньмногопроцессорных и параллельных компьютеров.Ясно, что все три отмеченных выше типа вопросов тесно связанымежду собой. К примеру, если нам удаётся построить алгоритм длярешения какой-либо задачи, то, оценив сложность его исполнения, мытем самым предъявляем и верхнюю оценку трудоёмкости решения этойзадачи.

1.1. Погрешности вычислений 11Исторически сложилось, что исследования по второму пункту относятся,главным образом, к различным теориям вычислительной сложностии к теории алгоритмов, которая в 30-е годы XX века вычлениласьиз абстрактной математической логики. Но традиционная вычислительнаяматематика, предметом которой считается построение иисследование конкретных численных методов, также немало способствуетпрогрессу в этой области.Опять же, исторические и организационные причины привели к тому,что различные вычислительные методы для решения тех или иныхконкретных задач относятся к к другим математическим дисциплинам.Например, численные методы для отыскания экстремумов рзличныхфункций являются предметом вычислительной оптимизации, теориипринятия решений и исследования операций.1.1 Погрешности вычисленийОбщеизвестно, что в практических задачах числовые данные почтивсегда не вполне точны и содержат ошибки. Если эти данные являются,к примеру, результатами измерений, то за редким исключением они немогут быть произведены абсолютно точно.Ошибкой или погрешностью приближённого значения ˜x какой-либовеличины называют разность между ˜x и истинным значением x этойвеличины, т. е. ˜x−x. Часто более удобно оперировать абсолютной погрешностью∆ приближённой величины, которая определяется как абсолютнаявеличина погрешности, т. е.∆ = |˜x−x|, (1.1)поскольку во многих случаях знак погрешности неизвестен.Практически точное значение интересующей нас величины x неизвестно,так что вместо точного значения абсолютной погрешности такжеприходится довольствоватьсяеё приближёнными значениями. Оценкусверху для абсолютной погрешности называют предельной абсолютнойпогрешностью. В самом этом термине содержится желание иметьэту величину как можно более точной, т. е. как можно меньшей.Таким образом, если ˜∆ — предельная абсолютная погрешность значения˜x точной величины x, то∆ = |˜x−x| ≤ ˜∆,

12 1. Введениеи потому˜x− ˜∆ ≤ x ≤ ˜x+ ˜∆.Вместо этого двустороннего неравенства удобно пользоваться следующейкраткой и выразительной записью:x = ˜x± ˜∆.Фактически, вместо точного числа мы имеем здесь целый диапазонзначений — числовой интервал[˜x−˜∆,˜x+˜∆] возможных представителейдля точного значения x.Как правило, указание одной только абсолютной погрешности недостаточнодля характеристики качества рассматриваемого приближения.Более полное понятие о нём можно получить из относительнойпогрешности приближения, которая определяется как отношение абсолютнойпогрешности к самому значению этой величины:δ = ∆|x| . (1.2)Относительная погрешность — безразмерная величина.Предельной относительной погрешностью приближённого значенияxназываютвсякое число ˜δ, оценивающее сверху его относительнуюпогрешность. Как правило, и для абсолютной, и для относительной погрешностейв речи опускают эпитеты «предельная», поскольку именнопредельные погрешности являются реальными доступными нам (наблюдаемыми)величинами.При записи приближённых чисел имеет смысл изображать их так,чтобы сама форма их написания давала характеристику об их точности.Ясно, что ненадёжные знаки представления чисел указыватьсмысла нет. Обычно принимают за правило писать числа так, чтобывсе их значащие цифры кроме, может быть, последней были верны,а последняя цифра была бы сомнительной не более чем на единицу.Согласно этому правилу число 12340000, у которого цифра 4 уже сомнительна,нужно записывать в виде 1.23·10 8 .Значащей цифрой приближённого числа называется цифра в егопредставлении в заданной системе счисления, отличная от нуля, либонуль, если он стоит между значащими цифрами или является представителемсохранённого разряда этого числа. Содержательное определениеможет состоять в том, что значащая цифра — это цифра из

1.1. Погрешности вычислений 13представления числа, которая даёт существенную информацию о егоотносительной погрешности.Значащие цифры могут быть верными или неверными.Как изменяются абсолютные и относительные погрешности при выполненииарифметических операций с приближёнными числами? Приближённоечисло с заданной абсолютной погрешностью — это, фактически,целый интервал значений. По этой причине для абсолютных погрешностейпоставленный вопрос решается формулами интервальнойарифметики, рссматриваемой в §1.4. Здесь мы рассмотрим упрощённыеверсии этих операций.Предложение 1.1.1 Абсолютная погрешность сумы и разности приближённыхчисел равна сумме абсолютных погрешностей операндов.Доказательство. Если x 1 , x 2 — точные значения рассматриваемыхчисел, ˜x 1 , ˜x 2 — их приближённые значения, а ˜∆ 1 , ˜∆ 2 — соответствующиепредельные абсолютные погрешности, то˜x 1 − ˜∆ 1 ≤ x 1 ≤ ˜x 1 + ˜∆ 1 , (1.3)˜x 2 − ˜∆ 2 ≤ x 2 ≤ ˜x 2 + ˜∆ 2 . (1.4)Складывая эти неравенства почленно, получим(˜x 1 + ˜x 2 )− (˜∆1 + ˜∆ 2)≤ x1 +x 2 ≤ (˜x 1 + ˜x 2 )+ (˜∆1 + ˜∆ 2).Полученное соотношение означает, что величина ˜∆ 1 +˜∆ 2 является предельнойабсолютной погрешностью суммы ˜x 1 + ˜x 2 .Умножая обе части неравенства (1.4) на (−1), получим−˜x 2 − ˜∆ 2 ≤ −x 2 ≤ −˜x 2 + ˜∆ 2 .Складывая почленно с неравенством (1.3), получим(˜x 1 − ˜x 2 )− (˜∆1 + ˜∆ 2)≤ x1 +x 2 ≤ (˜x 1 − ˜x 2 )+ (˜∆1 + ˜∆ 2).Отсюда видно, что величина ˜∆ 1 + ˜∆ 2 является предельной абсолютнойпогрешностью разности ˜x 1 − ˜x 2 .Для умножения и деления формулы преобразования абсолютнойпогрешности более громоздки. Точные результаты для операций междуприближёнными величинами даются интервальной арифметикой,рассматриваемой ниже в §1.4.

14 1. ВведениеРассмотрим теперь эволюцию относительной погрешности в вычислениях.Предложение 1.1.2 Если слагаемые в сумме имеют одинаковый знак,то относительная погрешность суммы не превосходит наибольшейиз относительных погрешностей слагаемых.Доказательство. Пусть складываются приближённые величины x 1и x 2 с относительными погрешностями ˜δ 1 и ˜δ 2 . Тогда их абсолютныепогрешности∆ 1 = δ 1 |x 1 |, и ∆ 2 = δ 2 |x 2 |.Если δ = max{δ 1 ,δ 2 }, то∆ 1 ≤ δ|x 1 |, ∆ 2 ≤ δ|x 2 |.Складывая полученные неравенства почленно, получимоткуда∆ 1 +∆ 2 ≤ δ ( |x 1 |+|x 2 | ) ,∆ 1 +∆ 2|x 1 |+|x 2 | ≤ δ.В числителе полученной дроби стоит предельная абсолютная погрешностьсуммы, а в знаменателе — модуль точного значения суммы, еслислагаемые имеют один и тот же знак.Ситуация с относительной погрешностью принципиально меняется,когда в сумме слагаемые имеют разный знак, т. е. она является разностью.Если результат имеет меньшую абсолютную величину, чем абсолютныевеличины операндов, то значение дроби (1.2) возрастёт. А есливычитаемые числа очень близки друг к другу, то знаменатель в (1.2)сделается очень маленьким и относительная погрешность результатаможет катастрофически возрасти.Пример 1.1.1 Рассмотрим вычитание чисел 1001 и 1000, каждое изкоторых является приближённым и известным с абсолютной точностью0.1.Таким образом, относительные точности обоих чисел примерноравны 0.01%. Выполняя вычитание, получим результат 1, которыйимеет абсолютную погрешность 0.1+0.1 = 0.2. Как следствие, оносительнаяпогрешность результата достигла 20%.

1.1. Погрешности вычислений 15Предложение 1.1.3 Если погрешности приближённых чисел малы,то относительная погрешность их произведения приближённо (с точностьюдо членов более высокого порядка малости) равна сумме относительныхпогрешностей сомножителей.Доказательство. Пусть x 1 , x 2 , . . . , x n — точные значения рассматриваемыхчисел, ˜x 1 , ˜x 2 , . . . , ˜x n — их приближённые значения. Обозначимтакже x := x 1 x 2 ...x n , ˜x := ˜x 1˜x 2 ...˜x n , и пусть f(y 1 ,y 2 ,...,y n ) =y 1 y 2 ...y n — функция произведения n чисел. Разлагая её в точке (x 1 ,x 2 , . . . , x n ) по формуле Тейлора с точность до членов первого порядка,получим˜x−x = f(˜x 1 ,˜x 2 ,...,˜x n )−f(x 1 ,x 2 ,...,x n )≈==n∑i=1∂f∂y i(x 1 ,x 2 ,...,x n )·(˜x i −x i )n∑x 1 ...x i−1 x i+1 ...x n (˜x i −x i )i=1n∑i=1x 1 x 2 ...x n˜x i −x ix i.Разделив на x = x 1 x 2 ...x n обе части этого приближённого равенстваи беря от них абсолютное значение, получим с точностью до членоввторого порядка малостичто и требовалось.∣˜x−xxn ∣ = ∑∣i=1˜x i −x ix i∣ ∣∣∣,Предложение 1.1.4 Если погрешности приближённых чисел малы,то относительная погрешность их частного приближённо (с точностьюдо членов более высокого порядка малости) равна сумме относительныхпогрешностей сомножителей.Доказательство. Если u = x/y, то∆u ≈ ∂u ∂u ∆x∆x+ ∆y =∂x ∂y y − x∆yy 2 .

16 1. ВведениеПоэтому∆uu= ∆xy x y− x∆yy 2x y= ∆xx − ∆yy ,так что∣ ∣∣∣ ∆uuЭто и требовалось показать.∣ ∣ ∣∣∣ ∣ ≤ ∆x∣∣∣ x ∣ + ∆yy ∣ .1.2 Компьютерная арифметикаДля правильного учёта погрешностей реализации вычислительныхметодов на различных устройствах и для правильной организации этихметодов нужно знать детали конкретного способа вычислений. В современныхэлектронных цифровых вычислительных машинах (ЭЦВМ),на которых выполняется подавляющая часть современных вычислений,эти детали реализации регламентируются специальным международнымстандартом. Он был принят в 1985 году Институтом инженеровпо электротехнике и электронике 1 , профессиональной ассоциацией,объединяющей в своих рядах также специалистов по аппаратномуобеспечению ЭВМ. Этот стандарт, коротко называемый IEEE 754, в1995 году был дополнен и развит следующим стандартом, названнымIEEE 854 [26, 34].Согласно этим стандартам вещественные числа представляются вЭВМ в виде «чисел с плавающей точкой», в которых число хранитсяв форме мантиссы и показателя степени. Зафиксируем натуральноечисло β, которое будет называться основанием системы счисления.Числами с плавающей точкой называются числа вида(α1 β −1 +α 2 β −2 +...+α p β −p)·β e ,которые условно можно записать в виде0.α 1 α 2 ...α p ·β e ,где 0 ≤ α i < β, i = 1,2,...,p. В выписанном представлении величина0.α 1 α 2 ...α p называется мантиссой числа, а p — количество значащих1 Чаще всего его называют английской аббревиатурой IEEE от Institute ofElectrical and Electronics Engineers.

1.2. Компьютерная арифметика 17цифр мантиссы — это точность рассматриваемой модели с плавающейточкой. На показатель степени e также обычно накладывается двустороннееограничение e min ≤ e ≤ e max .Стандарты IEEE 754/854 предписывают для цифровых ЭВМ значенияβ = 2 или β = 10, и в большинстве компьютеров используетсяβ = 2, т. е. двоичная система счисления. С одной стороны, это вызваноособенностями физичекой реализации современных ЭВМ, где 0 соответствуетотсутствию сигнала (заряда и т. п.), а 1 — его наличию. Сдругой стороны, двоичная система оказывается выгодной при выполнениис ней приближённых вычислений (см. [26]).✲ RРис. 1.1. Множество чисел, представимых в цифровой ЭВМ— дискретное конечное подмножество вещественной оси R.Как видим, числа с плавающей точкой обеспечивают практическификсированную относительную погрешность представления вещественныхчисел и изменяющуюся абсолютную погрешность.Стандарты IEEE 754/854 предусматривают для чисел с плавающейточкой «одинарную точность» и «двойную точность», а также «расширенные»варианты этих представлений. При этом для хранения чиселодинарной точности отводится 4 байта памяти ЭВМ, для двойной точности— 8 байтов. Из этих 32 или 64 битов один бит зарезервировандля указания знака числа: 0 соответствует «−», а 1 соответствует «+».Таким образом, во внутреннем «машинном» представлении знак присутствуету любого числа, в том числе и у нуля.Для двойной точности, наиболее широко распрстранённой в современныхрасчётах, диапазоп чисел, представимых в ЭВМ простираетсяот примерно 2.22·10 −308 до 1.79· 10 308 . Помимо обычных чисел стандартыIEEE 754/854 описывают несколько специальных объектов вычислений.Это, прежде всего, машинная бесконечность и специальныйнечисловой объект под названием NaN (названный как сокращение английскойфразы «Not a Number»). NaN полезен во многих ситуациях, вчастности, он может использоваться для сигнализации о нетипичныхи исключительных событиях, случившихся в процессе вычислений, которые,тем не менее, нельзя было прерывать.Очень важной характеристикой множества машинных чисел явля-

18 1. Введениеется так называемое «машинноеε» (машинное эпсилон), которое характеризуетгустоту множества машинно-представимых чисел. Это наименьшееположительное число ε маш , такое что в компьютерной арифметике1 + ε маш ≠ 1 при округлении к ближайшему. Из конструкциичисел с плавающей точкой следует тогда, что компьютер, грубоговоря, не будет различать чисел a и b, удовлетворяющих условию1 < a/b < 1+ε маш . Для двойной точности представления в стандартеIEEE 754/854 машинное эпсилон примерно равно 1.11·10 −16 .Принципиальной особенностью компьютерной арифметики, вызваннойдискретностью множества машинных чисел и наличием округлений,является невыполнение некоторых общеизвестных свойств вещественнойарифметики. Например, сложение чисел с плавающей точкойнеассоциативно, т. е. в общем случае неверно, что(a+b)+c = a+(b+c).Читатель может проверить на любом компьютере, что в арифметикеIEEE 754/854 двойной точности при округлении «к ближайшему»(1+1.1·10−16 ) +1.1·10 −16 ≠ 1+ ( 1.1·10 −16 +1.1·10 −16) .Левая часть этого отношения равна 1, тогда как правая — ближайшемук единице справа машинно-представимому числу. Эта ситуация имеетместо в любых приближённых вычислениях, которые сопровождаютсяокруглениями, а не только при расчётах на современных цифровыхЭВМ.Из отсутствия ассоциативности следует, что результат суммированиядлинных сумм вида x 1 +x 2 +...+x n зависит от порядка, в которомвыполняется попарное суммирование слагаемых, или, как говорят, отрасстановки скобок в сумме. Каким образом следует организовыватьтакое суммирование в компьютерной арифметике, чтобы получать наиболееточные результаты? Ответ на этот вопрос существенно зависитот значений слагаемых, но в случае суммирования уменьшающихся поабсолютной величине величин суммировать нужно «с конца». Именнотак, к примеру, лучше всего находить суммы большинства рядов.1.3 Обусловленность математических задачВынесенный в заголовок этого параграфа термин — обусловленность— означает меру чувствительности решения задачи к изменениям(возмущениям) её входных данных. Ясно, что любая информация

1.3. Обусловленность математических задач 19подобного сорта чрезвычайно важна при практических вычислениях,так как позволяет оценивать достоверность результатов, полученных вусловиях приближённого характера этих вычислений. С другой стороны,зная о высокой чувствительности решения мы можем предприниматьнеобходимые меры для компенсации этого явления — повышатьразрядность вычислений, наконец, модифицировать или вообще сменитьвыбранный вычислительный алгоритм и т. п.Существует несколько уровней рассмотрения поставленного вопроса.Во-первых, следует знать, является ли вообще непрерывной зависимостьрешения задачи от входных данных. Задачи, решение которых независит непрерывно от их данных, называют некорректными . Далее в§2.8г в качестве примера таких задач мы рассмотрим задачу численногодифференцирования. Во-вторых, в случае наличия этой непрерывностижелательно иметь некоторую количественную меру чувствительностирешения как функции от входных данных.Переходя к формальным конструкциям, предположим, что в рассматриваемойзадаче по значениям из множества D входных данныхмы должны вычислить решение задачи из множества ответов S. Отображениеφ : D → S, сопоставляющее всякому a из D решение задачииз S, мы будем называть разрешающим отображением (или разрешающимоператором). Отображение φ может быть выписано явнымобразом, если ответ к задаче задаётся каким-либо выражением. Часторазрешающее отображение задаётся неявно, как, например, при решениисистемы уравненийF(a,x) = 0с входными параметрами a. Даже при неявном задании нередко можнотеоретически выписать вид разрешающего отображения, как, например,x = A −1 b при решении системы линейных уравнений Ax = b сквадратной матрицейA. Но в любом случае удобно предполагать существованиеэтого отображения и некоторые его свойства. Пусть такжеDи S являются линейными нормированными пространствами. Очевидно,что самый первый вопрос, касающийся обусловленности задачи,требует, чтобы разрешающее отображение φ было непрерывным относительнонекоторого задания норм в D и S.Что касается числовой меры обусловленности математических задач,то существуют два подхода к её введению. Одни из них условноможет быть назван дифференциальным, а другой основан на оцениванииконстанты Липшица разрешающего оператора.

20 1. ВведениеПусть разрешающее отображение дифференцируемо по крайней мерев интересующей нас точке a из множества входных данных D. Тогдаможно считать, чтоφ(a+∆a) ≈ φ(a)+φ ′ (a)·∆a,и потому мерой чувствительности решения может служить ‖φ ′ (a)‖.Для более детального описания зависимости различных компонент решенияφ(a) от a часто привлекают отдельные частные производные∂φ i∂a j, т. е. элементы матрицы Якоби φ ′ (a) разрешающего отображенияφ, которые при этом называют коэффициентами чувствительности.Интересна также мера относительной чувствительности решения, которуюможно извлечь из соотношенияφ(a+∆a)−φ(a)‖φ(a)‖≈( φ ′ (a)‖φ(a)‖ ·‖a‖ ) ∆a‖a‖ .Второй подход к определению обусловленности требует нахождениякак можно более точных констант C 1 и C 2 в неравенствахи‖φ(a+∆a)−φ(a)‖ ≤ C 1 ‖∆a‖ (1.5)‖φ(a+∆a)−φ(a)‖‖φ(a)‖≤ C 2‖∆a‖‖a‖ . (1.6)Величины этих констант, зависящие от задачи, а иногда и конкретныхвходных данных, берутся за меру обусловленности решения задачи.Рис. 1.2. Непрерывная функция y = √ x имеет бесконечнуюскорость роста при x = 0 и не является липшицевой

1.4. Интервальная арифметика 21В связи с неравенствами (1.5)–(1.6) напомним, что вещественнаяфункция f : R n ⊇ D → R называется непрерывной по Липшицу (илипросто липшицевой), если существует такая константа L, что|f(x ′ )−f(x ′′ )| ≤ L·dist(x ′ ,x ′′ ) (1.7)для любыхx ′ ,x ′′ ∈ D. ВеличинуLназывают при этом константой Липшицафункции f на D. Понятие непрерывности по Липшицу формализуетинтуитивно понятное условие соразмерности изменения функцииизменению аргумента. Именно, приращение функции не должнопревосходить приращение аргумента (по абсолютной величине или внекоторой заданной метрике) более чем в определённое фиксированноечисло раз. При этом сама функция может быть и негладкой, как,например, модуль числа в окрестности нуля. Отметим, что понятиенепрерывности по Липшицу является более сильным свойством, чемпросто непрерывность или даже равномерная непрерывность, так каквлечёт за собой их обоих.Нетрудно видеть, что искомые константы C 1 и C 2 в неравенствах(1.5) и (1.6), характеризующие чувствительность решения задачи поотношению к возмущениям входных данных — это не что иное, какконстанты Липшица для разрешающего отображенияφ и произведениеконстанты Липшица L ψ отображения ψ : D → S, действующего поправилу a ↦→ φ(a)/‖φ(a)‖ на норму ‖a‖. В последнем случае‖φ(a+∆a)−φ(a)‖‖φ(a)‖ L ψ ‖∆a‖ ≤ L ψ ‖a‖· ‖∆a‖‖a‖ .1.4 Интервальная арифметикаИсходной идеей создания интервальной арифметики является наблюдениео том, что всё в нашем мире неточно, и нам в реальностичаще всего приходится работать не с точными значениями величин,которые образуют основу классической «идеальной» математики, а сцелыми диапазонами значений той или иной величины. Например, множествовещественных чисел, которые точно представляются в цифровыхЭВМ, конечно, и из-за присутствия округления каждое из этихчисел, в действительности, является представителем целого интервалазначений обычной вещественной оси R (см. Рис. 1.5–1.6).Нельзя ли организовать операции и отношения между диапазонамиинтерваламитак, как это сделано для обычных точных значений? С

22 1. Введениетем, чтобы можно было работать с ними, подобно обычным числам,опираясь на алгебраические преобразования, аналитические операциии т.п.? Ответ на эти вопросы положителен, хотя свойства получающейся«интервальной арифметики» оказываются во многом непохожимина привычные свойства операций с обычными числами.Предположим, что нам даны переменные a и b, точные значениякоторых неизвестны, но мы знаем, что они могут находиться в интервалах[a,a]и[b,b] соответственно. Что можно сказать о значении суммыa+b?Складывая почленно неравенстваполучимa ≤ a ≤ a,b ≤ b ≤ b,a+b ≤ a+b ≤ a+b,так что a+b ∈ [ a+b,a+b ] .На аналогичный вопрос, связанный с областью значений разностиa−b можно ответить, складывая почленно неравенстваa ≤ a ≤ a,−b ≤ −b ≤ −b.Имеем в результате a−b ∈ [ a−b,a−b ] .Для умножения двух переменных a ∈ [a,a] и b ∈ [b,b] имеет местонесколько более сложная оценкаa·b ∈ [ min{ab,ab,ab,ab},max{ab,ab,ab,ab} ] .Чтобы доказать её заметим, что функция φ : R ×R → R, задаваемаяправилом φ(a,b) = a · b, будучи линейной по b при каждом фиксированномa,принимает минимальное и максимальное значения на концахинтервала изменения переменной b. Это же верно и для экстремумовпо a ∈ [a,a] при любом фиксированном значении b. Наконец,min φ(a,b) = mina∈[a,a],b∈[b,b] a∈[a,a]max φ(a,b) = maxa∈[a,a],b∈[b,b] a∈[a,a]min φ(a,b),b∈[b,b]max φ(a,b),b∈[b,b]

1.4. Интервальная арифметика 23т. е. взятие минимума по совокупности аргументов может быть замененоповторным минимумом, а взятие максимума по совокупности аргументов— повторным максимумом, причём в обоих случаях порядокэкстремумов несуществен. Следовательно, для a ∈ [a,a] и b ∈ [b,b] всамом делеmin { ab,ab,ab,ab } ≤ a·b ≤ max { ab,ab,ab,ab } , (1.8)и нетрудно видеть, что эта оценка достижима с обеих сторон.Наконец, для частного двух ограниченных переменных несложновывести оценки из неравенств для умножения и из того факта, чтоa/b = a·(1/b).Проведённые выше рссуждения подсказывают идею — рассматриватьинтервалы вещественной оси как самостоятельные объекты, междукоторыми можно будет ввести свои собственные операции, отношенияи т. п. Мы далее будем обозначать интервалы буквами жирногошрифта: a, b, c, . . . , x, y, z. Подчёркивание и надчёркивание — a и a— будут зарезервированы для обозначения нижнего и верхнего концовинтервала, так что a = [a,a].Рассмотрим множество всех вещественных интерваловa := [a,a] ={a ∈ R | a ≤ a ≤ a}, и бинарные операции — сложение, вычитание,умножение и деление — определим между ними «по представителям»,т. е. в соответствии со следующим фундаментальным принципом:a⋆b := {a⋆b | a ∈ a, b ∈ b} (1.9)для всех интервалов a, b, таких что выполнение точечной операцииa⋆b, ⋆ ∈ {+, −, ·, /}, имеет смысл для любых a ∈ a и b ∈ b. При этомвещественные числа a отождествляются с интервалами нулевой ширины[a,a], которые называются также вырожденными интервалами.Кроме того, через (−a) условимся обозначать интервал (−1)·a.Для интервальных арифметических операций развёрнутое определение,равносильное (1.9), как мы установили выше, задаётся следующимиформулами:a+b = [ a+b, a+b ] , (1.10)a−b = [ a−b, a−b ] , (1.11)a·b = [ min{ab,ab,ab,ab} , max{ab,ab,ab,ab} ] , (1.12)a/b = a·[1/b,1/b ] для b ∌ 0. (1.13)

24 1. ВведениеВ частности, при умножении интервала на число полезно помнить следующеепростое правило:µ·a ={[µa,µa], если µ ≥ 0,[µa,µa], если µ ≤ 0.(1.14)Алгебраическая система 〈 IR,+,−,·,/ 〉, образованная множествомвсех вещественных интервалов a := [a,a] = {x ∈ R | a ≤ x ≤ a}с бинарными операциями сложения, вычитания, умножения и деления,которые определены формулами (1.10)–(1.13), называется классическойинтервальной арифметикой. Эпитет «классическая» используетсяздесь потому, что существуют и другие интервальные арифметики,приспособленные для решения других задач.Полезно выписать определение интервального умножения в видетак называемой таблицы Кэли, дающей представление результата операциив зависимости от различных комбинаций значений операндов.Для этого выделим в IR следующие подмножества:P := {a ∈ IR | a ≥ 0 и a ≥ 0} — неотрицательные интервалы,Z := {a ∈ IR | a ≤ 0 ≤ a}−P := {a ∈ IR | −a ∈ P}— нульсодержащие интервалы,— неположительные интервалы.В целом IR = P ∪ Z ∪ (−P). Тогда интервальное умножение (1.12)может быть описано с помощью Табл. 1.1, особенно удобной при реализцииэтой операции на ЭВМ.Именно по этой таблице реализовано интервальное умножение в подавляющембольшинстве компьютерных систем, поддерживающих интервальнуюарифметику, так как в сравнении с исходными формуламитакая реализация существенно более быстрая.Алгебраические свойства классической интервальной арифметикисущественно беднее, чем у поля вещественных чисел R. В частности,особенностью интервальной арифметики является отсутствие дистрибутивностиумножения относительно сложения: в общем случаеНапример,(a+b)c ≠ ac+bc.[1,2]·(1−1) = 0 ≠ [−1,1] = [1,2]·1−[1,2]·1.

1.4. Интервальная арифметика 25Таблица 1.1. Интервальное умножение· b ∈ P b ∈ Z b ∈ −Pa ∈ P [ab,ab] [ab,ab] [ab,ab]a ∈ Z[ab,ab][min{ab,ab},max{ab,ab}][ab,ab]a ∈ −P [ab,ab] [ab,ab] [ab,ab]Тем не менее, имеет место более слабое свойствоa(b+c) ⊆ ab+ac (1.15)называемое субдистрибутивностью умножения относительно сложения.В ряде частных случаев дистрибутивность всё-таки выполняется:a(b+c) = ab+ac, если a — вещественное число, (1.16)a(b+c) = ab+ac, если b,c ≥ 0 или b,c ≤ 0. (1.17)x 2✻✲x 1Рис. 1.3. Интервальные векторы-брусы в R 2 .Интервальный вектор — это упорядоченный кортеж из интервалов,расположенный вертикально (вектор-столбец) или горизонтально

26 1. Введение(вектор-строка). Таким образом, если a 1 , a 2 , . . . , a n — некоторые интервалы,то⎛ ⎞a 1a 2a = ⎜ ⎟ — это интервальный вектор-столбец,⎝ . ⎠a nаa = ( a 1 ,a 2 ,··· ,a n)— это интервальная вектор-строка.Множество интервальных векторов, компоненты которых принадлежатIR, мы будем обозначать через IR n . При этом нулевые векторы,т. е. такие, все компоненты которых суть нули, мы традиционно обозначаемчерез «0».Введём также важное понятие интервальной оболочки множестваЕсли S — непустое ограниченное множество в R n или R m×n , то его интервальнойоболочкой □S называется наименьший по включению интервальныйвектор (или матрица), содержащий S. Нетрудно понять,что это определение равносильно такому: интервальная оболочка множестваS — это пересечение всех интервальных векторов, содержащихS, т. е.□S = ∩{a ∈ IR n | a ⊇ S}.Интервальная оболочка — это интервальный объект, наилучшим образомприближающий извне (т. е. объемлющий) рассматриваемое множество,и компоненты □S являются проекциями множества S на координатныеоси пространства.Сумма (разность) двух интервальных матриц одинакового размераесть интервальная матрица того же размера, образованная поэлементнымисуммами (разностями) операндов.Если A = (a ij ) ∈ IR m×l и B = (b ij ) ∈ IR l×n , то произведение матрицA и B есть матрица C = (c ij ) ∈ IR m×n , такая чтоc ij :=l∑a ik b kj .k=1Нетрудно показать, что для операций между матрицами выполняетсясоотношениеA⋆B = □{A⋆B | A ∈ A,B ∈ B}, ⋆ ∈ {+,−,·}, (1.18)

1.5. Интервальные расширения функций 27где □ — интервальная оболочка множества, наименьший по включениюинтервальный вектор-брус, который содержит его.1.5 Интервальные расширения функцийПусть f : R → R — некоторая функция. Если мы рассматриваеминтервалы в виде самостоятельных объектов, то что следцует пониматьпод значением функции от интервала? Естественно считать, чтоf(x) = {f(x) | x ∈ x}.Задача об определении области значений функции на том или иномподмножестве области её определения, эквивалентная задаче оптимизации,в интервальном анализе принимает специфическую форму задачио вычислении так называемого интервального расширения функции.Определение 1.5.1 Пусть D — непустое подмножество пространстваR n . Интервальная функция f : ID → IR m называется интервальнымпродолжением точечной функции f : D → R m , если f(x) =f(x) для всех x ∈ D.Определение 1.5.2 Пусть D — непустое подмножество пространстваR n . Интервальная функция f : ID → IR m называется интервальнымрасширением точечной функции f : D → R m , если1) f(x) — интервальное продолжение f(x),2) f(x) монотонна по включению, т.е.x ′ ⊆ x ′′ ⇒ f(x ′ ) ⊆ f(x ′′ ) на ID.Таким образом, если f(x) — интервальное расширение функцииf(x), то для области значений f на брусе X ⊂ D мы получаем следующуювнешнюю (с помощью объемлющего множества) оценку:{f(x) | x ∈ X}=⋃x∈Xf(x) = ⋃x∈Xf(x) ⊆ f(X).Эффективное построение интервальных расширений функций — этоважнейшая задача интервального анализа, поиски различных решенийкоторой продолжаются и в настоящее время. Уместно привести в

28 1. Введение✻f(X)✛X✲❄Рис. 1.4. Интервальное расширение функциидаёт внешнюю оценку её области значенийрамках нашего беглого обзора некоторые общезначимые результаты вэтом направлении. Первый из них часто называют «основной теоремойинтервальной арифметики»:Теорема 1.5.1 Если для рациональной функции f(x) = f(x 1 , x 2 , ...,x n ) на брусе x = (x 1 ,x 2 ,...,x n ) ∈ IR n определён результат f ♮(x)подстановки вместо её аргументов интервалов их изменения x 1 , x 2 ,..., x n и выполнения всех действий над ними по правилам интервальнойарифметики, то{f(x) | x ∈ x} ⊆ f(x),т.е. f(x) содержит множество значений функции f(x) на x.Нетрудно понять, что по отношению к рациональной функции f(x)интервальная функция f ♮(x), о которой идёт речь в Теореме 1.5.1,является интервальным расширением. Оно называется естественныминтервальным расширением и вычисляется совершенно элементарно.Пример 1.5.1 Для функции f(x) = x/(x +1) на интервале [1,3] областьзначений в соответствии с результатом Теоремы 1.5.1 можно оценитьизвне как[1,3][1,3]+1 = [1,3][2,4] = [ 14 , 2] 3 . (1.19)Но если предварительно переписать выражение для функции в видеf(x) =11+1/x ,

1.5. Интервальные расширения функций 29разделив числитель и знаменатель дроби на x ≠ 0, то интервальноеоценивание даст уже результат11+1/[1,3] = 1 [ 43 ,2] = [ 12 , 3 4].Он более узок (т. е. более точен), чем (1.19), и совпадает к тому жес областью значений. Как видим качество интервального оцениваниясущественно зависит о вида выражения.Использование естественного интервального расширения подчас даётвесьма грубые оценки областей значений функций, в связи с чемполучили развитие более совершенные способы (формы) нахожденияинтервальных расширений. Одна из наиболее популярных — так называемаяцентрированная форма:n∑f c (x,˜x) = f(˜x)+ g i (x,˜x)(x i − ˜x i ),где ˜x = (˜x 1 ,˜x 2 ,...,˜x n ) —i=1некоторая фиксированная точка,называемая «центром»,g i (x,˜x) — интервальные расширения некоторыхфункций g i (x,˜x), которые строятсяпо f и зависят в общем случае какот ˜x, так и от x.В выписанном выше выражении g i (x,˜x) могут быть внешними оценкамикоэффициентов наклона функции f на рассматриваемой областиопределения, взятыми относительно точки ˜x, или же внешними интервальнымиоценками областей значений производных ∂f(x)/∂x i на x.В последнем случае точка ˜x никак не используется, а интервальнаяфункция f c называется дифференциальной центрированной формойинтервального расширения. 2Пример 1.5.2 Для оценивания функцииf(x) = x/(x+1) на интервалеx = [1,3] применим дифференциальную центрированную форму.Так какf ′ 1(x) =(x+1) 2,2 По отношению к ней часто используют также термин «среднезначная форма»,поскольку она может быть выведена из известной теоремы Лагранжа о среднем.

30 1. Введението интервальная оценка производной на заданном интервале областиопределения есть1([1,3]+1) 2 = [ 116 , ]14Поэтому если в качестве центра разложения взять середину интервалаmid x = 2, тоf(mid x)+f ′ (x)(x−mid x) = 2 3 +[ 116 , 1 4]·[−1,1]= 2 3 +[ − 1 4 , 1 4]=[ 512 , 1112].Как видим, этот результат значительно точнее естественного интервальногорасширения (1.19).За дальнейшей информацией мы отсылаем заинтересованного читателяк книгам [1, 24, 28, 29], развёрнуто излагающим построениеинтервальных расширений функций. Важно отметить, что точностьинтервального оценивания при использовании любой из форм интервальногорасширения критическим образом зависит от ширины брусаоценивания. Если обозначить через f(x) точную область значений целевойфункции на x, т. е. f(x) = {f(x) | x ∈ x}, то для естественногоинтервального расширения липшицевых функций имеет место неравенствоdist ( f ♮(x),f(x) ) ≤ C‖wid x‖ (1.20)с некоторой константой C, и этот факт обычно выражают словами«естественное интервальное расширение имеет первый порядок точности».Для центрированной формы верно соотношениеdist ( f c (x,˜x),f(x) ) ≤ 2(wid g(x,˜x)) ⊤ |x− ˜x|, (1.21)где g(x,˜x) = (g 1 (x,˜x),g 2 (x,˜x),...,g n (x,˜x)). В случае, когда интервальныеоценки для функций g i (x,˜x) находятся с первым порядкомточности, общий порядок точности центрированной формы согласно(1.21) будет уже вторым. Вывод этих оценок заинтересованный читательможет найти, к примеру, в [24, 29].Интервальные оценки областей значений функций, которые находятсяс помощью интервальных расширений, оказываются полезнымив самых различных вопросах вычислительной математики. В частности,с помощью интервального языка очень элегантно записываютсяостаточные члены различных приближённых формул. В качестве

1.6. Элементы конструктивной математики 31двух содержательных примеров применения интервальных расширенийфункций мы рассмотрим решение уравнений и оценку константыЛипшица для функций.1.6 Элементы конструктивной математики«Конструктивная математика» — это неформальное название тойчасти современной математики, тех математических дисциплин, — теорииалгоритмов, теории сложности вычислений, и ряда других — вкоторых главным объектом изучения являются процессы построениятех или иных математических объектов. Оформление конструктивнойматематики в отдельную ветвь общего математического дерева произошлона рубеже XIX и XX веков под влиянием обнаруженных к томувремени парадоксов теории множеств. Эти парадоксы заставили критическипереосмыслить существовавшие в математике способы рассужденийи само понятие «существования» для математических объектов.Создание основ конструктивного направления в математике связано,прежде всего, с деятельностью Л.Э.Я. Брауэра и развиваемым им «интуиционизмом».В частности, теория алгоритмов и рекурсивных функций — это математическаядисциплина, исследующая конструктивные свойства различныхматематических объектов. Её основные понятия — это алгоритм,конструктивный объект, вычислимость, разрешимость и др.Алгоритм — это конечная последовательность инструкций, записанныхна некотором языке и определяющих процесс переработки исходныхданных в искомые результаты (ответ решаемой задачи и т.п.).Алгоритм принципиально конечен и определяет собой конечный процесс.Далее, конструктивным объектом называется объект, которыйможет быть построен с помощью некоторой конечной последовательностидействий над каким-то конечным алфавитом. Таковы, например,рациональные числа. Строго говоря, конструктивные объекты и толькоони могут быть получены в качестве ответов при решении задачина реальных цифровых ЭВМ с конечными быстродействием и объёмомпамяти.В частности, конечными машинами являются широко распространенныеныне электронные цифровые вычислительные машины: ониспособны представлять, по сути дела, только конечные множества чисел.Таким образом, обречены на неудачу любые попытки использо-

32 1. Введениевать их для выполнения арифметических абсолютно точных операцийнад числовыми полями R и C, которые являются бесконечными (и даженепрерывными) множествами, большинство элементов которых непредставимы в цифровых ЭВМ.Оказывается, что значительная часть объектов, с которыми работаютсовременная математика и её приложения, не являются конструктивными.В частности, неконструктивным является традиционное понятиевещественного числа, подразумевающее бесконечную процедуруопределения всех знаков его десятичного разложения (которое в общемслучае непериодично). Факт неконструктивности вещественных чиселможет быть обоснован строго математически (см. [32]), и он указываетна принципиальные границы возможностей алгоритмического подходаи ЭВМ в деле решения задач математического анализа.Тем не менее, и в этом океане неконструктивности имеет смысл выделитьобъекты, которые могут быть «достаточно хорошо» приближеныконструктивными объектами. На этом пути мы приходим к понятиювычислимого вещественного числа [32, 22] 3 : вещественное число αназывается вычислимым, если существует алгоритм, дающий по всякомунатуральному числу n рациональное приближение к α с погрешностью1 n. Множество всех вычислимых вещественных чисел образуетвычислимый континуум. Соответственно, вычислимая вещественнаяфункция определяется как отображение из вычислимого континуума ввычислимый континуум, задаваемая алгоритмом преобразования программыаргумента в программу значений.Важно помнить, что и вычислимое вещественное число, и вычислимаяфункция — это уже не конструктивные объекты. Но, как выясняется,даже ценой ослабления наших требований к конструктивностинельзя вполне преодолеть принципиальные алгоритмические трудности,связанные с задачей решения уравнений. Для вычислимых вещественныхчисел и функций ряд традиционных постановок задач оказываетсяалгоритмически неразрешимыми в том смысле, что построениеобщих алгоритмов их решения принципиально невозможно.Например, алгоритмически неразрешимыми являются задачи1) распознавания равно нулю или нет произвольное вычислимое вещественногочисло [31, 32, 33], распознавания равенства двух вычислимыхвещественных чисел [22, 25, 31, 32];3 Совершенно аналогичным является определение конструктивного вещественногочисла у Б.А. Кушнера [31].

1.7. Сложность задач и трудоёмкость алгоритмов 332) нахождения для каждой совместной системы линейных уравненийнад полем конструктивных вещественных чисел какого-либоее решения [31, 33];3) нахождения нулей всякой непрерывной кусочно-линейной знакопеременнойфункции [33].Приведённые выше результаты задают, как нам представляется, туабсолютную и совершенно объективную мерку (в отличие от субъективныхпристрастий), с которой мы должны подходить к оценке трудоёмкоститех или иных вычислительных методов. Получается, чтонеобходимость переформулировки задачи решения уравнений и системуравнений связана ещё и с тем, что в традиционной постановке этизадачи оказываются алгоритмически неразрешимыми! На фоне этогомрачного факта наличие даже экспоненциально трудного алгоритма снебольшим основанием «одноэтажной» экспоненты в оценке сложности(вроде 2 n ) можно рассматривать как вполне приемлемый вариант разрешимостизадачи. Именно это имеет место в ситуации с вычислениемвращения векторного поля (степени отображения).Вычислительная математика тесно примыкает к конструктивной,хотя их цели и методы существенно разнятся.1.7 Сложность задачи трудоёмкость алгоритмовКак правило, нас удовлетворит не всякий процесс решения поставленнойзадачи, а лишь только тот, который выполним за практическиприемлемое время. Соответственно, помимо алгоритмической разрешимостизадач огромную роль играет трудоёмкость тех или иных алгоритмовдля их решения.Например, множество вещественных чисел, точно представимых вцифровых ЭВМ в формате «с плавающей точкой» согласно стандартуIEEE 754/854, является конечным, и потому мы можем найти, скажем,приближённые значения корней полинома (или убедиться в их отсутствии)за конечное время, просто перебрав все эти машинные числа ивычисляя в них значения полинома. Но, будучи принципиально выполнимым,такой алгоритм требует непомерных вычислительных затрат идля практики бесполезен.

34 1. ВведениеЕстественно измерять трудоёмкость алгоритма количеством «элементарныхопераций», требуемых для его исполнения. Следует лишьиметь в виду, что эти операции могут быть весьма различными. Скажем,сложение и умножение двух чисел «с плавающей точкой» требуютдля своего выполнения разного количества тактов современных процессорови, соответственно, разного времени. До определённой степениэти различия можно игнорировать и оперировать понятием усреднённойарифметической операции.Большую роль играет также объём данных, подавамых на вход алгоритма.К примеру, входными данными могут быть небольшие целыечисла, а могут и рациональные дроби с внушительными числителямии знаменателями. Ясно, что переработка б´ольших объёмов данныхдолжна потребовать б´ольших трудозатрат от алгоритма, так что имеетсмысл сложность исполнения алгоритма в каждом конкретном случаеотносить к сложности представления входных данных алгоритма. 4На качественном уровне полезно различать полиномиальную трудоёмкостьи экспоненциальную трудоёмкость. Говорят, что некоторыйалгоритм имеет полиномиальную трудоёмкость, если сложностьего выполнения не превосходит значений некоторого полинома от длинывходных данных. Напротив, про некоторый алгоритм говорят, чтоон имеет экспоненциальную трудоёмкость, если сложность его выполненияпревосходит значения любого полинома от длины подаваемыхему на вход данных.Получение оценок трудоёмкости задач является непростым делом.Если какой-то алгоритм решает поставленную задачу, то, очевидно,его трудоёмкость может служить верхней оценкой сложности решенияэтой задачи. Но вот получение нижних оценок сложности решения задачявляется чрезвычайно трудным. В явном виде такие нижние оценкинайдены лишь для очень небольшого круга задач, которые имеют,скорее, теоретическое значение. В этих условиях широкое распространениеполучила альтернативная теория сложности, в основе которойлежат понятие сводимости задач друг к другу и вытекающее из негопонятие эквивалентности задач по трудоёмкости.Наибольшее распространение получило полиномиальное сведениеодних задач к другим, под которым понимается такое преобразованиеодной задачи к другой, что данные и ответ исходной задачи перево-4 В связи с этим получили распространение также относительные единицы измерениятрудоёмкости алгоритмов — через количество вычислений функции, правойчасти уравнения и т. п.

1.8. Доказательные вычисления на ЭВМ 35дятся в данные и ответ для другой, а трудоёмкость этого преобразованияне превышает значений некоторого полинома от размера исходнойзадачи. Взаимная полиномиальная сводимость двух задач друг другуявляется отношением эквивалентности.Этим рассуждениям можно придать более строгую форму, что приводитк так называемой теории NP-трудности, получившей существенноеразвитие в последние десятилетия. Её основным понятием являетсяпонятие NP-трудной задачи (универсальной переборной задачи) [10]Таким образом, теория NP-полноты не отвечает напрямую на вопросо трудоёмкости решения тех или иных задач, но позволяет утверждать,что некоторые задачи «столь же трудны», как и другие известныезадачи. Нередко знание уже этого одного факта бывает существеннымдля ориентировки создателям вычислительных технологийрешения конкретных задач. Если известно, к примеру, что некотораязадача не проще, чем известные «переборные» задачи, которые, повидимому,не могут быть решены лучше, чем полным перебором всехвозможных вариантов, то имеет смысл и для рассматриваемой задачине стесняться конструирования алгоритмов «переборного» типа, имеющихэкспоненциальную трудоёмкость.Именно такова ситуация с некоторыми задачами, которые возникаютв вычислительной математике. К примеру, оценивание разброса решенийсистем линейных или нелинейных уравнений при варьированиипараметров этих систем в самом общем случае, когда мы не ограничиваемсебя величиной возмущений, является NP-трудной задачей. Вчастности, таковы интервальные системы уравнений.1.8 Доказательные вычисления на ЭВМТермин «доказательные вычисления» был введён в 70-е годы XXвека советским математиком К.И. Бабенко для обозначения вычислений,результат которых имеет такой же статус достоверности, как и результаты«чистой математики», полученные с помощью традиционныхдоказательств. В книге [3], где доказательным вычислениям посвящёнотдельный параграф, можно прочитать: «Под доказательными вычислениямив анализе мы понимаем такие целенаправленные вычисленияна ЭВМ, комбинируемые с аналитическими исследованиями, которыеприводят к строгому установлению новых фактов (теорем)». В отношениизадач, где ответом являются числа (набор чисел, вектор или

36 1. Введениематрица и т.п.) доказательность означает свойство гарантированностиэтих числовых ответов. 5 К примеру, если мы находим число π, то доказательнымответом может быть установление гарантированного неравенстваπ > 3.1415926 или π ≥ 3.1415926.Основная трудность, с которой сталкиваются при проведении доказательныхвычислений на современных цифровых ЭВМ, вытекает изневозможности адекватно отобразить непрерывную числовую ось R ввиде множества машинно представимых чисел. Таковых может бытьлишь конечное число (либо потенциально счётное), тогда как вещественнаяось R является непрерывным континуумом. Как следствие,типичное вещественное число не представимо точно в цифровой ЭВМс конечной разрядной сеткой.xРис. 1.5. Типичное вещественное число не представимо точнов цифровой ЭВМ с конечной разрядной сеткойСитуация, в действительности, ещё более серьёзна, так как неизбежнымиошибками, как правило, сопровождаются ввод данных в ЭВМ ивыполнение с ними арифметических операций. Хотя эти ошибки могутбыть очень малы, но, накапливаясь, они способны существенно исказитьответ к решаемой задаче. Встаёт нетривиальная проблема ихучёта в процессе счёта на ЭВМ . . .Xx ∈ XРис. 1.6. Интервальное решение проблемы представлениявещественных чисел в цифровой ЭВМОдним из средств доказательных вычислений на ЭВМ служит интервальнаяарифметика и, более общо, методы интервального анализа.В частности, вещественное число x в общем случае наиболее корректно5 Термин «доказательные вычисления на ЭВМ» является хорошим русским эквивалентомтаких распространённых английских оборотов как verified computation,verification numerics и др.✲ R✲ R

1.8. Доказательные вычисления на ЭВМ 37представляется в цифровых ЭВМ интервалом, левый конец которого —наибольшее машинно-представимое число, не превосходящее x, а правый— наименьшее машинно-представимое число, не меньшее x. Далеес получающимися интервалами можно выполнять операции по правиламинтервальной арифметики, рассмотренным в §1.4.Концы интервалов, получающихся при расчётах по формулам (1.10)–(1.13), также могут оказаться вещественными числами, не представимымив ЭВМ. В этом случае для обеспечения доказательности вычисленийимеет смысл несколько расширить полученный интервал до ближайшегообъемлющего его интервала с машинно-представимыми концами.Подобная версия интервальной арифметики называется машиннойинтервальной арифметикой с направленным округлением (см.Рис. 1.7).X✲ R⇐+Y✲ RZ✲ R⇐округление(Z)✲ RРис. 1.7. Машинная интервальная арифметикас внешним направленным округлениемСуществует несколько подходов к организации доказательных вычисленийна ЭВМ, из которых наиболее известными являются пошаговыйспособ оценки ошибок и апостериорное оценивание.В пошаговом способе доказательных вычислений мы разбиваем алгоритмвычисления решения на «элементарные шаги», оцениваем погрешностина каждом шаге вычислений. «Элементарными шагами»здесь могут быть как отдельные арифметические и логические опера-

38 1. Введениеции, так и целые их последовательности, слагающиеся в крупные блокиалгоритма. При этом полная погрешность получается из погрешностейотдельных «элементарных шагов» по правилам исчисления из §1.2.Очевидный недостаток такого способа организации оценки погрешностейсостоит в том, что мы неявно привязываемся к конкретному алгоритмувычисления решения. При этом качество оценок, получаемыхс помощью пошаговой парадигмы, существенно зависит от алгоритма,и «хороший» в обычном смысле алгоритм не обязательно хорош приоценивании погрешностей.При оценивании погрешностей простых «элементарных шагов» алгоритмовс помощью таких несложных средств как классическая интервальнаяарифметика, получаемые оценки, как правило, отличаютсяневысоким качеством. Но изощрённые варианты пошагового способаоценки погрешностей могут показывать вполне удовлетворительныерезультаты даже для довольно сложных задач. Таковы, к примеру,вычислительные алгоритмы для решения систем линейных алгебрическихуравнений, развиваемые в [30].Напротив, при апостериорном оценивании погрешности мы оцениваемпогрешность окончательного результата уже после его получения.Иными словами, мы разделяем способ получения двусторонней оценкирешения и установление её доказательности. Ниже в Главе 4 мы приведёмпримеры конкретных алгоритмов апостериорного оценивания длядоказательного решения некоторых популярных математических задач.Литература к главе 1Основная[1] Алефельд Г., Херцбергер Ю. Введение в интервальные вычисления. –Москва: Мир, 1987.[2] Барахнин В.Б., Шапеев В.П. Введение в численный анализ. – Санкт-Петербург–Москва– Краснодар: Лань, 2005.[3] Бабенко К.И. Основы численного анализа. – Москва: Наука, 1986.[4] Бауэр Ф.Л., Гооз Г. Информатика. В 2-х ч. – Москва: Мир, 1990.[5] Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. –Москва: Бином, 2003, а также другие издания этой книги.[6] Бахвалов Н.С., Корнев А.А., Чижонков Е.В. Численные методы. Решениязадач и упражнения. – Москва: Дрофа, 2008.

Литература к главе 1 39[7] Березин И.С., Жидков Н.П. Методы вычислений. Т. 1–2. – Москва: Наука,1966.[8] Вержбицкий В.М. Численные методы. Части 1–2. – Москва: «Оникс 21 век»,2005.[9] Волков Е.А. Численные методы. – Москва: Наука, 1987.[10] Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи.– Москва: Мир, 1982.[11] Демидович Б.П., Марон А.А. Основы вычислительной математики. –Москва: Наука, 1970.[12] Калиткин Н.Н. Численные методы. – Москва: Наука, 1978.[13] Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы.Т. 1–2. – Москва: Наука, 1976.[14] Кунц К.С. Численный анализ. – Киев: Техника, 1964.[15] Кунцман Ж. Численные методы. – Москва: Наука, 1979.[16] Мацокин А.М., Сорокин С.Б. Численные методы. Часть 1. Численный анализ.– Новосибирск: НГУ, 2006.[17] Меньшиков Г.Г. Локализующие вычисления. Конспект лекций. – Санкт-Петербург: СПбГУ, Факультет прикладной математики–процессов управления,2003.[18] Миньков С.Л., Миньков Л.Л. Основы численных методов. – Томск: Издательствонаучно-технической литературы, 2005.[19] Райс Дж. Матричные вычисления и математическое обеспечение. – Москва:Мир, 1984.[20] Самарский А.А., Гулин А.В. Численные методы. – Москва:Наука, 1989.[21] Тыртышников Е.Е. Методы численного анализа. – Москва: Академия, 2007.[22] Успенский В.А., Семёнов А.Л. Теория алгоритмов: основные открытия иприложения. – Москва: Наука, 1987.[23] Хансен Э., Уолстер Дж.У. Глобальная оптимизация с помощью методовинтервального анализа. – Москва-Ижевск: Издательство «РХД», 2012.[24] Шарый С.П. Конечномерный интервальный анализ. – Электронная книга,2010 (см. http://www.nsc.ru/interval/Library/InteBooks)[25] Aberth O. Precise numerical methods using C++. – San Diego: Academic Press,1998.[26] Goldberg D. What every computer scientist should know about floating pointarithmetic // ACM Computing Surveys. – 1991. – Vol. 23, No. 1. – P. 5–48.[27] Kreinovich V., Lakeyev A.V., Rohn J., Kahl P. Computational complexityand feasibility of data processing and interval computations. – Dordrecht: Kluwer,1997.[28] Moore R.E., Kearfott R.B., Cloud M. Introduction to interval analysis. –Philadelphia: SIAM, 2009.

40 1. Введение[29] Neumaier A. Interval methods for systems of equations. – Cambridge: CambridgeUniversity Press, 1990.Дополнительная[30] Годунов С.К., Антонов А.Г., Кирилюк О.Г., Костин В.И. Гарантированнаяточность решения систем линейных уравнений в евклидовых пространствах.– Новосибирск: Наука, 1988 и 1992.[31] Кушнер Б.А. Лекции по конструктивному математическому анализу. –Москва: Наука, 1973.[32] Мартин-Лёф П. Очерки по конструктивной математике. – Москва: Наука,1975.[33] Математический Энциклопедический Словарь. – Москва: Большая РоссийскаяЭнциклопедия, 1995.[34] IEEE Std 754-1985. IEEE Standard for Binary Floating-Point Arithmetic. – NewYork: IEEE, 1985.

Глава 2Численные методыанализа2.1 ВведениеПод численными методами анализа обычно понимаются вычислительныеметоды решения ряда задач, имеющих происхождение в классическомматематическом анализе. Традиционно сюда относят задачиинтерполирования и приближения функций, задачи численного нахожденияпроизводных и интегралов, а также задачу суммирования рядов.Кроме того, численные методы анализа охватывают задачу вычислениязначений функций, которая относительно проста для функций, явнозадаваемых несложными арифметическими выражениями, но становитсянетривиальной в случае, когда функция задаётся неявно или спомощью операций, выводящих за пределы конечного набора элементарныхарифметических действий.В нашем курсе мы будем заниматься первыми четырьмя из перечисленныхвыше задач, и рассмотрим сначала задачи интерполированияи приближения функций.Задачи интерполирования 1 и приближения функций являются тесносвязанными друг с другом задачами, которые укладываются в рамкиследующей единой неформальной схемы. Пусть дана функция f(x),принадлежащая некоторому классу функций F, и пусть также задан1 Наряду с термином «интерполирование» в равной мере используется его синоним«интерполяция».41

42 2. Численные методы анализаРис. 2.1. Различие задач интерполяции и приближения функций.класс функций G. Требуется найти функцию g(x) из G, которая в определённомзаранее смысле «достаточно близка» (или даже «наиболееблизка») к данной функции f(x). В зависимости от смысла, которыйвкладывается в понятие «близости» функций, в зависимости от того,какие именно функции образуют классы F и G, здесь могут получатьсяразличные конкретные постановки задач. При этом полезно наделятьрассматриваемые классы функций дополнительной структурой, например,считать, что они являются линейными векторными пространствамис нормой и т. п. Наконец, часто имеет место включение G ⊂ F.При уточнении понятий «близости» функций и «отклонения» однойфункции от другой обычно вводят множество значений аргументов X,на котором значения этих функций сравниваются друг с другом. X —это подмножество области определения функций, которое может совпадатьсо всей этой областью определения, но может также быть егонебольшой частью, скажем, конечным набором точек. В последнем случаеговорят о дискретной задаче приближения.Задача интерполирования получается из приведённой выше общейформулировки в случае, когда «близость» означает совпадение функцийf и g на некотором дискретном множестве точек x 0 , x 1 , . . . , x n изпересечения их областей определения. От функции f при этом требуютсялишь значения на этом множестве точек, и потому при постановкезадачи интерполяции она сама часто даже не фигурирует. Вместо fобычно задаются лишь её значения y 0 , y 1 , . . . , y n в точках x 0 , x 1 , . . . ,x n соответственно.Задача приближения функций (называемая также задачей аппроксимациифункций) является частным случаем общей формулировки, вкотором «близость» понимается как малое отклонение значений функ-

2.1. Введение 43ций f от g на подмножестве X из их области определения. Если Xсовпадает со всей областью определения, то удобно рассматривать эту«близость» или «отклонение» в терминах какого-то абстрактного расстояния(метрики), заданного на пересечении классов функций F и G(см. подробности в §2.10а). При этом в отличие от задачи интерполяцииточное равенство функции g заданным значениям не требуется;ситуация иллюстрируется Рис. 2.1.Напомним, что на множестве Y , образованном элементами произвольнойприроды, расстоянием (называемым также метрикой) называетсяопределённая на декартовом произведении Y ×Y функция dist снеотрицательными вещественными значениями, удовлетворяющая длялюбых f, g, h ∈ Y следующим условиям:(1) dist(f,g) = 0 тогда и только тогда, когда f = g,(2) dist(f,g) = dist(g,f) — симметричность,(3) dist(f,h) ≤ dist(f,g)+dist(g,h) — неравенство треугольника.Разнообразные способы определения расстояния между функциями,возникающие в практике математического моделирования, приводятк различным математическим задачам приближения. Например,популярны равномерное (чебышёвское) отклонение функций друг отдруга, которое определяется какmaxx∈[a,b]∣ f(x)−g(x)∣ ∣, (2.1)или интегральное отклонение функций на [a,b], определяемое как∫ ba∣∣ f(x)−g(x) ∣dx. (2.2)В §2.10г мы рассмотрим также задачу среднеквадратичного приближенияфункций, в которой отклонение функций f(x) и g(x) друг от другана интервале [a,b] полагается равным( ∫ ) 1/2 b( ) 2dx f(x)−g(x) . (2.3)aКроме перечисленных выше применяются также другие расстояниямежду функциями. Отметим, что расстояния (2.1)–(2.3) не вполне эквивалентныдруг другу в том смысле, что сходимость последовательностифункций к какому-то пределу относительно одного из этих расстоянийне обязательно влечёт сходимость относительно другого.

44 2. Численные методы анализаОтметим, что в задачах дискретного приближения функций «отклонение»или «близость» хорошо охватываются понятием псевдорасстояния(псевдометрики), которое определяется почти так же, как обычноерасстояние, но отличается от него ослаблением первой аксиомы:из dist(f,g) = 0 не обязательно следует, что f = g. 2 Тогда псевдорасстояниемежду двумя функциями, совпадающими на заданном наборезначений аргумента, будет равно нулю, даже если эти функции не равныдруг другу, т. е. различаются при каких-то других аргументах.2.2 Интерполирование функций2.2а Постановка задачи и её свойстваЗадача интерполирования — это задача восстановления (доопределения)функции, которая задана на дискретном множестве точек x i ,i = 0,1,...,n. Для функций одного вещественного аргумента её формальнаяпостановка такова.Задан интервал [a,b] ⊂ R и конечное множество попарно различныхточек x i ∈ [a,b], i = 0,1,...,n, называемых узлами интерполяции.Совокупность всех узлов будем называть сеткой. Даны значения y i ,i = 0,1,...,n. Требуется построить функцию g(x) от непрерывного аргументаx ∈ [a,b], которая принадлежит заданному классу функций Gи в узлах x i принимает значения y i , i = 0,1,...,n. Искомую функциюg(x) называют при этом интерполирующей функцией или интерполянтом.Практическая значимость задачи интерполяции чрезвычайно велика.Она встречается всюду, где у функции непрерывного аргумента (котораяможет быть временем, пространственной координатой и т. п.) мыимеем возможность наблюдать лишь значения в дискретном множестветочек, но хотим востановить по ним ход функции на всём множествезначений аргумента. Например, выполнение многих химических анализовтребует существенного времени, так что множество результатовэтих анализов по необходимости дискретно. Если нам нужно контролироватьпо ним непрерывно изменяющийся параметр какого-либо производственногопроцесса, то неизбежно потребуется интерполированиерезультатов анализов. Очень часто дискретность множества точек, в2 В отношении этого объекта можно встретить и другие термины. Так, в книге[13] используется термин «квазирасстояние».

2.2. Интерполирование функций 45которых наблюдаются на практике значения функции, вызвана ограниченностьюресурсов, которые мы можем выделить для сбора данных,или же вообще недоступностью этих данных. Именно так происходитпри наблюдении за параметрами земной атмосферы (скоростью и направлениемветра, температурой, влажностью, и пр.) по данным ихизмерений, которые предоставляются метеостанциями.В качестве ещё одного примера интерполирования упомянем вычислениеразличных функций, как элементарных — sin, cos, exp, log,. . . , так и более сложных, называемых «специальными функциями». Сподобной задачей человеческая цивилизация столкнулась очень давно,столетия и даже тысячелетия назад, и типичным способом её решенияв докомпьютерную эпоху было составление для нужд практики таблиц— табуляция — для значений интересующей нас функции при некоторыхспециальных фиксированных значениях аргумента, более илименее плотно покрывающих область её определения. Например, sin иcos для аргументов, кратных 10 ′ , т. е. десяти угловым минутам. Подобныетаблицы составлялись квалифицированными вычислителями, иногдаспециально создаваемыми для этой цели организациями, а затемшироко распространялись по библиотекам и научным и техническимцентрам, где к ним имели доступ люди, занимающиеся практическимивычислениями. Но как, имея подобную таблицу, найти значение интересующейнас функции для аргумента, который не представлен точнов таблице? Скажем, синус угла 17 ◦ 23 ′ по таблице, где аргумент идёт сшагом 10 ′ ?Здесь на помощь приходит интерполяция — восстановление значенияфункции в промежуточных точках по ряду известных значенийв некоторых фиксированных опорных точках. Собственно, сам термин«интерполирование» («интерполяция») был впервые употреблён в 1656году Дж. Валлисом при составлении астрономических и математическихтаблиц. Он происходит от латинского слова interpolare, означающего«переделывать», «подновлять», «ремонтировать».Для целей практических вычислений таблицы значений различныхфункций составлялись и издавались вплоть до середины XX века. Вершинойэтой деятельности стал выпуск многих томов капитальных таблиц,в которых были тщательно затабулированы все основные функции,встречающиеся в математической и инженерной практике (см., кпримеру, [35] и им аналогичные таблицы для других целей).Интересно, что с появлением и развитием электронных цифровыхвычислительных машин описанное применение интерполяции не кану-

46 2. Численные методы анализало в лету. В начальный период развития ЭВМ преобладал алгоритмическийподход к вычислению элементарных функций, когда основнойупор делался на создании алгоритмов, способных «на голом месте»вычислить функцию, исходя из какого-нибудь её аналитическогопредставления, например, в виде быстросходящегося ряда и т. п. (см., кпримеру, [19, 20]). Но затем, по мере удешевления памяти ЭВМ и повышенияеё быстродействия, постепенно распространился подход, оченьсильно напоминающий старый добрый табличный способ, но уже нановом уровне. Хранение сотен килобайт или даже мегабайт цифровойинформации никаких проблем сейчас не представляет, и потому всовременных компьютерах программы вычисления функций (элементарныхи специальных), как правило, включают в себя библиотеки затабулированныхзначений функции для фиксированных аргументов,опираясь на которые строится значение в нужной нам точке.yx 0 x 1 . . . . . . . x nРис. 2.2. Задача интерполяции может иметь неединственное решение.Ещё один источник возникновения задачи интерполирования — этожелание иметь просто вычисляемое выражение для сложных функциональныхзависимостей, которые могут быть заданы как явно, так инеявно, но в исходной форме требуют очень большого труда для своеговычисления.Если класс G интерполирующих функций достаточно широк, то решениезадачи интерполяции может быть неединственным (см. Рис. 2.2).Напротив, если G узок, то у задачи интерполяции может вовсе не быть

2.2. Интерполирование функций 47решений. На практике выбор класса G обычно диктуется спецификойрешаемой практической задачи.В случае, когда, к примеру, заранее известно, что интерполируемаяфункция периодична, в качестве интерполирующих функций естественновзять тоже периодические функции — тригонометрические полиномыm∑ (ak cos(kx)+b k sin(kx) ) (2.4)k=0для некоторого фиксированногоm (там, где требуется гладкость), либопилообразные функции или «ступеньки» (в импульсных системах) ит. п.yxРис. 2.3. Функция, которую лучше интерполироватьс помощью периодических функций.Ниже мы подробно рассмотрим ситуацию, когда в качестве интерполирующихфункций берутся алгебраические полиномыa 0 +a 1 x+a 2 x 2 +···+a m x m , (2.5)которые несложно вычисляются и являются простым и хорошо изученнымматематически объектом. При этом мы откладываем до §2.5рассмотрение вопроса о том, насколько такие полиномы хороши для интерполирования.Вообще, проблема наиболее адекватного выбора классаинтерполирующих функций G не является тривиальной. Для её хорошегорешения, как правило, необходимо, чтобы интерполирующиефункции были «той же природы», что и интерполируемые функции из

48 2. Численные методы анализакласса F (который даже не фигурирует в формальной постановке задачи).Если это условие не выполнено, то задача интерполяции можетрешаться неудовлетворительно.Определение 2.2.1 Интерполирование функций с помощью алгебраическихполиномов называют алгебраической интерполяцией. Алгебраическийполином P m (x) = a 0 +a 1 x+a 2 x 2 +···+a m x m , решающийзадачу алгебраической интерполяции, называется интерполяционнымполиномом или алгебраическим интерполянтом.Как по интерполяционным данным (x i ,y i ), i = 0,1,...,n, найтиинтерполяционный полином вида (2.5), т. е. определить его коэффициенты?Подставляя в выражение (2.5) последовательно значения аргументаx 0 , x 1 , . . . , x n и учитывая, что получающиеся при этом значения полиномадолжны быть равны y 0 , y 1 , . . . , y n , приходим к соотношениямa 0 +a 1 x 0 +a 2 x 2 0 +···+a mx m 0 =y 0,a 0 +a 1 x 1 +a 2 x 2 1 +···+a m x m 1 =y 1 ,.... .. . .. .a 0 +a 1 x n +a 2 x 2 n +···+a mx m n =y n.(2.6)Они образуют систему линейных алгебраических уравнений относительнонеизвестных коэффициентов a 0 , a 1 , a 2 , . . . , a m искомого полинома.Решив её, можно построить и сам полином.В самом общем случае, если мы не накладываем никаких ограниченийна степень полинома m и количество узлов интерполяции n+1,система (2.6) может не иметь решения, а если оно существует, то можетбыть неединственным. Имеется, тем не менее, важный частный случайзадачи алгебраической интерполяции, для которого гарантируется однозначнаяразрешимость.Теорема 2.2.1 Если m = n, т.е. степень интерполяционного полиномана единицу меньше количества узлов, то решение задачи алгебраическойинтерполяции существует и единственно.Доказательство. При m = n матрица системы линейных алгебраиче-

2.2. Интерполирование функций 49ских уравнений (2.6) — квадратная. Она имеет вид⎛1 x 0 x 2 0 ... x n 01 x 1 x 2 1 ... x n 1V(x 0 ,x 1 ,...,x n ) =⎜ .⎝ . . . .. .⎞⎟⎠ , (2.7)1 x n x 2 n ... x n nи является так называемой матрицей Вандермонда (см., к примеру,[14, 31]). Её определитель равен, как известно, произведению∏(x j −x i ),1≤i

50 2. Численные методы анализанений в силу ряда причин невыгоден в вычислительном отношении.Решение систем линейных уравнений само по себе является не вполнетривиальной задачей. Кроме того, система (2.6) оказывается весьмачувствительной к возмущениям данных или, как принято говорить,плохо обусловленной (см. §1.3; конкретную числовую оценку чувствительностирешения системы (2.6) можно найти в §§3.5а–3.5б). Поэтомуполучаемый на этом пути интерполяционный полином может обладатьбольшой погрешностью. Наконец, иногда желательно иметь для интерполяционногополинома какое-либо явное аналитическое представление,которого рассмотренный способ всё-таки не даёт.Систему линейных уравнений (2.6) можно попытаться решить в общемвиде с помощью правила Крамера, пользуясь удобным выражениемдля определителя матрицы Вандермонда в знаменателе и разложениемопределителей в числителе по столбцу свободных членов(y 0 ,y 1 ,...,y n ) ⊤ . Этот путь может быть успешно пройдён, но требуетгромоздких алгебраических преобразований.На самом деле нам нечасто требуется знать для интерполяционногополинома коэффициенты канонической формы (2.5). Для большинствапрактических целей достаточно иметь какое-либо конструктивноепредставление интерполяционного полинома, позволяющее вычислятьего значения в любой наперёд заданной точке.Для отыскания такого представления заметим, что при фиксированныхузлах x 0 , x 1 , . . . , x n результат интерполяции линейным образомзависит от значений y 0 , y 1 , . . . , y n . Более точно, если полиномP(x) решает задачу интерполяции по значениям y = (y 0 ,y 1 ,...,y n ), аполином Q(x) решает задачу интерполяции с теми же узлами по значениямz = (z 0 ,z 1 ,...,z n ), то для любых чисел α, β ∈ R полиномαP(x) + βQ(x) решает задачу интерполяции для значений αy + βz =(αy 0 +βz 0 ,αy 1 +βz 1 ,...,αy n +βz n ) на той же совокупности узлов. 3Отмеченным свойством линейности можно воспользоваться для решениязадачи интерполяции «по частям», которые удовлетворяют отдельныминтерполяционным условиям, а затем собрать эти части воедино.Именно, будем искать интерполяционный полином в видеP n (x) =n∑i=0y i φ i (x), (2.8)3 Сказанное можно выразить словами «оператор интерполирования линеен». Вдействительности, он даже является проектором, и эти наблюдения являются началомбольшого и плодотворного направления теории приближения функций.

2.2. Интерполирование функций 51где φ i (x) — полином степени n, такой что{0, при i ≠ j,φ i (x j ) = δ ij =1, при i = j,(2.9)i,j = 0,1,...,n, и посредством δ ij обозначен символ Кронекера. Полиномy i φ i (x) имеет степень n и решает задачу интерполяции для значений(0,...,0,y i ,0,...,0) в узлах x 0 , x 1 , . . . , x n , i = 0,1,...,n, и потомуполиномP n (x), задаваемый представлением (2.8), в целом действительноудовлетворяет условиям задачи.Коль скоро φ i (x) зануляется в точках x 0 , . . . , x i−1 , x i−1 , . . . , x n , тоясно, что он должен иметь видφ i (x) = Φ i (x−x 0 )···(x−x i−1 )(x−x i+1 )···(x−x n ). (2.10)В правой части этого равенства произведение n линейных по x членовдаёт полином степени n, так что Φ i должно быть некоторым числовыммножителем. Для его определения подставим в выражение (2.10)значение аргумента x = x i , откуда в силу (2.9) получаетсяСледовательно,и потомуΦ i (x i −x 0 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n ) = 1.Φ i =1(x i −x 0 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n ) ,φ i (x) = (x−x 0)···(x−x i−1 )(x−x i+1 )···(x−x n )(x i −x 0 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n ) .Полиномыφ i (x) называют базисными полиномами Лагранжа, а иногдатакже полиномами влияния i-го узла (последний термин объясняетсяусловием (2.9)).В целом, из (2.8) следует, что задачу алгебраической интерполяциирешает полином∏ n∑j≠iP n (x) = y (x−x j)i ∏j≠i (x i −x j ) . (2.11)i=0

52 2. Численные методы анализаЕго называют интерполяционным полиномом в форме Лагранжа илипросто интерполяционным полиномом Лагранжа.Далее нам потребуется его запись в несколько другом виде. Введёмвспомогательную функциюω n (x) = (x−x 0 )···(x−x i−1 )(x−x i )(x−x i+1 )···(x−x n ) (2.12)— полином (n+1)-й степени, зануляющийся во всех узлах интерполяции.Тогдаω n (x)φ i (x) =(x−x i )ω n(x ′ i ) , (2.13)и поэтомуn∑ ω n (x)P n (x) = y i(x−x i )ω n ′ (x i) . (2.14)i=0Задача интерполяции полностью решается с помощью полиномов(2.11) и (2.14), которые находят широчайшее применение в вычислительнойпрактике. Тем не менее, в ряде случаев они оказываются несовсем удобными. Дело в том, что каждый из базисных полиномовЛагранжа φ i (x) зависит от всех узлов интерполяции сразу. По этойпричине если, к примеру, мы имеем дело с изменяющимся наборомузлов, то каждый раз должны будем перевычислять все φ i (x). Инымисловами, при смене набора узлов интерполяции полином Лагранжапретерпевает большое изменение и должен быть перевычислен заново.Нельзя ли найти такую форму интерполяционного полинома, котораяизменялась бы незначительно при небольших изменениях в набореузлов интерполяции? Этот вопрос решается с помощью интерполяционногополинома в форме Ньютона, и для его построения нам будетнеобходима новая техника, основанная на понятии разделённой разностиот функции.2.2в Разделённые разности и их свойстваПусть дана функция f и попарно различные точки x 0 , x 1 , . . . , x n изеё области определения, в которых функция принимает значенияf(x 0 ),f(x 1 ), . . . , f(x n ). Разделёнными разностями функции f, обозначаемымиf ∠ (x i ,x i+1 ), называются отношенияf ∠ (x i ,x i+1 ) := f(x i+1)−f(x i )x i+1 −x i, (2.15)

2.2. Интерполирование функций 53i = 0,1,...,n−1. Их называют также разделёнными разностями первогопорядка.Разделённые разности второго порядка — это величиныf ∠ (x i ,x i+1 ,x i+2 ) := f∠ (x i+1 ,x i+2 )−f ∠ (x i ,x i+1 )x i+2 −x i, (2.16)i = 0,1,...,n−2, которые являются разделёнными разностями от разделённыхразностей. Аналогичным образом вводятся разделённые разностивысших порядков: разделённая разность k-го порядка от функцииf есть, по определению,f ∠ (x i ,x i+1 ,...,x i+k ) := f∠ (x i+1 ,...,x i+k )−f ∠ (x i ,...,x i+k−1 )x i+k −x i, (2.17)i = 0,1,...,n − k, т. е. она равна разделённой разности от разделённыхразностей предыдущего (k − 1)-го порядка. Для удобства и единообразияможно также считать, что сами значения функции являютсяразделёнными разностями нулевого порядка, т. е. f ∠ (x i ) = f(x i ),i = 0,1,...,n.Разделённые разности можно определелять не только для функцийнепрерывного аргумента, но и для функций дискретного аргумента,проще говоря, для набора значений y 0 ,y 1 ,...,y n , соответствующего узламx 0 , x 1 , . . . , x n . Назовём разделённой разностью первого порядкамежду узлами x i и x i+1 величину(y i ,y i+1 ) ∠ := y i+1 −y ix i+1 −x i.Разделённой разностью k-го порядка значений y i ,y i+1 ,...,y i+k по узламx i , x i+1 , . . . , x i+k называется величина(y i ,y i+1 ,...,y i+k ) ∠ := (y i+1,...,y i+k ) ∠ −(y i ,...,y i+k−1 ) ∠x i+k −x i,i = 0,1,...,n−k. Это обозначение не содержит явного указания на узлыx i ,x i+1 , . . . ,x i+k , по которым берётся набор значений(y i ,y i+1 ,...,y i+k ),так что значения этих узлов подразумеваются.Отметим, что в определении разделённых разностей, вообще говоря,не накладывается никаких условий на взаимное расположение точекx 0 , x 1 , . . . , x n . В частности, совсем не обязательно, чтобыx i < x i+1 .

54 2. Численные методы анализаПонятию разделённой разности можно также придать смысл для случаясовпадающих узлов x i = x i+1 , если понимать его как результатпредельного перехода при x i → x i+1 (см. подробности, к примеру, в[17, 56]).Нетрудно увидеть геометрический смысл разделённой разности первогопорядка. Будучи отношением приращения функции к приращениюеё аргумента, это угловой коэффициент (тангенс угла наклона коси абсцисс) секущей графика функции y = f(x), взятой между точкамис аргументами x i и x i+1 . В общем случае разделённая разностьфункции — это «средняя скорость» её изменения на рассматриваемоминтервале, в отличие от «мгновенной скорости» изменения функции вточке, выражаемой её производной f ′ (x).f(x i+1 )f(x i )x i x i+1Рис. 2.4. Иллюстрация смысла разделённых разностей,как углового коэффициента секущей графика функцииЕсли ˇx — какая-то фиксированная точка, то для любой другой точкиx имеет место равенствоf(x) = f(ˇx)+f ∠ (ˇx,x)(x− ˇx),аналогичное формуле Тейлора, в которой удержаны лишь члены первогопорядка. В связи с этим уместно упомянуть, что разделённуюразность иногда называют наклоном функции между заданными точками(см. [13]). Разделённые разности-наклоны могут быть определеныдля функций многих переменных и даже для операторов, действующихиз одного абстрактного пространства в другое. Интересно, что в началеXX века для обозначения этой конструкции использовался такжетермин «подъём функции» [64]. В математических текстах для разделённыхразностей функции f по точкам x i , x i+1 , . . . , x i+k нередко

2.2. Интерполирование функций 55используется обозначение f[x i ,x i+1 ,...,x i+k ] или даже маловыразительноеf(x i ,x i+1 ,...,x i+k ).Операция взятия разделённой разности является линейной: для любыхфункций f, g и для любых скаляров α, β справедливо(αf +βg) ∠ = αf ∠ +βg ∠ (2.18)при одинаковых аргументах разделённых разностей. Это очевидно следуетиз определения для разделённой разности первого порядка, а дляразделённых разностей высших порядков показывается несложной индукциейпо величине порядка. То же самое верно и для разделённыхразностей от наборов значений:(α(yi ,...,y i+k )+β(z i ,...,z i+k ) ) ∠= α(y i ,...,y i+k ) ∠ +β(z i ,...,z i+k ) ∠по одному и тому же набору узлов.Предложение 2.2.1 Имеет место представлениеf ∠ (x i ,x i+1 ,...,x i+k ) =∑i+kj=if(x j ). (2.19)∏(x j −x l )i+kl=il≠jДля разделённой разности от набора значений аналогичная формулавыглядит следующим образом(y i ,y i+1 ,...,y i+k ) ∠ =∑i+kj=ii+ky j.∏(x j −x l )l=il≠jДоказательство. Оно проводится индукцией по порядку k разделённойразности.При k = 1 доказываемая формула, как нетрудно проверить, совпадаетс определением разделённой разности первого порядка.Пусть Предложение уже доказано для некоторого положительного

56 2. Численные методы анализацелогоk. Тогда для разделённой разности k+1-го порядка будем иметьf ∠ (x i ,x i+1 ,...,x i+k+1 )= f∠ (x i+1 ,x i+1 ,...,x i+k+1 )−f ∠ (x i ,x i+1 ,...,x i+k )x i+k+1 −x i=⎛1· ⎜x i+k+1 −x i ⎝по определению разделённой разностиi+k+1∑i+k+1j=i+1f(x j )∏(x j −x l )l=i+1l≠j−∑i+ki+kj=if(x j )∏ ⎟(x j −x l ) ⎠l=il≠j⎞согласно индукционному предположению=f(x i+k+1 )(x i+k+1 −x i ) i+k ∏(x i+k+1 −x l )+l=i+1⎛1· ⎜x i+k+1 −x i ⎝∑i+ki+k+1j=i+1f(x j )∏(x j −x l )l=i+1l≠j−∑i+ki+kj=i+1f(x j )∏ ⎟(x j −x l ) ⎠l=il≠j⎞−f(x i )(x i+k+1 −x i ) i+k ∏(x i −x l )l=i+1после вынесения из-под скобок первого слагаемого первой суммы и последнегослагаемого второй суммы. В полученную сумму члены с f(x i )и f(x i+k+1 ) — первый и последний — входят по одному разу, причём ихкоэффициенты уже имеют тот вид, который утверждается в Предложении.Члены с остальными f(x j ) входят дважды, и после приведения

2.2. Интерполирование функций 57подобных членов коэффициент при f(x j ) будет равен⎛⎞1·x i+k+1 −x i⎜⎝∏i+k+1l=i+1l≠j1(x j −x l )−1i+k∏⎟(x j −x l ) ⎠l=il≠j= (x j −x i )−(x j −x i+k+1 )i+k+1∏(x i+k+1 −x i ) (x j −x l )l=il≠j=∏i+k+1l=il≠j1(x j −x l ),что и требовалось показать.Следствие. Разделённая разность — симметричная функция своих аргументов,т. е. узлов x 0 , x 1 , . . . , x k . Иными словами, она не изменяетсяпри любой их перестановке. Это непосредственно следует из симметричноговида выражения, стоящего в правой части (2.19).Для фиксированного набора узлов численные значения разделённыхразностей любой функции нетрудно вычислить согласно определениям(2.15)–(2.16) или по формуле (2.19). Но сложность выраженийдля разделённых разностей как функций узлов в общем случаебыстро возрастает с ростом порядка разделённой разности. Тем не менее,в случае алгебраических полиномов выражения для разделённыхразностей относительно просто получаются из выражений для исходнойфункции. Вспомним известную формулу элементарной алгебрыx n −y n = (x−y)(x n−1 +x n−2 y+···+xy n−2 +y n−1 ), из которой следует,чтоx n −y nx−y = xn−1 +x n−2 y +···+xy n−2 +y n−1 . (2.20)Этот результат позволяет явно выписать разделённую разность длялюбой целой степени переменной. Далее для произвольного полиномаможно воспользоваться свойством линейности разделённой разности(2.18).Пример 2.2.1 Вычислим разделённые разности от полинома g(x) =x 3 −4x+1.

58 2. Численные методы анализаБудем искать по отдельности разделённые разности от мономов,образующих g(x). В силу (2.20) имеемx 3 2 −x 3 1x 2 −x 1= x 2 2 +x 2x 1 +x 2 1 .Для линейного монома (−4x) разделённая разность находится тривиальнои равна (−4), а для константы1 она равна нулю. Следовательно,в целомg ∠ (x 1 ,x 2 ) = x 2 2 +x 2 x 1 +x 2 1 −4.Вычислим вторую разделённую разность от g(x):g ∠ (x 1 ,x 2 ,x 3 ) = g∠ (x 2 ,x 3 )−g ∠ (x 1 ,x 2 )x 3 −x 1Третья разделённая разность= (x2 3 +x 3x 2 +x 2 2 −4)−(x2 2 +x 2x 1 +x 2 1 −4)x 3 −x 1= x2 3 +(x 3 −x 1 )x 2 −x 2 1x 3 −x 1= x 1 +x 2 +x 3 .g ∠ (x 1 ,x 2 ,x 3 ,x 4 ) = g∠ (x 2 ,x 3 ,x 4 )−g ∠ (x 1 ,x 2 ,x 3 )x 4 −x 1= (x 2 +x 3 +x 4 )−(x 1 +x 2 +x 3 )x 4 −x 1= x 4 −x 1x 4 −x 1= 1,т. е. является постоянной. Четвёртая и последующие разделённые разностиот g(x) будут, очевидно, тождественно нулевыми функциями. Как видим, взятие разделённой разности от полинома уменьшаетего степень на единицу, так что разделённые разности порядка более nот полинома степени n равны нулю. Сделанное наблюдение демонстрируетглубокую аналогию между разделёнными разностями и производными:каждое применение дифференцирования к полиному также последовательноуменьшает его степень на единицу. В действительности,эта связь видна даже из определения разделённой разности первого

2.2. Интерполирование функций 59порядка, которую можно рассматривать как «недоделанную производную»,поскольку у неё отсутствует предельный переход одного аргументак другому.Предложение 2.2.2 (связь разделённых разностей с производными)Пусть f ∈ C n [a,b], т.е. функция f непрерывно дифференцируема nраз на интервале [a,b], где расположены узлы x 0 , x 1 , ..., x n , и пустьx = min{x 0 ,x 1 ,...,x n }, x = max{x 0 ,x 1 ,...,x n }. Тогдадля некоторой точки ξ ∈ ]x,x[.f ∠ (x 0 ,x 1 ,...,x n ) = 1 n! f(n) (ξ)Для разделённых разностей первого порядка этот факт непосредственноследует из теоремы Лагранжа о среднем (формулы конечныхприращений), согласно которойf(x i+1 )−f(x i ) = f ′ (ξ)·(x i+1 −x i )для некоторой точки ξ ∈ ]x i ,x i+1 [ . Для общего случая доказательствоПредложения 2.2.2 будет приведено несколько позже, в §2.2д.Существует более точное (хотя и более громоздкое) интегральноепредставление для разделённых разностей, о котором можно подробноузнать в [17, 53, 66].2.2г Интерполяционный полином НьютонаВыведем теперь другую форму интерполяционного полинома с учётомтребования иметь такое выражение, которое в минимальной степениперестраивалось бы при смене набора узлов интерполяции.Обозначим через P k (x) интерполяционный полином степени k, построенныйпо узлам x 0 , x 1 , . . . , x k . В частности, P 0 (x) = f(x 0 ), имеянулевую степень и будучи построенным по одному узлу x 0 . Тогда очевидноследующее тождествоP n (x) = P 0 (x)+n∑ (Pk (x)−P k−1 (x) ) . (2.21)k=1Замечательность этого представления состоит в том, что при добавленииили удалении последних по номеру узлов интерполяции перестройкедолжны подвергнуться лишь те последние слагаемые суммы

60 2. Численные методы анализаиз правой части (2.21), которые вовлекает эти изменяемые узлы. Первыеслагаемые в (2.21) зависят только от первых узлов интерполяциии останутся неизменными, Таким образом, стоящая перед нами задачаокажется решённой, если будут найдены удобные и просто выписываемыевыражения для разностей P k (x)−P k−1 (x).Заметим, что разность ( P k (x) − P k−1 (x) ) есть полином степени k,который обращается в нуль в узлах x 0 , x 1 , . . . , x k−1 , общих для P k (x)и P k−1 (x), где эти полиномы должны принимать одинаковые значенияf(x 0 ), f(x 1 ), . . . , f(x k−1 ). Поэтому должно бытьP k (x)−P k−1 (x) = A k (x−x 0 )(x−x 1 )···(x−x k−1 )с некоторой константойA k . Для её определения вспомним, что по условиюинтерполяции P k (x k ) = y k . Следовательно,A k =y k −P k−1 (x k )(x k −x 0 )(x k −x 1 )···(x k −x k−1 ) .Отсюда, подставляя вместо P k−1 (x) выражение для интерполяционногополинома в форме Лагранжа, нетрудно вывести, чтоA k =1·∏ ⎜y k −(x k −x l ) ⎝k−1l=0⎛∑k−1j=0⎞∏(x k −x l )∏ ⎟(x j −x l ) ⎠k−1l=0l≠jy jk−1l=0l≠j=k−1y k∏(x k −x l )l=0−⎛k−1∑1⎜k−1∏j=0⎝(x k −x l )l=0⎞∏(x k −x l )∏ ⎟(x j −x l ) ⎠k−1l=0l≠jy jk−1l=0l≠j=k−1y k∏(x k −x l )l=0−k−1∑j=0y j(x k −x j ) k−1 ∏(x j −x l )l=0l≠jпосле сокращенияпроизведений

2.2. Интерполирование функций 61=y kk∏(x k −x l )l=0l≠k+∑k−1j=0y j(x j −x k ) k−1 ∏(x j −x l )l=0l≠j=k∑j=0y jk∏(x j −x l )l=0l≠j= (y 0 ,y 1 ,...,y k ) ∠в силу представления, доказанного в Предложении 2.2.1. ОкончательноP n (x) =y 0 +(y 0 ,y 1 ) ∠ (x−x 0 )+(y 0 ,y 1 ,y 2 ) ∠ (x−x 0 )(x−x 1 )+...+(y 0 ,y 1 ,y 2 ,...,y n ) ∠ (x−x 0 )(x−x 1 )···(x−x n−1 ).Выражение в правой части этого равенства называется интерполяционнымполиномом в форме Ньютона, или просто интерполяционнымполиномом Ньютона. Оно является равносильной формой записиинтерполяционного полинома, широко применяемой в ситуациях, гдеиспользование формы Лагранжа по тем или иным причинам оказываетсянеудобным. Полезно иметь в виду следующее представление 4P n (x) = P k (x)+(y 0 ,y 1 ,...,y k+1 ) ∠ (x−x 0 )···(x−x k ) (2.22)+...+(y 0 ,y 1 ,...,y n ) ∠ (x−x 0 )···(x−x n−1 ),справедливое для любого k, такого что 0 ≤ k ≤ n−1.Пусть f — вещественная n-гладкая функция. С учётом результатаПредложения 2.2.2, т. е. равенстваf ∠ (x 0 ,x 1 ,...,x n ) = 1 n! f(n) (ξ),хорошо видно, что интерполяционный полином Ньютона для гладкойфункции непрерывного аргумента является прямым аналогом формулыТейлора (полинома Тейлора)f(x 0 )+f ′ (x 0 )(x−x 0 )+ f′′ (x 0 )2!(x−x 0 ) 2 +...+ f(n) (x 0 )n!(x−x 0 ) n .4 Образно выражаясь, оно показывает, как интерполяционные полиномы Ньютонаразных степеней вложены друг в друга наподобие «матрёшек».

62 2. Численные методы анализаПри этом аналогами степеней переменной (x−x 0 ) k являются произведения(x−x 0 )(x−x 1 )···(x−x k ), которые в случае равномерно расположенныхи упорядоченных по возрастанию узлов x 0 , x 1 , . . . , x k частоназывают обобщённой степенью [9].Практическое нахождение интерполяционного полинома Ньютонатребует знания всех разделённых разностей функции, и наиболее удобновычислять их всё-таки по рекуррентным формулам (2.15)–(2.17).Важнейший частный случай интерполирования относится к равномерномурасположению узлов, когда величина h i = x i −x i+1 постояннаи не зависит от i. Тогда вычисление разделённых разностей решительноупрощается, сводясь к оперированию с так называемыми конечнымиразностями. По определению конечной разностью (иногда добавляют— первого порядка) от функции f в точке x называется величина∆y = ∆f(x) = f(x+h)−f(x).В частности, можно считать, что ∆x = h. Конечные разности второгопорядка ∆ 2 f(x) — это конечные разности от конечных разностей, идалее рекуррентно.Таблица 2.1. Горизонтальная таблицаконечных разностей функцииx y ∆y ∆ 2 y ... ∆ n yx 0 y 0 ∆y 0 ∆ 2 y 0 ... ∆ n y 0x 1 y 1 ∆y 1 ∆ 2 y 1 ... ∆ n y 1x 2 y 2 ∆y 2 ∆ 2 y 2 ... ∆ n y 2..... .. .Интерполяционный полином Ньютона для равномерно расположен-

2.2. Интерполирование функций 63ных узлов принимает видP n (x) =f(x 0 )+ ∆f(x 0)1!h (x−x 0)+ ∆2 f(x 0 )2!h 2 (x−x 0 )(x−x 1 )+...+ ∆n f(x 0 )n!h n (x−x 0 )(x−x 1 )···(x−x n−1 ),особенно сильно похожий на полином Тейлора, тем более, что классическоеобозначение для производных f (n) = dn fdx. nВычисление конечных разностей таблично заданной функции удобнооформлять также в виде таблицы (см. Табл. 2.1), где в дополнительныхстолбцах, заполняемых последовательно один за другим (слеванаправо), выписываются значения конечных разностей.2.2д Погрешность алгебраическойинтерполяции с простыми узламиЗадача интерполяции, успешно решённая в предшествующих параграфах,часто находится в более широком контексте, описанном вовведении к этой теме, на стр. 41. Именно, значения y 0 , y 1 , . . . , y n принимаютсяв узлах x 0 , x 1 , . . . , x n некоторой реальной функцией непрерывногоаргумента f(x), свойства которой (хотя бы отчасти) известны.Насколько сильно будет отличаться от неё построенный нами интерполянт?Именно это отличие понимается под «погрешностью интерполяции».Определение 2.2.2 Остаточным членом или остатком интерполяцииназывается функция R(f,x) = f(x)−g(x), являющаяся разностью рассматриваемойфункции f(x) и интерполирующей её функции g(x).Предложение 2.2.3 Если точка z не совпадает ни с одним из узловинтерполирования x 0 , x 1 , ..., x n , то в задаче алгебраической интерполяцииостаточный член R n (f,z) := f(x)−P n (x) равенR n (f,z) = f ∠ (x 0 ,x 1 ,...,x n ,z)·ω n (z), (2.23)где функция ω n определяется посредством (2.12), т.е.n∏ω n (x) = (x−x i ).i=0

64 2. Численные методы анализаДоказательство. Выпишем для f интерполяционный полином Ньютона(n+1)-й степени по узлам x 0 , x 1 , . . . , x n , z. Согласно (2.22)P n+1 (x) = P n (x)+f ∠ (x 0 ,x 1 ,...,x n ,z)(x−x 0 )(x−x 1 )···(x−x n ),где P n (x) — полином Ньютона для узлов x 0 , x 1 , . . . , x n . Подставляя вэто соотношение значение x = z, получимP n+1 (z) = P n (z)+f ∠ (x 0 ,x 1 ,...,x n ,z)(z −x 0 )(z −x 1 )···(z −x n ).Но P n+1 (z) = f(z) по построению полинома P n+1 . ПоэтомуR n (f,z) = f(z)−P n (z)= f ∠ (x 0 ,x 1 ,...,x n ,z)(z −x 0 )(z −x 1 )···(z −x n ),что и требовалось.Полученный результат позволяет точно находить численное значениепогрешности интерполирования в конкретных точках, но он неочень полезен для исследования поведения погрешности «в целом»,на всём интервале интерполирования. Чтобы получить более удобныеоценки для остаточного члена, нам будет необходимо воспользоватьсяПредложением 2.2.2 о связи разделённых разностей и производных, имы дадим его строгое доказательство.Доказательство Предложения 2.2.2.Поскольку разделённая разность есть симметричная функция узлов,то в формуле (2.2.2) без какого-либо ограничения общности можносчитать эти узлы x 0 , x 1 , . . . , x n упорядоченными по возрастаниюиндекса, т. е. x 0 < x 1 < ... < x n . Обозначивθ(x) := f (n) (x)−n!f ∠ (x 0 ,x 1 ,...,x n ),можно заметить, что Предложение 2.2.2 равносильно тогда следующемуутверждению: на ]x 0 ,x n [ существует точка ξ, которая являетсянулём функции θ(x).По точкам x 0 , x 1 , . . . , x n построим для функции f(x) интерполяционныйполином P n (x). Тогда введённая выше функция θ(x) есть n-ая производная по x от остаточного члена интерполяции R n (f,x) =f(x)−P n (x), т. е.f (n) (x)−n!f ∠ (x 0 ,x 1 ,...,x n ) = R (n)n (f,x),

2.2. Интерполирование функций 65в чём можно убедиться непосредственным дифференцированием равенстваR n (f,x) = f(x)−P n (x),где интерполяционный полином P n (x) берётся в форме Ньютона.В самом деле, в интерполяционном полиноме Ньютона только уразделённой разности n-го порядка f ∠ (x 0 ,x 1 ,...,x n ) коэффициент являетсяполиномомn-ой степени со старшим членом x n . Коэффициентыостальных разделённых разностей — полиномы меньших степеней отx, которые исчезнут при n-кратном дифференцировании, тогда как отполинома n-ой степени со старшим членом x n после этого дифференцированияостанется число n!.Функция R n (f,x) является n-кратно дифференцируемой на [a,b] и,кроме того, обращается в нуль вn+1 различных точках — узлах интерполяцииx 0 , x 1 , . . . , x n . В силу известной из математического анализатеоремы Ролля производная R n(f,x) ′ обязана зануляться внутри n интервалов[x 0 ,x 1 ], [x 1 ,x 2 ], . . . , [x n−1 ,x n ], т. е. она имеет n нулей.Далее, повторяя те же рассуждения в отношении второй производнойR n(f,x), ′′ приходим к выводу, что она должна иметь на ]x 0 ,x n [ неменее n − 1 нулей. Аналогично для третьей производной R n ′′′(f,x)ит. д. вплоть до R n (n) (f,x), которая должна иметь на ]x 0 ,x n [ хотя быодин нуль. Это и требовалось доказать.Теорема 2.2.2 Пусть f ∈ C n+1 [a,b], т.е. функция f(x) непрерывнодифференцируема n+1 раз на интервале [a,b]. При её интерполированиипо попарно различным узлам x 0 , x 1 , ..., x n с помощью полиномаn-ой степени остаточный член R n (f,x) может быть представлен ввидеR n (f,x) = f(n+1)( ξ(x) )·ω n (x), (2.24)(n+1)!где ξ(x) — некоторая точка, принадлежащая открытому интервалу]a,b[ и зависящая от x, а ω n = (x−x 0 )(x−x 1 )...(x−x n ).Доказательство. Если x = x i для одного из узлов интерполирования,то R n (f,x) = 0, но в то же время и ω n (x) = 0. Поэтому в качестве ξ вэтом случае можно взять любую точку из открытого интервала ]a,b[ .Если же аргумент x остаточного члена не совпадает ни с однимиз узлов интерполирования, то применяем Предложение 2.2.3, в которомразделённая разность представлена согласно результату Предложения2.2.2.

66 2. Численные методы анализаВыражение (2.24) для остаточного члена алгебраической интерполяцииобычно связывают с именем О.Л. Коши, впервые его получившего.Другое выражение для остаточного члена, не использующее неизвестнуюточку ξ(x) и основанное на интегральном представлении разделённыхразностей, можно найти, к примеру, в книгах [17, 66].Если обозначитьM n = maxξ∈[a,b] |f(n) (ξ)|— максимум абсолютного значения n-ой производной на рассматриваемоминтервале, то нетрудно выписать огрублённые оценки, вытекающиеиз (2.24) и полезные при практическом вычислении погрешностиинтерполирования:или даже совсем простую|R n (f,x)| ≤ M n+1(n+1)! ·|ω n(x)|, (2.25)|R n (f,x)| ≤ M n+1(b−a) n+1. (2.26)(n+1)!Для оценивания максимума (n + 1)-ой производной функции можновоспользоваться, к примеру, интервальными методами, взяв какое-либоинтервальное расширение для f (n+1) (x) на [a,b] (см. §1.5).Отметим, что полученные выше оценки — (2.24) и её следствия(2.25) и (2.26) — становятся неприменимыми, если функция f имеетгладкость, меньшую чем n+1. В то же время представление погрешностиинтерполирования в виде (2.23) работает для любых функций.В представлении (2.24) поведение полинома ω n (x) при измененииx типично для полиномов с вещественными корнями вообще. Пусть,как и ранее, x = min{x 0 ,x 1 ,...,x n }, x = max{x 0 ,x 1 ,...,x n }. Если аргументx находится на интервале [x,x] расположения корней x 0 , x 1 ,. . . , x n или «не слишком далёко» от него, то ω n (x) принимает относительноумеренные значения, так как формирующие его множители(x−x i ), i = 0,1,...,n, «не слишком сильно» отличаются от нуля. Еслиже значения аргумента x находятся на существенном удалении откорней полинома ω n (x), то его абсолютная величина и вместе с нейпогрешность алгебраической интерполяции, очень быстро растут. НаРис. 2.5 изображён пример графика такого полинома нечётной (седьмой)степени.

2.2. Интерполирование функций 67ω n (x)xРис. 2.5. Типичное поведение полинома ω n(x):быстрый рост за пределами интервала узловВ связи со сказанным выше полезно на качественном уровне различатьдва случая. Если значения интерполируемой функции ищутсяв точках, далёких от интервала узлов интерполяции, используют терминэкстраполяция. Ей противопоставляется интерполяция в узкомсмысле, когда значения функции восстанавливаются на интервале, гдерасположены узлы, или же вблизи от него. Из наших рассуждений следует,что экстраполяция, как правило, сопровождается существеннымиошибками, и потому не стоит использовать её слишком широко.В рассмотренной выше постановке задачи интерполирования (§2.2а)расположение узлов считалось данным извне и фиксированным. Подобныйподход соответствует тем практическим задачам, в которых измерениявеличины y i могут осуществляться, к примеру, лишь в какиетофиксированные моменты времени x i , либо в определённых выделенныхточках пространства и т. п., то есть заданы каким-то внешнимобразом и не могут быть изменены по нашему желанию.Но существуют задачи, в которых мы можем управлять выбором узловинтерполирования. При этом естественно возникает вопрос о том,как сделать этот выбор наилучшим образом, чтобы погрешность интерполированиябыла как можно меньшей. В наиболее общей формулировкеэта задача является весьма трудной, и её решение существенно

68 2. Численные методы анализазавязано на свойства интерполируемой функции f(x). Но имеет смыслрассмотреть и упрощённую постановку задачи, в которой на заданноминтервале минимизируются значения полинома ω n (x), тогда какмножитель f ∠ (x 0 ,x 1 ,...,x n ,z) или множитель f (n+1) (ξ(x))/(n + 1)! ввыражениях для остаточного члена (2.23) или (2.24) соответственноогрублённо считаются «приближёнными константами».Фактически, ответ на поставленный вопрос сводится к подбору узловx 0 , x 1 , . . . , x n в пределах заданного интервала [a,b] так, чтобыполином ω n (x) = (x − x 0 )(x − x 1 )...(x − x n ) принимал «как можноменьшие значения» на [a,b]. Конкретный смысл, который вкладываетсяв эту фразу, может быть весьма различен, так как функция —полином ω n (x) в нашем случае — определяется своими значениями вбесконечном множестве аргументов, и малость одних значений функцииможет иметь место наряду с очень большими значениями при другихаргументах (см. Рис. 2.18). Ниже мы рассматриваем ситуацию, когда«отклонение от нуля» понимается как равномерное (чебышёвское)расстояние (2.1) до нулевой функции, т. е. как максимум абсолютныхзначений функции на интервале. Это условие является одним из наиболеечасто встречающихся в прикладных задачах.2.3 Полиномы Чебышёва2.3а Определение и основные свойстваПолиномы Чебышёва — это семейство полиномов, обозначаемых потрадиции 5 как T n (x), и зависящих от неотрицательного целого параметраn. Они могут быть определены различными равносильными способами,и наиболее просто и наглядно их тригонометрическое определение:T n (x) = cos(n arccosx), x ∈ [−1,1], (2.27)n = 0,1,2,.... Как известно, всякий полином степени n однозначноопределяется своими значениями в (n + 1) точках, а формулой (2.27)мы фактически задаём значения функции в бесконечном множестветочек из [−1,1]. Поэтому если посредством (2.27) на [−1,1] в самомделе задаются полиномы, то они однозначно определяются с помощью5 С буквы «T» начинаются немецкое (Tschebyschev) и французское (Tchebychev)написания фамилии П.Л.Чебышёва, открывшего эти полиномы.

2.3. Полиномы Чебышёва 69этой формулы на всей вещественной оси, а не только для значенийаргумента x ∈ [−1,1].Представление (2.27), в действительности, справедливо для любыхx ∈ R, если под arccosx понимать комплексное значение и, соответственно,рассматривать косинус от комплексного аргумента. Можнопоказать, чтоT n (x) = ch(n archx), (2.28)где chz = 1 2 (ez + e −z ) — гиперболический косинус, а arch — обратнаяк нему функция. Определение (2.28) удобно применять для вещественныхаргументов x, таких что |x| ≥ 1.Предложение 2.3.1 Функция T n (x), задаваемая формулой (2.27), —полином степениn, и его старший коэффициент при n ≥ 1 равен 2 n−1 .Доказательство. Мы проведём его индукцией по номеру n полиномаЧебышёва. При n = 0 имеем T 0 (x) = 1, при n = 1 справедливо T 1 (x) =x, так что база индукции установлена.Далее, из известной тригонометрической формулы( ) ( ) α+β α−βcosα+cosβ = 2 cos cos2 2следует, чтоcos ( (n+1)arccosx ) +cos ( (n−1)arccosx )Следовательно, в силу (2.27)= 2 cos(narccosx) cos(arccosx)= 2x cos(narccosx).T n+1 (x) = 2xT n (x)−T n−1 (x) (2.29)для любых n = 1,2,....Таким образом, если T n−1 (x) и T n (x) являются полиномами степени(n − 1) и n соответственно, то T n+1 (x) — также полином, степенькоторого на единицу выше степени T n (x), а старший коэффициент — в2 раза больше. Полученные в доказательстве рекуррентные формулы (2.29) позволяютпоследовательно выписывать явные алгебраические выражения

70 2. Численные методы анализа1.51T 0T 10.5T 40−0.5−1T 2T 3−1.5−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1Рис. 2.6. Графики первых полиномов Чебышёва на интервале [−1.2,1.2].для полиномов Чебышёва:T 0 (x) = 1,T 1 (x) = x,T 2 (x) = 2x 2 −1,T 3 (x) = 4x 3 −3x,T 4 (x) = 8x 4 −8x 2 +1,T 5 (x) = 16x 5 −20x 3 +5x,··· .(2.30)По рекуррентным формулам (2.29) и следующим из них явным выражениям(2.30) полиномы Чебышёва единообразно определяются длялюбых значений аргумента x.Рассмотрим кратко основные свойства полиномов Чебышёва. Причётном (нечётном) n полином Чебышёва T n (x) есть чётная (нечётная)функция от x. Действительно, выражение для T n (x) при чётном n содержиттолько чётные степени x (нуль считаем чётным числом), а принечётном n — только нечётные степени x, что по индукции следует изрекуррентной формулы (2.29).

2.3. Полиномы Чебышёва 71Найдём корни полиномов Чебышёва на вещественном интервале[−1,1]. Исходя из представления (2.27), вспомним, каковы нули косинуса.Должно бытьn arccosx = π +kπ, k ∈ Z,2причём в этой формуле k можно брать таким, чтобы область значенийправой части не выходила за интервал [0,nπ], когда имеет смысл леваячасть. Итак, корни полинома Чебышёва суть˚x k = cos(2k +1)π, k = 0,1,...,n−1. (2.31)2nВ целом, полином T n (x) имеет n вещественных различных корней,все они в самом деле находятся на интервале [−1,1] и выражаются ввиде (2.31). Расположение корней полинома Чебышёва можно нагляднопроиллюстрировать чертежом на Рис. 2.7, где эти корни соответствуютабсциссам точек пересечения единичной окружности с центром вначале координат с радиусами, откладываемыми через одинаковые долиразвёрнутого угла. Из этой иллюстрации хорошо видно, что корниполинома Чебышёва расположены существенно неравномерно: они сгущаютсяк концам интервала [−1,1], а в середине более разрежены.−1 0 1 xРис. 2.7. Иллюстрация расположения корней полиномов Чебышёва.Максимум модуля значений полинома Чебышёва на [−1,1] равен 1,max |T n(x)| = 1,x∈[−1,1]этот максимум достигается в точках x s = cos(sπ/n), s = 0,1,...,n,причём T n (x s ) = (−1) s , s = 0,1,...,n. Это непосредственно следует

72 2. Численные методы анализаиз тригонометрического определения полиномов Чебышёва (2.27), гдевнешний cos должен достигать максимальных по модулю значений ±1в точках x s , удовлетворяющих условию n arccosx = sπ, s = 0,1,...,n.Следующее свойство полиномов Чебышёва настолько важно, чтомы оформим его как отдельноеПредложение 2.3.2 Среди полиномов степени n, n ≥ 1, со старшимкоэффициентом, равным 1, полином ˜T n (x) := 2 1−n T n (x) имеет на интервале[−1,1] наименьшее равномерное отклонение от нуля. Инымисловами, если Q n (x) — полином степени n со старшим коэффициентом1, тоmax |Q n(x)| ≥ max |˜T n (x)| = 2 1−n . (2.32)x∈[−1,1] x∈[−1,1]Доказательство. Предположим противное доказываемому, т. е. чтодля какого-то полинома Q n (x), имеющего старший коэффициент1, выполняетсянеравенствоmax |Q n(x)| < max |˜T n (x)|, (2.33)x∈[−1,1] x∈[−1,1]которое противоположно по смыслу неравенству (2.32). Тогда разность(˜Tn (x)−Q n (x) ) есть полином степени не выше n−1. В то же время, вточках x s = cos(sπ/n), s = 0,1,...,n, доставляющих полиному Чебышёвамаксимумы модуля на [−1,1], должно быть справедливоsgn (˜Tn (x s )−Q n (x s ) ) = sgn ( (−1) s 2 1−n −Q n (x s ) )= sgn ( (−1) s 2 1−n) в силу (2.33)= (−1) s .Как следствие, на интервале [x s ,x s+1 ] полином (˜Tn (x)−Q n (x) ) меняетзнак, и потому обязан иметь корень. Коль скоро это происходитдля s = 0,1, . . . , n − 1, т. е. всего n раз, то полином (˜Tn (x) − Q n (x) )необходимо имеет n корней на [−1,1]. Так как степень этого полиномане превосходит n−1, полученные выводы можно примирить лишь приусловии (˜Tn (x) −Q n (x) ) = 0, т. е. когда Q n (x) = ˜T n (x). Мы пришли кпротиворечию с допущением (2.33).Полиномы ˜T n (x), n ≥ 1, фигурирующие в Предложении 2.3.2 и имеющиеединичный старший коэффициент, называют приведёнными полиномамиЧебышёва.

2.3. Полиномы Чебышёва 732.3б Применения полиномов ЧебышёваДоказательство Предложения 2.3.2 лишь косвенным образом используетто обстоятельство, что полиномы рассматриваются на интервале[−1,1]. Фактически, мы опирались на свойство 3 полиномов Чебышёвадостигать своих знакопеременных экстремумов в n+1 точкахэтого интервала. Если в качестве области определения полиномов необходимовзять интервал [a,b], отличный от [−1,1], то линейной заменойпеременнойy = 1 2 (b+a)+ 1 2(b−a)x (2.34)интервал [−1,1] может быть преобразован в [a,b]. При этом обратноеотображение [a,b] → [−1,1] задаётся формулойx = 2y−(b+a) , (2.35)(b−a)а корням полинома Чебышёва на [−1,1] соответствуют тогда точкиẙ k = 1 2 (b+a)+ 1 2(2k +1)π(b−a) cos , k = 0,1,...,n−1. (2.36)2nиз интервала [a,b]. Свойство, аналогичное Предложению 2.3.2, будетверно на интервале [a,b] для полинома, полученного из T n (x) с помощьюлинейной замены переменных (2.35).Предложение 2.3.3 Если T n (x) — n-ый полином Чебышёва, то полиномпеременной y, задаваемый как( ) 2y−(b+a)2 1−2n (b−a) n ·T n (2.37)b−aимеет старший коэффициент 1 и на интервале [a,b] равномерно наименееуклоняется от нуля среди всех полиномов степени n со старшимкоэффициентом 1.Доказательство. Первое утверждение Предложения слудует из того,что при подстановке (2.35) в полиноме n-ой степени старший коэффициентприобретает дополнительный множитель 2 n /(b−a) n .Из свойств полиномов Чебышёва следует, что на[a,b] полином (2.37)достигает максимумов своего модуля, равных 2 1−2n (b−a) n , в точках( sπ)y s = 1 2 (a+b)+ 1 2 (b−a) cos ,n

74 2. Численные методы анализаs = 0,1,...,n. Они получаются с помощью линейного преобразования(2.34) из аргументов x s = cos(sπ/n), s = 0,1,...,n, доставляющих максимумымодуля полиному Чебышёва на [−1,1]. Дальнейшие рассужденияповторяют доказательство Предложения 2.3.2, так как спецификаинтервала [−1,1] там, фактически, никак не использовалась. Обратимся к поставленной в конце §2.2д задаче наиболее выгодногорасположения узлов алгебраического интерполянта заданной степениn на некотором интервале [a,b]. Возьмём эти узлы корнями полинома(2.37), который получается в результате замены переменных (2.35) изполинома Чебышёва (n+1)-ой степени T n+1 (x), т. е. какx k = 1 2 (b+a)+ 1 2 (b−a) cos ( (2k +1)π2(n+1)Тогда соответствующий полиномω n (x) = (x−x 0 )(x−x 1 )...(x−x n ),), k = 0,1,...,n. (2.38)который фигурирует в формуле (2.24) для остаточного члена интерполяции,совпадёт с полиномом (n+1)-ой степени вида (2.37). При этомω n (x) будет иметь наименьшее отклонение от нуля на [a,b] в равномерной(чебышёвской) метрике (2.1), и в смысле этой метрики погрешностьинтерполирования при прочих равных условиях будет наименьшей возможной.Узлы интерполяции (2.38) называют чебышёвскими узламина интервале [a,b], а в совокупности они образуют чебышёвскую сеткуна [a,b].Помимо интерполирования полиномы Чебышёва и их обобщенияимеют и другие важные применения в различных задачах вычислительнойматематики и анализа [45, 57]. Очень важное значение имеют,к примеру, разложения функций в ряды по полиномам Чебышёва.2.4 Алгебраическая интерполяцияс кратными узламиКратным узлом называют, по определению, узел, в котором информацияо функции задаётся более одного раза. Помимо значенияфункции это может быть какая-либо дополнительная информация оней, например, значения производных и т. п. К задаче интерполяции с

2.4. Интерполяция с кратными узлами 75кратными узлами мы приходим, в частности, если степень интерполяционногополинома, который нужно однозначно построить по некоторымузлам, равна либо больше количества этих узлов.Далее задачей алгебраической интерполяции с кратными узламимы будем называть следующую постановку. Даны несовпадающие точкиx i , i = 0,1,...,n, — узлы интерполирования, в которых заданызначения y (k)i , k = 0,1,...,N i − 1, — их принимают интерполируемаяфункции f и её производные f (k) (x). При этом число N i называюткратностью узла x i . Требуется построить полином H m (x) степени m,такой чтоH (k)m (x i ) = y (k)i , i = 0,1,...,n, k = 0,1,...,N i −1. (2.39)Иными словами, в узлах x i , i = 0,1,...,n, как сам полином H m (x),так и все его производные H m (k) (x) вплоть до заданных порядков N iдолжны принимать предписанные им значения y (k)i .Теорема 2.4.1 Решение задачи алгебраической интерполяции с кратнымиузлами при m = N 0 +N 1 +...+N n −1 существует и единственно.Доказательство. В канонической форме полином H m (x) имеет видH m (x) =m∑a l x l ,и для определения его коэффициентов a 0 , a 1 , . . . , a m станем подставлятьв него и в его производные H ′ m (x), H′′ m (x), . . . , аргументы x i ииспользовать условия (2.39). Получим систему линейных алгебраическихуравнений относительноa 0 ,a 1 , . . . ,a m , в которой число уравненийN 0 +N 1 + ...+N n . При m = N 0 +N 1 + ...+N n −1 оно совпадает счислом неизвестных, равным m+1.Обозначим получившуюся систему линейных уравнений какl=0где G — квадратная (m+1)×(m+1)-матрица,Ga = y, (2.40)a = (a 0 ,a 1 ,...,a m ) ⊤ ∈ R m+1 — вектор неизвестныхкоэффициентов интерполяционного полинома,y = ( y (0)0 ,y(1) 0 ,...,y(N0−1) 0 ,y (0) ) ⊤1 ,y(1) 1 ,...,y(Nn−1) n ∈ Rm+1— вектор, составленный из интерполяционных данных (2.39).

76 2. Численные методы анализаМатрица G зависит только от узлов x 0 , x 1 , . . . , x n , и никак не зависитот данных y (k)i , i = 0,1,...,n, k = 0,1,...,N i − 1. Хотя эту матрицудаже можно выписать в явном виде, её прямое исследование весьмасложно, и мы пойдём окольным путём.Для определения свойств матрицы G рассмотрим однородную системууравнений, отвечающую нулевой правой части y = 0, т. е.Ga = 0.Вектор правой части y образован значениями интерполируемой функциии её производных y (k)i в узлах x i , i = 0,1,...,n. Однородная системаGa = 0 отвечает случаю y (k)i = 0 для всех i = 0,1,...,n иk = 0,1,...,N i −1. Каким является вектор решений a этой системы?Если правая часть в (2.40) — нулевая, то это означает, что полиномH m (x) с учётом кратности имеет N 0 +N 1 +...+N n = m+1 корней, т. е.больше, чем его степень. Следовательно, он необходимо равен нулю, асоответствующая однородная линейная система Ga = 0 имеет поэтомулишь нулевое решение a = (a 0 ,a 1 ,...,a n ) ⊤ = (0,0,...,0) ⊤ .Итак, линейная комбинация столбцов матрицы G, равная нулю, можетбыть только трививальной, т. е. с нулевыми коэффициентами. Следовательно,матрица G должна быть неособенной, а потому неоднороднаялинейная система (2.40) однозначно разрешима при любой правойчасти y. Это и требовалось доказать.Задачу алгебраической интерполяции с кратными узлами в исследуемойнами постановке часто называют также задачей эрмитовой интерполяции,а сам полином H m (x) решающий эту задачу, называютинтерполяционным полиномом Эрмита. Использованные при доказательствеТеоремы 2.4.1 рассуждения, в которых построение интерполяционногополинома сводится к решению системы линейных алгебраическихуравнений, носят конструктивный характер и позволяют практическирешать задачу интерполяции с кратными узлами. Тем не менее,аналогично случаю интерполяции с простыми узлами, желательноиметь аналитическое решение в виде обозримого конечного выражениядля интерполянта. Он может иметь форму Лагранжа либо форму Ньютона(см. подробности, к примеру, [3, 56]). Укажем способ построенияего лагранжевой формы.Аналогично §2.2б, при фиксированном наборе узлов x 0 , x 1 , . . . , x nрезультат решения рассматриваемой задачи интерполяции линейно за-

2.4. Интерполяция с кратными узлами 77висит от значений y (0)0 , y(1) 0 , . . . , y(N0−1) 0 , y (0)1 , y(1) 1 , . . . , y(Nn−1) n . Болееточно, если полином P(x) решает задачу интерполяции по значениямy = ( y (0) )0 ,y(1) 0 ,...,y(Nn−1) n , а полином Q(x) решает задачу интерполяциис теми же узлами по значениям z = ( z (0) )0 ,z(1) 0 ,...,z(Nn−1) n , тодля любых вещественных чисел α и β полином αP(x)+βQ(x) решаетзадачу интерполяции для значений αy + βz = ( αy (0)0 + βz (0)0 ,αy(1) 0 +βz (1)0 ,...,αy(Nn−1) n +βz n(Nn−1) )на той же совокупности узлов.Отмеченное свойство можно также усмотреть из выписанного придоказательстве Теоремы 2.4.1 представления вектора коэффициентовa = (a 0 ,a 1 ,...,a n ) ⊤ интерполяционного полинома как решения системы(2.40). Из него следует, что a = G −1 y, т. е. a линейно зависит отвектора данных y, образованного значениями y (k)i , k = 0,1,...,N i −1,i = 0,1,...,n.Итак, свойством линейности можно воспользоваться для решениязадачи интерполяции с кратными узлами «по частям», которые удовлетворяютотдельным интерполяционным условиям, а затем собратьэти части воедино. Иными словами, как и в случае интерполированияс простыми узлами, можно представить H m (x) в виде линейной комбинацииH m (x) =n∑i=0N∑i−1k=0y (k)i·φ ik (x),где внешняя сумма берётся по узлам, внутренняя — по порядкам производной,а φ ik (x) — специальные «базисные» полиномы степени m,удовлетворяющие условиямφ (l)ik (x j) ={0, при i ≠ j или l ≠ k,1, при i = j и l = k.(2.41)У полинома φ ik (x) в узле x i не равна нулю лишь одна из производных,порядок которой k, тогда как производные всех других порядковзануляются в x i . Кроме того, во всех остальных узлах полином φ ik (x)и все его производные равны нулю. Фактически, полином φ ik (x) отвечаетлинейной системе (2.40) с вектор-столбцом правой части y вида(0,...,0,1,0,...,0) ⊤ , в котором все элементы нулевые за исключениемодного.Каков конкретный вид этих базисных полиномов φ ik (x)? Перепи-

78 2. Численные методы анализашем условия (2.41) в видеφ (l)ik (x i) = δ kl , k = 0,1,...,N i −1, (2.42)φ (l)ik (x j) = 0, j = 0,1,...,i−1,i+1,...,n, (2.43)l = 0,1,...,N i −1.Из второго условия следует, чтоφ ik (x) = (x−x 0 ) N0 ...(x−x i−1 ) Ni−1 (x−x i+1 ) Ni+1 ...(x−x n ) Nn Q ik (x),где Q ik (x) — полином степени N i −1. Для его определения привлечёмпервое условие (2.42). И так далее.Мы не будем завершать этого построения, так как дальнейшие выкладкивесьма громоздки, а алгоритм нахождения полинома из приведённыхрассуждения вполне ясен . . .Какова погрешность алгебраической интерполяции с кратными узлами?Теорема 2.4.2 Пустьf ∈ C m+1 [a,b], т.е. функция f непрерывно дифференцируемаm+1 раз на интервале [a,b]. Погрешность R m (f,x) еёинтерполирования по попарно различным узлам x 0 , x 1 , ..., x n ∈ [a,b]с кратностями N 0 , N 1 , ..., N n полиномом H m (x) степени m приусловии m = N 0 +N 1 +...+N n −1 может быть представлена в видеR m (f,x) = f(x)−H m (x) = f(m+1)( ξ(x) ) n∏· (x−x i ) Ni , (2.44)(m+1)!i=0где ξ(x) — некоторая точка из ]a,b[, зависящая от x.Доказательство. Обозначим для удобства через Ω(x) произведениелинейных множителей со степенями из правой части равенства (2.44),т. е.n∏Ω(x) := (x−x i ) Ni .i=0Это — аналог функцииω n (x), введённой в §2.2д и широко используемойвыше.Если x = x i для одного из узлов интерполирования, i = 0,1,...,n,то R m (f,x) = 0, но в то же время и Ω(x) = 0. Поэтому в (2.44) вкачестве ξ можно взять любую точку из открытого интервала ]a,b[ .

2.4. Интерполяция с кратными узлами 79Предположим теперь, что точка x из интервала интерполирования[a,b] не совпадает ни с одним из узлов x i , i = 0,1,...,n. Введём вспомогательнуюфункциюψ(z) := f(z)−H m (z)−KΩ(z),где K — числовая константа, равнаяK = f(x)−H m(x).Ω(x)Функция ψ(z) имеет нули в узлах x 0 , x 1 , . . . , x n и, кроме того, по построениюобращается в нуль в точке x, так что общее число нулей этойфункции равно n+2. На основании теоремы Ролля можно заключить,что производная ψ ′ (z) обращается в нуль по крайней мере в n+1 точках,расположенных в интервалах между x, x 1 , . . . , x n . Но в узлах x 0 ,x 1 , . . . , x n функция ψ(z) имеет нули с кратностями N 0 , N 1 , . . . , N n соответственно,и потому в них производная ψ ′ (z) имеет нули кратностиN 0 −1, N 1 −1, . . . , N n −1 (нулевая кратность означает отсутствие нуляв узле). Таким образом, всего эта производная ψ ′ (z) имеет с учётомкратности (N 0 +N 1 +...+N n −n−1)+(n+1) = m+1 нулей на [a,b].Продолжая аналогичные рассуждения, получим, что вторая производнаяψ ′′ (z) будет иметь с учётом кратности по крайней мере m нулейна интервале [a,b] и т. д. При каждом последующем дифференцированиинули у производных функции ψ(z) могут возникать или исчезать,но их суммарная кратность уменьшается всякий раз на единицу. Наконец,(m+1)-ая производная зануляется на [a,b] хотя бы один раз.Итак, на интервале[a,b] обязательно найдётся по крайней мере однаточка ξ, такая что ψ (m+1) (ξ) = 0. Ноψ (m+1) (z) = f (m+1) (z)−K(m+1)!,поскольку H m (x) — полином степени m и H m(m+1) (z) зануляется, а Ω(z)есть многочлен степени m+1 со старшим коэффициентом 1. Итак,K = f(m+1) (ξ)(m+1)!для некоторой точки ξ, зависящей от x. Этим завершается доказательствотеоремы.

80 2. Численные методы анализаОтметим, что при наличии одного узла кратности m интерполяционныйполином Эрмита должен совпасть с полиномом Тейлора, аформула (2.44) превращается в известную формулу остаточного членадля полинома Тейлора. Если же все узлы интерполяции простые, то(2.44) совпадает с полученной ранее формулой погрешности простойинтерполяции (2.24).2.5 Общие фактыалгебраической интерполяцииКак с теоретической, так и с практической точек зрения интересенвопрос о том, насколько малой может быть сделана погрешность интерполированияпри возрастании числа узлов. Вообще, имеет ли местосходимость интерполяционных полиномов к интерполируемой функциипри неограниченном возрастании количества узлов?Чтобы строго сформулировать соответствующие вопросы и общиерезультаты о сходимости алгебраических интерполянтов, необходимоформализовать некоторые понятия.Определение 2.5.1 Пусть для интервала [a,b] задана бесконечнаятреугольная матрица узлов⎛x (1)0 0 0 0 ···⎜⎝x (2)0 x (2)1 0 0 ···x (3)0 x (3)1 x (3)2 0 ···...⎞,⎟⎠. .. . ..такая что в каждой её строке расположены различные точки интервала[a,b], т.е. x (n)i ∈ [a,b] для всех положительных целых n и любыхi = 0,1,...,n, причём x (n)i ≠ x (n)j для i ≠ j. Говорят, что на интервале[a,b] задан интерполяционный процесс, если элементы n-ой строкиэтой матрицы берутся в качестве узлов интерполяции, по которымстроится последовательность интерполянтов g n (x), n = 1,2,....Если все интерполянтыg n (x) являются алгебраическими полиномами,то будем употреблять термин алгебраический интерполяционныйпроцесс.

2.5. Общие факты алгебраической интерполяции 81Определение 2.5.2 Интерполяционный процесс для функции f называетсясходящимся в точке y ∈ [a,b], если последовательность значенийинтерполянтов g n (y) → f(y) при n → ∞. Интерполяционныйпроцесс для функции f на интервале [a,b], порождающий последовательностьинтерполянтов g n (x), называется сходящимся равномерно,если max x∈[a,b] |f(x)−g n (x)| → 0 при n → ∞.Отметим, что помимо равномерной сходимости интерполяционногопроцесса, когда отклонение одной функции от другой измеряетсяв равномерной (чебышёвской) метрике (2.1), иногда необходимо рассматриватьсходимость в других смыслах. Например, это может бытьсреднеквадратичная сходимость, задаваемая метрикой (2.3), или ещёкакая-нибудь другая.Определённую уверенность в положительном ответе на поставленныев начале параграфа вопросы даёт известная из математическогоанализаТеорема Вейерштрасса о равномерном приближении.Если f : [a,b] → R — непрерывная функция, то для всякого ǫ > 0 существуетполином Π n (x) степени n = n(ǫ), равномерно приближающийфункцию f с погрешностью, не превосходящей ǫ, т.е. такой, чтоmaxx∈[a,b]∣ f(x)−Πn (x) ∣ ∣ ≤ ǫ.Этот результат служит теоретической основой равномерного приближениянепрерывных функций алгебраическими полиномами, обеспечиваясуществование полинома, который сколь угодно близок к заданнойнепрерывной функции в смысле расстояния (2.1). Вместе с тем,теорема Вейерштрасса слишком обща и не даёт ответа на конкретныевопросы о решении задачи интерполирования, где требуется совпадениезначений функции и её интерполянта на данном множестве точекузлов.Как следует из результатов §2.2д и §2.3 огромное влияние на погрешностьинтерполяции оказывает расположение узлов. В частности,рассмотренные в §2.3 чебышёвские сетки являются наилучшими возможнымив условиях, когда неизвестна какая-либо дополнительная информацияоб интерполируемой функции.Что касается равномерных сеток, то для них один из первых примероврасходимости интерполяционных процессов привёл в 1910 году

82 2. Численные методы анализаС.Н. Бернштейн, рассмотрев на интервале [−1,1] алгебраическую интерполяциюфункции f(x) = |x| по равноотстоящим узлам, включающими концы этого интервала. Не слишком трудными рассуждениямипоказывается (см. [7, 25]), что с возрастанием числа узлов соответствующийинтерполяционный полином не стремится к |x| ни в однойточке интервала [−1,1], отличной от −1, 0 и 1. Может показаться,что причиной плохой сходимости интерполяционного процесса в примереС.Н. Бернштейна является отсутствие гладкости интерполируемойфункции, но это верно лишь отчасти.Предположим, что интерполируемая функция f имеет бесконечнуюгладкость, т. е. f ∈ C ∞ [a,b], и при этом её производные растут «неслишком быстро». В последнее условие будем вкладывать следующийсмысл:sup |f (n) (x)| < M n , n = 0,1,2,..., (2.45)x∈[a,b]где M не зависит от n. Тогда из Теоремы 2.2.2 следует, что погрешностьалгебраического итерполирования по n узлам может быть оцененасверху как( ) n+1M(b−a),(n+1)!то есть приn → ∞ очевидно сходится к нулю вне зависимости от расположенияузлов интерполяции. Иными словами, любой алгебраическийинтерполяционный процесс на интервале [a,b] будет равномерно сходитьсяк такой функции f.Условие (2.45) влечёт сходимость ряда Тейлора для функцииf в любойточке из [a,b], и такие функции называются аналитическими нарассматриваемом множестве [40]. Это очень важный, хотя и не слишкомширокий класс функций, которые являются ближайшим обобщениемалгебраических полиномов.Но в самом общем случае при алгебраическом интерполированиибесконечно гладких функций погрешность всё-таки может не сходитьсяк нулю, даже при «вполне разумном» расположении узлов. Повидимому,наиболее известный пример такого рода привёл немецкийматематик К. Рунге. В примере Рунге функцияΥ(x) =11+25x 2интерполируется алгебраическими полиномами на интервале [−1,1] сравномерным расположением узлов интерполяции x i = −1+2i/n, i =

2.5. Общие факты алгебраической интерполяции 832P 10(x)Υ(x)−1 0 1xРис. 2.8. Интерполяция полиномом 10-й степени в примере Рунге0,1,2,...,n. Оказывается, что тогдаlimn→∞max |Υ(x)−P n(x)| = ∞,x∈[−1,1]где P n (x) — интерполяционный полином n-ой степени. При этом с ростомnвблизиконцов интервала интерполирования[−1,1] у полиномовP n (x) возникают сильные колебания (часто называемые также осцилляциями),размах которых стремится к бесконечности (см. Рис. 2.8).Получается, что хотя в узлах интерполирования значения функцииΥ(x) совпадают со значениями интерполяционного полинома, междуэтим узлами P n (x) и Υ(x) могут отличаться сколь угодно сильно, даженесмотря на плавный (бесконечно гладкий) характер изменения функцииΥ(x).Интересно, что на интервале [−κ,κ], где κ ≈ 0.726, рассматриваемыйинтерполяционный процесс равномерно сходится к Υ(x) (см. [64]).Кроме того, полезно отметить, что функция Υ(x) имеет производныевсех порядков для любого вещественного аргумента x, но у концов интервалаинтерполирования [−1,1] эти производные растут очень быстрои уже не удовлетворяют условию (2.45). Таким образом, несмотря напростой вид, функция Υ(x) из примера Рунге своим поведением слишкомнепохожа на полиномы, производные от которых растут умереннои, начиная с некоторого порядка, исчезают. Эти интересные вопросыотносятся уже к теории функций.

84 2. Численные методы анализаЧто касается чебышёвских сеток, то они обеспечивают равномернуюсходимость интерполяционного процесса к функциям, которыеподчиняются так называемому условию Дини-Липшица [8, 25, 50]. Этоочень слабое условие, которому заведомо удовлетворяют большинствовстречающихся на практике функций. Практичным достаточным условием,при котором выполняется условие Дини-Липшица, является обобщённоеусловие Липшица: для любыхx,y из области определения функции|f(x)−f(y)| ≤ C|x−y| α , (2.46)для некоторых C и 0 < α ≤ 1. Иными словами, справедливаТеорема 2.5.1 Если узлами интерполирования берутся чебышёвскиесетки, то интерполяционный процесс сходится равномерно для любойфункции, удовлетворяющей обобщённому условию Липшица (2.46).Обоснование этого утверждения можно увидеть, к примеру, в [25].Тем не менее, для общих непрерывных функций имеет место следующийотрицательный результат:Теорема Фабера [7, 8, 56] Не существует бесконечной треугольнойматрицы узлов из заданного интервала, такой что соответствующийей алгебраический интерполяционный процесс сходился бы равномернодля любой непрерывной функции на этом интервале.В частности, даже для интерполяционного процесса по узлам полиномовЧебышёва существуют примеры непрерывных функций, длякоторых этот алгебраический интерполяционный процесс всюду расходится.Подробности можно найти в [25].Но отрицательный результат теоремы Фабера характеризует, скорее,слишком большую общность математического понятия непрерывнойфункции, которая может оказаться слишком необычной и «неудобной»и не похожей на то, что мы интуитивно вкладываем в смысл«непрерывности». Здесь уместно напомнить примеры непрерывных нигдене дифференцируемых функций (примеры Вейерштрасса или вандер Ваардена). Столь же экзотичен пример непрерывной функции, ккоторой не сходится равномерно интерполяционный процесс по чебышёвскимсеткам. Что касается теоремы Фабера, то она утверждаетлишь то, что класс непрерывных в классическом смысле функций являетсяслишком широким, чтобы для него существовал один (или даже

2.5. Общие факты алгебраической интерполяции 85несколько) интерполяционных процессов, обеспечивающих равномернуюсходимость для любой функции.Чересчур большая общность понятия непрерывной функции былаосознана математиками почти сразу после своего появления, в первойполовине XIX века. Она стимулировала работы по формулировкедополнительных естественных условий, которые выделяли бы классыфункций, непрерывных в более сильных смыслах, которые позволялибы свободно выполнять те или иные традиционные операции(например, взятие производной почти всюду в области определенияи т. п.). Именно эти причины вызвали появление условий Липшица,Дини-Липшица, обобщённого условия Липшица и ряда других им аналогичных.Следует отметить, что для общих непрерывных функций имеет место«оптимистичный» результат, имеющий, правда, небольшую практическуюценность:Теорема Марцинкевича [7, 8, 56] Для любой непрерывной на заданноминтервале функции f найдётся такая бесконечная треугольнаяматрица узлов из этого интервала, что соответствующий ей алгебраическийинтерполяционный процесс для функции f сходится равномерно.Интересно отметить, что ситуация со сходимостью интерполяционныхпроцессов в среднеквадратичном смысле более благоприятна. Согласнорезультату, который получили П. Эрдёш и П. Туран (см. [25]),для любой положительной весовой функции существует треугольнаяматрица узлов из интервала интерполирования, по которой интерполяционныйпроцесс будет сходится. Иными словами, равномерная сходимостьпредъявляет к функции требования, более сильные чем среднеквадратичнаясходимость.Ещё один вывод из представленных выше примеров и результатовзаключается в том, что алгебраические полиномы, несмотря на определённыеудобства работы с ними, оказываются довольно капризныминструментом интерполирования достаточно общих непрерывных и дажегладких функций. Как следствие, нам нужно иметь более гибкиеинструменты интерполяции. Их развитию и будут посвящены следующиепараграфы.

86 2. Численные методы анализа2.6 Сплайны2.6а Элементы теорииПусть заданный интервал [a,b] разбит на подинтервалы [x i−1 ,x i ],i = 1,2,...,n, так что a = x 0 и x n = b. Сплайном на [a,b] называетсяфункция, которая вместе со своими производными вплоть до некоторогопорядка непрерывна на всём интервале [a,b], и на каждом подинтервале[x i−1 ,x i ] является полиномом. Максимальная на всём интервале[a,b] степень полиномов, задающих сплайн, называется степеньюсплайна. Разность между степенью сплайна и наивысшим порядкомего производной, которая непрерывна на [a,b], называется дефектомсплайна. Наконец, точки x i , i = 0,1,...,n, — концы подинтервалов[x i−1 ,x i ] — называют узлами сплайна.Рис. 2.9. Кусочно-постоянная интерполяция функции.Термин «сплайн» является удачным заимствованием из английскогоязыка, где слово «spline» означает гибкую (обычно стальную) линейку,которую, изгибая, использовали чертёжники для проведения гладкойлинии между данными фиксированными точками. В середине XXвека этот термин вошёл в математику и перекочевал во многие языкимира.Почему именно кусочные полиномы? К идее их введения можноприйти, к примеру, с помощью следующих неформальных мотиваций.Содержательный (механический, физический, биологический и т. п.)смысл имеют, как правило, производные порядка не выше 2–4, и именноих мы можем видеть в различных математических моделях реаль-

2.6. Сплайны 87ных явлений. 6 Пятые производные — это уже экзотика, а производныешестого и более высоких порядков при описании реальности не встречаются.В частности, разрывы производных высоких «нефизичных»порядков у функции никак не ощутимы. Поэтому для сложно изменяющихсяпроизводных высоких порядков необходимые «нужные» значенияв фиксированных узлах можно назначить, к примеру, с помощьюпростейшей кусочно-постоянной или кусочно-линейной интерполяции,а затем добиться желаемой гладкости исходной функции с помощьюпоследовательного применения нескольких операций интегрирования.Так получается кусочно-полиномиальная функция.Понятие «сплайн-функции» было введено И. Шёнбергом в 1946 году[73], хотя различные применения тех объектов, которые впоследствиибыли названы «сплайнами», встречались в математике на протяжениипредшествующей сотни лет. Пионером здесь следует назвать,по-видимому, Н.И. Лобачевского, который в статье [70] явно использовалконструкции сплайнов и так называемых B-сплайнов. 7С середины XX века по настоящее время сплайны нашли широкиеприменения в математике и её приложениях. В вычислительныхтехнологиях они могут использоваться, в частности, для приближенияфункций, при решении дифференциальных и интегральных уравнений.Если сплайн применяется для решения задачи интерполяции, тоон называется интерполяционным. Другими словами, интерполяционныйсплайн — это сплайн, принимающий в заданных точках ˜x i , i = 0,1,. . . , r, — узлах интерполяции — требуемые значения y i . Эти узлы интерполяции,вообще говоря, могут не совпадать с узлами сплайна x i ,i = 0,1,...,n, задающим интервалы полиномиальности.Так как степень полинома равна наивысшему порядку его ненулевойпроизводной, то сплайны дефекта нуль — это функции задаваемыена всём интервале [a,b] одной полиномиальной формулой. Таким образом,термин «дефект» весьма точно выражает то, сколько сплайну«не хватает» до полноценного полинома. С другой стороны, именно наличиедефекта обеспечивает сплайну б´ольшую гибкость в сравнении сполиномами и делает сплайны в некоторых ситуациях более удобным6 Характерный пример: в книге А.К.Маловичко, О.Л.Тарунина «Использованиевысших производных при обработке и интерпретации результатов геофизическихнаблюдений» (Москва, издательство «Недра», 1981 год) рассматриваются производныевторого и третьего порядков.7 Вклад Н.И.Лобачевского даже дал повод некоторым авторам назвать специальныйвид сплайнов сплайнами Лобачевского.

88 2. Численные методы анализа✻✲Рис. 2.10. Простейшие сплайны — кусочно-линейные функции.инструментом приближения и интерполирования функций. Чем большедефект сплайна, тем больше он отличается от полинома и тем болееспецифичны его свойства. Но слишком большой дефект приводит ксущественному понижению общей гладкости сплайна. В значительномчисле приложений сплайнов вполне достаточным оказываются сплайныс минимально возможным дефектом 1, и только такие сплайны мыбудем рассматривать далее в нашей книге.Простейший «настоящий» сплайн имеет дефект 1 и степень 1, будучи«непрерывно склеенным» в узлахx i ,i = 1,2,...,n−1. Иными словами,это — кусочно-линейная функция, имеющая, несмотря на своюпростоту, богатые приложения в математике. 8 Сплайны второй степеничасто называют параболическими сплайнами.Далее мы будем рассматривать интерполяционные сплайны, узлыкоторых x 0 , x 1 , . . . , x n совпадают с узлами интерполирования.Если степень сплайна равна d, то для его полного определения необходимознать n(d+1) значений коэффициентов полиномов, задающихсплайн на n подинтервалах [x i−1 ,x i ], i = 1,2,...,n. В то же время, вслучае дефекта 1 имеетсяd(n−1) условий непрерывности самого сплайна и его производных8 Вспомним, к примеру, «ломаные Эйлера», которые применяются при доказательствесуществования решения задачи Коши для обыкновенных дифференциальныхуравнений [37].

2.6. Сплайны 89вплоть до (d−1)-го порядка в узлах x 1 , x 2 , . . . , x n−1 ,(n+1) условие интерполяции в узлах x 0 , x 1 , . . . , x n .Всего d(n−1)+(n+1) = n(d+1)−(d−1) штук, и потому для определениясплайна не хватает d − 1 условий, которые обычно задаютдополнительно на концах интервала [a,b].Сказанное имеет следущие важные следствия. Если решать задачуинтерполяции с помощью сплайна чётной степени, требуя, чтобына каждом подинтервале [x i−1 ,x i ] сплайн являлся бы полиномом чётнойстепени, то число (d−1) подлежащих доопределению параметровоказывается нечётным. Поэтому на одном из концов интервала [a,b]приходится налагать больше условий, чем на другом. Это приводит,во-первых, к асимметрии задачи, и, во-вторых, может вызвать неустойчивостьпри определении параметров сплайна. Наконец, интерполяционныйсплайн чётной степени при некоторых естественных краевыхусловиях (периодических, к примеру) может просто не существовать.Отмеченные недостатки могут решаться, в частности, выбором узловсплайна отличными от узлов интерполяции. Мы далее не будемостанавливаться на преодолении этих затруднений и рассмотрим интерполяционныесплайны нечётной степени 3.2.6б Интерполяционныекубические сплайныНаиболее популярны в вычислительной математике сплайны третьейстепени с дефектом 1, называемые также кубическими сплайнами.Эту популярность можно объяснить относительной простотой этихсплайнов и тем обстоятельством, что они вполне достаточны для отслеживаниянепрерывности вторых производных функций, что необходимо,например, во многих законах механики и физики.Пусть задан набор узловx 0 , x 1 , . . . ,x n ∈ [a,b], который, как и прежде,мы называем сеткой. Величину h i = x i −x i−1 , i = 1,2,...,n, назовёмшагом сетки. Кубический интерполяционный сплайн на интервале[a,b] с сеткойa = x 0 < x 1 < ... < x n = b, узлы которой являются такжеузлами интерполяции — это функция S(x), удовлетворяющая следующимусловиям:1) S(x) — полином третьей степени на каждомиз подинтервалов [x i−1 ,x i ], i = 1,2,...,n;

90 2. Численные методы анализа2) S(x) ∈ C 2 [a,b];3) S(x i ) = y i , i = 0,1,2,...,n.Для построения такого сплайнаS(x) нужно определить4n неизвестныхвеличин — по 4 коэффициента полинома третьей степени на каждомиз n штук подинтервалов [x i−1 ,x i ], i = 1,2,...,n.В нашем распоряжении имеются3(n−1) условий непрерывности самой функции S(x), её первойи второй производных во внутренних узлах x 1 , x 2 , . . . , x n−1 ;(n+1) условие интерполяции S(x i ) = y i , i = 0,1,2,...,n.Таким образом, для определения 4n неизвестных величин мы имеемвсего (4n−2) условий. Два недостающих условия определяют различнымиспособами, среди которых часто используются, к примеру, такие:(I) S ′ (a) = β 0 , S ′ (b) = β n ,(II) S ′′ (a) = γ 0 , S ′′ (b) = γ n ,(III) S (k) (a) = S (k) (b), k = 0,1,2,где β 0 , β n , γ 0 , γ n — данные вещественные числа. Условия (I) и (II)соответствуют заданию на концах интервала [a,b] первой или второйпроизводной искомого сплайна, а условие (III) — это условие периодическогопродолжения сплайна с интервала [a,b] на более широкоеподмножество вещественной оси.Мы рассмотрим подробно случай (II) задания краевых условий:S ′′ (a) = S ′′ (x 0 ) = γ 0 ,S ′′ (b) = S ′′ (x n ) = γ n .Будем искать кусочно-полиномиальное представление нашего кубическогосплайна в специальном виде, привязанном к узлам сплайна x i :пустьS(x) = α i−1 +β i−1 (x−x i−1 )(x−x i−1 ) 2 (x−x i−1 ) 3 (2.47)+γ i−1 +ϑ i−12 6дляx ∈ [x i−1 ,x i ],i = 1,2,...,n. Ясно, что в такой форме представлениясплайна величины β 0 и γ 0 совпадают по смыслу с теми, что даются в

92 2. Численные методы анализасвязаны с K 1 и K 2 посредством формулC 1 = −K 1 +K 2 ,C 2 = K 1 x i −K 2 x i−1 .У выписанной системы линейных уравнений относительно K 1 и K 2определитель равен x i−1 −x i = −h i , и он не зануляется. Поэтому переходот C 1 и C 2 к K 1 и K 2 — это неособенная замена переменных.Следовательно, оба представления (2.49) и (2.50) совершенно равносильныдруг другу.Для определения K 1 и K 2 воспользуемся интерполяционными условиями.Подставляя в выражение (2.50) значения x = x i−1 и используяусловия S(x i−1 ) = y i−1 , i = 1,2,...,n, будем иметьт. е.откудаγ i−1(x i −x i−1 ) 36h i+K 1 (x i −x i−1 ) = y i−1 ,γ i−1h 2 i6 +K 1h i = y i−1 ,K 1 = y i−1− γ i−1h i.h i 6Совершенно аналогичным образом, подставляя в (2.50) значениеx = x iи используя условие S(x i ) = y i , найдёмK 2 = y ih i− γ ih i6 .Выражение сплайна на подинтервале[x i−1 ,x i ],i = 1,2, . . . ,n, выглядитпоэтому следующим образом:S(x) = y i−1x i −xh i+y ix−x i−1h i+ γ i−1(x i −x) 3 −h 2 i (x i −x)6h i+γ i(x−x i−1 ) 3 −h 2 i (x−x i−1)6h i.(2.51)Оно не содержит уже величин α i , β i и ϑ i , которые фигурировали висходном представлении (2.47) для S(x), но неизвестными остались γ 1 ,γ 2 , . . . , γ n−1 .

2.6. Сплайны 93Чтобы завершить определение вида сплайна, т. е. найти γ 1 , γ 2 , . . . ,γ n−1 , можно воспользоваться условием непрерывности первой производнойS ′ (x) в узлах x 1 , x 2 , . . . , x n−1 :S ′ (x i −0) = S ′ (x i +0), i = 1,2,...,n−1. (2.52)Продифференцировав поxформулу (2.51), получим дляx ∈ [x i−1 ,x i ]S ′ (x) = y i −y i−1h i−γ i−13(x i −x) 2 −h 2 i6h i+γ i3(x−x i−1 ) 2 −h 2 i6h i. (2.53)Следовательно, с учётом того, что x i −x i−1 = h i ,S ′ (x i ) = y i −y i−1h i= y i −y i−1h i+γ i−1h 2 i6h i+γ i3(x i −x i−1 ) 2 −h 2 i6h ih i+γ i−16 +γ h ii3 . (2.54)С другой стороны, сдвигая все индексы в (2.53) на единицу вперёд,получим для подинтервала x ∈ [x i ,x i+1 ] представлениеS ′ (x) = y i+1 −y ih i+1−γ i3(x i+1 −x) 2 −h 2 i+16h i+1+γ i+13(x−x i ) 2 −h 2 i+16h i+1.Следовательно, с учётом того, что x i+1 −x i = h i+1 ,S ′ (x i ) = y i+1 −y ih i+1−γ i3(x i+1 −x i ) 2 −h 2 i+16h i+1−γ i+1h 2 i+16h i+1= y i+1 −y i h i+1 h i+1−γ i −γ i+1h i 3 6 . (2.55)Приравнивание, согласно (2.52), производных (2.54) и (2.55), которыеполучены в узлах x i с соседних подинтервалов[x i−1 ,x i ] и [x i ,x i+1 ],приводит к соотношениям⎧⎪⎨⎪⎩h i6 γ i−1 + h i +h i+1γ i + h i+13 6 γ i+1 = y i+1 −y ih i+1i = 1,2,...,n−1,γ 0 и γ n заданы.− y i −y i−1h i,(2.56)

94 2. Численные методы анализаЭто система линейных алгебраических уравнений относительно неизвестныхпеременных γ 1 , γ 2 , . . . , γ n−1 , имеющая матрицу⎛⎞2(h 1 +h 2 ) h 2 0h12 2(h 2 +h 3 ) h 3. 6h 3 2(h 3 +h 4 ) ..,⎜.⎝.. . .. . ..⎟⎠0 h n−1 2(h n−1 +h n )в которой ненулевыми являются лишь три диагонали — главная и соседниес ней — сверху и снизу. Такие матрицы называются трёхдиагональными.(см. §3.8). Кроме того, эта матрица обладает свойством диагональногопреобладания (стр. 222): стоящие на её главной диагоналиэлементы 1 3 (h i +h i+1 ) по модулю больше, чем сумма модулей внедиагональныхэлементов этой же строки. В силу признака Адамара (онрассматривается и обосновывается в §3.2е) такие матрицы неособенны.Как следствие, система линейных уравнений (2.56) относительно γ i ,i = 1,2,...,n − 1, однозначно разрешима при любой правой части, аискомый сплайн всегда существует и единствен. Для нахождения решениясистемы (2.56) с трёхдиагональной матрицей может быть с успехомприменён метод прогонки, описываемый ниже в §3.8.Интересен вопрос о погрешности интерполирования функций и ихпроизводных с помощью кубических сплайнов, и ответ на него даётследующаяТеорема 2.6.1 Пусть f(x) ∈ C p [a,b], p = 1,2,3,4, а S(x) — интерполяционныйкубический сплайн с краевыми условиями (I), (II) или (III),построенный по значениям f(x) на сетке a = x 0 < x 1 < ... < x n = bиз интервала [a,b], с шагом h i = x i −x i−1 , i = 1,2,...,n, причём узлыинтерполяции являются также узлами сплайна. Тогда для k = 0,1,2и k ≤ p справедливо соотношениеmax ∣ f (k) (x)−S (k) (x) ∣ = O(h p−k ),где h = maxh i .ix∈[a,b]При формулировке этого утверждения и далее в этой книге мыпользуемся символом O(·) — «O-большое», введённым Э. Ландау и широкоиспользуемым в современной математике и её приложениях. Для

2.6. Сплайны 95двух переменных величин u и v пишут, что u = O(v), если отношениеu/v есть величина ограниченная в рассматриваемом процессе. В формулировкеТеоремы 2.6.1 и в других ситуациях, где идёт речь о шагесетки h, мы всюду имеем в виду h → 0. Удобство использования символаO(·) состоит в том, что, показывая качественный характер зависимости,он не требует явного выписывания констант, которые должныфигурировать в соответствующих отношениях.Обоснование Теоремы 2.6.1 разбивается на ряд частных случаев, соответствующихразличным значениям гладкостиpипорядка производнойk. Их доказательства можно увидеть, к примеру, в [10, 12, 29]. Повышениегладкости p интерполируемой функции f(x) выше, чем p = 4,уже не оказывает влияния на погрешность интерполирования, так какинтерполяционный сплайн кубический, т. е. имеет степень 3. С другойстороны, свои особенности имеет также случай p = 0, когда интерполируемаяфункция всего лишь непрерывна, и мы не приводим здесьполную формулировку соответствующего результата о погрешности.Отметим, что, в отличие от алгебраических интерполянтов, последовательностьинтерполяционных кубических сплайнов на равномернойсетке узлов всегда сходится к интерполируемой непрерывной функции.Это относится, в частности, и к функции Υ(x) = 1/(1+25x 2 ) изпримера Рунге (см. §2.5). Важно также, что с повышением гладкостиинтерполируемой функции до определённого предела сходимость этаулучшается.С другой стороны, интерполирование сплайнами иллюстрирует такжеинтересное явление насыщения численных методов, когда, начинаяс какого-то порядка, увеличение гладкости исходных данных задачиуже не приводит к увеличению точности результата. Соответствующиечисленные методы называют насыщаемыми. Напротив, ненасыщаемыечисленные методы, там, где их удаётся построить и применить, даютвсё более точное решение при увеличении гладкости решения [37].Основной недостаток понятий насыщаемости / ненасыщаемости состоитв трудности практического определения гладкости данных, которыеприсутствуют в предъявленной к решению задаче.2.6в Экстремальное свойство кубических сплайновИнтерполяционные кубические сплайны S(x), удовлетворяющие наконцах рассматриваемого интервала [a,b] дополнительным условиямS ′′ (a) = S ′′ (b) = 0, (2.57)

96 2. Численные методы анализаназываются естественными или натуральными сплайнами. Их замечательноесвойство состоит в том, что они минимизируют функционалE(f) =∫ ba(f ′′ (x) ) 2dx,выражающий в первом приближении энергию упругой деформациигибкой стальной линейки, форма которой описывается функцией f(x)на интервале [a,b]. Краевые условия (2.57) соответствуют при этом линейке,свободно закреплённой на концах.Как известно, потенциальная энергия изгибания малого участкаупругого тела пропорциональна квадрату его кривизны (скорости изгибанияв зависимости от длины дуги) в данной точке. Кривизна плоскойкривой, задаваемой уравнением y = f(x), равна, как известно,f ′′ (x)(1+(f′ (x)) 2) 3/2(см., к примеру, [34, 58]). Поэтому упругая энергия однородной линейки,принимающей форму кривой y = f(x) на интервале [a,b], приусловии приблизительного постоянства f ′ (x), пропорциональна∫ ba(f ′′ (x) ) 2dx.Теорема 2.6.2 Если S(x) — естественный сплайн, построенный поузлам a = x 0 < x 1 < ... < x n = b, а ϕ(x) — любая другая дваждыгладкая функция, принимающая в этих узлах те же значения, чтои S(x), то E(ϕ) ≥ E(S), причём неравенство строго для ϕ ≠ S.Доказательство этого факта не очень сложно и может быть найдено,к примеру, в [2, 10, 32].Будучи предоставленной самой себе, упругая линейка, закреплённаяв узлах интерполирования, принимает форму, которая, как известноиз физики, должна минимизировать энергию своей упругой деформации.Таким образом, эта форма очень близка к кубическому сплайну.Сформулированное свойство называют экстремальным свойствоместественных сплайнов, 10 и оно служит началом большого и важногонаправления в теории сплайнов.10 Иногда также говорят о вариационном свойстве естественных сплайнов.

2.7. Нелинейные методы интерполяции 972.7 Нелинейные методы интерполяцииРассмотренные нами выше методы интерполяции (в частности, алгебраической),были линейными в том смысле, что результат решениязадачи интерполяции при фиксированных узлах линейно зависел отданных. При этом класс интерполирующих функций G образует линейноевекторное пространство над полем R: любая линейная комбинацияфункций также является функцией заданного вида, решающейзадачу интерполяции для линейной комбинации данных. Но существуюти другие, нелинейные, методы интерполирования, для которых невыполнено сформулированное выше свойство. Эти методы также широкоприменяются при практической интерполяции, так как обладаютмногими важными достоинствами.Нелинейными называют методы интерполяции, в которых классинтерполирующих функций G не является линейным векторным пространством.Важнейший частный случай нелинейных методов интерполяции— это интерполяция с помощью рациональных функций видаy = y(x) = a 0 +a 1 x+a 2 x 2 +...b 0 +b 1 x+b 2 x 2 +... . (2.58)Итак, пусть в узлах x 0 , x 1 , . . . , x n заданы значения функции y 0 , y 1 ,. . . , y n . Нам нужно найти рациональную дробь вида (2.58), такую чтоy i = y(x i ), i = 0,1,...,n.Поскольку дробь не меняется от умножения числителя и знаменателяна одно и то же ненулевое число, то для какого-нибудь одного изкоэффицентовa i или b i может быть выбрано произвольное наперёд заданноезначение. Кроме того, параметры a i и b i должны удовлетворятьn+1 условиям интерполяции в узлах, так что всего этих параметровмы можем извлечь из условия задачи (n+2) штук. Этим ограничениемопределяется общее число неизвестных параметров, т е. сумма степенеймногочленов числителя и знаменателя в дроби (2.58).Представление (2.58) равносильно тождествуa 0 −b 0 y +a 1 x−b 1 xy +a 2 x 2 −b 2 x 2 y +... = 0. (2.59)Коль скоро при x = x i должно быть y = y i , i = 0,1,...,n, то получаемещё (n+1) числовых равенствa 0 −b 0 y i +a 1 x i −b 1 x i y i +a 2 x 2 i −b 2x 2 i y i +... = 0, (2.60)

98 2. Численные методы анализаi = 0,1,...,n. Соотношения (2.59)–(2.60) можно трактовать, как условиелинейной зависимости с коэффициентами a 0 , −b 0 , a 1 , −b 1 , . . . длявектор-столбцов⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛1 y x xy x 2 ⎞ ⎛x 2 ⎞y1y 0x 0x 0 y 0x 2 0x 2 0y 0.⎜.,y 1,x 1,x 1 y 1,x 2 1,x 2 1y 1, ...⎟ ⎜⎝1⎠⎝. ⎟ ⎜. ⎠ ⎝. ⎟ ⎜. ⎠ ⎝. ⎟ ⎜. ⎠ ⎝ . ⎟ ⎜. ⎠ ⎝. ⎟. ⎠1 y n x n x n y n x 2 ny nразмера (n+2). Как следствие, определитель⎛1 y x xy x 2 x 2 y ...1 y 0 x 0 x 0 y 0 x 2 0 x 2 0y 0 ...1 y 1 x 1 x 1 y 1 x 2 1 x 2 1y 1 ...det1 y 2 x 2 x 2 y 2 x 2 2 x 2 2 y 2 ...⎜.⎝ . . . . . . ..x 2 n1 y n x n x n y n x 2 n x 2 ny n ...составленной из этих столбцов матрицы размера (n+2)×(n+2) долженбыть равен нулю. Разлагая его по первой строке и разрешая полученноеравенство нулю относительноy, мы действительно получим выражениедля y в виде отношения двух многочленов от x.Реализация описанного выше приёма требует нахождения значенийопределителя числовых (n + 1) × (n + 1)-матриц, и далее в §3.13 мырассмотрим соответствующие методы. Отметим, что в популярных системахкомпьютерной математики Scilab, Matlab, Maple, Mathematicaи др. для этого существует готовая встроенная функция det.Пример 2.7.1 Рассмотрим в качестве примера интерполяцию дробнорациональнойфункцией таблицы значений2.8 Численное дифференцированиеДифференцированием называется, как известно, процесс нахожденияпроизводной от заданной функции или же численного значения⎞⎟⎠

2.8. Численное дифференцирование 99этой производной в заданной точке. Необходимость выполнения дифференцированиявозникает весьма часто и вызвана огромным распространениемэтой операции в современной математике и её приложениях.Производная бывает нужна и сама по себе, как мгновенная скоростьтех или иных процессов, и как вспомогательное средство дляпостроения более сложных процедур, например, в методе Ньютона длячисленного решения уравнений и систем уравнений (см. §§4.4г и 4.5б).В настоящее время наиболее распространены три следующих способавычисления производных:• символьное (аналитическое) дифференцирование,• численное дифференцирование,• алгоритмическое (автоматическое) дифференцирование.Символьным (аналитическим) дифференцированием называют процесспостроения по функции, задаваемой каким-то выражением, производнойфункции, основываясь на известных из математического анализаправилах дифференцирования составных функций (суммы, разности,произведения, частного, композиции, обратной функции и т. п.)и известных производных для простейших функций. Основы символьного(аналитического) дифференцирования являются предметом математическогоанализа (точнее, дифференциального исчисления), а болеепродвинутые результаты по этой теме входят в курсы компьютернойалгебры.На принципах, похожих на символьное (аналитическое) дифференцирование,основывается алгоритмическое (автоматическое) дифференцирование,но при этом оперируют не выражениями для производных,а их численными значениями при данных значениях аргументов функции.Как символьное (аналитическое) дифференцирование, так и алгоритмическое(автоматическое) дифференцирование требуют знаниявыражения для функции или хотя бы компьютерной программы дляеё вычисления. Мы кратко рассмотрим алгоритмическое дифференцированиев §2.9.Численным дифференцированием называется процесс нахождениязначения производной от функции, использующий значения этой функциив некотором наборе точек её области определения. Таким образом,если функция задана таблично, т. е. лишь на конечном множествезначений аргумента, либо процедура определения значений этой

100 2. Численные методы анализафункции не может быть выписана в виде выражения или детерминированнойпрограммы, то альтернатив численному дифференцированиюнет. В частности, иногда в виде такого «чёрного ящика» мы вынужденыпредставлять вычисление значений функции, аналитическое выражениедля которой существует, но является слишком сложным илинеудобным для дифференцирования первыми двумя способами.В основе методов численного дифференцирования лежат различныеидеи. Самая первая состоит в том, чтобы доопределить (восстановить)таблично заданную функцию до функции непрерывного аргумента, ккоторой уже применима обычная операция дифференцирования. Теорияинтерполирования, которой посвящены предшествующие параграфы,может оказаться в высшей степени полезной при реализации такогоподхода. В частности, таблично заданную функцию можно заменитьеё интерполяционным полиномом, и его производные считать производнымирассматриваемой функции. Для этого годится также интерполяциясплайнами или какими-либо другими функциями, а в целомописанный выше подход к численному дифференцированию называютинтерполяционным подходом.2.8а Интерполяционный подходИтак, пусть задан набор узлов x 0 , x 1 , . . . , x n ∈ [a,b], т. е. сетка с шагомhi = x i −x i−1 ,i = 1,2,...,n. Кроме того, заданы значения функцииf 0 , f 1 , . . . , f n , такие что f i = f(x i ), i = 0,1,...,n. Ниже мы рассмотримпростейший вариант интерполяционного подхода, в котором используетсяалгебраическая интерполяция.Начнём со случая, когда применяется интерполяционный полиномпервой степени, который мы строим по двум соседним узлам сетки, т. е.по x i−1 и x i , i = 1,2,...,n:P 1,i (x) = x−x ix i−1 −x if i−1 + x−x i−1x i −x i−1f i= f i −f i−1x i −x i−1x+ f i−1x i −f i x i−1x i −x i−1,где у интерполяционного полинома добавлен дополнительный индекс«i», указывающий на ту пару узлов, по которым он построен. Поэтомупроизводная равнаP ′ 1,i (x) = f i −f i−1x i −x i−1= f i −f i−1h i.

2.8. Численное дифференцирование 101Это значение можно взять за приближение к производной от рассматриваемойфункции на интервале ]x i−1 ,x i [ , i = 1,2,...,n.Во внутренних узлах сетки — x 1 , x 2 , . . . , x n−1 , — т. е. там, где встречаютсядва подинтервала, производную можно брать по любой из возможныхформулf ′ (x i ) ≈ f x,i := f i −f i−1x i −x i−1— разделённая разность назад, (2.61)f ′ (x i ) ≈ f x,i := f i+1 −f ix i+1 −x i— разделённая разность вперёд. (2.62)Обе они примерно равнозначны и выбор конкретной из них может бытьделом соглашения, удобства или целесообразности. Например, от направленияэтой разности может решающим образом зависеть устойчивостьразностных схем для численного решения дифференциальныхуравнений.Построим теперь интерполяционные полиномы Лагранжа второйстепени по трём соседним точкам сетки x i−1 , x i , x i+1 , i = 1,2,...,n−1.ИмеемP 2,i (x) =(x−x i )(x−x i+1 )(x i−1 −x i )(x i−1 −x i+1 ) f i−1 + (x−x i−1)(x−x i+1 )(x i −x i−1 )(x i −x i+1 ) f i+(x−x i−1 )(x−x i )(x i+1 −x i−1 )(x i+1 −x i−1 ) f i+1Поэтому= x2 −(x i +x i+1 )x+x i x i+1(x i−1 −x i )(x i−1 −x i+1 )f i−1+ x2 −(x i−1 +x i+1 )x+x i−1 x i+1(x i −x i−1 )(x i −x i+1 )+ x2 −(x i−1 +x i )x+x i−1 x i(x i+1 −x i−1 )(x i+1 −x i )f i+1 .P ′ 2,i (x) = 2x−(x i +x i+1 )(x i−1 −x i )(x i−1 −x i+1 ) f i−1 + 2x−(x i−1 +x i+1 )(x i −x i−1 )(x i −x i+1 ) f i+2x−(x i−1 +x i )(x i+1 −x i−1 )(x i+1 −x i ) f i+1.f i

102 2. Численные методы анализаВоспользуемся теперь тем, что x i −x i−1 = h i , x i+1 −x i = h i+1 . Тогдаx i+1 −x i−1 = h i +h i+1 , а результат предшествующих выкладок можетбыть записан в видеf ′ (x) ≈ P ′ 2,i(x) = 2x−x i −x i+1h i (h i +h i+1 ) f i−1− 2x−x i−1 −x i+1h i h i+1f i + 2x−x i−1 −x ih i+1 (h i +h i+1 ) f i+1.(2.63)Формула (2.63) может применяться при вычислении значения производнойв произвольной точке x для случая общей неравномернойсетки. Предположим теперь для простоты, что сетка равномерна, т. е.h i = h = const, i = 1,2,...,n. Кроме того, для таблично заданнойфункции на практике обычно наиболее интересны производные в техже точках, где задана сама функция, т. е. в узлах x 0 , x 1 , . . . , x n . Вточке x = x i из (2.63) получаем для первой производной формулуf ′ (x i ) ≈ f˚x,i = f i+1 −f i−1, (2.64)2hназываемую формулой центральной разности. Подставляя в (2.63) аргументx = x i−1 и сдвигая в получающемся результате индекс на +1,получимf ′ (x i ) ≈ −3f i +4f i+1 −f i+2.2hПодставляя в (2.63) аргумент x = x i+1 и сдвигая в получающемся результатеиндекс на (−1), получимf ′ (x i ) ≈ f i−2 −4f i−1 +3f i.2hЗаймёмся теперь выводом формул для второй производной. Используяинтерполяционный полином второй степени, можно найти:f ′′ (x i ) ≈ P ′′2,i(x) =2h i (h i +h i+1 ) f i−1− 2h i h i+1f i +2h i+1 (h i +h i+1 ) f i+1.В частности, на равномерной сетке с h i = h = const, i = 1,2,...,nимеемf ′′ (x i ) ≈ f i−1 −2f i +f i+1h 2 . (2.65)

2.8. Численное дифференцирование 103Эта формула широко используется в вычислительной математике, и поаналогии с (2.61)–(2.62) часто обозначается кратко как f xx . Естественно,что полученные выражения для второй производной не зависят отаргумента x.Несмотря на то, что проведённые выше рассуждения основывалисьна применении интерполяционного полинома Лагранжа, для взятияпроизводных произвольных порядков на сетке общего вида удобнее использоватьинтерполяционный полином Ньютона, в котором члены являютсяполиномами возрастающих степеней.Выпишем ещё без вывода формулы численного дифференцированияна равномерной сетке, полученные по четырём точкам, т. е. с применениеминтерполяционного полинома третьей степени: для первойпроизводной —f ′ (x i ) ≈ 1 ( )−11fi +18f i+1 −9f i+2 +2f i+3 ,6h(2.66)f ′ (x i ) ≈ 1 ( )−2fi−1 −3f i +6f i+1 −f i+2 ,6h(2.67)f ′ (x i ) ≈ 1 ( )fi−2 −6f i−1 +3f i +2f i+1 ,6h(2.68)f ′ (x i ) ≈ 1 ( )−2fi−3 +9f i−2 −18f i−1 +11f i ,6h(2.69)для второй производной —f ′′ (x i ) ≈ 1 h 2 (2fi −5f i+1 +4f i+2 −f i+3), (2.70)f ′′ (x i ) ≈ 1 h 2 (fi−1 −2f i +f i+1), (2.71)f ′′ (x i ) ≈ 1 h 2 (−fi−3 +4f i−2 −5f i−1 +2f i). (2.72)В формуле (2.71) один из четырёх узлов, по которым строилась формула,никак не используется, а сама формула совпадает с формулой(2.65), полученной по трём точкам. Отметим красивую двойственностьформул (2.66) и (2.69), (2.67) и (2.68), а также (2.70) и (2.72). Неслучаентакже тот факт, что сумма коэффицентов при значениях функции вузлах во всех формулах равна нулю: он является следствием того, чтопроизводная постоянной функции — нуль.

104 2. Численные методы анализаx i−2 x i−1 x i x i+1 x i+2Рис. 2.11. Шаблон формулы второй разностной производной (2.65).В связи с численным дифференцированием и во многих другихвопросах вычислительной математики чрезвычайно полезно понятиешаблона (сеточной) формулы, под которым мы будем понимать совокупностьохватываемых этой формулой узлов сетки. Более точно, шаблонформулы численного дифференцирования — это множество узловсетки, входящих в правую часть этой формулы, явным образом либов качестве аргументов используемых значений функции. Например,шаблоном формулы (2.65) для вычисления второй производной на равномернойсеткеf ′′ (x i ) ≈ f i−1 −2f i +f i+1h 2являются три точки — x i−1 , x i , x i+1 (см. Рис. 2.11), в которых должныбыть заданы f i−1 , f i , f i+1 . Особенно разнообразны формы шаблонов вслучае двух и более независимых переменных.2.8б Оценка погрешностичисленного дифференцированияПусть для численного нахождения k-ой производной функции применяетсяформула численного дифференцирования Φ, имеющая шаблонΨ и использующая значения функции в узлах этого шаблона. Еслиf(x) — дифференцируемая необходимое число раз функция, такая чтоf i = f(x i ) для всех узлов x i ∈ Ψ, то какова может быть погрешностьвычисления f (k) (x) по формуле Φ? Вопрос этот можно адресовать какк целому интервалу значений аргумента, так и локально, только к тойточкеx i , которая служит аргументом левой части формулы численногодифференцирования.Если рассматриваемая формула выведена в рамках интерполяционногоподхода, то заманчивой идеей является получение ответа прямымдифференцирование полученных нами ранее выражений (2.23)и (2.24) для погрешности интерполирования. Этот путь оказываетсяочень непростым, так как применение, к примеру, выражения (2.24)

2.8. Численное дифференцирование 105требует достаточной гладкости функции ξ(x), о которой мы можемсказать немногое. Даже если эта гладкость имеется у ξ(x), полученныеоценки будут содержать производные ξ ′ (x) и пр., о которых мызнаем ещё меньше. Наконец, шаблон некоторых формул численногодифференцирования содержит меньше точек, чем это необходимо дляпостроения интерполяционных полиномов нужной степени. Такова, кпримеру, формула «центральной разности» для первой производнойили формула для второй производной (2.71), построенная по четырёмточкам на основе полинома 3-й степени. Тем не менее, явные выражениядля остаточного члена формул численного дифференцирования наэтом пути можно получить методом, который напоминает вывод формулыдля погрешности алгебраического интерполирования. Подробностиизложены, к примеру, в книгах [17, 56].Рассмотрим ниже детально более простой и достаточно универсальныйспособ оценивания погрешностей, основанный на разложениях поформуле Тейлора. Суть этого способа заключается, во-первых, в выписываниипо формуле Тейлора разложений для функций, входящих вправую часть формулы численного дифференцирования, и, во-вторых,в аккуратном учёте членов этих разложений с целью получить, повозможности,наиболее точное выражение для ошибки.Поясним эту методику на примере оценки погрешности для формулы«центральной разности» (2.64):f ′ (x i ) ≈ f˚x,i = f i+1 −f i−1.2hПредположим, что f ∈ C 3 [x i−1 ,x x+1 ], т. е. функция f трижды непрерывнодифференцируема на интервале между узлами формулы. Подставляяеё в (2.64) и разлагая относительно точкиx i по формуле Тейлорас остаточным членом в форме Лагранжа вплоть до членов второгопорядка, получим( (f˚x,i = 1)f(x i )+hf ′ (x i )+ h22h 2 f′′ (x i )+ h36 f′′′ (ξ + ))−(f(x )i )−hf ′ (x i )+ h22 f′′ (x i )− h36 f′′′ (ξ − )= f ′ (x i )+ h212 f′′′ (ξ + )+ h212 f′′′ (ξ − ),

106 2. Численные методы анализагде ξ + и ξ − — некоторые точки из открытого интервала ]x i−1 ,x i+1 [.Поэтомуf˚x,i −f ′ (x i ) = h2 (f ′′′ (ξ + )+f ′′′ (ξ − ) ) = αh2126 ,где α = 1 2 (f′′′ (ξ + )+f ′′′ (ξ − ) ) . В целом справедлива оценка∣ f˚x,i −f ′ (x i ) ∣ ∣ ≤M 36 h2 ,в которой M 3 = max ξ |f ′′′ (ξ)| для ξ ∈ ]x i−1 ,x i+1 [ . То есть, на триждынепрерывно дифференцируемых функциях погрешность вычисленияпроизводной по формуле «центральной разности» равна O(h 2 )для равномерной сетки шага h.Определение 2.8.1 Станем говорить, что приближённая формула(численного дифференцирования, интегрирования и т.п.) или же приближённыйчисленный метод имеют p-ый порядок точности (или порядокаппроксимации), если на равномерной сетке с шагом h их погрешностьявляется величиной O(h p ), т.е. не превосходит Ch p , гдеC — константа, не зависящая от h.Нередко понятие порядка точности распространяют и на неравномерныесетки, в которых шаг h i меняется от узла к узлу. Тогда рольвеличиныhиграет какой-нибудь «характерный размер», описывающийданную сетку, например, h = max i h i . Порядок точности — важная количественнаямера погрешности формулы или метода, и при прочихравных условиях более предпочтительной является та формула илитот метод, которые имеют более высокий порядок точности. Но следуетчётко осознавать, что порядок точности имеет асимптотическийхарактер и отражает поведение погрешности при стремлении шаговсетки к нулю. Если этого стремления нет и шаг сетки остаётся «достаточнобольшим», то вполне возможны ситуации, когда метод меньшегопорядка точности даёт лучшие результаты, поскольку множитель приh p в оценке погрешности у него меньше.Другое необходимое замечание состоит в том, что понятие порядкаформулы или метода основывается на сравнении скорости убыванияпогрешности со скоростью убывания степенных функций 1, x, x 2 , . . . ,x k , . . . , то есть существенно завязано на степенную шкалу. Иногда (не

2.8. Численное дифференцирование 107слишком часто) эта шкала оказывается не вполне адекватной реальномуповедению погрешности.Пример 2.8.1 Пусть на вещественной оси задана равномерная сеткашага h, включающая в себя узлы 0, ±h, ±2h и т. д. Для функции y =g(x) рассмотрим интерполяцию значения g(0) полусуммой12(g(−h)+g(h)), (2.73)т. е. простейшим интерполяционным полиномом первой степени по узлам−h и h. Каков будет порядок погрешности такой интерполяции взависимости от h для различных функций g(x)? 1111−1 0 1−1 0 1Рис. 2.12. Графики функции y = |x| α при 0 < α < 1 и α > 1.Для функции g(x) = |x| α , α > 0, погрешность интерполяции будет,очевидно, равна h α , так что её порядок равен α. Он может бытьнецелым числом (в частности, дробным) и даже сколь угодно малым.1−5 0 5Рис. 2.13. График функции y = exp(−1/x 2 ).11 Идея этого примера заимствована из пособия [42], задача 4.2.

108 2. Численные методы анализаВозьмём в качестве g(x) функциюg(x) ={exp(−1x 2 ), при x ≠ 0,0, при x = 0,известную в математическом анализе как пример бесконечно гладкой,но не аналитической (т. е. не разлагающейся в степенной ряд) функции.Погрешность интерполяции значения этой функции в нуле с помощьюформулы (2.73) равна exp(−1/h 2 ), при h → 0 она убывает быстреелюбой степени h, так что порядок точности нашей интерполяции оказываетсябесконечно большим. Но такой же бесконечно большой порядокточности интерполирования будет демонстрировать здесь функцияy = x 2 g(x), хотя для неё погрешность h 2 exp(−1/h 2 ) убывает существеннобыстрее.Из выкладок, проведённых для определения погрешности формулы«центральной разности», хорошо видна особенность метода разложенийпо формуле Тейлора: его локальный характер, вытекающий изсвойств самой формулы Тейлора. Наши построения оказываются «привязанными»к определённому узлу (или узлам) сетки, относительно которогои следует строить все разложения, чтобы обеспечить взаимныеуничтожения их ненужных членов. Как следствие, в этом специальномузле (узлах) мы можем быстро оценить погрешность. Но за пределамиэтого узла (узлов), в частности, между узлами сетки всё гораздо сложнееи не так красиво, поскольку взаимные уничтожения членов могутуже не происходить.Какой порядок точности имеют другие формулы численного дифференцирования?Методом разложений по формуле Тейлора для дважды гладкойфункции f нетрудно получить оценки|f x,i −f ′ (x i )| ≤ M 22 h, |f x,i −f ′ (x i )| ≤ M 2h, (2.74)2где M 2 = max ξ |f ′′ (ξ)| по ξ из соответствующего интервала между узлами.Таким образом, разность вперёд (2.61) и разность назад (2.61)имеют всего лишь первый порядок точности. Отметим, что для дваждынепрерывно дифференцируемых функций оценки (2.74) уже не могутбыть улучшены и достигаются, к примеру, на функции f(x) = x 2 .

2.8. Численное дифференцирование 109Конспективно изложим другие результаты о точности формул численногодифференцирования:f ′ (x i ) = 1 ( )−3fi +4f i+1 −f i+2 +O(h 2 ),2hf ′ (x i ) = 1 ( )fi−2 −4f i−1 +3f i +O(h 2 ),2hf ′ (x i ) = 1 ( )−2fi−1 −3f i +6f i+1 −f i+2 +O(h 3 ),6hf ′ (x i ) = 1 ( )fi−2 −6f i−1 +3f i +2f i+1 +O(h 3 ).6hОценим теперь погрешность формулы (2.65) для второй производнойf ′′ (x i ) ≈ f xx,i = f i−1 −2f i +f i+1h 2 .Обозначая для краткости f i ′ = f′ (x i ) и f i ′′ = f ′′ (x i ), получим( (f xx,i = 1 )h 2 f i −hf i ′ + h22 f′′ i − h36 f′′′ i + h424 f(4) (ξ − ) −2f i)+(f )i +hf i ′ + h22 f′′ i + h36 f′′′ i + h424 f(4) (ξ + )= f i ′′ + h2 (f (4) (ξ − )+f (4) (ξ + ) ) ,24где ξ − , ξ + — некоторые точки из открытого интервала ]x i−1 ,x i+1 [ . Поэтомуесли f ∈ C 4 [x i−1 ,x i+1 ], то справедлива оценка|f ′′ (x i )−f xx,i | ≤ M 412 h2 ,где M 4 = max ξ |f (4) (ξ)|. Таким образом, порядок точности этой формулыравен 2 на функциях из C 4 .Приведём ещё без вывода результат о погрешности формулы длявычисления второй производной вблизи края сетки (таблицы):f ′′ (x i ) = 1 h 2 (2fi −5f i+1 +4f i+2 −f i+3)+O(h 2 ),f ′′ (x i ) = 1 h 2 (fi−3 −4f i−2 +5f i−1 −2f i)+O(h 2 ).

110 2. Численные методы анализаПорядок этих формул всего лишь второй, откуда видна роль симметричностишаблона в трёхточечной формуле (2.65) с тем же порядкомточности.Что произойдёт, если дифференцируемая функция не будет иметьдостаточную гладкость? Тогда мы не сможем выписывать необходимоеколичество членов разложения по формуле Тейлора, и потому полученныйпорядок точности формул с помощью метода разложенийустановить не сможем. Тот факт, что в этих условиях реальный порядокточности может быть в самом деле меньшим, чем для функций свысокой гладкостью, показывает следующийПример 2.8.2 Рассмотрим функцию g(x) = x|x|, которую эквивалентнымобразом можно задать в виде{x 2 , если x ≥ 0,g(x) =−x 2 , если x ≤ 0.Её график изображён на Рис. 2.14.Функция g(x) дифференцируема всюду на числовой оси. При x ≠ 0она имеет производную, равнуюg ′ (x) = ( x|x| ) ′= x ′ |x|+x|x| ′ = |x|+x sgn x = 2|x|,а в нулеg ′ x|x|(0) = lim = 0.x→0 xТаким образом, производная g ′ (x) = 2|x| всюду непрерывна. Но онанедифференцируема в нуле, так что вторая производная g ′′ (0) уже несуществует. Как следствие,g(x) ∈ C 1 , ноg(x) ∉ C 2 на любом интервале,содержащем нуль.Воспользуемся для численного нахождения производной g ′ (0) формулойцентральной разности (2.64) на шаблоне с шагом h, симметричномотносительно нуля:g ′ (0) ≈ g(h)−g(−h)2h= h|h|−(−h)|−h|2h= h2 +h 22h= h.Таким образом, при h → 0 приближённое числовое значение производнойстремится к g ′ (0) = 0 c первым порядком по h, а не вторым, какмы установили это ранее для дважды гладких функций.

2.8. Численное дифференцирование 11111Рис. 2.14. График функции y = x|x|: увидеть разрывеё второй производной в нуле почти невозможно.2.8в Метод неопределённых коэффициентовМетод неопределённых коэффициентов — это другой подход к получениюформул численного дифференцирования, особенно удобный вмногомерном случае, когда построение интерполяционного полиномастановится непростым.Предположим, что задан шаблон из p+1 штук точек x 0 , x 1 , . . . , x p .Станем искать приближённое выражение для производной от функциив виде линейной формы от значений функции, т. е. какf (k) (x) ≈p∑c i f(x i ). (2.75)i=0Она мотивируется тем обстоятельством, что дифференцирование любогопорядка является операцией, линейной по значениям функции.Линейными формами от значений функции были, в частности, все полученныеранее формулы численного дифференцирования, начиная с(2.61) и кончая (2.72).Коэффициентыc i линейной формы постараемся подобрать так, чтобыэта формула являлась точной формулой для какого-то «достаточнопредставительного» набора функций. Например, в качестве таких«пробных функций» можно взять все полиномы степени не выше заданной,либо тригонометричексие полиномы (2.4) какого-то фиксиро-

112 2. Численные методы анализаванного порядка и т. п. Рассмотрим ниже подробно случай алгебраическихполиномов.Возьмём f(x) равной последовательным степеням переменной x,т. е. 1, x, x 2 , . . . , x q для некоторого фиксированного q. Если формула(2.75) обращается в точное равенство на этих «пробных функциях»,то с учётом её линейности можно утверждать, что она будет точнойдля любого алгебраического полинома степени не выше q.Каждое условие, выписанное для какой-то определённой степениx j ,j = 0,1,...,q, является линейным соотношением для неизвестных коэффициентовci , и в целом мы приходим к системе линейных уравненийотносительно c i , i = 0,1,...,p. Для разрешимости этой системы естественновзять число неизвестных равным числу уравнений, т. е. q = p.Получающаяся система линейных уравнений имеет вид⎧c 0 + c 1 + ... + c p = 0,c 0 x 0 + c 1 x 1 + ... + c p x p = 0,⎪⎨⎪⎩... .. . .. .c 0 x k−10 + c 1 x k−11 + ... + c p x k−1p = 0,c 0 x k 0 + c 1 x k 1 + ... + c p x k p =c 0 x k+10 + c 1 x k+11 + ... + c p x k+1..... ....k!,p = (k +1)!x,....c 0 x p 0 + c 1 x p 1 + ... + c p x p p = p(p−1)···(p−k +1)x p−k .(2.76)В правых частях этой системы стоят k-е производные от 1, x, x 2 , . . . ,x q , а матрицей системы является матрица Вандермонда вида (2.7), котораянеособенна для попарно различных узлов x 0 , x 1 , . . . , x p . Приэтом система линейных уравнений однозначно разрешима относительноc 0 , c 1 , . . . , c p для любой правой части, но содержательным являетсялишь случай k ≤ p. В противном случае, если k > p, правая частьсистемы (2.76) оказывается нулевой, и, как следствие, система такжеимеет только бессодержательное нулевое решение. Этот факт имеетинтуитивно ясное объяснение: нельзя построить формулу для вычисленияпроизводной k-го порядка от функции, используя значения этойфункции не более чем в k точках.Матрицы Вандермонда в общем случае являются плохообусловленными(см. §3.5б). Но на практике решение системы (2.76) — вручную

2.8. Численное дифференцирование 113или на компьютере — обычно не приводит к большим ошибкам, таккак порядок системы (2.76), равный порядку производной, бывает, какправило, небольшим. 12Пример 2.8.3 Построим формулу численного диференцированияИнтересен вопрос о взаимоотношении метода неопределённых коэффициентови рассмотренного ранее в §2.8а интерполяционного подходак численному дифференцированию. К примеру, Ш.Е. Микеладзе в книге[53] утверждает, что любая формула численного дифференцирования,полученная методом неопределённых коэффициентов, может бытьвыведена также с помощью интерполяционного подхода, отказывая методунеопределённых коэффициентов в оригинальности. Но нельзя отрицатьтакже, что метод неопределённых коэффициентов конструктивнопроще и технологичнее в применении, и уже только это обстоятельствооправдывает его существование.2.8г Полная вычислительная погрешностьчисленного дифференцированияРассмотрим поведение полной погрешности численного дифференцированияпри расчётах на реальных вычислительных устройствах.Под полной погрешностью мы понимаем суммарную ошибку численногонахождения производной, вызванную как приближённым характеромсамого метода, так и неточностями вычислений на цифровыхЭВМ из-за неизбежных ошибок округления и т. п.Предположим, к примеру, что первая производная функции вычисляетсяпо формуле «разность вперёд»Как мы уже знаем, её погрешностьf ′ (x i ) ≈ f x,i = f i+1 −f i.h|f x,i −f ′ (x i )| ≤ M 2h2 ,12 На стр. 87 мы уже обсуждали вопрос о том, каков наивысший порядок производных,всё ещё имеющих содержательный смысл.

114 2. Численные методы анализагде M 2 = max ξ∈[a,b] |f ′′ (ξ)|. Если значения функции вычисляются сошибками, то вместо точных f i и f i+1 мы получаем их приближённыезначения ˜f i и ˜f i+1 , такие что|f i − ˜f i | ≤ δ и |f i+1 − ˜f i+1 | ≤ δ,где через δ обозначена предельная абсолютная погрешность вычислениязначений функции. Тогда в качестве приближённого значения производноймы должны взятьf ′ (x i ) ≈ ˜f i+1 − ˜f i,hа предельную полную вычислительную погрешность E(h,δ) нахожденияпервой производной функции можно оценить следующим образом:E(h,δ) =≤∣∣˜f i+1 − ˜f ih˜f i+1 − ˜f ih−f ′ (x i )∣− f i+1 −f ih∣ ∣∣∣ ∣ + f i+1 −f i−f ′ (x i )h ∣≤(˜f i+1 −f i+1 )+(f i − ˜f i )∣ h ∣ + M 2h2(2.77)≤ |f i+1 − ˜f i+1 |+|f i − ˜f i |+ M 2h= 2δh 2 h + M 2h2 .Отметим, во-первых, что эта оценка, достижима при подходящемсочетании знаков фигурирующих в неравенствах величин, коль скородостижимо используемое в преобразованиях неравенство треугольника|a+b| ≤ |a|+|b| и достижима оценка погрешности (2.74) для формулы«разность вперёд». Во-вторых, оценка не стремится к нулю при уменьшениишага h, так как первое слагаемое неограниченно увеличиваетсяпри h → 0. В целом, функция E(h,δ) при фиксированном δ имеет минимум,определяемый условием∂E(h,δ)= ∂ ( 2δ∂h ∂h h + M )2h= − 2δ2 h 2 + M 22 = 0.То есть, оптимальное значение шага численного дифференцирования,при котором достигается минимальная полная погрешность, равноh ∗ = 2 √ δ/M 2 , (2.78)

2.8. Численное дифференцирование 115и брать меньший шаг численного дифференцирования смысла нет. Самозначение достигаемой при этом полной погрешности есть E(h ∗ ,δ) =2 √ δM 2 .Пример 2.8.4 Пусть в арифметике двойной точности с плавающейточкой, реализованной согласно стандарту IEEE 754/854, численно находитсяпроизводная функции, выражение для которой требует десятьвычислений, а модуль второй производной ограничен сверху величинойM 2 = 10. Погрешность отдельной арифметической операции можносчитать приближённо равной половине расстояния между соседнимимашинно представимыми числами, т. е. примерно 10 −16 в районеединицы. Наконец, пусть абсолютная погрешность вычисления функциискладывается из сумм абсолютных погрешностей каждой операции,так что δ ≈ 10·10 −16 = 10 −15 при аргументах порядка единицы.Тогда в соответствии с формулой (2.78) имеем h ∗ = 2 √ δ/M 2 =2·10 −8 , т. е. брать шаг сетки меньше 10 −8 смысла не имеет. E(h,δ)✻✲0 hРис. 2.15. Типичный график полной погрешностичисленного дифференцированияСовершенно аналогичная ситуация имеет место и при использованиидругих формул численного дифференцирования. Производная k-го порядка на равномерной сетке шага h определяется в общем случае

116 2. Численные методы анализаРис. 2.16. Возмущение функции добавкой 1 n sin(nx).формулой вида 13 f (k) (x) = h −k∑ ic i f(x i )+R k (f,x), (2.79)где c i = O(1) при h → 0. Если эта формула имеет порядок точности p,то её остаточный член оценивается как R k (f,x) ≈ c(x)h p . Этот остаточныйчлен определяет «идеальную» погрешность численного дифференцированияв отсутствие ошибок вычисления функции, и он неограниченноубывает при h → 0.Но если погрешность вычисления значений функции f(x i ) в узлахравна δ, то в правой части (2.79) возникает ещё член, абсолютная величинакоторого совершенно аналогично (2.77) оценивается сверху какδh −k∑ i|c i |.Она неограниченно возрастает при h → 0. В целом график полной вычислительнойпогрешности численного дифференцирования выглядитв этом случае примерно так, как на Рис. 2.15.Практический вывод из сказанного состоит в том, что существуетоптимальный шаг h численного дифференцирования, минимизирующийполную вычислительную погрешность, и брать слишком маленькоезначение шага h в практических расчётах нецелесообразно.13 Для примера можно взглянуть на те формулы, которые приведены в §2.8а.

2.9. Алгоритмическое дифференцирование 117Потенциально сколь угодно большое возрастание погрешности численногодифференцирования, в действительности, является отражениемболее глубокого факта некорректности задачи дифференцирования(см. §1.3). Её решение не зависит непрерывно от входных данных, иэто демонстрируют простые примеры. Если f(x) — исходная функция,производную которой нам требуется найти, то возмущённая функцияf(x) + 1 nsin(nx) при n → ∞ будет равномерно сходиться к исходной,тогда как её производнаяf ′ (x)+cos(nx)не сходится к производнойf ′ (x) (см. Рис. 2.16). При возмущении исходнойфункции слагаемым 1 n sin(n2 x) производная вообще может скольугодно сильно отличаться от производной исходной функции.2.9 Алгоритмическое дифференцированиеПусть u = u(x) и v = v(x) — некоторые выражения от переменнойx, из которых далее с помощью сложения, вычитания, умножения илиделения конструируется более сложное выражение. Напомним правиладифференцирования выражений, образованных с помощью элементарныхарифметических операций:(u+v) ′ = u ′ +v ′ , (2.80)(u−v) ′ = u ′ −v ′ , (2.81)(uv) ′ = u ′ v +uv ′ , (2.82)( u ′ u =v) ′ v −uv ′v 2 . (2.83)Из них следует, что численное значение производной для сложного выражениямы можем найти, зная лишь значения образующих его подвыраженийи их производных.Сделанное наблюдение подсказывает идею ввести на множестве парвида (u,u ′ ), которые составлены из значений выражения и его производной,арифметические операции по правилам, следующим из формул

118 2. Численные методы анализа(2.80)–(2.83):(u,u ′ )+(v,v ′ ) = (u+v,u ′ +v ′ ), (2.84)(u,u ′ )−(v,v ′ ) = (u−v,u ′ −v ′ ), (2.85)(u,u ′ )·(v,v ′ ) = (uv,u ′ v +uv ′ ), (2.86)(u,u ′ () u(v,v ′ ) = v , u′ v −uv ′ )v 2 . (2.87)Первые члены пар преобразуются просто в соответствии с применяемойарифметической операцией, а операции над вторыми членами пар— это в точности копии правил (2.80)–(2.83). Если для заданного выражениямы начнём вычисления по выписанным формулам (2.84)–(2.87),заменив исходную переменную x на пары (x,1), а константы c — напары вида (c,0), то на выходе получим пару, состоящую из численныхзначений выражения и производной от него в точке x.Это рассужднение очевидно обобщается на случай, когда функциязависит от нескольких переменных.Помимо арифметических операций интересующее нас выражениеможет содержать вхождения элементарных функций. Для них в соответствиис формулами дифференциального исчисления можем определитьдействия над парами следующим образомexp ( (u,u ′ ) ) = (expu,u ′ expu),sin ( (u,u ′ ) ) = (sinu,u ′ cosu),((u,u ′ ) ) 2=(u 2 ,2uu ′) ,((u,u ′ ) ) 3=(u 3 ,3u 2 u ′) и т.д.Арифметику пар вида (u,u ′ ) с операциями (2.84)–(2.87) называютдифференциальной арифметикой, а основанный на её использованииспособ вычисления значений производных носит название алгоритмическогодифференцирования. Нередко используют также термин «автоматическоедифференцирование».Строго говоря, мы рассмотрели один из возможных способов организацииалгоритмического дифференцирования, который называютпрямым режимом. Существует ещё и обратный режим алгоритмическогодифференцирования.

2.10. Приближение функций 119Описанную выше идею можно применить к вычислению вторыхпроизводных. Но теперь вместо дифференциальной арифметики парчисел (u,u ′ ) нам необходимо будет оперировать с числовыми тройкамивида (u,u ′ ,u ′′ ), поскольку в формулах для вторых производных функциифигурируют значения самой функции и её первых и вторых производных.Идея алгоритмического дифференцирования может быть распространенана вычисление разделённых разностей (наклонов) функций,а также на вычисление интервальных расширений производных и наклонов(см., к примеру, [65]).2.10 Приближение функций2.10а Обсуждение постановки задачиВ этом параграфе мы займёмся задачей приближения функций. Кней естественно приходят в ситуациях, где методы интерполированияпо различным причинам не удовлетворяют практику. Эти причины могутносить чисто технический характер. К примеру, гладкость сплайнаможет оказаться недостаточной, либо его построение — слишкомсложным. Степень обычного интерполяционного полинома может бытьнеприемлемо высокой для данного набора узлов интерполяции (а высокаястепень — это трудности при вычислении значений полинома иего большая изменчивость). Но причины отказа от интерполяции могутиметь также принципиальный характер. В частности, это происходит,если значения функции в узлах x 0 , x 1 , . . . , x n известны неточно. В этихусловиях целесообразна коррекция самой постановки задачи.Именно, имеет смысл отказаться от требования, чтобы восстанавливаемаяфункция g была точно равна значениям f i в узлах x 0 , x 1 , . . . ,x n , допустив, к примеру, для g принадлежности её значений некоторыминтервалам, т. е. g(x i ) ∈ [f i,f i ], i = 0,1,...,n, f i≤ f i . Наглядногеометрическиэто означает построение функции g(x) из заданногокласса G, которая в каждом узле сетки x i , i = 0,1,...,n, проходитчерез некоторый «коридор» [f i,f i ], см. Рис. 2.17.Более общая постановка этой задачи предусматривает наличие некоторойметрики (расстояния), которую мы будем обозначать через dist,и с помощью которой можно измерять отклонение вектора значений(g(x 0 ),g(x 1 ),...,g(x n )) ⊤ функции g(x) в узлах сетки от вектора заданныхзначений (f 0 ,f 1 ,...,f n ) ⊤ . Напомним, что на множестве Y , обра-

120 2. Численные методы анализаРис. 2.17. Интерполяция функции, заданной с погрешностьюзованном элементами произвольной природы, расстоянием (или метрикой)называется определённая на декартовом произведении Y × Yфункция dist с неотрицательными вещественными значениями, удовлетворяющаядля любых f, g, h ∈ Y следующим условиям:(1) dist(f,g) = 0 тогда и только тогда, когда f = g,(2) dist(f,g) = dist(g,f) — симметричность,(3) dist(f,h) ≤ dist(f,g)+dist(g,h) — неравенство треугольника.Фактически, в рассмотренной выше ситуации dist — это какое-торасстояние на пространстве R n+1 всех (n + 1)-мерных вещественныхвекторов. Соответствующая постановка задачи приближения (аппроксимации)будет звучать тогда так:Для заданных набора узлов x i , i = 0,1,...,n, на интервале [a,b]и соответствующих им значений f i , i = 0,1,...,n, и ǫ > 0, найтифункцию g(x) из класса функций G, такую что dist(f,g) < ǫ,где f = (f 0 ,f 1 ,...,f n ) ⊤ и g = (g(x 0 ),g(x 1 ),...,g(x n )) ⊤ .При этом g(x) называют приближающей (аппроксимирующей) функцией,Важнейшей модификацией поставленной задачи служит задачанаилучшего приближения, когда величина ǫ не фиксируется и ищутприближающую (аппроксимирующую) функцию g(x), которая доставляетминимум расстоянию dist(f,g).Согласно классификации §2.1, выписанные выше формулировки являютсядискретными вариантами общей задачи о приближении функ-

2.10. Приближение функций 121ции, в которой дискретный набор узлов x 0 , x 1 , . . . , x n уже не фигурирует,а отклонение одной функции от другой измеряется «на всей»области их определения:Для заданныхǫ > 0, функцииf(x) изF и метрики dist найтифункциюg(x) из класса функцийG, такую чтоdist(f,g) < ǫ.Соответствующая общая формулировка задачи о наилучшем приближенииставится так:Для заданных функции f(x) из класса функций Fи метрики dist найти функцию g(x) из класса G,на которой достигается нижняя грань расстоянийот f(x) до функций из G, т. е. удовлетворяющуюусловию dist(f,g) = inf h∈G dist(f,h).(2.88)Решение g этой задачи, если оно существует, называется наилучшимприближением для f в классе G. Отметим, что в каждом конкретномслучае существование элемента наилучшего приближения требует отдельногоисследования.Отметим, что задачу приближения функций, значения которых заданыприближённо, часто называют (особенно в практических приложениях)задачей сглаживания, поскольку получаемая приближающаяфункция, как правило, действительно «сглаживает» выбросы данных,вызванные случайными ошибками и т. п.До сих пор ничего не было сказано о выборе классов функций F иG, и в наших формулировках они могут быть весьма произвольными.Но чаще всего предполагают, что F ⊇ G, и, кроме того, наделяют F иG структурой линейного пространства с некоторой нормой ‖·‖. Именнов ней измеряют отклонение функций (непрерывного или дискретногоаргумента) друг от друга, так чтоdist(f,g) = ‖f −g‖.Соответственно, в задаче наилучшего приближения функции f ищетсятакой элемент g ∈ G, на котором достигается inf h∈G ‖f −h‖.Рассмотренные выше постановки задач дают начало большим иважным разделам математики, в совокупности образующим теориюприближения функций (называемую также теорией аппроксимации).Её ветвью является, в частности, теория равномерного приближения,когда отклонение функций оценивается в норме ‖f‖ = max x∈[a,b] |f(x)|

122 2. Численные методы анализа(см. [45, 59]). Выбор различных норм (т. е. различных мер отклоненияфункций друг от друга) и различных классов функций обуславливаетогромное разнообразие задач теории приближения.2.10б Существование и единственностьрешения задачи приближенияНекоторые свойства решения задачи наилучшего приближения функцийможно вывести уже из абстрактной формулировки. В частности,это касается существования решения, а также единственности решенияпри некоторых дополнительных условиях на норму.Предложение 2.10.1 Пусть X — нормированное линейное пространство,а U — его конечномерное линейное подпространство. Тогда длядля любого f ∈ X существует элемент наилучшего приближенияu ∈ U.Доказательство. Пусть размерность U равна m. Зафиксировав некоторыйбазис φ 1 , φ 2 , . . . , φ m подпространства U, введём функцию∥ m r(a 1 ,a 2 ,...,a m ) =∥ f − ∑ ∥∥∥∥a j φ j .Предложение будет доказано, если мы обоснуем тот фкат, что функцияr : R m → R достигает своего наименьшего значения на R m .Прежде всего покажем, что функцияr непрерывно зависит от своихаргументов:∣∣r(b 1 ,b 2 ,...,b m )−r(a 1 ,a 2 ,...,a m ) ∣ ∥ ∥ ∣ ≤m ∣ ∥ f − ∑ ∥∥∥∥ m b j φ j −∥ f − ∑ ∥∥∥∥ ∣∣∣∣∣j φ jj=1 j=1a ∥ m∑ ∥∥∥∥ m∑∣≤(b j −a j )φ j ≤ ∣ bj −a ∣‖φj j ‖∥j=11≤j≤mj=1j=1∣ ∣ m∑≤ max ∣b j −a j∣·‖φ j ‖.j=1

2.10. Приближение функций 123Следовательно, при b j → a j разность между r(b 1 ,b 2 ,...,b m ) и r(a 1 , a 2 ,. . . , a m ) также будет стремиться к нулю.Следующим шагом доказательства продемонстрируем, что функцияr(x) может достигать своего минимума лишь на некотором подмножествевсего пространстве R m , которое к тому же компактно.Элемент наилучшего приближения, вообще говоря, может быть неединственным.Но при определённых условиях мы можем гарантироватьего единственность, опираясь лишь на свойства пространства X.Нормированное пространствоX с нормой ‖·‖ называют строго нормированным,если для произвольных x,y ∈ X из равенства ‖x+y‖ =‖x‖ + ‖y‖ следует существование такого скаляра α ∈ R, что y = αx.Иными словами, в таком пространстве равенство в неравенстве треугольникавозможно лишь для коллинеарных векторов.Пример 2.10.1 Строго нормированным пространством является R 2с евклидовой нормой ‖x‖ 2 = √ x 2 1 +x2 2 . Но нормы ‖x‖ 1 = |x 1 | + |x 2 |и ‖x‖ ∞ = max{|x 1 |,|x 2 |} на R 2 , которые эквивалентны норме ‖ · ‖ 2(см. §3.3б), не порождают строго нормированное пространство. Предложение 2.10.2 Пусть X — строго нормированное линейноепространство, а U — его конечномерное линейное подпространство.Тогда для для любого f ∈ X элемент его наилучшего приближенияu ∈ U единствен.Доказательство. Предположим, что для элемента f существуют дванаилучших приближенияu ′ =m∑u ′ i φ i и u ′′ =i=1m∑i=1u ′′i φ i, (2.89)которые определяются наборами коэффициентов (u ′ 1 ,u′ 2 ,...,u′ m ) и (u′′u ′′2 , . . . , u′′ m ) разложения по базису φ i, i = 1,2,...,m. При этом∥ ∥ m ∥ f − ∑ ∥∥∥∥ u ′ miφ i =∥ f − ∑ ∥∥∥∥u ′′i φ i = µ ≥ 0,i=1где µ — величина наименьшего отклонения f от u ′ и u ′′ .i=11 ,

124 2. Численные методы анализаВозьмём середину отрезка прямой, соединяющей u ′ и u ′′ , т. е. точку,у которой компоненты разложения по векторам φ i , равны 1 2 (u′ i +u′′ i ).Имеем∥ m ∥ f − ∑ ∥∥∥∥ (12 (u′ i +u ′′1m∑)i)φ i =f − u ′∥ 2iφ i + 1 ( m∑) ∥ f − u ′′ ∥∥∥i φ i2i=1i=1i=1≤ 1 m 2 ∥ f − ∑u ′ i φ i∥ + 1 m 2 ∥ f − ∑i=1u ′′i φ ii=1∥ = µ.Строгого неравенства здесь быть не может, что очевидно для µ = 0,а для µ > 0 означало бы существование элемента, приближающего fлучше, чем два элемента наилучшего приближения u ′ и u ′′ . Поэтомунеобходимо должно выполняться равенство∥∥(1f −2m∑i=1)u ′ iφ i + 1 (f −2m∑i=1u ′′i φ i) ∥ ∥ ∥∥∥= 1 m ∥2 ∥ f − ∑ ∥∥∥u ′ iφ i + 1 m2 ∥ f − ∑i=1i=1u ′′i φ i∥ ∥∥∥.Но если рассматриваемое пространство — строго нормированное, то изполученного равенства следует( )m∑m∑f − u ′ iφ i = α f − u ′′i φ i (2.90)i=1для некоторого вещественного α.В случае, когда α ≠ 1, получаемf =11−α ·m∑i=1i=1(u ′ i −αu′′ i )φ i,т. е.f точно представляется в виде линейной комбинации базисных векторовφ i . Тогда µ = 0, и в силу единственности разложения по базисудолжно быть u ′ i = u′′ i . Следовательно, для f в действительности существуетвсего лишь одно наилучшее приближение.В остающемся случае α = 1 для выполнения равенства (2.90) необходимоu ′ i = u′′ i , и тогда два элемента наилучшего приближения (2.89)также должны совпадать.

2.10. Приближение функций 1252.10в Задача приближенияв евклидовом пространствеРассмотрим подробно важный частный случай задачи о наилучшемприближении (2.88), в котором• класс F — линейное нормированное пространство функций, накотором задано скалярное произведение 〈·,·〉, и с его помощьюнорма в F определяется как ‖f‖ = √ 〈f,f〉,• класс функций G ⊆ F, из которого выбирается искомый элементнаилучшего приближения, является конечномерным подпространствомв F.Напомним, что конечномерные линейные векторные пространства,в которых определено скалярное произведение, называются евклидовымипространствами. Бесконечномерные линейные векторные пространствасо скалярным произведением называются гильбертовымипространствами при дополнительном условии полноты, т. е. существованияв них предела всякой фундаментальной последовательности относительнонормы, порождённой этим скалярным произведением. Гильбертовыпространства являются ближайшим обобщением пространствс привычной нам геометрией.В условиях постановки задачи, описанной в начале раздела, будемпредполагать, что известен {ϕ j } m j=1 — базис m-мерного линейного подпространстваG ⊆ F. Мы ищем приближение g для элемента f ∈ F ввидеm∑g = c j ϕ j . (2.91)j=1где c j , j = 1,2,...,m — неизвестные коэффициенты, подлежащие определению.Если через Φ обозначить квадрат нормы отклонения f от g,то имеемΦ = ‖f −g‖ 2 = 〈f −g,f −g〉= 〈f,f〉−2〈f,g〉+〈g,g〉m∑ m∑ m∑= 〈f,f〉−2 c j 〈f,ϕ j 〉+ c j c k 〈ϕ j ,ϕ k 〉. (2.92)j=1j=1 k=1

126 2. Численные методы анализаКак видим, Φ есть квадратичная форма от аргументов c 1 , c 2 , . . . , c mплюс ещё некоторые линейные члены относительно c j и постоянноеслагаемое 〈f,f〉. Её особенностью является то обстоятельство, что длявсех значений аргументов функция Φ принимает только неотрицательныезначения. Покажем, что она достигает своего минимума.Пусть Ш R = {x ∈ R m | √ x 2 1 +x2 2 +...+x2 m ≤ R} — замкнутыйшар радиуса R с центром в нуле относительно евклидова расстояния.Рассмотрим поведение min c∈ШR Φ(c) в зависимости от R. При увеличенииR значение этого минимума не возрастает, но, в действительности,оно не может уменьшаться, начиная с некоторого R.В самом деле, после приведения к «главным осям» квадратичнаяформа в составе Φ обязательно должна получить вид суммы квадратовс положительными коэффициентами, так как иначе вся Φ была бынеограниченной снизу. Но сумма квадратов неограниченно возрастаетпри увеличении расстояния аргумента c = (c 0 ,c 1 ,...,c m ) до нуля, причёмрастёт быстрее линейных членов. Следовательно, при достаточнобольших значениях R его увеличение уже не окажет никакого влиянияна min c∈ШR Φ(c), и потому мы сможем утверждать, что min c∈R m Φ(c)достигается в некотором шаре Ш R . В силу компактности множестваШ R это означает, что minΦ(c) действительно достигается в некоторойконечной точке из R m .Для определения минимума функции Φ продифференцируем её поc j , j = 1,2,...,m, и приравняем полученные производные к нулю:∂Φ∂c j= −2〈f,ϕ j 〉+2m∑c k 〈ϕ j ,ϕ k 〉 = 0. (2.93)k=1Множитель 2 при сумме всех c k 〈ϕ j ,ϕ k 〉 появляется оттого, что в двойнойсумме из выражения (2.92) слагаемое с c j возникает дважды: одинраз с коэффициентом〈ϕ j ,ϕ k 〉, а другой раз — с коэффициентом〈ϕ k ,ϕ j 〉.В целом, из равенств (2.93) для определения c j получаем системулинейных алгебраических уравненийm∑〈ϕ j ,ϕ k 〉c k = 〈f,ϕ j 〉, j = 1,2,...,m. (2.94)k=1

2.10. Приближение функций 127Матрица её коэффициентов⎛⎞〈ϕ 1 ,ϕ 1 〉 〈ϕ 1 ,ϕ 2 〉 ... 〈ϕ 1 ,ϕ m 〉〈ϕ 2 ,ϕ 1 〉 〈ϕ 2 ,ϕ 2 〉 ... 〈ϕ 2 ,ϕ n 〉Γ(ϕ 1 ,ϕ 2 ,...,ϕ m ) =⎜.⎝ . . .. ⎟ . ⎠ , (2.95)〈ϕ m ,ϕ 1 〉 〈ϕ m ,ϕ 2 〉 ... 〈ϕ m ,ϕ m 〉называется, как известно, матрицей Грама системы векторов ϕ 1 , ϕ 2 ,. . . , ϕ m . Из курса линейной алгебры и аналитической геометрии читателюдолжно быть известно, что матрица Грама — это симметричнаяматрица, неособенная тогда и только тогда, когда векторы ϕ 1 , ϕ 2 , . . . ,ϕ m линейно независимы (см., к примеру, [31]). При выполнении этогоусловия матрица Грама является ещё и положительно определённой.Таким образом, решение задачи наилучшего среднеквадратичного приближениясуществует и единственно, если ϕ 1 , ϕ 2 , . . . , ϕ m образуютбазис в подпространстве G.Обратимся к практическим аспектам реализации развитого вышеметода и обсудим свойства системы уравнений (2.94). Особенно интереснаустойчивость её решения к возмущениям в данных и погрешностямвычислений на цифровых ЭВМ.Наиболее простой вид матрица Грама имеет в случае, когда базисныефункции ϕ j ортогональны друг другу, т. е. когда 〈ϕ j ,ϕ k 〉 = 0 приj ≠ k. При этом система линейных уравнений (2.94) становится диагональнойи решается тривиально. Соответствующее наилучшее приближениеимеет тогда вид суммыg =m∑j=1c j ϕ j , где c j = 〈f,ϕ j〉, j = 1,2,...,m, (2.96)〈ϕ j ,ϕ j 〉и, как известно, называется (конечным) рядом Фурье для f по ортогональнойсистеме векторов {ϕ j } m j=1 . Коэффициенты c j из (2.96) называютпри этом коэффициентами Фурье разложения функции f.Кроме того, в случае ортогонального и близкого к ортогональномубазиса {ϕ j } m j=1 решение системы (2.94) устойчиво к возмущениямв правой части и неизбежным погрешностям вычислений. Но в общемслучае базис линейного подпространства G может сильно отличатьсяот ортогонального, и тогда свойства системы уравнений (2.94) могутбыть плохими в том смысле, что её решение будет чрезвычайно чувствительнымк возмущениям и погрешностям.

128 2. Численные методы анализа2.10г Среднеквадратичноеприближение функцийВ этом разделе мы применим развитый выше общий подход к конкретнойзадаче наилучшего среднеквадратичного приближения функций,заданных на интервале вещественной оси.Приближение функций в норме, порождённой скалярным произведением,часто называют среднеквадратичным приближением или простоквадратичным. Дело в том, что в конечномерной ситуации скалярнымпроизведением векторовf = (f 0 ,f 1 ,...,f n ) ⊤ и g = (g 0 ,g 1 ,...,g n ) ⊤обычно берут1n∑〈f,g〉 = ̺if i g i , (2.97)n+1для некоторого положительного весового вектора ̺ = (̺0,̺1,...,̺n) ⊤ ,̺i > 0. То есть, соответствующая норма ‖ · ‖ такова, что расстояниеодной функции до другой естьdist(f,g) = ‖f −g‖ =(1n+1i=0) 1/2 n∑̺i(f i −g i ) 2 , (2.98)— усреднение квадратов разностей компонент с какими-то весовымимножителями ̺i, i = 0,1,...,n. В частности, если известна информацияо точности задания отдельных значений функции f i , то веса ̺iможно назначать так, чтобы отразить величину этой точности, сопоставляязначениям f i с б´ольшей точностью б´ольший вес.1Нормирующий множительn+1при суммах в (2.97) и (2.98) удобнобрать для того, чтобы с ростом размерности n (при росте количестванаблюдений, измельчении сетки и т. п.) ограничить рост величины скалярногопроизведения и нормы, обеспечив тем самым соизмеримостьрезультатов при различных n.Еслиf иg — функции непрерывного аргумента, то обычно полагаютскалярное произведение равным〈f,g〉 =∫ bai=0̺(x)f(x)g(x)dx, (2.99)для некоторой весовой функции ̺(x) > 0. Это выражение с точностьюдо множителя можно рассматривать как предел выражения (2.97) при

2.10. Приближение функций 129n → ∞, так как в (2.97) легко угадываются интегральные суммы Риманадля интеграла (2.99) по интервалу [a,b] единичной длины приего равномерном разбиении на подинтервалы. Тогда аналогом (2.98)является расстояние между функциями( ∫ bdist(f,g) = ‖f −g‖ = ̺(x) ( f(x)−g(x) ) ) 1/22dx . (2.100)aВ связи с решением рассматриваемой задачи приближения функцийчасто используют термин метод наименьших квадратов. Фактически,это общее название целого семейства идейно близких методов построенияприближений, которые основаны на минимизации суммы квадратовотклонений компонент исходного вектора от приближающего.В случае, когда рассматривается приближение функций (или вообщеэлементов) каких-то абстрактных пространств, естественным обобщениемминимизации суммы квадратов является нахождение минимуманормы, порождённой скалярным произведением.Рис. 2.18. Различие равномерного и интегрального (в частности,среднеквадратичного) отклонений функций друг от другаПример 2.10.2 В качестве примера практического возникновениязадачи среднеквадратичного приближения рассмотрим тепловое действиетока I(t) в проводнике сопротивлением R. Мгновенная тепловаямощность, как известно из теории электричества, равна при этомI 2 (t)R, а полное количество теплоты, выделившееся между моментамивремени a и b, равно∫ baI 2 (t)Rdt.

130 2. Численные методы анализаЕсли мы хотим, скажем, минимизировать тепловыделение рассматриваемогоучастка электрической цепи, то нам нужно искать такой режимеё работы, при котором достигался бы минимум выписанного интеграла,т. е. среднеквадратичного значения тока. В электротехнике егоназывают действующим или эффективным значением силы тока. Линейным пространством F, элементы которого мы будем приближать,выступит пространство всех функций, квадрат (т. е. степень 2)которых интегрируем на интервале [a,b] с заданным весом ̺(x). Егоназывают пространством L 2 [a,b], и нам сначала требуется показать,что оно в самом деле является линейным.Ясно, что если f ∈ L 2 [a,b], то для любого скаляра c функция cf(x)также интегрируема с квадратом на [a,b]. Далее, с силу очевидногонеравенства2|f(x)g(x)| ≤ ( f(x) ) 2+(g(x)) 2из интегрируемости второй степени функций f(x) и g(x) с весом ̺(x)следует интегрируемость их произведения на[a,b]. Поэтому существуетинтеграл∫ ba̺(x) ( f(x)+g(x) ) 2dx =∫ ba̺(x) ( f(x) ) ∫ b2dx+2 ̺(x)f(x)g(x)dx+a∫ ba̺(x) ( g(x) ) 2dx,т. е. сумма f(x)+g(x) также имеет интегрируемый с весом ̺(x) квадрат.Это завершает доказательство линейности пространства L 2 [a,b].Скалярное произведение в нём задаётся выражением (2.99). В курсахфункционального анализа показывается, что если интегрированиепонимается в смысле Лебега, то L 2 [a,b] — гильбертово пространство,т. е. дополнительно обладает свойством полноты. По этой причине оноочень популярно в самых различных математических дисциплинах, оттеории уравнений в частных производных до статистики.Пример 2.10.3 Рассмотрим задачу о среднеквадратичном приближениифункций из L 2 [0,1] с единичным весом полиномами фиксированнойстепени m. Скалярное произведение определяется как〈f,g〉 =∫ 10f(x)g(x)dx,

2.10. Приближение функций 131а нормой берём‖f‖ =∫ 10(f(x)) 2dx.Соответственно, расстояние между функциями определяется тогда какdist(f,g) = ‖f −g‖ =(∫ 1) 1/2( ) 2dx f(x)−g(x) .0Если в качестве базиса в линейном подпространстве полиномов мывозьмём последовательные степени1, x, x 2 , ..., x m ,то на месте (i,j) в матрице Грама (2.95) размера (m+1)×(m+1) будетстоять элемент∫ 1x i−1 x j−1 dx = xi+j−111i+j −1∣=i+j −1 , i,j = 1,2,...,m+100(сдвиг показателей степени на (−1) вызван тем, что строки и столбцыматрицы нумеруются, начиная с единицы, а не с нуля, как последовательностьстепеней). МатрицаH = (h ij ) с элементамиh ij = 1/(i+j−1),имеющая вид⎛1 1 1⎞12 3...m+11 1 1 1⎜ 2 3 4... m+2 ⎟⎜⎝13.1m+114.1m+21 15...m+3.. .. .1 1m+3...2m+1,⎟⎠называется матрицей Гильберта, и она является исключительно плохообусловленной матрицей (см. §3.5б). Иными словами, решение СЛАУс этой матрицей является непростой задачей, которая очень чувствительнак влиянию погрешностей в данных и вычислениях. Пример 2.10.4 Пусть k и l — натуральные числа. Поскольку∫ 2π0sin(kx) cos(lx)dx = 0,

132 2. Численные методы анализадля любых k,l, и∫ 2π0sin(kx) sin(lx)dx = 0,∫ 2π0cos(kx) cos(lx)dx = 0,для k ≠ l, то базис из тригонометрических полиномов вида1, cos(2πkx), sin(2πkx), k = 1,2,...,является ортогональным на [0,1] относительно скалярного произведения(2.99) с весом ̺(x) = 1. Иными словами, этот базис очень хорош ввычислительном отношении для построения среднеквадратичных приближений.Более детальный теоретический анализ и практический опыт показывают,что в методе наименьших квадратов в качестве базиса ϕ 1 , ϕ 2 ,. . . , ϕ n линейного подпространства G ⊂ F имеет смысл брать системыэлементов, ортогональных по отношению к какому-то скалярному произведению(возможно, другому), так как это служит гарантией «разумноймалости» внедиагональных элементов матрицы Грама и, какследствие, её не слишком плохой обусловлености.Среднеквадратичные приближения и метод наименьших квадратовдля решения переопределённых систем линейных алгебраических уравнений,которые возникают в связи с задачами обработки наблюдений,были почти одновременно предложены на рубеже XVIII–XIX вековА.М. Лежандром и К.Ф. Гауссом, причём первый дал новому подходусовременное название. На практике метод наименьших квадратовочень часто применяется в силу двух главных причин. Во-первых, егоприменение бывает вызвано ясным содержательным смыслом задачи, вкоторой в качестве меры отклонения возникает именно сумма квадратовили интеграл от квадрата функции. К примеру, чрезвычайно популярнотеоретико-вероятностное обоснование метода наименьших квадратов(см., к примеру, [49]). Впервые оно было дано также К.Ф. Гауссоми далее доведено до современного состояния в трудах П.С. Лапласа,П.Л. Чебышёва и потом А.А. Маркова и А.Н. Колмогорова. Во-вторых,в методе наименьших квадратов построение элемента наилучшего приближениясводится к решению системы линейных уравнений, т. е. хорошоразработанной задаче. Если для измерения расстояния междуфункциями применяются какие-то другие метрики, отличные от (2.100),то решение задачи минимизации этого расстояния может быть суще-

2.11. Полиномы Лежандра 133ственно более трудным. В целом, если какое-либо одно или оба из выписанныхусловий не выполняется, то метод наименьших квадратовможет быть не самой лучшей возможностью решения задачи приближения.Нередко форма приближающей функции (2.91) не подходит по темили иным причинам, и тогда приходится прибегать к нелинейному методунаименьших квадратов, когда приближающая функция g(x) выражаетсянелинейными образом через базисные функции ϕ 1 (x), ϕ 2 (x),. . . , ϕ m (x). Тогда минимизация средневадратичного отклонения f от gуже не сводится к решению системы линейных алгебраических уравнений(2.94), и для нахождения минимума нам нужно применять численныеметоды оптимизации. Обсуждение этого круга вопросов и дальнейшиессылки можно найти, к примеру, в книге [41].2.11 Полиномы Лежандра2.11а Мотивация и определениеПримеры 2.10.2 и 2.10.3 из предшествующего раздела показывают,что выбор хорошего, т. е. ортогонального или почти ортогонального, базисадля среднеквадратичного приближения функций является нетривиальнойзадачей. Для её конструктивного решения можно воспользоваться,к примеру, известным из курса линейной алгебры процессомортогонализации Грама-Шмидта или его модификациями (см. §3.7е).Напомним, что по данной конечной линейно независимой системе векторовv 1 , v 2 ,. . . , v n этот процесс строит ортогональный базис q 1 , q 2 ,. . . , q n линейной облочки векторов v 1 , v 2 ,. . . , v n . Он имеет следующиерасчётные формулы:q 1 ← v 1 , (2.101)k−1∑q k ← v k −i=1〈v k ,q i 〉〈q i ,q i 〉 q i, k = 2,...,n. (2.102)Иногда получающийся ортогональный базис дополнительно нормируют.В задаче среднеквадратичного приближения, рассмотренной в предшествующем§2.10г, ортогонализуемые элементы линейного пространства— это функции, а их скалярное произведение — интеграл (2.99). По

134 2. Численные методы анализаэтой причине процесс ортогонализации (2.101)–(2.102) довольно трудоёмок,а конкретный вид функций, ортогональных в смысле L 2 [a,b], которыеполучатся в результате, зависит, во-первых, от интервала [a,b],для которого рассматривается скалярное произведение (2.99), и, вовторых,от весовой функции ̺(x).Для частного случая единичного веса, когда ̺(x) = 1, мы можемсущественно облегчить свою задачу, если найдём семейство ортогональныхфункций для какого-нибудь одного, канонического, интервала[α,β]. Для любого другого интервала воспользуемся формулой линейнойзамены переменной y = sx+r со специальным образом подобраннымиконстантами r,s ∈ R, s ≠ 0. Тогда x = (y−r)/s, и для a = sα+r,b = sβ +r имеем равенство∫ βαf(x)g(x)dx = 1 s∫ ba( y −r) ( y −r)f g dy,s sсправедливое в силу формулы замены переменных в определённом интеграле.Из него вытекает, что равный нулю интеграл по каноническомуинтервалу [α,β] останется нулевым и при линейной замене переменных.Как следствие, получающиеся при такой замене функцииf ( 1s (y −r)) и g ( 1s (y −r)) будут ортогональны на [a,b].Рассмотрим среднеквадратичное приближение функций полиномами.В этом случае в качестве канонического интервала [α,β] обычноберётся [−1,1], и тогда формула замены переменных принимает видy = 1 2 (b−a)x+ 1 2 (a+b),так что переменная y пробегает интервал [a,b], если x ∈ [−1,1]. Обратноепреобразование даётся формулойx = 1 ( )2y −(a+b) ,b−aкоторая позволяет построить ортогональные в смысле L 2 [a,b] полиномыдля любого интервала [a,b], зная их для [−1,1].Полиномами Лежандра называют семейство полиномов L n (x), зависящихот неотрицательного целого параметра n, которые образуютортогональную систему относительно скалярного произведения (2.99)с простейшим весом ̺(x) = 1 на интервале [−1,1]. Они были введены вширокий оборот французским математиком А. Лежандром в 1785 году.Из общей теории скалярного произведения в линейных пространствах

2.11. Полиномы Лежандра 135следует, что такие полиномы существуют и единственны с точностьюдо постоянного множителя. Нормирование полиномов Лежандра обычновыполняют различными способами, подходящими для той или инойзадачи.Применяя к степеням 1, x, x 2 , x 3 , . . . последовательно формулыортогонализации (2.101)–(2.102) со скалярным произведением (2.99) наинтервале [−1,1], получим1, x, x 2 − 1 3 , x3 − 3 5x, ... (2.103)(два первых полинома оказываются изначально ортогональными).Часто в качестве альтернативного представления для полиномовЛежандра используют формулу РодригаL n (x) = 12 n n!d ndx n (x 2 −1 ) n, n = 0,1,2,... . (2.104)Очевидно, что функция L n (x), определяемая этой формулой, являетсяалгебраическим полиномом n-ой степени со старшим коэффициентом,не равным нулю, так как приn-кратном дифференцировании полинома(x 2 −1) n = x 2n −nx 2(n−1) +...+(−1) n степень понижается в точностина n. Коэффициент 1/(2 n n!) перед производной в (2.104) взят с тойцелью, чтобы удовлетворить условию L n (1) = 1. Всюду далее посредствомL n (x) мы будем обозначать полиномы Лежандра, определяемыеформулой (2.104).Предложение 2.11.1 Полиномы L n (x), n = 0,1,..., задаваемые формулойРодрига (2.104), ортогональны друг другу в смысле скалярногопроизведения на L 2 [−1,1] с единичным весом. Более точно,⎧∫ 1 ⎨ 0, если m ≠ n,L m (x)L n (x)dx =−1 ⎩ 2, если m = n.2n+1Доказательство. Обозначаяможно заметить, чтоψ(x) = (x 2 −1) n ,ψ (k) (x) = dkdx k (x 2 −1 ) n= 0 при x = ±1, k = 0,1,2,...,n−1.

136 2. Численные методы анализаЭто следует из зануления множителей (x 2 − 1), присутствующих вовсех слагаемых выражений для ψ (k) (x), k = 0,1,...,n−1. Кроме того,в силу формулы Родрига (2.104)L n (x) = 12 n n! ψ(n) (x), n = 0,1,2,....Поэтому, если Q(x) является n раз непрерывно дифференцируемойфункцией на [−1,1], то, последовательно применяя n раз формулу интегрированияпо частям, получим∫ 1−1Q(x)L n (x)dx = 12 n n!∫ 1−1Q(x)ψ (n) (x)dx= 1 ( ) ∣ 12 n Q(x)ψ (n−1) (x) ∣∣ − 1 ∫ 1n!−12 n Q ′ (x)ψ (n−1) (x)dxn! −1= − 1 ∫ 12 n Q ′ (x)ψ (n−1) (x)dxn! −1= ···= (−1) n 1 ∫ 12 n Q (n) (x)ψ(x)dx. (2.105)n! −1Если Q(x) — любой полином степени меньше n, то его n-ая производнаяQ (n) (x) равна тождественному нулю, а потому из полученнойформулы тогда следует∫ 1−1Q(x)L n (x)dx = 0.В частности, это верно и в случае, когда вместо Q(x) берётся полиномL m (x) степени m, меньшей n, что доказывает ортогональность этихполиномов с разными номерами.Найдём теперь скалярное произведение полинома Лежандра с самимсобой. Если Q(x) = L n (x), тоQ (n) (x) = 12 n n!d 2ndx 2n (x 2 −1 ) n=(2n)!2 n n! .

2.11. Полиномы Лежандра 137По этой причине из (2.105) следует∫ 1−1L n (x)L n (x)dx = (−1) n (2n)!(2 n n!) 2 ∫ 1−1ψ(x)dxЕсли обозначитьZ n =∫ 1−1то нетрудно найти, чтоZ n =∫ 1(1−x 2 ) n dx =−1= (2n)!(2 n n!) 2 ∫ 1∫ 1−1(1−x 2 ) n−1 dx−−1(1−x 2 ) n dx.(1−x 2 )(1−x 2 ) n−1 dx,∫ 1−1∫ 1= Z n−1 − x 2 (1−x 2 ) n−1 dx.−1x 2 (1−x 2 ) n−1 dxИнтегрируя по частям вычитаемое в последнем выражении, получим∫ 1−1x 2 (1−x 2 ) n−1 dx = − 12n∫ 1−1= − 1 (x(1−x 2 ) n)∣ ∣1∣∣ + 12n−12nxd(1−x 2 ) n∫ 1−1(1−x 2 ) n dx = 12n Z n.Комбинируя эти результаты, будем иметь Z n = Z n−1 − 12n Z n, откудаZ n = 2n2n+1 Z n−1.Для нахождения числового значения Z n учтём, чтоТогда Z 1 = 2· 23Z 0 =∫ 1−1и т. д., так чтоZ n = 2(1−x 2 ) 0 dx =∫ 1−11dx = 2.2·4·...·(2n−2)·2n3·5·...·(2n−1)·(2n+1) .

138 2. Численные методы анализаОкончательно, скалярное произведение L n (x) на себя равно(2n)!(2 n n!) 2 Z n = 1·2·3·...·2n(2·4·6·...·2n) 2 Z n =22n+1 .Это завершает доказательство предложения.2.11б Основные свойства полиномов ЛежандраВыпишем первые полиномы Лежандра, как они даются формулойРодрига (2.104):L 0 (x) = 1,L 1 (x) = x,L 2 (x) = 1 2 (3x2 −1),L 3 (x) = 1 2 (5x3 −3x), (2.106)L 4 (x) = 1 8 (35x4 −30x 2 +3),L 5 (x) = 1 8 (63x5 −70x 3 +15x),··· .Они с точностью до множителя совпадают с результатом ортогонализацииГрама-Шмидта (2.103). Графики полиномов (2.106) изображенына Рис. 2.19, и они похожи на графики полиномов Чебышёва. В одномсущественном моменте полиномы Лежандра всё же отличаютсяот полиномов Чебышёва: абсолютные значения локальных минимумови максимумов на [−1,1] у полиномов Лежандра различны и не могутбыть сделаны одинаковыми ни при каком масштабировании.Тем не менее, сходство полиномов Лежандра и полиномов Чебышёваподтверждает следующееПредложение 2.11.2 Все нули полиномов Лежандра L n (x) вещественны,различны и находятся на интервале [−1,1].Доказательство. Предположим, что среди корней полинома L n (x),лежащих на [−1,1], имеется s штук различных корней θ 1 , θ 2 , . . . , θ s

2.11. Полиномы Лежандра 13910.80.60.40.20−0.2−0.4−0.6−0.8−1−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1Рис. 2.19. Графики первых полиномов Лежандра на интервале [−1.2,1.2].нечётной кратности α 1 , α 2 , . . . , α s , так чтоL n (x) = (x−θ 1 ) α1 (x−θ 2 ) α2 ···(x−θ s ) αs γ(x),где в полиноме γ(x) присутствуют корни L n (x), не лежащие на [−1,1],а также те корни L n (x) из [−1,1], которые имеют чётную кратность.Таким образом, γ(x) уже не меняет знака на интервале [−1,1]. Ясно,что s ≤ n, и наша задача — установить равенство s = n.Рассмотрим интегралI ==∫ 1−1∫ 1−1L n (x)(x−θ 1 )(x−θ 2 )···(x−θ s )dx(x−θ 1 ) α1+1 (x−θ 2 ) α2+1···(x−θ s ) αs+1 γ(x)dx.Теперьα 1 +1,α 2 +1, . . . ,α s +1 — чётные числа, так что подинтегральноевыражение не меняет знак на [−1,1]. Это выражение равно нулю лишьв конечном множестве точек, и потому определённо I ≠ 0.С другой стороны, выражение для I есть скалярное произведение,в смыслеL 2 [−1,1], полиномаL n (x) на полином(x−θ 1 )(x−θ 2 )···(x−θ s )

140 2. Численные методы анализастепени не более n−1, если выполнено условие s < n. Следовательно,в силу свойств полиномов Лежандра при этом должно быть I = 0.Полученное противоречие может быть снято только в случае s = n,т. е. когдаI ≠ 0. При этом все корни полиномаL n (x) различны и лежатна интервале [−1,1].Отметим, что проведённое доказательство проходит для скалярныхпроизведений вида (2.99) с достаточно произвольными весовыми функциями̺(x), а не только для единичного веса. Кроме того, тот факт, чтоинтервал интегрирования есть [−1,1], также нигде не использовался вявном виде. Фактически, это доказательство годится даже для бесконечныхпределов интегрирования. Оно показывает, что корни любыхортогональных полиномов вещественны и различны.Можно показать дополнительно, что нули полинома ЛежандраL n (x)перемежаются с нулями полинома L n+1 (x). Наконец, аналогично полиномамЧебышёва, нули полиномов Лежандра также сгущаются к концаминтервала [−1,1].Ещё одно интересное свойство полиномов Лежандра, задаваемыхпосредством формулы Родрига (2.104):L n (1) = 1, L n (−1) = (−1) n , n = 0,1,2,... .Кроме того, справедливо рекуррентное представление(n+1)L n+1 (x) = (2n+1)xL n (x)−nL n−1 (x).Доказательство этих свойств можно найти, в частности, в [25, 53]. Последняяформула даёт практически удобный способ вычисления значенийполиномов Лежандра, так как в их явном представлении (2.106)коэффициенты растут экспоненциально быстро в зависимости от номераполинома и, как следствие, прямые вычисления с ними могут датьбольшую погрешность.Введём так называемые приведённые полиномы Лежандра ˜L n (x),старший коэффициент у которых равен единице. Как следствие формулыРодрига (2.104) можем выписать следующее представление:˜L n (x) =12n(2n−1)···(n+1)d ndx n (x 2 −1 ) n=n!(2n)!d ndx n (x 2 −1 ) n,n = 1,2,.... Как и исходная формула Родрига, выражение после второгоравенства имеет также смысл при n = 0, если под производнойнулевого порядка от функции понимать её саму.

2.11. Полиномы Лежандра 141Предложение 2.11.3 Среди всех полиномов степени n, n ≥ 1, состаршим коэффициентом, равным 1, полином ˜L n (x) имеет на интервале[−1,1] наименьшее среднеквадратичное отклонение от нуля.Иными словами, если Q n (x) — полином степени n со старшим коэффициентом1, то∫ 1(Qn (x) ) ∫ 12dx ≥(˜Ln (x) ) 2dx. (2.107)−1−1Доказательство. Если Q n (x) = x n +a n−1 x n−1 +...+a 1 x+a 0 , то дляотыскания наименьшего значения выраженияJ(a 0 ,a 1 ,...,a n−1 ) ==∫ 1−1∫ 1−1(Qn (x) ) 2dx(x n +a n−1 x n−1 +...+a 1 x+a 0 ) 2 dx(2.108)продифференцируем этот интеграл по коэффициентам a 0 , a 1 , . . . , a n−1и приравняем полученные производные к нулю. Так как в данных условияхдифференцирование интеграла по параметру, от которого зависитподинтегральная функция, сводится к взятию интеграла от производной,то имеем в результате∂J∂a k=∫ 1−12 ( x n +a n−1 x n−1 +...+a 1 x+a 0)x k dx∫ 1= 2 Q n (x)x k dx = 0,−1k = 0,1,...,n − 1. Это означает, что полином Q n (x) ортогонален всмыслеL 2 [−1,1] всем полиномам меньшей степени. Следовательно, приминимальном значении интеграла (2.108) полином Q n (x) обязан совпадатьс n-ым полиномом Лежандра.Для построения полинома, который имеет наименьшее среднеквадратичноеотклонение от нуля на произвольном интервале [a,b] можновоспользоваться линейной заменой переменной и затем масштабированием,аналогично тому, как это было сделано для полиномов Чебышёвав §2.3б.

142 2. Численные методы анализаПомимо полиномов Лежандра существуют и другие семейства ортогональныхполиномов, широко используемые в теории и практическихвычислениях. В частности, введённые в §2.3 полиномы Чебышёва образуютсемейство полиномов, ортогональных на интервале [−1,1] с весом(1−x 2 ) −1/2 .Часто возникает необходимость воспользоваться ортогональнымиполиномами на бесконечных интервалах [0,+∞] или даже [−∞,∞].Естественно, единичный вес ̺(x) = 1 тут малопригоден, так как с ниминтегралы по бесконечным интервалам окажутся, по большей части,расходящимися. Полиномы, ортогональные на интервалах [0,+∞] или[−∞,∞] с быстроубывающими весами e −x и e −x2 называются полиномамиЛагерра и полиномами Эрмита соответственно. 14 Они такженаходят многообразные применения в задачах приближения, и болееподробные сведения на эту тему читатель может почерпнуть в [25, 63].2.12 Численное интегрирование2.12а Постановка и обсуждение задачиЗадача вычисления определённого интеграла∫ baf(x)dx (2.109)является одной из важнейших математических задач, к которой сводитсябольшое количество различных вопросов теории и практики. Этонахождение площадей криволинейных фигур, центров тяжести и моментовинерции тел, работы переменной силы и т. п. механические, физические,химические и другие задачи. В математическом анализе обосновываетсяформула Ньютона-Лейбница∫ baf(x)dx = F(b)−F(a), (2.110)где F(x) — первообразная для функции f(x), т. е. такая, что F ′ (x) =f(x). Она даёт удобный способ вычисления интегралов, который в значительнойстепени удовлетворяет потребности решения подобных задач.Тем не менее, возникают ситуации, когда для вычисления интеграла(2.109) требуются другие подходы.14 Иногда их называют также полиномами Чебышёва-Лагерра и Чебышёва-Эрмита (см., к примеру, [39, 63]), поскольку они были известны ещё П.Л.Чебышёву.

2.12. Численное интегрирование 143Задачей численного интегрирования называют задачу нахожденияопределённого интеграла (2.109) на основе знания значений функцииf(x), без привлечения её первообразных и формулы Ньютона-Лейбница(2.110). Подобная задача нередко возникает на практике, например, еслиподинтегральная функция f(x) задана таблично, т. е. своими значениямив дискретном наборе точек, а не аналитической формулой. Внекоторых случаях численное нахождение интеграла приходится выполнятьпотому, что первообразная для интегрируемой функции невыражается через элементарные функции. Но даже если эта первообразнаяможет быть найдена в конечном виде, её вычисление не всегдаосуществляется просто (длинное и неустойчивое к ошибкам округлениявыражение и т. п.). Все эти причины вызывают необходимость развитиячисленных методов для нахождения определённых интегралов.?xРис. 2.20. Вычисление определённого интеграла необходимо принахождении площадей фигур с криволинейными границамиНаибольшее распространение в вычислительной практике получилиформулы вида∫ b n∑f(x)dx ≈ c k f(x k ), (2.111)aгде c k — некоторые постоянные коэффициенты,x k — точки из интервалаинтегрирования [a,b], k = 0,1,...,n. Подобные формулы называютквадратурными формулами, 15 коэффициенты c k — это весовые коэфициентыили просто вес´а квадратурной формулы, а точки x k — её узлы.15 «Квадратура» в оригинальном смысле, восходящем ещё к античности, означалапостроение квадрата, равновеликого заданной фигуре. Но в эпоху Возрожденияэтот термин стал означать вычисление площадей фигур.k=0

144 2. Численные методы анализаВ многомерном случае аналогичные приближённые равенства∫ n∑f(x)dx ≈ c k f(x k ),Dk=0где x,x k ∈ D ⊂ R m , D — область в R m ,m ≥ 2,называют кубатурными формулами. Естественное условие принадлежностиузловx k области интегрирования вызвано тем, что за её пределамиподинтегральная функция может быть просто не определена, как,например, arcsinx вне интервала [−1,1].Тот факт, что квадратурные и кубатурные формулы являются линейнымивыражениями от значений интегрируемой функции в узлах,объясняется линейным характером зависимости самого интеграла отподинтегральной функции. С другой стороны, квадратурные формулыможно рассматриваеть как обобщения интегральных сумм Римана(через которые интеграл Римана и определяется), так как простейшиесоставные квадратурные формулы прямоугольников просто совпадаютс этими интегральными суммами.Как и ранее, совокупность узлов x 0 , x 1 , . . . , x n квадратурной (кубатурной)формулы называют сеткой. РазностьR(f) =∫ baf(x)dx−n∑c k f(x k )называется погрешностью квадратурной формулы или её остаточнымчленом. Это число, зависящее от подинтегральной функции f, в отличиеот остаточного члена интерполяции, который является ещё функциейточки.Если для некоторой функции f или же для целого класса функцийF ∋ f имеет место точное равенство∫ baf(x)dx =k=0n∑c k f(x k ),то будем говорить, что квадратурная формула точна (является точной)на f или для целого класса функций F. То, насколько широкимявляется класс функций, на котором точна рассматриваемая формула,может служить косвенным признаком её точности вообще. Очень частов качестве класса «пробных функций» F, для которых исследуетсяk=0

2.12. Численное интегрирование 145совпадение результата квадратурной формулы и искомого интеграла,берут алгебраические полиномы. В этой связи полезноОпределение 2.12.1 Алгебраической степенью точности квадратурнойформулы называют наибольшую степень алгебраических полиномов,для которых эта квадратурная формула является точной.Сответственно, из двух квадратурных формул более предпочтительнойбудем считать ту, которая имеет б´ольшую алгебраическую степеньточности. Неформальным обоснованием этого критерия служиттот факт, что с помощью полиномов более высокой степени можно получатьболее точные приближения функций, как локально (с помощьюформулы Тейлора), так и глобально (к примеру, с помощью разложенияпо полиномам Чебышёва или Лежандра).Рассмотрим теперь влияние погрешностей реальных вычислений наответ, получаемый с помощью квадратурных формул. Предположим,что значения f(x k ) интегрируемой функции в узлах x k вычисляютсянеточно, с погрешностями δ k . Тогда при вычислениях по квадратурнойформуле получимn∑ ( ) ∑n n∑c k f(xk )+δ k = c k f(x k )+ c k δ k .k=0Если для всех k = 0,1,...,n знаки погрешностей δ k совпадают со знакамивесов c k , то общая абсолютная погрешность результата, полученногопо квадратурной формуле, становится равной ∑ k |c k|δ k . Следовательно,сумму модулей весов квадратурной формулы, т. е. величинуn∑|c k |,k=0нужно рассматривать как коэффициент усиления погрешности при вычисленияхс этой формулой.Если при значительном количестве узлов n мы хотим организоватьвычисления по квадратурной формуле наиболее устойчивым образом,то все весовые коэффициенты c k должны быть положительны: именнотогда при прочих равных условиях сумма модулей весов минимальна.В частности, в случае интегрирования функций, принимающих значенияодного знака, мы избегаем тогда потери точности при вычитанииблизких значений, которое могло бы случиться в формуле, где одновременноприсутствуют положительные и отрицательные веса.k=0k=0

146 2. Численные методы анализа2.12б Формулы Ньютона-Котеса.Простейшие квадратурные формулыПростейший приём построения квадратурных формул — замена подинтегральнойфункции f(x) на интервале интегрирования [a,b] на «болеепростую», легче интегрируемую функцию, которая интерполируетили приближает f(x) по заданным узлам x 0 , x 1 , . . . , x n . В случае,когда f(x) заменяется интерполянтом и все рассматриваемые узлы —простые, говорят о квадратурных формулах интерполяционного типа,или, что равносильно, об интерполяционных квадратурных формулах.Наиболее часто подинтегральную функцию интерполируют полиномами,и в нашем курсе мы будем рассматривать только такие интерполяционныеквадратурные формулы.Формулами Ньютона-Котеса называют интерполяционные квадратурныеформулы, полученные с помощью алгебраической интерполяцииподинтегральной функции на равномерной сетке с простыми узлами.В зависимости от того, включаются ли концы интервала интегрирования[a,b] в множество узлов квадратурной формулы или нет,различают формулы Ньютона-Котеса замкнутого типа и открытоготипа.Далее мы построим и исследуем формулы Ньютона-Котеса для n =0,1,2, причём будем строить наиболее популярные формулы замкнутоготипа за исключением случая n = 0, когда имеем всего один узели замкнутая формула просто невозможна.Если n = 0, то подинтегральная функция f(x) интерполируется полиномомнулевой степени, т. е. какой-то константой, равной значениюf(x) в единственном узле x 0 . Если взять x 0 = a, то получается квадратурнаяформула «левых прямоугольников», а если x 0 = b — формула«правых прямоугольников» (см. Рис. 2.21).Ещё один естественный вариант выбора единственного узла —x 0 = 1 2 (a+b),т. е. как середины интервала интегрирования [a,b]. При этом приходимк квадратурной формуле∫ ba( a+b)f(x)dx ≈ (b−a)·f ,2называемой формулой средних прямоугольников: согласно ей интегралберётся равным площади прямоугольника с основанием (b−a) и высо-

2.12. Численное интегрирование 147Рис. 2.21. Иллюстрация квадратурных формуллевых и правых прямоугольниковтой f ( (a +b)/2 ) (см. Рис. 2.22). Эту формулу нередко называют такжепросто «формулой прямоугольников», так как она является наиболеечасто используемым вариантом рассмотренных простейших квадратурныхформул.Оценим погрешность формулы средних прямоугольников методомлокальных разложений, который ранее был использован при исследованиичисленного дифференцирования. Разлагая f(x) в окрестноститочки x 0 = 1 2(a+b) по формуле Тейлора с точностью до членов первогопорядка, получим( a+b)f(x) = f2+f ′( a+b) (·2x− a+b2)+ f′′ (ξ)(·2x− a+b2где ξ — зависящая от x точка интервала [a,b], которую корректно обозначитьчерез ξ(x). ДалееR(f) ====∫ ba∫ ba∫ ba∫ ba( a+b)f(x)dx − (b−a)·f2( ( a+b) )f(x)−f dx2(f ′( a+b2f ′′ (ξ(x))2) (·x− a+b2(· x− a+b ) 2dx,2)+ f′′ (ξ(x))(·2x− a+b2) 2,) 2)dx

148 2. Численные методы анализаРис. 2.22. Иллюстрация квадратурных формулсредних прямоугольников и трапецийпоскольку∫ ba(x− a+b2) ∫ b−a2dx = tdt = 0,− b−a2— интеграл от первого члена разложения зануляется. Следовательно,с учётом принятого нами ранее обозначения∣M p := max ∣f (p) (x) ∣ можно выписать оценку|R(f)| ≤∫ baf ′′ (ξ)(∣∣ 2 ∣·x∈[a,b]x− a+b2) 2dx≤M 22∫ ba(x− a+b2) 2dx= M 22 · 1 (x− a+b ) ∣ 3∣∣∣ b3 2a= M 2(b−a) 3.24Отсюда, в частности, следует, что для полиномов степени не выше 1формула (средних) прямоугольников даёт точное значение интеграла,коль скоро вторая производная подинтегральной функции тогда зануляетсяи M 2 = 0.Полученная оценка точности неулучшаема, так как достигается нафункции g(x) = ( x− 1 2 (a+b)) 2. При этомM 2 = maxx∈[a,b] |g′′ (x)| = 2,( a+b)g = 0,2

2.12. Численное интегрирование 149и потому∫ ba( a+b)g(x)dx−(b−a)·g2= (b−a)312= M 2(b−a) 3,24т. е. имеем точное равенство на погрешность.Рассмотрим теперь квадратурную формулу Ньютона-Котеса, соответствующуюслучаю n = 1, когда подинтегральная функция приближаетсяинтерполяционным полиномом первой степени. Построим егопо узлам x 0 = a и x 1 = b:P 1 (x) = x−b x−af(a)+a−b b−a f(b).Интегрируя это равенство, получим∫ baP 1 (x)dx = f(a)a−b= f(a)a−b= b−a2∫ ba(x−b)dx+ f(b)b−a(x−b) 22 ∣ba(f(a)+f(b)).+ f(b)b−aМы вывели квадратурную формулу трапеций∫ ba∫ ba(x−a)dx(x−a) 22 ∣f(x)dx ≈ (b−a)· f(a)+f(b) , (2.112)2название которой также навеяно геометрическим образом. Фактически,согласно этой формуле точное значение интеграла заменяется назначение площади трапеции (стоящей боком на оси абсцисс) с высотой(b−a) и основаниями, равными f(a) и f(b) (см. Рис. 2.22).Чтобы найти погрешность формулы трапеций, вспомним оценку(2.24) для погрешности интерполяционного полинома. Из неё следует,чтоf(x)−P 1 (x) = f′′ (ξ(x))·(x−a)(x−b)2для некоторой точки ξ(x) ∈ [a,b]. Таким образом, для формулы трапецийR(f) =∫ ba(f(x)−P1 (x) ) dx =∫ baf ′′ (ξ(x))2ba·(x−a)(x−b)dx,

150 2. Численные методы анализано вычисление полученного интеграла на практике нереально из-занеизвестного вида ξ(x). Как обычно, имеет смысл вывести какие-то болееудобные оценки погрешности, хотя они, возможно, будут не стольточны.Поскольку выражение (x−a)(x−b) почти всюду на интервале [a,b]сохраняет один и тот же знак, то∫ b∣ f ′′ (ξ(x)) ∣ |R(f)| ≤ ·|(x−a)(x−b)|dx2a≤ M 22 ·∣∫ bгде M 2 = max x∈[a,b] |f ′′ (x)|. Далее∫ ba(x−a)(x−b)dx == x33= 1 6∣baa∫ ba− (a+b) x22(x−a)(x−b)dx∣ ,(x 2 −(a+b)x+ab ) dx∣ba∣+abx(2 ( b 3 −a 3) −3(a+b) ( b 2 −a 2) )+6ab(b−a)∣ b a(2.113)= 1 6Поэтому окончательно(−b 3 +3ab 2 −3a 2 b+a 3) = − (b−a)3 .6|R(f)| ≤ M 2(b−a) 3.12Эта оценка погрешности квадратурной формулы трапеций неулучшаема,поскольку достигается на функции g(x) = (x−a) 2 .2.12в Квадратурная формула СимпсонаПостроим квадратурную формулу Ньютона-Котеса для n = 2, т. е.для трёх равномерно расположенных узловx 0 = a,x 1 = a+b2 , x 2 = b

2.12. Численное интегрирование 151из интервала интегрирования [a,b].Для упрощения рассуждений выполним параллельный перенос криволинейнойтрапеции, площадь которой мы находим с помощью интегрирования,и сделаем точку a началом координат оси абсцисс (см.Рис. 2.23). Тогда правым концом интервала интегрирования станетl = b−a. Пусть˘P 2 (x) = c 0 +c 1 x+c 2 x 2— полином второй степени, интерполирующий сдвинутую подинтегральнуюфункцию по узлам 0, l/2 и l. Если график ˘P 2 (x) проходитчерез точки плоскости с координатами(( ) l( a+b) )0,f(a) ,2 ,f ,2(l,f(b)),то⎧⎪ ⎨⎪ ⎩c 0 = f(a),lc 0 +c 12 +c l 2 ( a+b)24 = f ,2c 0 +c 1 l+c 2 l 2 = f(b).(2.114)Площадь, ограниченная графиком интерполяционного полинома, равна∫ l(c0 +c 1 x+c 2 x 2) dx = c 0 l+c 1l 2 2 +c 20l 3 3= l 6(6c0 +3c 1 l+2c 2 l 2) .Фактически, для построения квадратурной формулы требуется решитьотносительно c 0 , c 1 и c 2 систему уравнений (2.114) и потом подставитьрезультаты в полученное выше выражение. Но можно выразить трёхчлен6c 0 + 3c 1 l + 2c 2 l 2 через значения подинтегральной функции f вузлах, не решая систему (2.114) явно.Умножая второе уравнение системы (2.114) на 4 и складывая с первыми третьим уравнением, получим( a+b)6c 0 +3c 1 l+2c 2 l 2 = f(a)+4f +f(b).2

152 2. Численные методы анализаab0 lРис. 2.23. Иллюстрация вывода квадратурной формулы СимпсонаТаким образом,∫ l0˘P 2 (x)dx == l 6∫ l0(c0 +c 1 x+c 2 x 2) dx(f(a)+4f( a+b2) )+f(b) ,что даёт приближённое равенство∫ baf(x)dx ≈ b−a6(· f(a)+4f( a+b2) )+f(b) . (2.115)Оно называется квадратурной формулой Симпсона или формулой парабол(см. Рис. 2.23), коль скоро основано на приближении подинтегральнойфункции подходящей параболой. 16Читатель может самостоятельно убедиться, что та же самая формулаполучается в результате интегрирования по[a,b] интерполяционного16 Приведённый нами элегантный вывод формулы Симпсона восходит к учебникуА.Н.Крылова [15].

2.12. Численное интегрирование 153полинома второй степени в форме Лагранжа(x− a+b )(x−b)P 2 (x) = 2(x−a)(x−b)(a− a+b ) f(a)+ ( a+b)( a+b(a−b) −a2 2 2((x−a) x− a+b )+ 2((b−a) b− a+b ) f(b)2=) f−b(2 ((b−a) 2 x− a+b )(x−b)f(a)−2(x−a)(x−b)f2(+(x−a)x− a+b2) )f(b) ,( a+b)2( a+b)2который строится для подинтегральной функции по узлам a, (a+b)/2и b.Предложение 2.12.1 Квадратурная формула Симпсона имеет алгебраическуюстепень точности 3, т.е. является точной для любогополинома степени не выше третьей.Доказательство. Отметим прежде всего, что для полиномов степенине выше второй этот факт следует прямо из того, что формула Симпсонапостроена как интерполяционная квадратурная формула, основаннаяна интерполяции подинтегральной функции полиномом второйстепени. Поэтому достаточно показать, что формула Симпсона точнадля монома x 3 , но не является точной для более высоких степеней.Имеем∫ bax 3 dx = b4 −a 4.4

154 2. Численные методы анализаС другой стороны,(b−a( a+b) 3a 3 +4 +b3)6 2= b−a (a 3 + a3 +3a 2 b+3ab 2 +b 3 )+b 36 2= b−a6= b−a4· 3a3 +3a 2 b+3ab 2 +3b 32(a 3 +a 2 b+ab 2 +b 3) = b4 −a 4,4что совпадает с результатом точного интегрирования.Для монома x 4 длинными, но несложными выкладками нетруднопроверить, что результат, даваемый формулой Симпсона для интегралапо интервалу [a,b], т. е.(b−aa 4 +46( a+bотличается от точного значения интеграла∫ ba2x 4 dx = b5 −a 5) 4+b4),на величину (b − a) 5 /120. Она не зануляется при a ≠ b, так что наполиномах четвёртой степени формула Симпсона уже не точна. Итак, несмотря на то, что формула Симпсона основана на интерполяцииподинтегральной функции полиномом степени2, фактическаяточность формулы более высока, чем та, что обеспечивается полиномомвторой степени. В этой ситуации для более аккуратной оценки погрешностиформулы Симпсона на основе известной погрешности алгебраическойинтерполяции (аналогично выводу погрешности формулы трапецийв §2.12б) желательно взять более высокую степень переменнойв выражении для погрешности. Иными словами, при оценке погрешностиформулы Симпсона нужно взять для подинтегральной функцииинтерполяционный полином третьей степени. При наличии всего трёхузлов мы находимся в условиях задачи интерполяции с кратными узлами.Предполагая существование производной f ′ в среднем узле x 1 =(a+b)/2, можно считать, к примеру, что именно он является кратным5

2.12. Численное интегрирование 155узлом. Формально мы будем решать задачу построения такого интерполяционногополинома 3-й степени H 3 (x), чтоH 3 (a) = f(a), H 3 (b) = f(b), (2.116)( a+b) ( a+b) ( a+b)H 3 = f , H 3′ 2 2 2= f ′( a+b), (2.117)2Хотя конкретное значение производной в средней точке (a + b)/2 далееникак не будет использоваться. Здесь нам важно лишь то, что прилюбом значении этой производной решение задачи (2.116)–(2.117) существует,и потребуется оценка его погрешности.Существование и единственность решения подобных задач былаустановлена в §2.4 и там же обосновывается оценка его погрешности(2.44):f(x)−H m (x) = f(m+1)( ξ(x) )(m+1)!n∏(x−x i ) Ni , (2.118)где N i — кратности узлов, m = N 0 +N 1 +...+N n −1 — степень интерполяционногополинома, а ξ(x) — некоторая точка из [a,b], зависящаяот x. Для решения задачи (2.116)–(2.117) справедливоi=0f(x)−H 3 (x) = f(4)( ξ(x) ) (·(x−a) x− a+b ) 2(x−b).24 2Далее, из того, что формула Симпсона точна для полиномов третьейстепени, а также из условий (2.116)–(2.117) следуют равенства∫ baH 3 (x)dx = b−a6= b−a6(·( a+bH 3 (a)+4H 32( ( a+b· f(a)+4f2) )+H 3 (b))+f(b)). (2.119)Отсюда уже нетрудно вывести выражение для погрешности квадра-

156 2. Численные методы анализатурной формулы Симпсона:R(f) ===∫ ba∫ ba∫ baf(x)dx − b−a6(· f(a)+4f( a+b(f(x)−H3 (x) ) dx в силу (2.119)2) )+f(b)f (4)( ξ(x) ) (·(x−a) x− a+b ) 2(x−b)dx из (2.118).24 2Из него следует оценка|R(f)| =≤∣∫ ba∫ ba≤ M 424 ·∣f (4)( ξ(x) )∣(·(x−a) x− a+b ) 2(x−b)dx∣∣∣∣24 2f (4)( ξ(x) )(∣∣ 24 ∣· ∣ (x−a) x− a+b ) ∣ 2(x−b) ∣∣∣dx2∫ ba∣((x−a) x− a+b ) 2(x−b)dx∣∣∣∣ , (2.120)2коль скоро в интегрируемой функции подвыражение (x − a) ( x − (a +b)/2 ) 2(x−b) не меняет знак на интервале интегрирования [a,b]. Здесьобозначено M 4 = max x∈[a,b] |f (4) (x)|.Для вычисления фигурирующего в (2.120) интеграла сделаем заменупеременныхt = x− a+b2 ,

2.12. Численное интегрирование 157тогда∫ ba((x−a) x− a+b ) 2(x−b)dx2=∫ b−a2− b−a2(t+ b−a2)t 2( t− b−a2)dt=∫ b−a2− b−a2( )t 2 t 2 − (b−a)24dt = − (b−a)5 .120Окончательно|R(f)| ≤ M 4(b−a) 5.2880Как видим, более тонкие рассуждения о свойствах формулы Симпсонапозволили получить действительно более точную оценку её погрешности.2.12г Общие интерполяционныеквадратурные формулыКвадратурными формулами интерполяционного типа мы назвали(см. §2.12б) формулы, получающиеся в результате замены подинтегральнойфункции f(x) интерполяционным полиномом P n (x), которыйпостроен по некоторой совокупности простых узлов x 0 , x 1 , . . . , x n изинтервала интегрирования. Выпишем для общего случая этот полиномв форме Лагранжа:гдеP n (x) =n∑f(x i )φ i (x),i=0φ i (x) = (x−x 0) ··· (x−x i−1 )(x−x i+1 ) ··· (x−x n+1 )(x i −x 0 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n+1 ) ,— базисные полиномы Лагранжа (стр. 51).

158 2. Численные методы анализаИнтерполяционная квадратурная формула должна получаться изприближёного равенства∫ baf(x)dx ≈∫ baP n (x)dx (2.121)в результате выполнения интегрирования в правой части. Как следствие,в представлении (2.111) весовые коэфициенты формулы имеютвидc i ==∫ ba∫ baφ i (x)dx(2.122)(x−x 0 ) ··· (x−x i−1 )(x−x i+1 ) ··· (x−x n+1 )(x i −x 0 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n+1 ) dx,i = 0,1,...,n. Эти значения весовc i , определяемых по узламx 0 ,x 1 , . . . ,x n , являются отличительным характеристическим признаком именноинтерполяционной квадратурной формулы. Если для заданного набораузлов у какой-либо квадратурной формулы весовые коэффициентыравны (2.122), то можно считать, что она построена на основе алгебраическойинтерполяции подинтегральной функции по этим узлам, взятымс единичной кратностью.Теорема 2.12.1 Для того, чтобы квадратурная формула (2.111), построеннаяпо (n + 1) попарно различным узлам, была интерполяционной,необходимо и достаточно, чтобы её алгебраическая степеньточности была не меньшей n.В качестве замечания к формулировке нужно отметить, что в условияхтеоремы квадратурная формула на самом деле может иметь алгебраическуюстепень точности выше n, как, например, формула среднихпрямоугольников или формула Симпсона.Доказательство. Необходимость условий теоремы очевидна: интерполяционнаяквадратурная формула на n+1 узлах, конечно же, точнана полиномах степени n, поскольку тогда подинтегральная функциясовпадает со своим алгебраическим интерполянтом.Покажем достаточность: если квадратурная формула (2.111), построеннаяпо (n+1) узлу, является точной для любого алгебраическогополинома степени n, то её весовые коэффициенты вычисляются по

2.12. Численное интегрирование 159формулам (2.122), т. е. она является квадратурной формулой интерполяционноготипа.В самом деле, для базисных интерполяционных полиномов φ i (x)выполнено свойство (2.9)φ i (x j ) = δ ij ={0, при i ≠ j,1, при i = j,и они имеют степень n. Следовательно, применяя рассматриваемуюквадратурную формулу для вычисления интеграла от φ i (x), получим∫ baφ i (x)dx =n∑c k φ i (x k ) =k=0n∑c k δ ik = c i ,k=0и это верно для всех i = 0,1,...,n. Иными словами, имеет место равенство(2.122), что и требовалось доказать.В частности, если в интерполяционной квадратурной формуле вместоподинтегральной функции взять полином P 0 (x) = x 0 = 1, то получаемравенство∫ b n∑b−a = 1dx = c k ,a— сумма весов такой квадратурной формулы равна длине интервалаинтегрирования.Из (2.121) ясно, что погрешность интерполяционных квадратурныхформул равнаR(f) =∫ bak=0R n (f,x)dx,где R n (f,x) — остаточный член алгебраической интерполяции. В §2.2дбыла получена оценка для R n (f,x) в форме Коши (2.24)R n (f,x) = f(n+1)( ξ(x) )·ω n (x),(n+1)!где ξ(x) ∈ [a,b], и поэтомуR(f) =1(n+1)!∫ baf (n+1)( ξ(x) ) ω n (x)dx.

160 2. Численные методы анализаСправедлива огрублённая оценка|R(f)| ≤ M n+1(n+1)!∫ ba|ω n (x)|dx, (2.123)где M n+1 = max x∈[a,b] |f (n+1) (x)|. Из неё можно ещё раз заключить,что квадратурная формула интерполяционного типа, построенная по(n+1) узлам, является точной для любого полинома степени не болееn, поскольку тогда M n+1 = 0.Из наших рассуждений видно, что оценка (2.123) является простейшей,использующей лишь основные свойства алгебраического интерполянта.В некоторых случаях она может оказаться существенно завышенной,как это имеет место, к примеру, для формулы Симпсона.2.12д Дальнейшие формулы Ньютона-КотесаВ §2.12б и §2.12в простейшие квадратурные формулы Ньютона-Котеса — формулы прямоугольников и трапеций, формула Симпсона— были выведены и исследованы средствами, индивидуальными длякаждой отдельной формулы. В этом разделе мы взглянем на формулыНьютона-Котеса с более общих позиций.Зафиксировав номер n, n ≥ 1, возьмём на интервале интегрирования[a,b] равноотстоящие друг от друга узлыx (n)k= a+kh, k = 0,1,...,n, h = b−an .Для определения весов формул Ньютона-Котеса необходимо вычислитьвеличины (2.122), которые мы обозначим для рассматриваемогочастного случая как∫ bA (n)k=a((n)) ((n))((n)) ((n))x−x ··· x−x x−x ··· x−x0((n) xk −x(n) 0k−1)···(x(n)k −x(n) k−1k+1)(x(n)k −x(n) k+1n+1)···((n) xk −x(n) n) dx,k = 0,1,...,n. Сделаем в этом интеграле замену переменных x = a+th,

2.12. Численное интегрирование 161где t пробегает интервал [0,n]. Тогдаdx = hdt,((n)) ((n))((n)) ((n))x−x 0 ··· x−xk−1 x−xk+1 ··· x−x n+1= h n t(t−1)···(t−k +1)(t−k −1)···(t−n),((n) xk−x (n) )···((n)0 xk−x (n) )((n)k−1 xk−x (n) )···((n)k+1 xk−x n(n) )= (−1) n−k h n k!(n−k)!,где считается, что 0! = 1. ОкончательноA (n)k= h (−1)n−kk!(n−k)!∫ n0t(t−1)···(t−k +1)(t−k −1)···(t−n)dt,k = 0,1,...,n. Чтобы придать результату не зависящий от интервалаинтегрирования вид, положимгдеA (n)k= (b−a)B (n)k ,B (n)k= (−1)n−knk!(n−k)!∫ n0t(t−1)···(t−k +1)(t−k −1)···(t−n)dt.Теперь уже величины B (n)kкоэффициентами Котеса.К примеру, для n = 1не зависят от h и [a,b]. Они называютсяB (1)0 = −B (1)1 =∫ 1∫ 100(t−1)dt = − (t−1)22tdt = t2 2 ∣10= 1 2 .∣10= 1 2 ,Мы вновь получили веса квадратурной формулы трапеций (2.112). Для

162 2. Численные методы анализаслучая n = 2B (2)0 = 1 4∫ 20(t−1)(t−2)dt = 1 4( t33 −3 t2 2 +2t )∣ ∣∣∣20= 1 6 ,B (2)1 = − 1 2∫ 20t(t−2)dt = − 1 2( )∣ t3 ∣∣∣23 −t20= 4 6 ,B (2)1 = 1 4∫ 20t(t−1)dt = 1 4( )∣ t33 − t2 ∣∣∣220= 1 6 .Полученные коэффициенты соответствуют формуле Симпсона (2.115).И так далее.За прошедшие три столетия коэффициенты Котеса были тщательновычислены для значений n из начального отрезка натурального ряда.В Табл. 2.2, заимствованной из книги [15], приведены коэффициентыКотеса для n ≤ 10 (см. также [3, 21, 35, 67]).Можно видеть, что с ростомnзначения коэффициентов КотесаB (n)kв зависимости от номера k начинают всё сильнее и сильнее «осциллировать»(напоминая в чём-то пример Рунге, стр. 83). Результатом этогоявляется то необычное и противоестественное обстоятельство, что средивесов формул Ньютона-Котеса при числе узлов n = 8, 10 и б´ольшихвстречаются отрицательные. Это снижает ценность соответствующихформул, так как при интегрировании знакопостоянных функций можетприводить к вычитанию близких чисел и потере точности.К середине XX века выяснилось, что отмеченный недостаток типичендля формул Ньютона-Котеса высоких порядков. Р.О. Кузьминполучил в [48] асимптотические формулы для коэффициентов Котеса17 , из которых следует, что сумма их модулей, т. е.n∑k=0|B (n)k |,неограниченно возрастает с ростом n. Отсюда вытекает, во-первых, чтопогрешности вычислений с формулами Ньютона-Котеса могут быть17 Помимо оригинальной статьи Р.О.Кузьмина [48] эти асимптотические формулыможно также увидеть в учебнике [17].

2.12. Численное интегрирование 163Таблица 2.2. Коэффициенты Котесаn 1 2 3 4 5 6 7 8 9 10k=0 116187901928841840751172809892835028578960016067598752k=1 14638164525969353577172805838283501574189600106300598752k=21638215251449280132317280− 92828350108089600− 48525598752k=3181645251443410529891728010496283501934489600272400598752k=479025969280298917280− 454028350577889600− 260550598752k=5192889351323172801049628350577889600427368598752k=641840357717280− 928283501934489600− 260550598752k=775117280583828350108089600272400598752k=8989283501574189600− 48525598752k=9285789600106300598752k=1016067598752сколь угодно велики (см. §2.12а). Во-вторых, так как дополнительноn∑k=0B (n)k= 1b−an∑k=0A (n)k= 1b−a∫ ba1 dx = 1,то при достаточно больших n среди коэффициентов B (n)kобязательнодолжны быть как положительные, так и отрицательные. Доказательствоупрощённого варианта этого результата можно найти в [25].Общую теорию квадратурных формул Ньютона-Котеса вместе стщательным исследованием их погрешностей читатель может увидеть,к примеру, в книгах [3, 17, 53]. Следует сказать, что формулы Ньютона-

164 2. Численные методы анализаКотеса высоких порядков не очень употребительны. Помимо отмеченнойвыше численной неустойчивости они проигрывают по точности результатовна одинаковом количестве узлов формулам Гаусса (изучаемымдалее в §2.13) и другим квадратурным формулам.Из популярных квадратурных формул Ньютона-Котеса приведёмещё формулу «трёх восьмых», которая получается при замене подинтегральнойфункции интерполяционным полиномом 3-й степени:∫ baf(x)dx ≈ b−a (· f(a)+3f8Её погрешность оценивается как( 2a+b3)+3f|R(f)| ≤ M 4(b−a) 5,6480( a+2b3) )+f(b) . (2.124)где M 4 = max x∈[a,b] |f (4) (x)|. Порядок точности этой формулы — такойже, как и у формулы Симпсона. Вообще, можно показать, что формулыНьютона-Котеса с нечётным числом узлов, один из которых приходитсяна середину интервала интегрирования, имеют (как формулаСимпсона) повышенный порядок точности [1, 3, 17].2.12е Метод неопределённыхкоэффициентовПусть требуется вычислить интеграл∫ baf(x)dx,для которого мы ищем приближение в виде∫ baf(x)dx ≈n∑c k f(x k ),k=0с заданными узлами x 0 , x 1 , . . . , x n . Весовые коэффициенты c k можнонайти из условия зануления погрешности этого равенства для какогото«достаточно представительного» набора несложно интегрируемыхфункцийf i (x), i = 1,2,.... Каждое отдельное равенство является уравнениемна неизвестные c 0 , c 1 , . . . , c n , и потому, выписав достаточное

2.13. Квадратурные формулы Гаусса 165число подобных уравнений и решив полученную систему, мы сможемопределить желаемые веса, т. е. построить квадратурную формулу. Вэтом — суть метода неопределённых коэффициентов. Он идейно похож,таким образом, на метод неопределённых коэффициентов для построенияформул численного дифференцирования из §2.8в.В качестве пробных функций f p (x), p = 1,2,... часто берут алгебраическиеполиномы. Для равномерно расположенных узлов при этомполучаются знакомые нам квадратурные формулы Ньютона-Котеса.Продемонстрируем работу метода неопределённых коэффициентовдля тригонометрических полиномов1, sin(px), cos(px), p = 1,2,....2.13 Квадратурные формулы Гаусса2.13а Задача оптимизации квадратурПараметрами квадратурной формулы (2.111)∫ baf(x)dx ≈n∑c k f(x k )k=0являются узлы x k и весовые коэффициенты c k , k = 0,1,...,n. Однако,строя квадратурные формулы Ньютона-Котеса, мы заранее задавалиположение узлов, равномерное на интервале интегрирования, и потомпо ним находили веса. Таким образом, возможности общей формулы(2.111) были использованы не в полной мере, поскольку для достижениянаилучших результатов можно было бы управлять ещё и положениемузлов. Лишь в формуле средних прямоугольников положениеединственного узла было выбрано из соображений симметрии, и этопривело к существеному улучшению точности. Напомним для примера,что специальное неравномерное расположение узлов интерполяциипо корням полиномов Чебышёва существенно улучшает точность интерполирования(см. §2.3).Здесь, правда, возникает весьма важный методический вопрос: какизмерять это «улучшение» квадратурной формулы? Что брать критериемеё точности? В идеальном случае желательно было бы минимизироватьпогрешность квадратурной формулы для тех или иных классовфункций, но в такой общей постановке задача делается довольно

166 2. Численные методы анализасложной (хотя и не неразрешимой). Один из возможных естественныхответов на поставленный вопрос состоит в том, чтобы в качестве мерытого, насколько хороша и точна квадратурная формула, брать еёалгебраическую степень точности (см. Определение 2.12.1).Как следствие, сформулированную в начале этого параграфа задачуоптимизации узлов можно поставить, к примеру, следующим образом:для заданного фиксированого числа узлов из интервала интегрированиянужно построить квадратурную формулу, которая имеетнаивысшую алгебраическую степень точности, т. е. является точнойна полиномах наиболее высокой степени. Нетривиальное решениеэтой задачи действительно существует, и формулы наивысшей алгебраическойстепени точности называются квадратурными формуламиГаусса, поскольку впервые они были рассмотрены в начале XIX векаК.Ф. Гауссом.Далее для удобства мы будем записывать квадратурные формулыГаусса не в виде (2.111), а как∫ baf(x)dx ≈n∑c k f(x k ), (2.125)k=1нумеруя узлы с k = 1, а не с нуля. Требование точного равенства длялюбого полинома степени m в этой формуле в силу её линейности эквивалентнотому, что формула является точной для одночленовf(x) = x l ,l = 0,1,2,...,m, т. е.илиn∑k=1∫ bax l dx =n∑c k x l k ,k=1l = 0,1,2,...,m,c k x l k = 1 (b l+1 −a l+1) , l = 0,1,2,...,m. (2.126)l+1Это система из (m +1) нелинейных уравнений с 2n неизвестными величинамиc 1 , c 2 , . . . , c n , x 1 , x 2 , . . . , x n . Число уравнений совпадает счислом неизвестных при m + 1 = 2n, т. е. m = 2n − 1, и это, вообщеговоря, есть максимальное возможное значение для m. При б´ольшихзначениях m система уравнений (2.126) переопределена и в случае общегоположения оказывается неразрешимой.Сделанное заключение можно обосновать строго.

2.13. Квадратурные формулы Гаусса 167Предложение 2.13.1 Алгебраическая степень точности квадратурнойформулы, построенной по n узлам, не может превосходить 2n−1.Доказательство. Пустьx 1 ,x 2 , . . . ,x n — узлы квадратурной формулы(2.125). Рассмотрим интегрирование по интервалу [a,b] функцииg(x) = ( (x−x 1 )(x−x 2 )···(x−x n ) ) 2,которая является полиномом степени 2n. Если квадратурная формула(2.125) точна для g(x), тоn∑c k g(x k ) =k=1n∑c k ·0 = 0,k=1тогда как значение интеграла от g(x) очевидно не равно нулю. Подынтегральнаяфункция g(x) всюду на [a,b] положительна за исключениемлишь конечного множества точек — узлов x 1 , x 2 , . . . , x n , и поэтому∫ bg(x)dx > 0.aПолученное противоречие показывает, что квадратурная формула(2.125) не является точной для полиномов степени 2n. Итак, наивысшая алгебраическая степень точности квадратурнойформулы, построенной по n узлам, в общем случае может быть равна2n−1. Для двух узлов это3, при трёх узлах имеем 5, и т. д. Для сравнениянапомним, что алгебраические степени точности формул трапецийи Симпсона, построенных по двум и трём узлам соответственно, равнывсего 1 и 3. При возрастании числа узлов этот выигрыш в алгебраическойстепени точности формул Гаусса, достигаемый за счёт разумногорасположения узлов, нарастает.2.13б Простейшие квадратуры ГауссаПерейдём к построению квадратурных формул Гаусса. При небольшихn система уравнений (2.126) для узлов и весов может быть решенас помощью несложных аналитических преобразований.Пусть n = 1, тогда m = 2n − 1 = 1, и система уравнений (2.126)принимает вид {c1 = b−a,c 1 x 1 = 1 2 (b2 −a 2 ).

168 2. Численные методы анализаОтсюдаc 1 = b−a,x 1 = 1 (b 2 −a 2 ) = 12c2 (a+b).1Как легко видеть, получающаяся квадратурная формула — это формула(средних) прямоугольников∫ b ( a+b)f(x)dx ≈ (b−a)·f .a2Нам в самом деле известно (см. §2.12б), что она резко выделяется своейточностью среди родственных квадратурных формул.Пусть n = 2, тогда алгебраическая степень точности соответствующейквадратурной формулы равна m = 2n−1 = 3. Система уравнений(2.126) для узлов и весов принимает вид⎧c 1 +c 2 = b−a,⎪⎨ c 1 x 1 +c 2 x 2 = 1 2 (b2 −a 2 ),c 1 x 2 1 +c 2 x 2 2 = 1 3⎪⎩(b3 −a 3 ),c 1 x 3 1 +c 2 x 3 2 = 1 4 (b4 −a 4 ).Она обладает определённой симметрией: одновременная перемена местамиx 1 с x 2 и c 1 с c 2 оставляет систему неизменной. По этой причине,учитывая вид первого уравнения, будем искать решение, в которомc 1 = c 2 . Это даётc 1 = c 2 = 1 2 (b−a),и из первого и второго уравнений тогда получаемОтсюда после возведения в квадрат имеемx 1 +x 2 = a+b. (2.127)x 2 1 +2x 1 x 2 +x 2 2 = a 2 +2ab+b 2 . (2.128)В то же время, с учётом найденных значений c 1 и c 2 из третьего уравнениясистемы следуетx 2 1 +x2 2 = 2 3 (b2 +ab+a 2 ),

2.13. Квадратурные формулы Гаусса 169и, вычитая это равенство из (2.128), будем иметьx 1 x 2 = 1 6 (b2 +4ab+a 2 ). (2.129)Соотношения (2.127) и (2.129) на основе известной из элементарнойалгебры теоремы Виета позволяют сделать вывод, чтоx 1 иx 2 являютсякорнями квадратного уравнениятак чтоx 2 −(a+b)x+ 1 6 (b2 +4ab+a 2 ) = 0,x 1,2 = 1 √32 (a+b)± (b−a). (2.130)6Удовлетворение полученными решениями четвёртого уравнения системыпроверяется прямой подстановкой. Кроме того, поскольку12 > 1 2 · 1√ = 3√36 ,то x 1 и x 2 действительно лежат на интервале [a,b]. В целом мы вывеликвадратурную формулу Гаусса∫ baf(x)dx = b−a2где узлы x 1 и x 2 определяются посредством (2.130).·(f(x1 )+f(x 2 ) ) , (2.131)Пример 2.13.1 Вычислим с помощью полученной выше формулыГаусса с двумя узлами (2.131) интеграл∫ π/20cosx dx,точное значение которого согласно формуле Ньютона-Лейбница равноsin(π/2)−sin0 = 1. В соответствии с (2.130) и (2.131) имеем∫ (π/2cosx dx ≈ π/2 ( √ ) ( √ ) )π 32 · cos4 − π π 3+cos6 2 4 + π6 20= 0.998473.

170 2. Численные методы анализаФормула Ньютона-Котеса с двумя узлами 0 и π/2 — формула трапеций— даёт для этого интеграла значение∫ π/20cosx dx ≈ π (2 · cos0+cos π )2= 0.785398,точность которого весьма низка.Чтобы получить с формулами Ньютона-Котеса точность вычислениярассматриваемого интеграла, сравнимую с той, что даёт формулаГаусса, приходится брать больше узлов. Так, формула Симпсона(2.115), использующая три узла — 0, π/4 и π/2, — приводит к результату∫ π/20cosx dx ≈ π/2 (6 · cos0+4 cos π 4 +cos π )2= π 12(1+2√2)= 1.00228,погрешность которого по порядку величины примерно равна погрешностиответа по формуле Гаусса (2.131), но всё-таки превосходит её вполтора раза.С ростом n сложность системы уравнений (2.126) для узлов и весовформул Гаусса быстро нарастает, так что в общем случае остаётсянеясным, будет ли разрешима эта система (2.126) при любом наперёдзаданном n. Будут ли её решения вещественными? Сколько их всего?Будут ли эти решения принадлежать интервалу [a,b], чтобы служитьпрактически удобными узлами квадратурной формулы?Получение ответов на поставленные вопросы непосредственно изсистемы уравнений (2.126) представляется громоздким и малоперспективным.К.Ф. Гауссом было предложено расчленить получившуюся задачуна отдельные подзадачи1) построения узлов формулы и2) вычисления её весовых коэффициентов.Зная узлы формулы, можно подставить их в систему уравнений (2.126),которая в результате решительно упростится, превратившись в системулинейных алгебраических уравнений относительно c 1 , c 2 , . . . , c n .Она будет переопределённой, но нам достаточно рассматривать подсистемуиз первых n уравнений, матрица которой является матрицей

2.13. Квадратурные формулы Гаусса 171Вандермонда относительно узлов x 1 , x 2 , . . . , x n . Решение этой подсистемыдаст искомые веса квадратурной формулы Гаусса. Можно показать,что они будут также удовлетворять оставшимся n уравнениямсистемы (2.126) (см., к примеру, [9]).Другой способ решения подзадачи 2 — вычисление весовых коэффициентовпо формулам (2.122), путём интегрирования коэффициентовинтерполяционного полинома Лагранжа. В этом случае мы пользуемсятем фактом, что конструируемая квадратурная формула Гаусса оказываетсяквадратурной формулой интерполяционного типа. Это прямоследует из Теоремы 2.12.1, коль скоро формула Гаусса, построенная поn узлам, является точной для полиномов степени не менее n−1. Деталиэтого построения и конкретные выкладки читатель может найти, кпримеру, в [3].2.13в Выбор узлов для квадратурныхформул ГауссаТеорема 2.13.1 Квадратурная формула (2.125)∫ baf(x)dx ≈n∑c k f(x k )k=1имеет алгебраическую степень точности (2n − 1) тогда и толькотогда, когда(1) она является интерполяционной квадратурной формулой;(2) её узлы x 1 , x 2 , ..., x n суть корни такого полиномачтоω(x) = (x−x 1 )(x−x 2 )···(x−x n ),∫ baω(x)q(x)dx = 0 (2.132)для любого полинома q(x) степени не выше (n−1).Выражение∫ baω(x)q(x)dx

172 2. Численные методы анализа— интеграл от произведения двух функций, уже встречалось нам в§2.10г. Мы могли видеть, что на пространстве L 2 [a,b] всех интегрируемыхс квадратом функций оно задаёт скалярное произведение, т. е.симметричную билинейную и положительно определённую форму. Поэтой причине утверждение Теоремы 2.13.1 часто формулируют так: длятого, чтобы квадратурная формула∫ b n∑f(x)dx ≈ c k f(x k ),aпостроенная по n узлам, имела алгебраическую степень точности (2n−1), необходимо и достаточно, чтобы эта формула была интерполяционной,а её узлыx 1 , x 2 , . . . ,x n являлись корнями полиномаω(x), которыйс единичным весом ортогонален на [a,b] любому полиному степени невыше (n−1).Доказательство. Необходимость. Пусть рассматриваемая квадратурнаяформула имеет алгебраическую степень точности (2n−1), т. е. точнана полиномах степени (2n−1). Таковым является, в частности, полиномω(x)q(x), имеющий степень не выше n + (n − 1), если степеньq(x) не превосходит (n−1). Тогда справедливо точное равенство∫ bn∑ω(x)q(x)dx = c k ω(x k )q(x k ) = 0,ak=1поскольку все ω(x k ) = 0. Так как этот результат верен для любогополинома q(x) степени не выше n − 1, то отсюда следует выполнениеусловия (2).Справедливость условия (1) следует из Теоремы 2.12.1: если построеннаяпо n узлам квадратурная формула (2.125) является точной длялюбого полинома степени не менее n−1, то она — интерполяционная.Достаточность. Пусть имеется полином ω(x) степени n, имеющий nразличных корней на интервале [a,b] и удовлетворяющий условию ортогональности(2.132) с любым полиномомq(x) степени не выше(n−1).Покажем, что интерполяционная квадратурная формула, построеннаяпо узлам x 1 , x 2 , . . . , x n , которые являются корнями ω(x), будет точнана полиномах степени 2n−1.Пусть f(x) — произвольный полином степени 2n − 1. Тогда последеления его на ω(x) получим представлениеk=1f(x) = ω(x)q(x)+r(x), (2.133)

2.13. Квадратурные формулы Гаусса 173где q(x) и r(x) — соответственно частное и остаток от деления f(x)на ω(x). При этом полином q(x) имеет степень (2n−1)−n = n−1, астепень полинома-остатка r(x) по определению меньше степени ω(x),т. е. не превосходит n−1. Отсюда∫ baf(x)dx =∫ baω(x)q(x)dx+∫ bar(x)dx =∫ bar(x)dx (2.134)в силу сделанного нами предположения об ортогональности ω(x) всемполиномам степени не выше n−1.Но по условиям теоремы рассматриваемая квадратурная формулаявляется интерполяционной и построена по n узлам. Поэтому онаявляется точной на полиномах степени n − 1 (см. Теорему 2.12.1), вчастности, на полиноме r(x). Следовательно,∫ bar(x)dx =n∑k=1c k r(x k ) =n∑ (c k ω(xk )q(x k )+r(x k ) )k=1в силу равенств ω(x k ) = 0=n∑k=1c k f(x k ), поскольку имеет место (2.133).Итак, сравнивая результаты этой выкладки с (2.134), будем иметь∫ baf(x)dx =n∑c k f(x k ),k=1т. е. исследуемая квадратурная формула действительно является точнойна полиномах степени 2n−1.Подведём промежуточные итоги. Процедура построения квадратурныхформул Гаусса разделена нами на две отдельные задачи нахожденияузлов и вычисления весов. В свою очередь, узлы квадратурнойформулы, как выясняется, можно взять корнями некоторых специальныхполиномов ω(x), удовлетворяющих условиям Теоремы 2.13.1. Вэтих полиномах легко угадываются знакомые нам из §2.11 ортогональныеполиномы, которые являются полиномами Лежандра для случая[a,b] = [−1,1] или соответствующим образом преобразованы из них дляпроизвольного интервала интегрирования [a,b].

174 2. Численные методы анализа2.13г Практическое применение формул ГауссаОтдельное нахождение узлов и весов формул Гаусса для каждогоконкретного интервала интегрирования [a,b] является весьма трудозатратным,и если бы нам нужно было проделывать эту процедуру всякийраз при смене интервала[a,b], то практическое применение формулГаусса значительно потеряло бы свою привлекательность. Естественнаяидея состоит в том, чтобы найти узлы и веса формул Гаусса длякакого-то одного «канонического» интервала, а затем получать их длялюбого другого интервала с помощью несложных преобразований.В качестве канонического интервала обычно берут [−1,1], т. е. тотинтервал, для которого строятся ортогональные полиномы Лежандра.Этот интервал также удобен симметричностью относительно нуля, котораяпозволяет более просто использовать свойство симметрии узлови весовых коэффициентов квадратурной формулы. В §2.11 мы указалирецепт построения из полиномов Лежандра полиномов, ортогональныхс единичным весом, для любого интервала вещественной оси. Этой техникойи нужно воспользоваться в данном случае.Еслиx = 1 2 (a+b)+ 1 2(b−a)y, (2.135)то переменная x будет пробегать интервал [a,b], когда y изменяется в[−1,1]. Обратное преобразование даётся формулойy = 1 ( )2x−(a+b) .b−aВ частности, если y i , i = 1,2,...,n, — корни полинома Лежандра, которыесогласно Предложению 2.11.2 все различны и лежат на интервале[−1,1], то узлы квадратурной формулы Гаусса для интервала интегрирования[a,b] сутьx i = 1 2 (a+b)+ 1 2 (b−a)y i, i = 1,2,...,n. (2.136)Все они также различны и лежат на интервале интегрирования [a,b].Далее, весаc k любой интерполяционной квадратурной формулы могутбыть выражены в виде интегралов (2.122). В случае формул Гаусса(когда узлы нумеруются с единицы) они принимают видc k =∫ baφ k (x)dx,k = 1,2,...,n,

2.13. Квадратурные формулы Гаусса 175где φ k (x) — k-ый базисный полином Лагранжа (см. стр. 51), построенныйпо узлам (2.136):φ i (x) = (x−x 1)···(x−x i−1 )(x−x i+1 )···(x−x n )(x i −x 1 )···(x i −x i−1 )(x i −x i+1 )···(x i −x n ) .Тогда, выполняя замену переменных (2.135), получими потому( )1dx = d2 (a+b)+ 1 2 (b−a)y = 1 2(b−a) dy,c k =∫ b∫ 1φ k (x)dx = 1 2 (b−a) φ k (y)dy,a−1k = 1,2,...,n,где φ k (y) — k-ый базисный полином Лагранжа, построенный по узламy i , i = 1,2,...,n, которые являются корнями n-го полинома Лежандра.Получается, что веса квадратурной формулы Гаусса для произвольногоинтервала интегрирования [a,b] вычисляются простым умножениемвесов для канонического интервала [−1,1] на множитель 1 2(b − a) —радиус интервала интегрирования.Для интервала [−1,1] узлы квадратурных формул Гаусса (т. е. корниполиномов Лежандра) и их веса тщательно затабулированы дляпервых натуральных чисел n вплоть до нескольких десятков. Обсуждениевычислительных формул и других деталей численных процедурдля их нахождения читатель может найти, к примеру, в книгах [3, 53]и в специальных журнальных статьях. В частности, оказывается, чтовесовые коэффициенты формулы Гаусса с n узлами даются выражением2c k =(1−x 2 k )( L ′ n(x k ) ) 2 , k = 1,2,...,n,где L n (x) — n-ый полином Лежандра в форме, даваемой формулойРодрига (2.104).Конкретные числовые значения узлов и весов квадратур Гауссаприводятся в подробных руководствах по вычислительным методам[2, 3, 9, 15, 16, 56] или в специализированных справочниках, например,в [35, 47]. В частности, в учебнике [3] значения весов и узлов фомулГаусса приведены для небольших n с 16 значащими цифрами, в книге[16] — с 15 значащими цифрами вплоть до n = 16, а в справочниках

176 2. Численные методы анализаТаблица 2.3. Узлы и веса квадратурных формул ГауссаУзлыВесаn = 2±0.57735 02691 89626 1.00000 00000 00000n = 30.00000 00000 00000 0.88888 88888 88889±0.77459 66692 41483 0.55555 55555 55556n = 4±0.33998 10435 84856 0.65214 51548 62546±0.86113 63115 94053 0.34785 48451 37454n = 50.00000 00000 00000 0.56888 88888 88889±0.53846 93101 05683 0.47862 86704 99366±0.90617 98459 38664 0.23692 68850 56189[35, 47] — с 20 значащими цифрами вплоть до n = 96 и n = 48. Такимобразом, практическое применение квадратур Гаусса обычно невстречает затруднений.При небольших значениях n можно дать точные аналитические выражениядля узлов формул Гаусса, как корней полиномов ЛежандраL n (x), имеющих явные представления (2.106). Так, для n = 3L 3 (x) = 1 2(5x 3 −3x ) = 1 2 x( 5x 2 −3 ) .Поэтому для канонического интервала интегрирования [−1,1] и n = 3

2.13. Квадратурные формулы Гаусса 177узлы квадратурной формулы Гаусса суть√x 1 = − = −0.77459 66692 41483... ,Для n = 435x 2 = 0,x 3 =√35= 0.77459 66692 41483... .L 4 (x) = 1 8(35x 4 −30x 2 +3 ) ,и нахождение корней этого биквадратного полинома труда не представляет.Аналогично и для n = 5, когдаL 5 (x) = 1 8(63x 5 −70x 3 +15x ) = 1 8 x( 63x 4 −70x 2 +15 ) .Соответствующие весовые коэффициенты можно легко найти решениемнебольших систем линейных уравнений, к которым редуцируетсясистема (2.126) после подстановки в неё известных значений узлов.Численные значения узлов и весов квадратурных формул Гауссадля n = 2,3,4,5 сведены в Табл. 2.3. Видно, что узлы располагаютсясимметрично относительно середины интервала интегрирования, аравноотстоящие от неё весовые коэффициенты одинаковы. Симметриярасположения узлов очевидно следует из того, что любой полином Лежандраявляется, в зависимости от номера, либо чётной, либо нечётнойфункцией.2.13д Погрешность квадратур ГауссаДля исследования остаточного члена квадратурных формул Гауссапредположим, что подинтегральная функция f(x) имеет достаточновысокую гладкость. Построим для неё интерполяционный многочлен,принимающий в узлах x 1 , x 2 , . . . , x n значения f(x 1 ), f(x 2 ), . . . , f(x n ).Коль скоро квадратурная формула Гаусса точна на полиномах степени2n − 1, то для адекватного учёта этого факта степень полинома, интерполирующегоподинтегральную функцию, также нужно взять равной2n−1. Необходимую степень можно получить, рассматривая, каки для формулы Симпсона, интерполяцию с кратными узлами, например,назначая кратность всех n узлов равной двум и предполагая вних известными фиктивные значения производных f ′ (x 1 ), f ′ (x 2 ), . . . ,f ′ (x n ).

178 2. Численные методы анализаПри этом согласно (2.44) погрешность интерполирования функцииf(x) полиномом Эрмита H 2n−1 (x) равнаR 2n−1 (f,x) = f(x)−H 2n−1 (x)= f(2n)( ξ(x) )(2n)!= f(2n)( ξ(x) )(2n)!·n∏(x−x i ) 2 ,i=1·(ω(x) ) 2,где ω(x) = (x − x 1 )(x − x 2 )···(x − x n ) и ξ(x) — некоторая точка, зависящаяот x, из открытого интервала интерполирования ]a,b[. Поусловиям интерполяции H 2n−1 (x i ) = f(x i ), i = 1,2,...,n, следовательно,∫ baf(x)dx ====∫ ba∫ ba(H2n−1 (x)+R 2n−1 (f,x) ) dxH 2n−1 (x)dx+n∑c i H 2n−1 (x i )+i=1n∑i=1c i f(x i )+ 1(2n)!∫ ba∫ ba∫ baR 2n−1 (f,x)dxR 2n−1 (f,x)dxf (2n) (ξ(x)) ( ω(x) ) 2dx,где c i — веса квадратурной формулы Гаусса.Выражение для второго слагаемого последней суммы, т. е. для остаточногочлена квадратуры, можно упростить и далее, приняв во вниманиезнакопостоянство множителя ( ω(x) ) 2. Тогда в силу интегральнойтеоремы о среднем (см., к примеру, [34]) имеем∫ baf (2n)( ξ(x) )( ω(x) ) 2dx = f (2n) (θ)∫ ba(ω(x)) 2dxдля некоторой точки θ ∈ ]a,b[. Таким образом, погрешность квадратурнойформулы Гаусса, построенной по n узлам x 1 , x 2 , . . . , x n ∈ [a,b],

2.13. Квадратурные формулы Гаусса 179равнаR(f) = f(2n) (θ)(2n)!∫ ba(ω(x)) 2dx,где θ ∈ ]a,b[.Узлыx 1 ,x 2 , . . . ,x n — это корни полинома, полученного из полиномаЛежандра линейной заменой переменных. По этой причине интеграл вполученной формуле для погрешности можно вычислить точно, приведяего заменой переменных к интервалу [−1,1] и воспользовавшисьрезультатом Предложения 2.11.1. Это даётR(f) =(n!) 4((2n)!) 3(2n+1) (b−a) 2n+1 f (2n) (θ) (2.137)для некоторой промежуточной точки θ из интервала интегрирования]a,b[. Иногда удобнее грубая оценка|R(f)| ≤(n!) 4((2n)!) 3(2n+1) M 2n (b−a) 2n+1 ,где, как обычно, обозначено M p = max x∈[a,b] |f (p) (x)|.В частности, для формулы Гаусса (2.130)–(2.131) с двумя узлами|R 2 (f)| ≤ M 4(b−a) 5,4320что даже лучше оценки погрешности для формулы Симпсона. Практическоеповедение этой погрешности мы могли видеть в Примере 2.13.1.Отметим, что выведенная оценка (2.137) справедлива лишь при достаточнойгладкости подинтегральной функции f(x). Вообще, квадратурныеформулы Гаусса с большим числом узлов целесообразно применятьлишь для функций, обладающих значительной гладкостью.Другое важное наблюдение состоит в том, что в выражении (2.137)числитель (n!) 4 с ростом n может быть сделан сколь угодно меньшимзнаменателя, превосходящего ((2n)!) 4 . Как следствие, если производныеподинтегральной функции не растут «слишком быстро» с увеличениемпорядка, то с ростом числа узлов и гладкости интегрируемойфункции порядок точности квадратурных формул Гаусса может бытьсделан сколь угодно высоким. В этом квадратуры Гаусса принципиальноотличаются, к примеру, от интерполяции с помощью сплайнов, котораясталкивается с ограничением на порядок сходимости, не зависящим

180 2. Численные методы анализаот гладкости исходных данных (стр. 95). Таким образом, квадратурныеформулы Гаусса дают пример ненасыщаемого численного метода, порядокточности которого может быть сделан любым в зависимости оттого, насколько гладкими являются входные данные для этого метода.В заключение темы следует сказать, что на практике нередко требуетсявключение во множество узлов квадратурной формулы какихлибофиксированных точек интервала интегрирования, например, егоконцов (одного или обоих), либо каких-то выделенных внутренних точек.Основная идея формул Гаусса может быть применена и в этомслучае, что приводит к квадратурам Маркова [3, 11, 53, 56], которыеназываются также квадратурами Лобатто [2, 35].Построение квадратурных формул Гаусса основывалось на оптимизацииалгебраической степени точности квадратур. Эта идея можетбыть модифицирована и приспособлена к другим ситуациям, когда точностьрезультата для алгебраических полиномов уже не являются наиболееадекватным мерилом качества квадратурной формулы. Например,можно развивать квадратуры наивысшего тригонометрическогопорядка точности, которые окажутся практичнее при вычислении интеграловот осциллирующих функций [56].2.14 Составные квадратурные формулыРассмотренные выше квадратурные формулы дают приемлемую погрешностьв случае, когда длина интервала интегрирования [a,b] невеликаи подинтегральная функция имеет на нём ограниченные производные.Но если величина (b−a) относительно велика или интегрируемаяфункция имеет большие производные, то погрешность вычисленияинтеграла делается значительной или даже большой. Тогда для получениятребуемой точности вычисления интеграла применяют составныеквадратурные формулы, основанные на разбиении интервала интегрированияна подинтервалы меньшей длины, по каждому из которыхвычисляется значение «элементарной квадратуры», а затем искомыйинтеграл приближается их суммой. 18Зафиксируем некоторую квадратурную формулу. Будем также считать,что её погрешность R(f) имеет оценку|R(f)| ≤ C(b−a) p ,18 Интересно, что при этом подинтегральная функция интерполируется на всёминтервале интегрирования [a,b] при помощи сплайна.

2.14. Составные квадратурные формулы 181где C — константа, зависящая от типа квадратурной формулы и интегрируемойфункции, но в любом случаеp > 1. К примеру, для формулысредних прямоугольников C = M 2 /24 и p = 3, а для формулы СимпсонаC = M 4 /2880 и p = 5. Разобьём интервал интегрирования точкамиr 1 , r 2 , . . . , r N−1 на N равных частей [a,r 1 ], [r 1 ,r 2 ], . . . , [r N−1 ,b] длиныh = (b−a)/N. Тогда, пользуясь аддитивностью интеграла, можновычислить по рассматриваемой формуле интегралы∫ ri+1r if(x)dx, i = 0,1,...,N −1,где r 0 = a, b = r N , а затем положить∫ baf(x)dx ≈N−1∑i=0∫ ri+1На каждом подинтервале [r i ,r i+1 ]( ) p b−a|R(f)| ≤ C = Ch p ,Nr if(x)dx. (2.138)а полная погрешность интегрирования ˜R(f) при использовании представления(2.138) не превосходит суммы погрешностей отдельных слагаемых,т. е.( ) p b−a|˜R(f)| ≤ N C = C(b−a)pN N p−1 = C(b−a)h p−1 .Как видим, эта погрешность уменьшилась в N p−1 раз, и потенциальнотаким способом погрешность вычисления интеграла можно сделатьсколь угодно малой.Число(p−1) часто называют порядком точности (составной) квадратурнойформулы, и это понятие очевидно согласуется с данным ранееОпределением 2.8.1. Ясно, что основная идея составных квадратурныхформул работает и в случае неравномерного разбиения интервала интегрированияна более мелкие части, но анализ погрешности проводитьтогда труднее.Для равномерного разбиения интервала интегрирования составныеквадратурные формулы выглядят особенно просто. Выпишем их явныйвид для рассмотренных выше простейших квадратур Ньютона-Котеса и разбиения интервала интегрирования [a,b] на N равных частей[r 0 ,r 1 ], [r 1 ,r 2 ], . . . , [r N−1 ,r N ] длины h = (b −a)/N каждая, в которомa = r 0 и r N = b.

182 2. Численные методы анализаРис. 2.24. Составная квадратурная формула трапецийСоставная формула (средних) прямоугольников∫ baf(x)dx ≈ hN∑f(r i−1/2 ),i=1где r i−1/2 = r i −h/2. Её полная погрешность(b−a)h 2|˜R(f)| ≤ M 2 ,24т. е. она имеет второй порядок точности. Эта формула, как нетрудновидеть, совпадает с интегральной суммой Римана для интеграла отf(x) по интервалу [a,b].Составная формула трапеций∫ bЕё полная погрешностьa( N−11f(x)dx ≈ h2 f(a)+ ∑f(r i )+ 1 2). f(b)i=1(b−a)h 2|˜R(f)| ≤ M 2 ,12т. е. порядок точности тоже второй.Составная формула Симпсона (парабол)∫ baf(x)dx ≈ h 6N∑ (f(ri−1 )+4f(r i−1/2 )+f(r i ) ) ,i=1

2.15. Сходимость квадратур 183где r i−1/2 = r i −h/2. Её полная погрешность(b−a)h 4|˜R(f)| ≤ M 4 ,2880т. е. формула имеет четвёртый порядок точности.Аналогично можно сконструировать составные квадратурные формулыГаусса, но мы не будем здесь развёртывать детали этого построения.В составных квадратурных формулах увеличение точности вычисленияинтеграла достигается ценой дополнительных трудозатрат. Врассмотренном нами одномерном случае эти трудозатраты растут всеголишь линейно, хотя и здесь необходимость вычисления сложной подинтегральнойфункции может иногда быть весьма обременительной. Нопри возрастании размерности интеграла, когда необходимо прибегнутьк составным кубатурным формулам, рост трудозатрат делается ужезначительным, имея тот же порядок, что и размерность пространства.Так же растёт и погрешность суммирования результатов интегрированияпо отдельным подобластям общей области интегрирования. Поэтомуэффект увеличения точности составной формулы при возрастанииразмерности становится всё менее ощутимым.2.15 Сходимость квадратурС теоретический точки зрения интересен вопрос о сходимости квадратурпри неограниченном возрастании числа узлов. Иными словами,верно ли, чтоn∑c k f(x k ) →k=0∫ baf(x)dxпри n → ∞ (здесь узлы и веса квадратурных формул нумеруются снуля)?Похожий вопрос вставал при исследовании интерполяционного процесса,и мы обсуждали его в §2.5. Но в случае квадратурных формул

184 2. Численные методы анализапомимо бесконечной треугольной матрицы узлов⎛⎞x (1)0 ···x (2)0 x (2)1 0 ···⎜ x (3)0 x (3)1 x (3)2 ···, (2.139)⎟⎝⎠.... .. . ..таких что x (n)kлежат на интервале интегрирования [a,b] и x (n)i ≠ x (n)jпри i ≠ j, необходимо задавать ещё и треугольную матрицу весовыхкоэффициентов квадратурных формул⎛c (1)0 ···⎜⎝c (2)0 c (2)10c (3)0 c (3)1 c (3)..⎞···2 ···. (2.140)⎟⎠.. .. . ..В случае задания бесконечных треугольных матриц (2.139)–(2.140), покоторым организуется приближённое вычисление интегралов на последовательностисеток, будем говорить, что определён квадратурныйпроцесс.Определение 2.15.1 Квадратурный процесс, задаваемый зависящимот целочисленного параметра n семейством квадратурных формул∫ baf(x)dx ≈n∑k=0c (n)k f( x (n) )k , n = 0,1,2,...,которые определяются матрицами узлов и весов (2.139)–(2.140), будемназывать сходящимся для функции f(x) на интервале [a,b], еслиlimn→∞n∑k=0∫c (n)k f( x (n) ) bk =af(x)dx,т.е. если при неограниченном возрастании числа узлов n предел результатовквадратурных формул равен точному интегралу от функцииf по [a,b].

2.15. Сходимость квадратур 185Необходимо оговориться, что в практическом плане вопрос о сходимостиквадратур решается положительно с помощью составных формул,рассмотренных в предыдущем §2.14. Для достаточно общих функцийпутём построения составной квадратурной формулы всегда можнодобиться сходимости приближённого значения интеграла к точному(для составной формулы прямоугольников это следует из самогоопределения интегрируемости по Риману). Обсуждаемый ниже кругвопросов относится больше к теоретическим качествам тех или иных«чистых» квадратурных формул, их предельному поведению.Весьма общие достаточные условия для сходимости квадратур былисформулированы и обоснованы В.А. Стекловым [62], а впоследствииД. Пойа [72] доказал также необходимость условий Стеклова.Теорема 2.15.1 (теорема Стеклова-Пойа) Квадратурный процесс, порождаемыйматрицами узлов и весов (2.139)–(2.140), сходится длялюбой непрерывной на [a,b] функции тогда и только тогда, когда(1) этот процесс сходится для полиномов,(2) суммы абсолютных значений весов равномерно по nограничены, т.е. существует такая константа C,чтодля всех n = 0,1,2,....n∑ ∣∣c (n)kk=0∣ ≤ C (2.141)Покажем достаточность условий теоремы Стеклова-Пойа. С этойцелью, задавшись каким-тоǫ > 0, найдём полином P N (x), который равномернос погрешностьюǫ приближает непрерывную подинтегральнуюфункцию f(x) на рассматриваемом интервале [a,b]. Существование такогополинома обеспечивается теоремой Вейерштрасса (см. §2.5). Далеепреобразуем выражение для остаточного члена квадратурной форму-

186 2. Численные методы анализалы:R n (f) ===∫ ba∫ ba∫ baf(x)dx −n∑k=0c (n)k f( x (n) )k(f(x)−PN (x) ) bdx +∫P N (x)dx −(f(x)−PN (x) ) dx( ∫ b+ P N (x)dx −a+n∑k=0an∑k=0(c (n)kn∑k=0c (n)k P ((n)) )N xkP N(x(n)kc (n)k f( x (n) )k) ((n)) )−f xk.Отдельные слагаемые полученной суммы, расположенные выше в различныхстрочках, оцениваются при достаточно больших номерахnследующимобразом:∫ b( f(x)−PN (x) ) dx∣ a ∣ ≤ ǫ(b−a), так как P N(x) приближает f(x)равномерно с погрешностью ǫна интервале [a,b],∣∣∫ bak=0P N (x)dx −n∑k=0n∑ (c (n) ((n)) ((n)) )∣ ∣∣∣kP N xk −f x ≤ ǫc (n)k P ((n)) ∣ ∣∣∣N xk≤ ǫ, так как квадратурысходятся на полиномах,kn∑∣ (n)c ∣ ≤ ǫC в силу (2.141).k=0Поэтому в целом, если n достаточно велико, имеем|R n (x)| ≤ ǫ(b−a+1+C).Это и означает сходимость рассматриваемого квадратурного процесса.Доказательство необходимости условия теоремы Стеклова-Пойа помимооригинальной статьи [72] можно найти также в книгах [3, 25].k

2.15. Сходимость квадратур 1870.030.02c k0.01k0 48 96Рис. 2.25. Зависимость весовых коэффициентовот номера для квадратуры Гаусса 96-го порядкаВ формулировке теоремы фигурирует величинаn∑∣∣ ck∣, (2.142)k=0— сумма абсолютных значений весов, которая, как мы видели в §2.12а,является коэффициентом увеличения погрешности в данных и играеточень важную роль при оценке качества различных квадратурныхформул. В §2.12д уже упоминался результат Р.О. Кузьмина [48] о том,что для формул Ньютона-Котеса величина (2.142) неограниченно увеличиваетсяс ростом числа узлов n. Как следствие, на произвольныхнепрерывных функциях эти квадратурные формулы сходимостью необладают.Для квадратурных формул Гаусса ситуация другая. СправедливоПредложение 2.15.1 Весовые коэффициенты квадратурных формулГаусса положительны.Доказательство. Ранее мы уже выводили для весов интерполяционныхквадратурных формул выражение (2.122). Зафиксировав индексi ∈ {1,2,...,n}, дадим другое явное представление для весового коэффициентаc i квадратурной формулы Гаусса, из которого и будет следоватьдоказываемое предложение.Пусть x 1 , x 2 , . . . , x n — узлы квадратурной формулы Гаусса на интервалеинтегрирования [a,b]. Так как формулы Гаусса имеют алгебраическуюстепень точности 2n−1, то для полиномаΠ i (x) = ( (x−x 1 )···(x−x i−1 )(x−x i+1 )···(x−x n ) ) 2

188 2. Численные методы анализастепени 2(n−1) должно выполняться точное равенство∫ baΠ i (x)dx =n∑c k Π i (x k ). (2.143)k=1Но Π i (x k ) = δ ik по построению полинома Π i , так что от суммы справав (2.143) остаётся лишь одно слагаемое c i Π i (x i ):Следовательно,∫ bac i =Π i (x)dx = c i Π i (x i ).∫ ba/Π i (x)dx Π i (x i ).Далее, Π i (x) > 0 всюду на интервале интегрирования [a,b] за исключениемконечного числа точек, и потому положителен интеграл вчислителе выписанного выражения. Кроме того, Π i (x i ) > 0, откудаможно заключить, что c i > 0.Напомним, что сумма весов формул Гаусса равна длине интервалаинтегрирования (как и для всех интерполяционных квадратурныхформул, см. §2.12г). Как следствие, величина (2.142) при этом ограничена,и квадратурный процесс по формулам Гаусса всегда сходится.Завершая тему, можно отметить, что ситуация со сходимостью квадратуроказывается в целом более благоприятной, чем для интерполяционныхпроцессов.2.16 Вычисление интеграловметодом Монте-КарлоВ методе Монте-Карло, называемом также методом статистическогомоделирования, искомое решение задачи представляется в видекакой-либо характеристики специально построенного случайного процесса.Затем этот процесс моделируется, с помощью ЭВМ или какимитодругими средствами, и по его реализации мы вычисляем нужнуюхарактеристику, т. е. решение задачи. Наиболее часто решение задачпредставляется так называемым математическим ожиданием (среднимзначением) специально подобранной случайной величины.

2.16. Вычисление интегралов методом Монте-Карло 189В качестве примера рассмотрим задачу вычисления определённогоинтеграла∫ baf(x)dx (2.144)от непрерывной функции f(x). Согласно известной из интегральногоисчисления теореме о среднем (см., к примеру, [34])∫ baf(x)dx = (b−a)f(c)для некоторой точки c ∈ [a,b]. Смысл «средней точки» c можно понятьглубже с помощью следующего рассуждения. Пусть интервал интегрирования[a,b] разбит на N равных подинтервалов. По определению интегралаРимана, если x i — точки из этих подинтервалов, то∫ baf(x)dx ≈N∑i=1b−aN f(x i) = (b−a)· 1NN∑f(x i )i=1для достаточно больших N. Сумма в правой части — это произведениеширины интервала интегрирования (b−a) на среднее арифметическоезначений подинтегральной функции f в точках x i , i = 1,2,...,N. Такимобразом, интеграл от f(x) по [a,b] есть не что иное, как «среднеезначение» функции f(x) на интервале [a,b], умноженное на ширинуэтого интервала.Но при таком взгляде на искомый интеграл нетрудно заметить, что«среднее значение» функции f(x) можно получить каким-либо существенноболее эффективным способом, чем простое увеличение количестваравномерно расположенных точек x i . Например, можно попытатьсяраскидывать эти точки случайно по [a,b], но «приблизительноравномерно». Резон в таком образе действий следующий: случайный,но равномерный выбор точек x i позволит в пределе иметь то же «среднеезначение» функции, но, возможно, полученное быстрее, так какпри случайном бросании есть надежда, что будут легче учтены почтивсе «представительные» значения функции на [a,b].Для формализации высказанных идей целесообразно привлечь аппараттеории вероятностей. Эта математическая дисциплина исследуетслучайные явления, которые подчиняются свойству «статистическойустойчивости», т. е. обнаруживают закономерности поведения в большихсериях повторяющихся испытаний. Одними из основных понятий

190 2. Численные методы анализатеории вероятностей являются понятия вероятности, случайной величиныи её функции распределения. Случайной величиной называетсяпеременная величина, значения которой зависят от случая и для которойопределена так называемая функция распределения вероятностей.Вероятность — это величина, выражающая относительную частоту интересующегонас события, которая обычно устанавливаюется в большойсерии испытаний. Функция распределения показывает, следовательно,вероятность появления тех или иных значений этой случайнойвеличины. Конкретное значение, которое случайная величина принимаетв результате отдельного опыта, обычно называют реализациейслучайной величины.Случайные и «приблизительно равномерные» точки моделируютсятак называемым равномерным вероятностным распределением, в которомпри большом количестве испытаний (реализаций) в любые подинтервалыисходного интервала [a,b], имеющие равную длину, попадаетпримерно одинаковое количество точек.На этом пути мы и приходим к простейшему методу Монте-Карлодля вычисления определённого интеграла (2.144):фиксируем натуральное число N ;организуем реализации ξ i , i = 1,2,...,N, дляслучайной величины ξ, имеющей равномерноераспределение на интервале [a,b] ;. (2.145)(искомый интеграл) ← b−aN ·N∑f(ξ i );i=1Получение равномерно распределённой случайной величины (каки других случайных распределений) является не вполне тривиальнойзадачей. Но она удовлетворительно решена на существующем уровнеразвития вычислительной техники и информатики. Так, практическиво всех современных языках программирования имеются средства длямоделирования простейших случайных величин, в частности, равномерногораспределения на интервале.Рассмотрим теперь задачу определения площади фигуры с криволинейнымиграницами (Рис. 2.26). Погрузим её в прямоугольник со

2.16. Вычисление интегралов методом Монте-Карло 191Рис. 2.26. Вычисление объёма области методом Монте-Карло.сторонами, параллельными координатным осям, имеющий известныеразмеры, и станем случайным образом раскидывать точки внутри этогопрямоугольника. Ясно, что при равномерном распределении случайныхбросаний вероятность попадания точки в рассматриваемую фигуруравна отношению площадей этой фигуры и объемлющего её прямоугольника.С другой стороны, это отношение будет приблизительноравно относительной доле количества точек, которые попали в фигуру.Оно может быть вычислено в достаточно длинной серии случайныхбросаний точек в прямоугольник.На основе сформулированной выше идеи можно реализовать ещёодин способ вычисления интеграла от функции одной переменной. Помещаемкриволинейную трапецию, ограниченную графиком интегрируемойфункции, в прямоугольник на плоскости0xy. Затем организуемравномерное случайное бросание точек в этом прямоугольнике и подсчитываемотносительную частоту точек, попадающих ниже графикаинтегрируемой функции. Искомый интеграл равен её произведению наплощадь большого прямоугольника (см. Рис. 2.27).Результаты вычислений по методу Монте-Карло сами являются случайнойвеличиной, и два результата различных решений одной и тойже задачи, вообще говоря, могут отличаться друг от друга. Можнопоказать, что второй (геометрический) способ вычисления интеграламетодом Монте-Карло, вообще говоря, уступает по качеству результатовпервому способу, основанному на нахождении «среднего значения»функции, так как дисперсия (среднеквадратичный разброс) получаемыхоценок у него больше [28].

192 2. Численные методы анализаy0xРис. 2.27. Один из способов приближённого вычисленияопределённого интеграла методом Монте-КарлоСформулированные выше идеи и основанные на них алгоритмы вдействительности применимы для интегрирования функций от произвольногоколичества переменных. Более того, вероятностные оценкипогрешности, пропорциональные N −1/2 , также не зависят от размерностиn пространства, в котором берётся интеграл, тогда как для традиционныхдетерминистских методов интегрирования они ухудшаютсяс ростом n. Начиная c 7–8 переменных методы Монте-Карло уже превосходятпо своей эффективности классические кубатурные формулыи являются главным методом вычисления многомерных интегралов.В заключение параграфа — краткий исторический очерк. Идея моделированияслучайных явлений очень стара. В современной историинауки использование статистического моделировния для решения конкретныхпрактических задач можно отсчитывать с конца XVIII века,когда Ж.-Л. Бюффоном (в 1777 году) был предложен способ определениячисла π с помощью случайных бросаний иглы на бумагу, разграфлённуюпараллельными линиями. 19 Тем не менее, идея использованияслучайности при решении различных задач не получила большого развитиявплоть до Второй мировой войны, т. е. до середины XX века.В 1944 году в связи с работами по созданию атомной бомбы в США,поставившими ряд очень больших и сложных задач, С. Улам и Дж. фонНейман предложили широко использовать для их решения статисти-19 Наиболее известная «докомпьютерная» реализация метода Бюффона была осуществленаамериканским астрономом А.Холлом [69].

2.17. Правило Рунге для оценки погрешности 193ческое моделирование и аппарат теории вероятностей. 20 Этому способствовалопоявление к тому времени электронных вычислительныхмашин, позволивших быстро выполнять многократные статистическиеиспытания (Дж. фон Нейман также принимал активное участие в созданиипервых цифровых ЭВМ). С конца 40-х годов XX века начинаетсяширокое развитие метода Монте-Карло и методов статистическогомоделирования во всём мире. В настоящее время их успешно применяютдля решения самых разнообразных задач практики (см., к примеру,[28, 55] и цитированную там литературу).2.17 Правило Рунгедля оценки погрешностиПредположим, что нам необходимо численно найти интеграл илипроизводную функции, либо решение дифференциального или интегральногоуравнения, т. е. решить какую-либо задачу, где фигурируетсетка на интервале вещественной оси или в пространстве б´ольшего числаизмерений. Пусть для решения этой задачи применяется численныйметод порядка p, так что главный член его погрешности равен Ch p , гдеh — шаг рассматриваемой сетки, а C — величина, напрямую от h не зависящая.Как правило, значение C не известно точно и его нахождениенепосредственно из исходных данных задачи является делом трудными малоперспективным. Мы могли видеть, к примеру, что для задачинтерполирования и численного интегрирования выражение для этойконстанты вовлекает оценки для производных высоких порядков отрассматриваемой функции либо её разделённые разности. Во многихслучаях их практическое вычисление не представляется возможным,так что оценки эти носят, главным образом, теоретический характер.Аналогична ситуация и с другими постановками задач и погрешностямиих решения.К. Рунге принадлежит идея использовать для определения значенияконстанты C результаты нескольких расчётов на различных сетках.Далее, после того как величина C будет определена, мы можемиспользовать её значение для практического оценивания погрешностиприближённых решений нашей задачи, которые получаются с помощьювыбранного численного метода.20 Интересно, что примерно в те же самые годы в СССР решение аналогичныхзадач советского атомного проекта было успешно выполнено другими методами.

194 2. Численные методы анализаПредположим для простоты анализа, что численные решения рассматриваемойзадачи расчитаны на сетках с шагом h и h/2 и равнысоответственно I h и I h/2 , а точное решение есть I. ТогдаI h −I ≈ Ch p ,( p hI h/2 −I ≈ C = C2) hp2 p.Вычитая второе равенство из первого, получимтак чтоI h −I h/2 ≈ Ch p −C hp2 p = Chp 2p −12 p ,C ≈ 2p2 p −1 · Ih −I h/2h p .Зная константуC, можно уже находить оценку погрешности расчитанныхрешений I h , I h/2 или любых другихПравило Рунге работает плохо, если главный член погрешностиCh pне доминирует над последующими членами её разложения, которыесоответствуют (p+1)-ой и более высоким степеням шага сетки h. Этопроисходит, как правило, для сильно меняющихся решений.Литература к главе 2Основная[1] Барахнин В.Б., Шапеев В.П. Введение в численный анализ. – Санкт-Петербург–Москва– Краснодар: Лань, 2005.[2] Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. –Москва: Бином, 2003, а также другие издания этой книги.[3] Березин И.С., Жидков Н.П. Методы вычислений. Т. 1–2. – Москва: Наука,1966.[4] Вержбицкий В.М. Численные методы. Части 1–2. – Москва: «Оникс 21 век»,2005.[5] Волков Е.А. Численные методы. – Москва: Наука, 1987.[6] Гельфонд А.О. Исчисление конечных разностей. – Москва: Наука, 1967.[7] Гончаров В.Л. Теория интерполирования и приближения функций. –Москва: ГИТТЛ, 1954.[8] Даугавет И.К. Введение в теорию приближения функций. – Ленинград: ИздательствоЛенинградского университета, 1977.

Литература к главе 2 195[9] Демидович Б.П., Марон А.А. Основы вычислительной математики. –Москва: Наука, 1970.[10] Завьялов Ю.С., Квасов Б.И., Мирошниченко В.Л. Методы сплайнфункций.– Москва: Наука, 1980.[11] Калиткин Н.Н. Численные методы. – Москва: Наука, 1978.[12] Кобков В.В., Шокин Ю.И. Сплайн-функции в численном анализе. – Новосибирск:Издательство НГУ, 1983.[13] Коллатц Л. Функциональный анализ и вычислительная математика. –Москва: Мир, 1969.[14] Кострикин А.Н. Введение в алгебру. Часть 1. Основы алгебры. – Москва:Физматлит, 2001.[15] Крылов А.Н. Лекции о приближённых вычислениях. – Москва: ГИТТЛ, 1954,а также более ранние издания.[16] Крылов В.И. Приближённое вычисление интегралов. – Москва: Наука, 1967.[17] Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы.Т. 1–2. – Москва: Наука, 1976.[18] Кунц К.С. Численный анализ. – Киев: Техника, 1964.[19] Люстерник Л.А., Червоненкис О.А., Янпольский А.Р. Математическийанализ. Вычисление элементарных функций. – Москва: ГИФМЛ, 1963.[20] Мак-Кракен Д., Дорн У. Численные методы и программирование на ФОР-ТРАНе. — Москва: Мир, 1977.[21] Марков А.А. Исчисление конечных разностей. — Одесса: Mathesis, 1910.[22] Мацокин А.М., Сорокин С.Б. Численные методы. Часть 1. Численный анализ.– Новосибирск: НГУ, 2006.[23] Миньков С.Л., Миньков Л.Л. Основы численных методов. – Томск: Издательствонаучно-технической литературы, 2005.[24] Мысовских И.П. Интерполяционные кубатурные формулы. – Москва: Наука,1981.[25] Натансон И.П. Конструктивная теория функций. – Москва–Ленинград:ГИТТЛ, 1949.[26] Никольский С.М. Квадратурные формулы. – Москва: Наука, 1988.[27] Самарский А.А., Гулин А.В. Численные методы. – Москва:Наука, 1989.[28] Соболь И.М. Численные методы Монте-Карло. – Москва: Наука, 1973.[29] Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике. –Москва: Наука, 1976.[30] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. –Москва: Наука, 1974.[31] Тыртышников Е.Е. Матричный анализ и линейная алгебра. – Москва: Физматлит,2007.

196 2. Численные методы анализа[32] Тыртышников Е.Е. Методы численного анализа. – Москва: Академия, 2007.[33] Уиттекер Э., Робинсон Г. Математическая обработка результатов наблюдений.– Ленинград-Москва: ГТТИ, 1933.[34] Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления.Т. 1, 2. – Москва: Наука, 1966.Дополнительная[35] Абрамовиц М., Стиган И. Таблицы специальных функций. – Москва: Наука,1979.[36] Алберг Дж., Нильсон Э., Уолш Дж. Теория сплайнов и её приложения. –Москва: Мир, 1972.[37] Бабенко К.И. Основы численного анализа. – Москва: Наука, 1986.[38] Бахвалов Н.С., Корнев А.А., Чижонков Е.В. Численные методы. Решениязадач и упражнения. – Москва: Дрофа, 2008.[39] Геронимус Я.Л. Теория ортогональных многочленов. – Москва: Госуд. изд-вотехнико-теоретической литературы, 1950.[40] Гурвиц А., Курант Р. Теория функций. – Москва: Наука, Физматлит, 1968.[41] Демиденко Е.З. Оптимизация и регрессия. – Москва: Наука, 1989.[42] Дробышевич В.И., Дымников В.П., Ривин Г.С. Задачи по вычислительнойматематике. – Москва: Наука, 1980.[43] Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение.– Москва: Мир, 1998.[44] Квасов Б.И. Методы изогеометрической аппроксимации сплайнами. –Москва: Физматлит, 2006.[45] Коллатц Л., Крабс В. Теория приближений. Чебышёвские приближения иих приложения. – Москва: Наука, 1978.[46] Кронрод А.С. Узлы и веса квадратурных формул. Шестнадцатизначные таблицы.– Москва: Наука, 1964.[47] Крылов В.И., Шульгина Л.Т. Справочная книга по численному интегрированию.– Москва: Наука, 1966.[48] Кузьмин Р.О. К теории механических квадратур // Известия Ленинградскогополитехнического института. Отделение техн. естеств. и матем. 1931. – Т. 33.– С. 5–14.[49] Линник Ю.В. Метод наименьших квадратов и основы теории обработки наблюдений.2-е изд. – Москва: ГИФМЛ, 1962.[50] Локуциевский О.В., Гавриков М.Б. Начала численного анализа. – Москва:ТОО «Янус», 1994.[51] Лоран Ж.-П. Аппроксимация и оптимизация. – Москва: Мир, 1975.[52] Меньшиков Г.Г. Локализующие вычисления. Конспект лекций. – Санкт-Петербург: СПбГУ, Факультет прикладной математики–процессов управления,2003.

Литература к главе 2 197[53] Микеладзе Ш.Е. Численные методы математического анализа. – Москва:ГИТТЛ, 1953.[54] Милн В.Э. Численный анализ. – Москва: Издательство иностранной литературы,1951.[55] Михайлов Г.А., Войтишек А.В. Численное статистическое моделирование.Методы Монте-Карло. – Москва: Изд. центр «Академия», 2006.[56] Мысовских И.П. Лекции по методам вычислений. – Санкт-Петербург: ИздательствоСанкт-Петербургского университета, 1998.[57] Пашковский С. Вычислительные применения многочленов и рядов Чебышёва.– Москва: Наука, 1983.[58] Погорелов А.И. Дифференциальная геометрия. – Москва: Наука, 1974.[59] Ремез Е.Я. Основы численных методов чебышёвского приближения. – Киев:Наукова думка, 1969.[60] Сегё Г. Ортогональные многочлены. – Москва: Физматлит, 1962.[61] Соболев С.Л. Введение в теорию кубатурных формул. – Москва: Наука, 1974.[62] Стеклов В.А. О приближённом вычислении определённых интегралов // ИзвестияАкадемии Наук. – 1916. – Т. 10, №6. – С. 169–186.[63] Суетин П.К. Классические ортогональные многочлены. – Москва: Наука,1979.[64] Стефенсен И.Ф. Теория интерполяции. – Москва: Объединённое научнотехническоеиздательство НКТП СССР, 1935.[65] Хансен Э., Уолстер Дж.У. Глобальная оптимизация с помощью методовинтервального анализа. – Москва-Ижевск: Издательство «РХД», 2012.[66] Хаусхолдер А.С. Основы численного анализа. – Москва: Издательство иностраннойлитературы, 1956.[67] Хемминг Р.В. Численные методы. – Москва: Наука, 1972.[68] Aberth O. Precise numerical methods using C++. – San Diego: Academic Press,1998.[69] Hall A. On an experimental determination of π // Messenger of Mathematics. –1873. – Vol. 2. – P. 113-114.[70] Lobachevsky N. Probabilité des résultats moyens tirés d’observations répetées //Journal für die reine und angewandte Mathematik. – 1842. – Bd. 24. – S. 164–170.[71] Moore R.E., Kearfott R.B., Cloud M. Introduction to interval analysis. –Philadelphia: SIAM, 2009.[72] Polya G. Über Konvergenz von Quadraturverfahren // Mathematische Zeitschrift.– 1933. – Bd. 37. – S. 264–286.[73] Schoenberg I.J Contributions to the problem of approximation of equidistantdata by analytic functions. Part A: On the problem of smoothing or graduation. Afirst class of analytic approximation formulae. Part B: On the problem of osculatoryinterpolation. A second class of analytic approximation formulae // Quart. Appl.Math. – 1946. – Vol. 4. – P. 45–99, 112–141.

Глава 3Численные методылинейной алгебры3.1 Задачи вычислительнойлинейной алгебрыЧисленные методы линейной алгебры — это один из классическихразделов вычислительной математики, который в середине XX векавычленился даже в отдельное научное направление в связи с бурнымразвитием математических вычислений на ЭВМ. 1 Традиционный, историческисложившийся список задач вычислительной линейной алгебрыпо состоянию на 50–60-е годы прошлого века можно найти вкапитальной книге Д.К. Фаддеева и В.Н. Фаддеевой [44]. Он включал• решение систем линейных алгебраических уравнений,• вычисление определителей матриц,• нахождение обратной матрицы,• нахождение собственных значений и собственныхвекторов матриц,а также многочисленные разновидности этих задач.1 В англоязычной учебной и научной литературе часто используют термин «матричныевычисления», который ´уже по объёму, не охватывая, к примеру, такую частьсовременной вычислительной линейной алгебры как тензорные вычисления.198

3.1. Задачи вычислительной линейной алгебры 199Но «всё течёт, всё меняется». По мере развития науки и технологийв фокусе развития вычислительной линейной алгебры оказались новыезадачи. Вот как формулирует список важнейших задач в 2001 годуамериканский специалист Дж. Деммель в книге [13]:• решение систем линейных алгебраических уравнений;• линейная задача о наименьших квадратах:найти вектор x, минимизирующий 〈Ax−b,Ax−b〉для заданных m×n-матрицы A и m-вектора b;• нахождение собственных значений и собственныхвекторов матриц;• нахождение сингулярных чисел и сингулярныхвекторов матриц.Постановку последней задачи мы будем обсуждать ниже в §3.2г.Вторая задача из этого списка — линейная задача о наименьших квадратах— является одним из вариантов дискретной задачи о наилучшемсреднеквадратичном приближении. Она возникает обычно в связи с решениемпереопределённых систем линейных алгебраических уравнений(СЛАУ), которые, к примеру, получаются при обработке экспериментальныхданных.Помимо перечисленных задач к сфере вычислительной линейнойалгебры относится также решение разнообразных линейных уравнений,в которых неизвестными являются матрицы (матричные уравненияСильвестера, Ляпунова и др.). Эти уравнения возникают, к примеру,в теории автоматического управления.С точки зрения классических разделов математики решение выписанныхзадач даётся вполне конструктивными способами и как будтоне встречает затруднений:– решение квадратной СЛАУ получается покомпонентно по формулеКрамера, как частное двух определителей, которые, в своюочередь, могут быть вычислены по явной формуле;– для вычисления собственных значений матрицы A нужно выписатьеё характеристическое (вековое) уравнение det(A−λI) = 0и найти его корни λ.И так далее. Но практическая реализация этих теоретических рецептовнаталкивается на почти непреодолимые трудности.

200 3. Численные методы линейной алгебрыК примеру, явная формула для определителя n × n-матрицы выражаетего как сумму n! слагаемых, каждое из которых есть произведениеn элементов из разных строк и столбцов матрицы. Раскрытиеопределителя по этой формуле требует n!(n−1) умножений и (n!−1)сложений, т. е. всего примерно n!n арифметических операций, и потомуиз-за взрывного роста факториала 2 решение СЛАУ по правилу Крамерапри n ≈ 20–30 делается невозможным даже на самых современныхЭВМ.Производительность современных ЭВМ принято выражать в такназываемых флопах (сокращение от английской фразы floating pointoperation), и 1 флоп — это одна усреднённая арифметическая операцияв арифметике с плавающей точкой в секунду (см. §1.2). Для наиболеемощных на сегодняшний день ЭВМ скорость работы измеряетсятак называемым петафлопами, 10 15 операций с плавающей точкой всекунду. Для круглого счёта можно даже взять производительностьнашего гипотетического компьютера равной 1 экзафлоп = 10 18 операцийс плавающей точкой в секунду. Решение на такой вычислительноймашине системы линейных алгебраических уравнений размера 30×30по правилу Крамера, с раскрытием определителей по явной комбинаторнойформуле, потребует времени30 компонент решения·30·30! операций10 18 флоп·3600 секчасчас ·24сутки ·365сутки годлет, т. е. примерно 7.57·10 9 лет. Для сравнения, возраст Земли в настоящеевремя оценивается в 4.5·10 9 лет.Обращаясь к задаче вычисления собственных значений матрицы,напомним известную из алгебры теорема Абеля-Руффини 3 : общее алгебраическоеуравнение степени выше четвёртой «неразрешимо в радикалах»,т. е. не существует конечная формула, выражающая решениятакого уравнения через коэффициенты с помощью арифметическихопераций и взятия корней произвольной степени. Таким образом, дляматриц размера 5×5 и более мы по необходимости должны развиватьдля нахождения собственных значений какие-то численные методы. Кэтому добавляются трудности в раскрытии определителя, который входитв характеристическое уравнение матрицы.2 Напомним в этой связи известную в математическом анализе асимптотическуюформулу Стирлинга — n! ≈ √ 2πn(n/e) n , где e = 2.7182818...3 Иногда её называют просто «теоремой Абеля» (см., к примеру, [61]).

3.2. Теоретическое введение 201Помимо неприемлемой трудоёмкости ещё одной причиной непригодностидля реальных вычислений некоторых широко известных алгоритмовиз «чистой математики» является сильное влияние на их результатынеизбежных погрешностей счёта и ввода данных. Например,очень неустойчиво к ошибкам решение СЛАУ по правилу Крамера.3.2 Теоретическое введение3.2а Основные понятияТермин «вектор» имеет несколько значений. Прежде всего, это направленныйотрезок на прямой, плоскости или в пространстве. Далее,термин «вектор» может обозначать упорядоченный кортеж из чиселлибо объектов какой-то другой природы, расположенный вертикально(вектор-столбец) или горизонтально (вектор-строка). Таким образом,если a 1 , a 2 , . . . , a n — некоторые числа, то⎛ ⎞a 1a 2a = ⎜ . ⎟ — это вектор-столбец,⎝ . ⎠a nаa = ( a 1 ,a 2 ,··· ,a n)— это вектор-строка.Этот смысл термина «вектор» широко используется в информатике ипрограммировании. Наконец, «вектор» можно понимать как элементабстрактного «векторного пространства», и в современной математикеогромное применение находят, к примеру, линейные векторные пространства,об элементах которых мы привычно говорим, как о некоторых«векторах».Все три перечисленных выше смысла тесно связаны между собой ивзаимно проникают друг в друга. Мы в равной степени будем пользоватьсявсеми ими, предполагая, что контекст изложения не даст поводак недоразумениям. По умолчанию, если не оговорено противное, условимсясчитать, что «векторами» во втором смысле являются векторстолбцы.Множество векторов, компоненты которых принадлежат вещественнойоси R или комплексной плоскости C, мы будем обозначатьчерез R n или C n . При этом нулевые векторы, т. е. векторы, все компонентыкоторых суть нули, мы традиционно обозначаем через «0».

202 3. Численные методы линейной алгебрыНенулевые векторы a и b называются коллинеарными, если a = αbдля некоторого скаляра α. Иногда различают сонаправленные коллинеарныевекторы, отвечающие случаю α > 0, и противоположно направленные,для которых α < 0. Нулевой вектор по определению коллинеаренлюбому вектору.Вообще, в линейной алгебре, при работе с линейными векторнымипространствами, большую роль играют линейные выражения видаα 1 v 1 +α 2 v 2 +...+α k v k ,где α 1 , α 2 , . . . , α k — некоторые скаляры, а v 1 , v 2 , . . . , v k — векторыиз рассматриваемого пространства. Такие выражения называются линейнымикомбинациями векторов v 1 , v 2 , . . . , v k . Говорят также, чтолинейная комбинация нетривиальная, если хотя бы один из коэффициентовα 1 , α 2 , . . . , α k не равен нулю.Линейной оболочкой векторов v 1 , v 2 , . . . , v k называют множествовсевозможных линейных комбинаций этих векторов, т. е. наименьшеелинейное подпространство, содержащее эти векторы v 1 , . . . , v k . Мыбудем обозначать линейную оболочку посредством lin{v 1 ,...,v n }, такчто{∑ n ∣ }∣∣∣lin{v 1 ,...,v n } = α i v i α i ∈ R .На линейных пространствах R n и C n можно задать скалярные произведения.Напомним, что в вещественном случае это положительноопределённая симметричная и билинейная форма, а в комплексном —положительно определённая эрмитова форма. Обычно они задаются вследующем стандартном видеили〈a,b〉 =〈a,b〉 =i=1n∑a i b i для a,b ∈ R n (3.1)i=1n∑a i b i для a,b ∈ C n . (3.2)i=1Наличие скалярного произведения позволяет измерять углы междувекторами и ввести очень важное понятие ортогональности векторов.При этом пространства R n и C n становятся евклидовыми пространствами,и для них справедливы многие красивые и важные свойства,существенно упрощающие математические рассуждения.

3.2. Теоретическое введение 203Матрица — это прямоугольная таблица, составленная из чисел иликаких-нибудь других объектов. Если она имеет m строк и n столбцов,то обычно её записывают в виде⎛ ⎞a 11 a 12 ... a 1na 21 a 22 ... a 2nA := ⎜⎝.. . ..⎟. ⎠ ,a m1 a m2 ... a mnназывая a ij элементами матрицы A = (a ij ). При этом мы можемотождествлять векторы с матрицами размера n × 1 (вектор-столбцы)либо 1×n (вектор-строки).Матрицы используются в современной математике для самых разнообразныхцелей. В частности, если дана система, составленная изконечного числа объектов (подсистем), то взаимодействие i-го объектас j-ым можно описывать матрицей, элементы которой суть a ij . Впростейшем случае эти элементы принимают значения 1 или 0, соответствующиеситуациям «связь есть» и «никак не связано». Для нашегокурса особенно важно, что с помощью матриц, как это показываетсяв линейной алгебре, даётся удобное представление для линейных отображенийконечномерных пространств.Ведущей подматрицей некоторой матрицы называется матрица, составленнаяиз строк и столбцов с первыми номерами. Ведущий минорматрицы — это определитель ведущей подматрицы.Транспонированной к m×n-матрице A = (a ij ) называется n ×mматрицаA ⊤ , в которой ij-ым элементом является a ji . Иными словами,⎛ ⎞a 11 a 21 ... a n1A ⊤ a 12 a 22 ... a n2:= ⎜⎝.. . ..⎟. ⎠ .a 1m a 2m ... a nmДля числовых матриц определены сумма, разность и произведение.Напомним, что сумма (разность) двух матриц одинакового размераесть матрица того же размера, образованная поэлементными суммами(разностями) операндов. Если A = (a ij ) — m×l-матрица и B = (b ij ) —l×n-матрица, то произведение матриц A и B есть такая m×n-матрицаC = (c ij ), чтоl∑c ij := a ik b kj .k=1

204 3. Численные методы линейной алгебрыСтрочным рангом матрицы (или рангом по строкам) называется,как известно, количество её линейно независимых строк. Столбцовымрангом матрицы (или рангом по столбцам) называется максимальноеколичество её линейно независимых столбцов. В курсах линейной алгебрыпоказывается, что строчный и столбцовый ранги матрицы совпадаютдруг с другом и равны максимальному размеру ненулевого минора,порождённого этой матрицей. Как следствие, мы можем говоритьпросто о ранге матрицы.Квадратная матрица, все строки которой (или столбцы) линейнонезависимы, называется неособенной (регулярной, невырожденной). Еёранг равен, таким образом, её порядку. В противном случае матрицаназывается особенной (вырожденной).00Рис. 3.1. Наглядные образы нижней треугольнойи верхней треугольной матриц.В случае, когда нулевые и ненулевые элементы в матрице A структурированыопределённым образом, по отношению к A будут употреблятьсядополнительные определяющие термины. Например,⎛ ⎞a 11 a 12 ... a 1na 22 ... a 2n⎜ .⎝ .. ⎟0. ⎠ иa nn⎛ ⎞a 11a 21 a 22 0⎜ .⎝ . . .. ⎟⎠a n1 a n2 ... a nn— это верхняя треугольная и нижняя треугольная матрицы соответственно.Равносильные термины — правая треугольная и левая треугольнаяматрицы. Выбор того или иного варианта названия обычнодиктуется контекстом или сложившейся традицией.

3.2. Теоретическое введение 205Обобщением понятия треугольных матриц на произвольный прямоугольный(неквадратный) случай являются трапецеидальные матрицы.Именно, прямоугольная матрица с нулями выше (ниже) диагоналиназывается нижней (верхней) трапецеидальной матрицей.Блочными называются матрицы вида⎛ ⎞A 11 A 12 ... A 1nA 21 A 22 ... A 2n⎜⎝.. . ..⎟. ⎠ ,A m2 ... A mnA m1элементы A ij которых, в свою очередь, являются матрицами. Матрицывида⎛ ⎞ ⎛ ⎞A 11 A A 22 011 A 12 ... A 1nA 22 ... A 2n⎜⎝. ..⎟ и ⎜⎠ ⎝. ..⎟0. ⎠A nn0A nnгде внедиагональные блоки или же блоки ниже главной диагонали являютсянулевыми, назовём соответственно блочно-диагональными иливерхними блочно треугольными (правыми блочно треугольными), см.Рис. 3.2. Аналогичным образом определяются нижние блочно треугольные(левые блочно треугольные) матрицы.00 0Рис. 3.2. Наглядные образы блочно-диагональнойи верхней блочно-треугольной матриц.Введение структурированных матриц и отдельное их изучение мотивируетсятем, что многие операции с такими матрицами можно выполнитьболее специальным образом и существенно проще, чем в самом

206 3. Численные методы линейной алгебрыобщем случае. В частности, для блочных матриц операции выполняются«по блокам», т. е. совершенно аналогично операциям над обычнымиматрицами, но определённым «поблочным» образом, когда блоки выступаюткак отдельные самостоятельные элементы.Линейная алгебра и её численные методы в некоторых ситуациях посуществу требуют выхода в поле комплексных чисел C, алгебраическипополняющее вещественную ось R. Это необходимо, в частности, в связис понятиями собственных чисел и собственных векторов матриц, номожет также диктоваться исходной содержательной постановкой задачи.Например, привлечение комплексных чисел бывает необходимымпри исследовании колебательных режимов в различных системах, таккак в силу известной из математического анализа формулы Эйлера гармоническиеколебания с угловой частотой ω обычно представляются ввиде комплексной экспоненты exp(iωt).Эрмитово-сопряжённой кm×n-матрицеA = (a ij ) называютn×mматрицуA ∗ , в которой ij-ым элементом является комплексно-сопряжённыйa ji . Иными словами,⎛ ⎞a 11 a 21 ... a n1A ∗ a 12 a 22 ... a n2:= ⎜⎝.. . ..⎟. ⎠ ,a 1m a 2m ... a nmи эрмитово сопряжение матрицы есть композиция транспонирования ивзятия комплексного сопряжения элементов.илиРис. 3.3. Наглядные образы симметричной матрицы.В линейной алгебре её приложениях широко используются специальныетипы матриц — эрмитовы, симметричные, косоэрмитовы, косо-

3.2. Теоретическое введение 207симметричные, унитарные, ортогональные и т. п. Напомним, что симметричнымиматрицами 4 называют матрицы, совпадающие со своимитранспонированными, т. е. удовлетворяющиеA ⊤ = A. Эрмитовымиматрицами называются такие комплексные матрицы A, что A ∗ = A.Матрица Q называется унитарной, если Q ∗ Q = I. Матрица Q называетсяортогональной, если Q ⊤ Q = I.Разреженными называются матрицы, большинство элементов которыхравны нулю. Такие матрицы довольно часто встречаются в математическоммоделировании, поскольку описывают системы или модели,в которых каждый элемент связан с относительно немногимидругими элементами системы. Это происходит, например, если связимежду элементами системы носят локальный характер. В противоположностьэтому, плотно заполненными называют матрицы, которыене являются разреженными. Иными словами, в плотно заполненныхматрицах большинство элементов не равны нулю.000000Рис. 3.4. Наглядные образы некоторых ленточных матриц.Ленточными матрицами называют матрицы, у которых ненулевыеэлементы образуют выраженную «ленту» вокруг главной диагонали. Вформальных терминах, матрица A = (a ij ) называется ленточной, еслисуществуют такие натуральные числа p и q, что a ij = 0 при j −i > pи i − j > q. В этом случае велична p + q + 1 называется ширинойленты. Простейшими и важнейшими из ленточных матриц являютсятрёхдиагональные матрицы, для которых p = q = 1, и двухдиагональныематрицы, для которых p = 0 и q = 1 или p = 1 и q = 0. Такиематрицы встретятся нам в §3.8.4 Используют также термин симметрическая матрица.

208 3. Численные методы линейной алгебры3.2б Собственные числаи собственные векторы матрицыКак должно быть известно читателю, для квадратных вещественныхили комплексных матриц большую роль в теории и приложенияхиграют собственные значения и собственные векторы. Если обозначитьпосредством λ собственное значение n×n-матрицы A, а x, x ≠ 0,— её собственный вектор, то они удовлетворяют матричному уравнениюAx = λx. (3.3)Содержательный смысл этого равенства состоит в том, что на одномерномлинейном подпространстве в R n или C n , порождённом собственнымвекторомx, задаваемое матрицей A линейное преобразование действуеткак умножение на скаляр λ, т. е. как растяжение или сжатие.Собственные значения являются корнями так называемого характеристическогоуравнения матрицы, которое имеет видdet(A−λI) = 0. Дляn×n-матрицы это алгебраическое уравнение n-ой степени, так что дляего разрешимости по существу требуется привлечение поля комплексныхчисел C. Совокупность собственных чисел матрицы называетсяеё спектром, и в общем случае спектр — подмножество комплекснойплоскости.Наконец, широко известный факт: собственные значения эрмитовыхи симметричных матриц вещественны.Предложение 3.2.1 Пусть A — m×n-матрица,B — n×m-матрица,так что одновременно определены произведения AB и BA. Спектрыматриц AB и BA могут различаться только нулём.Доказательство. Пусть λ — какое-нибудь ненулевое собственное значениематрицы AB, так чтоABu = λu (3.4)с некоторым вектором u ≠ 0. Умножая это равенство слева на матрицуB, получимB(ABu) = B(λu),илиBA(Bu) = λ(Bu),

3.2. Теоретическое введение 209причём Bu ≠ 0, так как иначе в исходном соотношении (3.4) необходимодолжно быть λ = 0. Сказанное означает, что вектор Bu являетсясобственным вектором матрицы BA, отвечающим такому же собственномузначению λ.И наоборот, если ненулевое µ есть собственное значение для BA, то,домножая слева равенствона матрицу A, получимBAv = µvABAv = AB(Av) = µ(Av),причём Av ≠ 0. Как следствие, Av есть собственный вектор матрицыAB, отвечающий собственному значениюµ. Иными словами, ненулевыесобственные числа матриц AB и BA находятся во взаимнооднозначномсоответствии друг с другом.Другой вывод этого результата можно найти, к примеру, в [2, 42].Особая роль нулевого собственного значения в этом результате объясняетсятем, что если A и B — прямоугольные матрицы, то из двухматриц AB и BA по крайней мере одна имеет неполный ранг — та, чьиразмеры больше. Но меньшая по размерам матрица может быть какособенной, так и неособенной.Собственные векторыx, являющиеся решеними (3.3), называют такжеправыми собственными векторами, поскольку они соответствуютумножению на матрицу справа. Но нередко возникает необходимостьрассмотрения левых собственных векторов, обладающих свойством,аналогичным (3.3), но при умножении на матрицу слева. Очевидно,это должны быть собственные вектор-строки, но, имея в качестве основногопространство вектор-столбцов C n , нам будет удобно записатьусловие на левые собственные векторы в видеy ∗ A = µy ∗ ,для y ∈ C n и некоторого µ ∈ C. Применяя к этому соотношению эрмитовосопряжение, получимA ∗ y = µy,т. е. левые собственные векторы матрицы A являются правыми собственнымивекторами эрмитово сопряжённой матрицы A ∗ . Эта простаявзаимосвязь объясняет редкость самостоятельного использования

210 3. Численные методы линейной алгебрыпонятий левого и правого собственных векторов. Ясно, что при этомdet(A ∗ −µI) = 0.Исследуем подробнее так называемую сопряжённую задачу на собственныезначения. Этим термином называют задачу нахождения собственныхчисел и собственных векторов для эрмитово сопряжённойматрицы A ∗ :A ∗ y = κy,где κ ∈ C — собственное значение матрицы A ∗ и y ∈ C n — соответствующийсобственный вектор. Как связаны между собой собственныезначения и собственные векторы исходной A и сопряжённой A ∗ матриц?Для ответа на этот вопрос нам понадобитсяОпределение 3.2.1 Два набора из одинакового количества векторов{r 1 ,r 2 ,...,r m } и {s 1 ,s 2 ,...,s m } в евклидовом или унитарном пространственазываются биортогональными, если 〈r i ,s j 〉 = 0 при i ≠ j.Приставка «би» в термине «биортогональность» означает, что введённоесвойство относится к двум наборам векторов.Ясно, что выполнение свойства биортогональности существенно зависитот порядка нумерации векторов в пределах каждого из наборов,так что в определении биортогональности неявно предполагается, чтонеобходимые нумерации существуют и рассматриваемые наборы упорядоченыв соответствии с ними. Нетрудно также понять, что есликакой-либо набор векторов биортогонален сам себе, то он ортогоналенв обычном смысле.Предложение 3.2.2 Собственные значения эрмитово-сопряжённыхматриц попарно комплексно сопряжены друг другу. Собственные векторыэрмитово сопряжённых матриц биортогональны.Доказательство. Определитель матрицы, как известно, не меняетсяпри её транспонировании, т. е.detA ⊤ = detA. Комплексное сопряжениеэлементов матрицы влечёт комплексное сопряжение её определителя,detA = detA. Следовательно,det(A−λI) = det(A−λI) ⊤ = det(A ⊤ −λI)= det ( A ⊤ −λI ) = det ( A ∗ −λI ) .

3.2. Теоретическое введение 211Отсюда мы можем заключить, что комплексное число z является корнемхарактеристического уравнения det(A−λI) = 0 матрицы A тогдаи только тогда, когда ему сопряжённое z является корнем уравненияdet(A ∗ −λI) = 0, который является характеристическим для матрицыA ∗ . Это доказывает первое утверждение.Пусть x и y — собственные векторы матриц A и A ∗ соответственно,а λ и κ — отвечающие им собственные числа этих матриц. Для доказательствавторого утверждения выпишем следующую цепочку преобразований:〈x,y〉 = 1 λ 〈λx,y〉 = 1 λ 〈Ax,y〉 = 1 λ 〈x,A∗ y〉 = 1 λ 〈x,κy〉 = κ λ 〈x,y〉.Поэтомуто есть〈x,y〉− κ 〈x,y〉 = 0,λ(〈x,y〉 1− κ )= 0.λЕсли x и y являются собственными векторами матриц A и A ∗ , отвечающимисобственным значениям λ и κ, которые не сопряжены комплекснодруг другу, то в левой части полученного равенства второйсомножитель (1−κ/λ) ≠ 0. По этой причине необходимо〈x,y〉 = 0, чтои требовалось доказать.Обращаясь к определению правых и левых собственных векторовматрицы, можем утверждать, что если λ — правое собственное значениематрицы A, а µ — левое собственное значение, то λ = µ. Инымисловами, правые и левые собственные значения матрицы совпадаютдруг с другом, и потому их можно не различать. Что касается правыхи левых собственных векторов матрицы, то они биортогональны другдругу.Предложение 3.2.3 Если λ — собственное число квадратной неособеннойматрицы, то λ −1 — это собственное число обратной матрицы,отвечающее тому же собственному вектору.Доказательство. Если C — неособенная n×n-матрица и Cv = λv, тоv = λC −1 v. Далее, так как λ ≠ 0 в силу неособенности C, получаемотсюда C −1 v = λ −1 v.

212 3. Численные методы линейной алгебры3.2в Разложения матриц, использующие спектрКвадратную матрицу вида⎛ ⎞α 1α 1 0. .. . ..,⎜ ⎟⎝ α 1⎠0 αу которой по диагонали стоитα, на первой верхней побочной диагоналивсе единицы, а остальные элементы — нули, называют, как известно,жордановой клеткой, отвечающей значению α. Ясно, что α являетсясобственным значением такой матрицы.В линейной алгебре показывается, что с помощью подходящего преобразованияподобия любая квадратная матрица может быть приведенак жордановой канонической форме — блочно-диагональной матрице,на главной диагонали которой стоят жордановы клетки, отвечающиесобственным значениям рассматриваемой матрицы (см., к примеру,[7, 9, 23, 26, 38, 40, 50]). Иными словами для любой квадратнойматрицы A существует такая неособенная матрица S, чтогде⎛λ 1 1J =⎜⎝S −1 AS = J,⎞. λ .. 1 . .. 10 0λ 1 λ 2 1.0.. . .. 0λ 2 . ..⎟0 0 .⎠ ..а λ 1 , λ 2 , . . . — собственные значения матрицы A.,

3.2. Теоретическое введение 213Неприятной особенностью жордановой канонической формы являетсято, что она не зависит непрерывно от элементов матрицы, несмотряна то, что сами собственные значения матрицы непрерывно зависятот её элементов. Размеры жордановых клеток-блоков и их расположениевдоль диагонали могут скачкообразно меняться при измененииэлементов матрицы. Это делает жорданову форму малопригодной прирешении многих практических задач, где входные данные носят приближённыйи неточный характер.Другое популярное разложение матриц, использующее информациюо спектре матрицы — это разложение Шура.Пусть A — комплексная n×n-матрица и зафиксирован некоторыйпорядок её собственных значений λ 1 , λ 2 , . . . , λ n . Существует такаяунитарная n×n-матрица U, что матрица T = U ∗ AU является верхнейтреугольной матрицей с диагональными элементами λ 1 , λ 2 , . . . , λ n .Иными словами, любая квадратная матрица A унитарно эквивалентнатреугольной матрице, в которой диагональные элементы являютсясобственными значениями для A, записанными в произвольном заранеезаданном порядке. Если же A — это вещественная матрица и все еёсобственные значения вещественны, тоU можно выбрать вещественнойортогональной матрицей. ПредставлениеA = UTU ∗с верхней треугольной матрицей T и унитарными (ортогональными)матрицами U и U ∗ называют разложением Шура матрицы A. Оно вотличие от жордановой нормальной формы устойчиво к возмущениямэлементов матрицы.Для симметричных (эрмитовых в комплексном случае) матриц ввыписанном представлении матрица T также должна быть симметричной(эрмитовой). Как следствие, в этом случае справедлив болеесильный результат: с помощью ортогонального преобразования подобиялюбая матрица может быть приведена к диагональному виду, ссобственными значениями по диагонали. Часто это представление называютспектральным разложением линейного оператора. Более общо,спектральное разложение — представление линейного оператора в виделинейной комбинации операторов проектирования на взаимно ортогональныеоси.

214 3. Численные методы линейной алгебры3.2г Сингулярные числаи сингулярные векторы матрицыИз результатов раздела 3.2б следует, что для определения собственныхзначений матрицы A и её левых и правых собственных векторовнеобходимо решить систему уравнений{Ax = λx,y ∗ A = λy ∗ .(3.5)Система уравнений (3.5) является «распавшейся»: в ней первыеnуравненийи последние n уравнений не зависят друг от друга. Поэтому решатьеё также можно по частям, отдельно для x и отдельно для y, чтообычно и делают на практике. Отметим, что для вещественных собственныхчисел, когда λ = λ, системе (3.5) после эрмитова сопряжениявторой части можно придать следующий элегантный матричный вид(A 00 A ∗ )(xy)= λ(xy). (3.6)Изменим соотношения (3.5), чтобы они «завязались» друг на друга,поменяв в правых частях векторы x и y :{Ax = σy,y ∗ A = σx ∗ .(3.7)Фигурально можно сказать, что при этом векторы x и y становятся«право-левыми» или «лево-правыми» собственными векторами матрицыA. Как мы увидим вскоре, аналоги собственных чисел матрицы,которые мы переобозначили через σ, также получают новое содержание.Определение 3.2.2 Неотрицательные вещественные скаляры σ, которыеявляются решениями системы матричных уравнений (3.7),называются сингулярными числами матрицы A. Удовлетворяющиесистеме (3.7) векторы x называются правыми сингулярными векторамиматрицы A, а векторы y — левыми сингулярными векторамиматрицы A.

3.2. Теоретическое введение 215Отметим, что и система (3.7), и это определение имеют смысл ужедля произвольных прямоугольных матриц, а не только для квадратных,как было в случае собственных значений и собственных векторов.Дляm×n-матрицыAправые сингулярные векторы имеют размерностьn, а левые — размерность m.Если σ вещественно, то оно совпадает со своим комплексно-сопряжённымзначением, σ = σ, и потому, беря эрмитово сопряжение от второгоуравнения (3.7), можем переписать систему уравнений для определениясингулярных чисел и сингулярных векторов в следующем виде:{Ax = σy,(3.8)A ∗ y = σx.Полезна также матричная форма системы (3.7):( )( (0 A∗ x x= σ , (3.9)A 0 y)y)которая находится в красивой двойственности с системой (3.6). Если A— вещественная матрица, то векторы x и y также могут быть взяты вещественными,а система уравнений (3.9) для определения сингулярныхчисел и векторов принимает ещё более простой вид:( )( (0 A⊤ x x= σ .A 0 y)y)Из уравнений (3.8)–(3.9) видно, что, в отличие от собственных значений,сингулярные числа характеризуют совместно как саму матрицу,так и её эрмитово-сопряжённую (транспонированную в вещественномслучае).Наша ближайшая цель — показать корректность Определения 3.2.2,то есть существование решений σ, x, y для системы уравнений (3.8)–(3.9) и наличие среди них неотрицательных σ.Предложение 3.2.4 Сингулярные числа матрицыAсуть неотрицательныеквадратные корни из собственных чисел матрицы A ∗ A илиматрицы AA ∗ .Формулировка этого утверждения требует разъяснений, так как вслучае прямоугольной m×n-матрицы A размеры квадратных матриц

216 3. Численные методы линейной алгебрыA ∗ A и AA ∗ различны: первая из них — это n × n-матрица, а втораяm×m-матрица. Соответственно, количество собственных чисел у нихбудет различным.Известно, что ранг произведения матриц не превосходит наименьшегоиз рангов перемножаемых матриц (см. [9, 23, 50]). Отсюда следует,что если m < n, то n × n-матрица A ∗ A имеет неполный ранг, не превосходящийm, а потому её собственные числа с (m +1)-го по n-ое —заведомо нулевые. Аналогично, если m > n, то неполный ранг, которыйне превосходит n, имеет m × m-матрица AA ∗ , и её собственныечисла с (n + 1)-го по m-ое равны нулю. Таким образом, для m × n-матрицы содержательный смысл имеет рассмотрение лишь min{m,n}штук сингулярных чисел, что устраняет вышеотмеченную кажущуюсянеоднозначность.Другой неочевидный момент формулировки Предложения 3.2.4 —взаимоотношение собственных чисел матриц A ∗ A и AA ∗ . Здесь можновспомнить доказанный выше общий результат линейной алгебры— Предложение 3.2.1, — о совпадении ненулевых точек спектра произведенийдвух матриц, взятых в различном порядке. Впрочем, длячастного случая матриц A ∗ A и AA ∗ этот момент будет обоснован вследующем ниже доказательстве.Доказательство. Умножая обе части второго уравнения из (3.8) на σ,получим A ∗ (σy) = σ 2 x. Затем подставим сюда значение σy из первогоуравнения (3.8): A ∗ Ax = σ 2 x.С другой стороны, умножая на σ обе части первого уравнения (3.8),получим A(σx) = σ 2 y. Подставив сюда значение σx из второго уравнения(3.7), получим AA ∗ y = σ 2 y. Иными словами, числа σ 2 являютсясобственными числами как для A ∗ A, так и для AA ∗ .Покажем теперь, что собственные значения у матриц A ∗ A и AA ∗неотрицательны, чтобы иметь возможность извлекать из них квадратныекорни для окончательного определения σ. Очевидно, это достаточносделать лишь для одной из выписанных матриц, так как для другойрассуждения совершенно аналогичны.Коль скоро матрица A ∗ A эрмитова, любое её собственное значениеλ вещественно. Кроме того, если u — соответствующий собственныйвектор, то 0 ≤ (Au) ∗ (Au) = u ∗ (A ∗ Au) = u ∗ λu = λu ∗ u, откуда в силуu ∗ u > 0 следует λ ≥ 0.Для завершения доказательства осталось продемонстрировать, чтоарифметические квадратные корни из собственных значений матриц

3.2. Теоретическое введение 217A ∗ A иAA ∗ вместе с их собственными векторами удовлетворяют системеуравнений (3.8)–(3.9).Пустьu—собственный вектор матрицыA ∗ A, отвечающий собственномучислу λ, так чтоA ∗ Au = λu,причёмλ ≥ 0 в силу ранее доказанного. Обозначимy := Au иx := √ λu.Тогда λu = √ λx, и потомуAx = A (√ λu ) = √ λAu = √ λy,A ∗ y = A ∗ Au = λu = √ λx,так что система (3.7)–(3.9) удовлетворяется при σ = √ λ с выбраннымивекторами x и y.Аналогично, если v — собственный вектор матрицы AA ∗ , отвечающийеё собственному числу µ, тоAA ∗ v = µv,причём µ ≥ 0. Обозначим x := A ∗ v и y := √ µv. Тогда µv = √ µy, ипотомуAx = AA ∗ v = µv = √ µy,A ∗ y = A ∗( √ µv)=√ µA ∗ v = √ µx,так что система (3.8)–(3.9) действительно удовлетворяется при σ = √ µс выбранными векторами x и y.Итак, задаваемые Определением 3.2.2 сингулярные числа вещественнойили комплексной m×n-матрицы — это набор из min{m,n} неотрицательныхвещественных чисел, которые обычно нумеруют в порядкеубывания:σ 1 ≥ σ 2 ≥ ... ≥ σ min{m,n} ≥ 0.Таким образом, σ 1 = σ 1 (A) — это наибольшее сингулярное число матрицыA. Мы будем также обозначать наибольшее и наименьшее сингулярныечисла матрицы посредством σ max (A) и σ min (A).Из доказательства Предложения 3.2.4 следует также, что правымисингулярными векторами матрицы A являются правые собственныевекторы матрицы A ∗ A, а левыми сингулярными векторами матрицы A

218 3. Численные методы линейной алгебры— левые собственные векторы для A ∗ A или, что равносильно, эрмитовосопряжённые правых собственных векторов матрицы AA ∗ . Отметимтакже, что как левые левые, так и правые сингулярные векторы сутьортогональные системы векторов, коль скоро они являются собственнымивекторами эрмитовых матриц A ∗ A и AA ∗ .Пример 3.2.1 Пусть A — это 1 × 1-матрица, т. е. просто некотороечисло a, вещественное или комплексное. Ясно, что единственное собственноечисло такой матрицы равно самому a. Сингулярное число уA также всего одно, и оно равно √ a ∗ a = |a|.Пусть A = (a 1 ,a 2 ,...,a n ) ⊤ — это n×1-матрица, т. е. просто векторстолбец.Тогда матрицаA ⊤ A является числомa 2 1 +a2 2 +...+a2 n, и поэтомуединственное сингулярное число матрицы A равно евклидовой нормевектора (a 1 ,a 2 ,...,a n ) ⊤ . То же самое верно для 1×n-матрицы, то естьвектор-строки (a 1 ,a 2 ,...,a n ).Пример 3.2.2 Для единичной матрицы I все сингулярные числа очевидноравны единицам.Но все единичные сингулярные числа имеет не только единичнаяматрица. Если Q — унитарная комплексная матрица (ортогональная ввещественном случае), то Q ∗ Q = I, и потому все сингулярные числадля Q также равны единицам.Пример 3.2.3 Для 2×2-матрицы( ) 1 2A =3 4нетрудно выписать характеристическое уравнение( ) 1−λ 2det = λ 2 −4λ−2 = 0,3 4−λ(3.10)и найти его корни 1 2 (5±√ 33) — собственные значения матрицы, приблизительноравные −0.372 и 5.372. Для определения сингулярных чиселобразуем( ) 10 14A ⊤ A = ,14 20и вычислим её собственные значения. Они равны 15± √ 221, и потому

3.2. Теоретическое введение 219получается, что сингулярные числа матрицы A суть √ 15± √ 221, т. е.примерно 0.366 и 5.465 (с точностью до трёх знаков после запятой).С другой стороны, для матрицы( 1 2−3 4), (3.11)которая отличается от матрицы (3.10) лишь противоположным знакомэлемента на месте(2,1), собственные значения — это комплексно-сопряжённаяпара 1 2 (5 ± i√ 15) ≈ 2.5 ± 1.936i, а сингулярные числа суть√ √15± 125, т. е. приблизительно 1.954 и 5.117. Можно заметить, что максимальные сингулярные числа рассмотренныхматриц превосходят наибольшие из модулей их собственныхчисел. Мы увидим ниже (см. §3.3ж), что это не случайно, и наибольшеесингулярное число всегда не меньше, чем максимум модулей собственныхчисел матрицы.Рассмотрим вопрос о том, как связаны сингулярные числа для взаимнообратных матриц.Предложение 3.2.5 Если σ — сингулярное число неособенной квадратнойматрицы, то σ −1 — это сингулярное число обратной матрицы.Доказательство. Вспомним, что собствнные числа взаимно обратныхматриц обратны друг другу. Применяя это соображение к матрицеA ∗ A,можем заключить, что если λ 1 , λ 2 , . . . , λ n — её собственные значения,то у обратной матрицы (A ∗ A) −1 = A −1 (A ∗ ) −1 собственными значениямиявляютсяλ −11 , λ−1 2 , . . . , λ−1n . НоA−1 (A ∗ ) −1 = A −1 (A −1 ) ∗ , а потому всилу Предложения 3.2.4 выписанные числа λ −11 , λ−1 2 , . . . , λ−1 n образуютнабор квадратов сингулярных чисел матрицы A −1 . Это и требовалосьпоказать.3.2д Сингулярное разложение матрицВажнейший результат, касающийся сингулярных чисел и сингулярныхвекторов матриц, который служит одной из основ их широкогоприменения в разнообразных вопросах математического моделирования— это

220 3. Численные методы линейной алгебрыТеорема 3.2.1 (теорема о сингулярном разложении матрицы)Для любой комплексной m × n-матрицы A существуют унитарныеm×m-матрица U и n×n-матрица V , такие чтос диагональной m×n-матрицейA = UΣV ∗ (3.12)⎛ ⎞σ 1 0 0 ··· 00 σ 2 0 ··· 0Σ =0 0 σ 3 ··· 0,⎜ . ⎝ . . . .. ⎟ . ⎠0 0 0 ···где σ 1 , σ 2 , ..., σ min{m,n} — сингулярные числа матрицы A, а столбцыматриц U и V являются соответственно левыми и правыми сингулярнымивекторами матрицы A.Представление (3.12) называется сингулярным разложением матрицыA. Если A — вещественная матрица, то U и V являются такжевещественными ортогональными матрицами, и сингулярное разложениепринимает видA = UΣV ⊤ .Для квадратных матриц доказательство сингулярного разложенияможет быть легко выведено из известного полярного разложения матрицы,т. е. её представления в виде A = QS, где в комплексном случаеQ — унитарная матрица, S — эрмитова, а в вещественном случае Q— ортогональная, S — симметричная (см., к примеру, [9, 23, 50]). Рассмотримподробно общий комплексный случай.Как известно, любую эрмитову матрицу можно унитарными преобразованиямиподобия привести к диагональному виду, так что S =T ∗ DT, гдеT — унитарная, аD — диагональная. ПоэтомуA = (QT ∗ )DT.Это уже почти требуемое представление для A, поскольку произведениеунитарных матриц Q и T ∗ тоже унитарно. Нужно лишь убедитьсяв том, что по диагонали в D стоят сингулярные числа матрицы A.

3.2. Теоретическое введение 221Исследуем произведение A ∗ A:A ∗ A = ( (QT ∗ )DT ) ∗((QT ∗ )DT )= T ∗ D ∗ (QT ∗ ) ∗ (QT ∗ )DT= T ∗ D ∗ DT = T ∗ D 2 T.Как видим, матрица A ∗ A подобна диагональной матрице D 2 , их собственныечисла поэтому совпадают. Следовательно, собственные числаA ∗ A суть квадраты диагональных элементов D. Это и требовалось доказать.В общем случае доказательство Теоремы 3.2.1 не очень сложно иможет быть найдено, к примеру, в книгах [11, 38, 40]. Фактически, этотрезультат показывает, как с помощью сингулярных чисел матрицы элегантнопредставляется действие соответствующего линейного оператораиз одного векторного пространства в другое. Именно, для любоголинейного отображения можно выбрать ортонормированный базис впространстве области определения и ортонормированный базис в пространствеобласти значений так, чтобы в этих базисах рассматриваемоеотображение представлялось растяжением вдоль координатных осей.Сингулярные числа матрицы оказываются, как правило, адекватныминструментом её исследования, когда соответствующее линейное отображениедействует из одного векторного пространства в другое, возможнос отличающимися друг от друга размерностями. Собственныечисла матрицы полезны при изучении линейного преобразования векторногопространства в пространство той же размерности, в частности,самого в себя.Другие примеры применения сингулярных чисел и сингулярныхвекторов матрицы рассматриваются ниже в §3.4.Сингулярное разложение матриц впервые возникло в конце XIX векав трудах Э. Бельтрами и К. Жордана, но термин valeurs singulières— «сингулярные значения» — впервые был использован французскимматематиком Э. Пикаром около 1910 года в работе по интегральнымуравнениям (см. [92]). Задача нахождения сингулярных чисел и сингулярныхвекторов матриц, последняя из списка на стр. 199, по видимостиявляется частным случаем третьей задачи, относящейся к нахождениюсобственных чисел и собственных векторов. Но вычисление сингулярныхчисел и векторов матриц сделалось в настоящее время оченьважным как в теории, так и в приложениях вычислительной линейной

222 3. Численные методы линейной алгебрыалгебры. С другой стороны, соответствующие численные методы весьмаспециализированы, так что эта задача в общем списке задач ужевыделяется отдельным пунктом.Комментируя современный список задач вычислительной линейнойалгебры из §3.1, можно также отметить, что на первые места в нёмвыдвинулась линейная задача о наименьших квадратах. А некоторыестарые и популярные ранее задачи как бы отошли на второй план, чтостало отражением значительных изменений в вычислительных технологияхрешения задач математического моделирования. Это естественныйпроцесс, в котором большую роль сыграло развитие современнойвычислительной техники. Следует быть готовым к подобным изменениями в будущем.3.2е Матрицы с диагональным преобладаниемВ приложениях линейной алгебры и теории матриц часто возникаютматрицы, в которых диагональные элементы в том или ином смысле«преобладают» над остальной, недиагональной частью матрицы. Этообстоятельство может быть, к примеру, следствием особенностей рассматриваемойматематической модели, в которой связи составляющихеё частей с самими собой (они и выражаются диагональными элементами)сильнее, чем с остальными. Такие матрицы обладают рядом замечательныхсвойств, изложению одного из которых и посвящён этотпункт. Следует отметить, что сам смысл, вкладываемый в понятие«преобладания» может быть различен, и ниже мы рассмотрим простейшийи наиболее популярный.Определение 3.2.3 Квадратную n×n-матрицу A = (a ij ) называютматрицей с диагональным преобладанием, если для любого i =1,2,...,n имеет место|a ii | > ∑ j≠i|a ij |. (3.13)Матрицы, удовлетворяющие этому определению, некоторые авторыназывают матрицами со «строгим диагональным преобладанием».Со своей стороны, мы будем говорить, что матрица A = (a ij ) имеетнестрогое диагональное преобладание в случае выполнения неравенств|a ii | ≥ ∑ j≠i|a ij | (3.14)

3.2. Теоретическое введение 223для любого i = 1,2,...,n. Иногда в связи с условиями (3.13) и (3.14)необходимо уточнять, что речь идёт о диагональном преобладании «построкам», поскольку имеет также смысл диагональное преобладание«по столбцам», которое определяется совершенно аналогичным образом.Теорема 3.2.2 (признак Адамара) Матрица с диагональным преобладаниемнеособенна.Доказательство. Предположим, что, вопреки доказываемому, рассматриваемаяматрицаA = (a ij ) является особенной. Тогда для некоторогоненулевого n-вектора y = (y 1 ,y 2 ,...,y n ) ⊤ выполняется равенствоAy = 0, т. е.n∑a ij y j = 0, i = 1,2,...,n. (3.15)j=1Выберем среди компонент вектора y ту, которая имеет наибольшееабсолютное значение. Пусть она имеет номер ν, так что |y ν | =max 1≤j≤n |y j |, причём |y ν | > 0 в силу сделанного выше предположенияо том, что y ≠ 0. Следствием ν-го из равенств (3.15) является соотношение−a νν y ν = ∑ j≠νa νj y j ,которое влечёт цепочку оценок∣ ∑ ∣∣∣|a νν ||y ν | =∣ νj y j ≤j≠νa ∑ |a νj ||y j |j≠l( )≤ max |y ∑j| |a νj | = |y ν | ∑ |a νj |.1≤j≤nj≠ν j≠νСокращая теперь обе части полученного неравенства на |y ν | > 0, будемиметь|a νν | ≤ ∑ |a νj |,j≠νчто противоречит неравенствам (3.13), т. е. наличию, по условию теоремы,диагонального преобладания в матрице A. Итак, A действительнодолжна быть неособенной матрицей.

224 3. Численные методы линейной алгебрыДоказанный выше результат часто именуют также «теоремой Леви-Деспланка» (см., к примеру, [41, 50]), но мы придерживаемся здесьтерминологии, принятой в [9, 79]. В книге М. Пароди [79] можно прочитать,в частности, некоторые сведения об истории вопроса.Внимательное изучение доказательства признака Адамара показывает,что в нём нигде не использовался факт принадлежности элементовматрицы и векторов какому-то конкретному числовому полю — Rили C. Таким образом, признак Адамара справедлив и для комплексныхматриц. Кроме того, он может быть отчасти обобщен на матрицы,удовлетворяющие нестрогому диагональному преобладанию (3.14).Вещественная или комплексная n × n-матрица A = (a ij ) называетсяразложимой, если существует разбиение множества {1,2,...,n}первых n натуральных чисел на два непересекающихся подмножестваI и J, таких что a ij = 0 при i ∈ I и j ∈ J. Эквивалентное определение:матрица A ∈ R n×n разложима, если путём перестановок строк истолбцов она может быть приведена к блочно-треугольному виду(A11 A 120 A 22)с квадратными блоками A 11 и A 22 . Матрицы, не являющиеся разложимыми,называются неразложимыми. Важнейший пример неразложимыхматриц — это матрицы, все элементы которых не равны нулю, вчастности, положительны.Обобщением признака Адамара являетсяТеорема 3.2.3 (теорема Таусски) Если для квадратной неразложимойматрицы A выполнены условия нестрогого диагонального преобладания(3.14), причём хотя бы одно из этих неравенств выполненострого, то матрица A неособенна.Доказательство можно найти, к примеру, в [9].3.3 Нормы векторов и матриц3.3а Векторные нормыНорму можно рассматривать как обобщение на многомерный и абстрактныйслучаи понятия абсолютной величины числа. Вообще, и

3.3. Нормы векторов и матриц 225норма, и абсолютная величина являются понятиями, которые формализуютинтуитивно ясное свойство «размера» объекта, его «величины»,т. е. того, насколько он мал или велик безотносительно к его расположениюв пространстве или к другим второстепенным качествам. Такова,например, длина вектора как направленного отрезка в привычном намевклидовом пространстве.Формальное определение даётся следующим образом:Определение 3.3.1 Нормой в вещественном или комплексном линейномвекторном пространстве X называется вещественнозначнаяфункция ‖·‖, удовлетворяющая следующим свойствам (называемымаксиомами нормы):(ВН1) ‖a‖ ≥ 0 для любого a ∈ X, причём ‖a‖ = 0 ⇔ a = 0— неотрицательность,(ВН2) ‖αa‖ = |α|·‖a‖ для любых a ∈ X и α ∈ R или C— абсолютная однородность,(ВН3) ‖a+b‖ ≤ ‖a‖+‖b‖ для любых a,b,c ∈ X— «неравенство треугольника».Само пространство X с нормой называется при этом нормированнымлинейным пространством.Далее в качестве конкретных линейных векторных пространств унас, как правило, всюду рассматриваются пространства R n или C n .Не все нормы, удовлетворяющие выписанным аксиомам одинаковопрактичны, и часто от нормы требуют выполнения ещё тех или иныхдополнительных условий. К примеру, удобно иметь дело с абсолютнойнормой, значение которой зависит лишь от абсолютных значений компонентвекторов. В общем случае норма вектора этому условию можети не удовлетворять.Приведём примеры наиболее часто используемых норм векторов вR n и C n . Если a = (a 1 ,a 2 ,...,a n ) ⊤ , то обозначим

226 3. Численные методы линейной алгебры‖a‖ 1 :=n∑|a i | ,i=1( n) 1/2∑‖a‖ 2 := |a i | 2 ,i=1‖a‖ ∞ := max1≤i≤n |a i| .Вторая из этих норм часто называется евклидовой, а третья — чебышёвскойили максимум-нормой. Евклидова норма вектора, как направленногоотрезка, — это его обычная длина, в связи с чем евклидову нормучасто называют также длиной вектора. Нередко можно встретить идругие названия рассмотренных норм.Замечательность евклидовой нормы ‖ · ‖ 2 состоит в том, что онапорождается стандартным скалярным произведением 〈·, ·〉 в R n илиC n . Более точно, если скалярное произведение задаётся как (3.1) или(3.2), то ‖a‖ 2 = √ 〈a,a〉. Иными словами, 2-норма является составнойчастью более богатой и содержательной структуры на пространствахR n и C n , чем мы будем неоднократно пользоваться. Напомним такженеравенство Коши-Буняковского|〈a,b〉| ≤ ‖a‖ 2 ‖b‖ 2 . (3.16)Нормы ‖·‖ 1 и ‖·‖ 2 — это частные случаи более общей конструкцииp-нормы( n) 1/p∑‖a‖ p = |a i | p для p ≥ 1,i=1которую называют также гёльдеровой нормой (по имени О.Л. Гёльдера).Неравенство треугольника для неё имеет вид(∑ n) 1/p ( n) 1/p (∑ n) 1/p∑|a i +b i | p ≤ |a i | p + |b i | p ,i=1i=1оно называется неравенством Минковского и имеет самостоятельноезначение в различных разделах математики.Чебышёвская норма такжеможет быть получена из p-нормы с помощью предельного перехода поp → ∞, что и объясняет индекс «∞» в её обозначении.i=1

3.3. Нормы векторов и матриц 227В самом деле,(∑ n) 1/p (|a i | p ≤i=1С другой стороны,( n∑i=1так что в целом( ) ) p 1/pn max |a i| = n 1/p max |a i|.1≤i≤n 1≤i≤n) 1/p ( ( ) ) p 1/p|a i | p ≥ max |a i| = max |a i|,1≤i≤n 1≤i≤nmax |a i| ≤1≤i≤n( n∑i=1|a i | p ) 1/p≤ n 1/p max1≤i≤n |a i|.При переходе в этом двойном неравенстве к пределу по p → ∞ оценкиснизу и сверху сливаются, и потому действительноlimp→∞( n∑i=1|a i | p ) 1/p= max1≤i≤n |a i|.2-норма∞-норма1-нормаРис. 3.5. Шары единичного радиуса в различных нормах.В нормированном пространстве X шаром радиуса r с центром вточке a называется множество {x ∈ X | ‖x − a‖ ≤ r}. Геометрическинаглядное представление о норме даётся её единичным шаром, т. е.множеством {x | ‖x‖ ≤ 1}. На Рис. 3.5 нарисованы единичные шары

228 3. Численные методы линейной алгебрыдля рассмотренных выше норм в R 2 . Из аксиом нормы вытекает, чтоединичный шар любой нормы — это множество в линейном векторномпространстве, которое выпукло (следствие неравенства треугольника)и уравновешено, т. е. инвариантно относительно умножения на любойскаляр α с |α| ≤ 1 (следствие абсолютной однородности).Нередко используются взвешенные (масштабированные) вариантынорм векторов, в выражениях для которых каждая компонента берётсяс каким-то положительным весовым коэффициентом, отражающимего индивидуальный вклад в рассматриваемую модель. В частности,взвешенная чебышёвская норма определяется для положительного весовоговектора (γ 1 , γ 2 , . . . , γ n ), γ i > 0, как‖a‖ ∞,γ = max1≤i≤n |γ ia i |.Её единичные шары — различные прямоугольные брусы с гранями,параллельными координатным осям, т. е. прямые произведения интерваловвещественной оси (см. Рис. 3.6). Они являются частным случаеммногомерных интервалов, и в связи с этим обстоятельством взвешеннаячебышёвская норма популярна в интервальном анализе.x 20x 1Рис. 3.6. Шары единичного радиуса во взвешенных чебышёвских нормах.Обобщением конструкции взвешенных норм может служить норма,связанная с некоторой фиксированной неособенной матрицей. Именно,если ‖·‖ — какая-либо векторная норма в R n или C n , аS — неособеннаяn×n-матрица, то можно определить норму векторов как ‖x‖ S = ‖Sx‖.Нетрудно проверить, что все аксиомы векторной нормы удовлетворяются.Мы воспользуемся такой нормой ниже в §3.9б.

3.3. Нормы векторов и матриц 2293.3б Топология на векторных пространствахГоворят, что на множестве X задана топологическая структура,или просто топология 5 , если в X выделен класс подмножеств, содержащийвместе с каждым набором множеств их объединение, и вместес каждым конечным набором множеств — их пересечение. Множество,снабжённое топологической структурой, называется топологическимпространством, а множества выделенного класса — открытыми множествами.Подмножество топологического пространства называетсязамкнутым, если его дополнение открыто.Окрестностью точки в топологическом пространстве называетсявсякое открытое множество, содержащее эту точку. Окрестностью подмножестватопологического пространства называется всякое открытоемножество, содержащее это подмножество. Задание окрестностей точеки множеств позволяет определять близость одного элемента множествак другому, предельные переходы, сходимость и т. п. понятия.Топологическую структуру (топологию) можно задавать различнымиспособами, например, простым описанием того, какие именно множествасчитаются открытыми.В практике математического моделирования более распространенозадание топологии не сформулированным выше абстрактным способом,а при помощи функции расстояния (метрики) или же с помощьюразличных норм. Преимущество этого пути состоит в том, что мы получаемв своё распоряжение количественную меру близости рассматриваемыхобъектов. При этом открытыми множествами считаются такиемножества, каждая точка которых принадлежит множеству вместе снекоторым шаром с центром в этой точке.Как известно, на нормированном пространстве X расстояние (метрика)между элементами a и b может быть естественно задано какdist(a,b) = ‖a−b‖,т. е. как «величина различия» элементов a и b. Непосредственной проверкойлегко убедиться, что для введённого таким образом расстоянияdist выполняются все аксиомы расстояния (мы приводили их ранее настр. 43). Таким образом, нормы будут нужны нам как сами по себе,5 Топологией называется также математическая дисциплина, изучающая, главнымобразом, свойства объектов, инвариантные относительно непрерывных отображений(см., к примеру, [60]). Ниже даётся очень краткий обзор основных идейтопологии, предназначенный, скорее, для напоминания или увлечения читателя.

230 3. Численные методы линейной алгебрыдля оценивания «величины» тех или иных объектов, так и для измерения«отклонения» одного вектора от другого. Кроме того, заданиенормы на некотором линейном векторном пространстве X автоматическиопределяет на нём и топологию, т. е. запас открытых и замкнутыхмножеств, структуру близости, с помощью которой можно будет, вчастности, выполнять предельные переходы. Более точно, введём следующееОпределение 3.3.2 Говорят, что в нормированном пространстве Xс нормой ‖·‖ переменная a ∈ X сходится к пределу a ⋆ по норме (относительнорассматриваемой нормы), если ‖a−a ⋆ ‖ → 0.Нормы в линейном векторном пространстве называются топологическиэквивалентными (или просто эквивалентными), если эквивалентныпорождаемые ими топологии, т. е. любое открытое (замкнутое)относительно одной нормы множество является открытым (замкнутым)также в другой норме, и наоборот. При условии эквивалентностинорм, в частности, предельный переход в одной из них влечёт существованиепредела в другой, и обратно. Из математического анализаизвестен простой критерий эквивалентности двух норм (см., к примеру,[52]):Предложение 3.3.1 Нормы ‖·‖ ′ и ‖·‖ ′′ на линейном векторном пространствеX эквивалентны тогда и только тогда, когда существуюттакие положительные константы C 1 и C 2 , что для любых a ∈ XC 1 ‖a‖ ′ ≤ ‖a‖ ′′ ≤ C 2 ‖a‖ ′ . (3.17)Формулировка этого предложения имеет кажущуюся асимметрию,так как для значений одной из эквивалентных норм предъявляется двусторонняя«вилка» из значений другой нормы с подходящими множителями-константами.Но нетрудно видеть, что из (3.17) немедленно следует1C 2‖a‖ ′′ ≤ ‖a‖ ′ ≤ 1 C 1‖a‖ ′′ ,так что существование «вилки» для одной нормы автоматически подразумеваетсуществование аналогичной «вилки» и для другой. C 1 и C 2обычно называют константами эквивалентности норм ‖·‖ ′ и ‖·‖ ′′ .Содержательный смысл Предложения 3.3.1 совершенно прозрачен.Если C 1 ‖a‖ ′ ≤ ‖a‖ ′′ , то в любой шар ненулевого радиса в норме ‖·‖ ′′

3.3. Нормы векторов и матриц 231можно вложить некоторый шар в норме ‖·‖ ′ . Если же ‖a‖ ′′ ≤ C 2 ‖a‖ ′ ,то верно и обратное: в любой шар ненулевого радиуса относительнонормы ‖·‖ ′ можно поместить какой-то шар ненулевого радиуса относительнонормы ‖·‖ ′′ . Как следствие, множество, открытое относительноодной нормы, будет также открытым относительно другой, и наоборот.По этой причине одинаковыми окажутся запасы окрестностей любойточки, так что топологические структуры, порождаемые этими двумянормами, бдцт эквивалентны друг другу.Предложение 3.3.2 В векторных пространствах R n или C n‖a‖ 2 ≤ ‖a‖ 1 ≤ √ n‖a‖ 2 ,‖a‖ ∞ ≤ ‖a‖ 2 ≤ √ n‖a‖ ∞ ,1n ‖a‖ 1 ≤ ‖a‖ ∞ ≤ ‖a‖ 1 ,т.е. векторные 1-норма,2-норма и ∞-норма эквивалентны друг другу.Доказательство. Справедливость правого из первых неравенств следуетиз неравенства Коши-Буняковского (3.16), применённого к случаюb = (sgn a 1 ,sgn a 2 ,...,sgn a n ) ⊤ . Для обоснования левого из первыхнеравенств заметим, что в силу определений 2-нормы и 1-нормы‖a‖ 2 2 = |a 1 | 2 +|a 2 | 2 +...+|a n | 2 ,‖a‖ 2 1 = |a 1 | 2 +|a 2 | 2 +...+|a n | 2+2|a 1 a 2 |+2|a 1 a 3 |+...+2|a n−1 a n |,и все слагаемые 2|a 1 a 2 |, 2|a 1 a 3 |, . . . , 2|a n−1 a n | неотрицательны. В частности,равенство ‖a‖ 2 2 = ‖a‖2 1 и ему равносильное ‖a‖ 2 = ‖a‖ 1 возможнылишь в случае, когда у вектора a все компоненты равны нулю заисключением одной.Обоснование остальных неравенств даётся следующими несложны-

232 3. Численные методы линейной алгебрыми выкладками:‖a‖ 2 = √ |a 1 | 2 +|a 2 | 2 +...+|a n | 2≥ √ max i |a i | 2 = max i |a i | = ‖a‖ ∞ ,‖a‖ 2 = √ |a 1 | 2 +|a 2 | 2 +...+|a n | 2≤ √ n max i |a i | 2 = √ n max i |a i | = √ n ‖a‖ ∞ ,‖a‖ ∞ = max i |a i |≤ |a 1 |+|a 2 |+...+|a n | = ‖a‖ 1 ,‖a‖ 1 = |a 1 |+|a 2 |+...+|a n |≤ n max|a i | ≤ n‖a‖ ∞ .iНетрудно видеть, что все эти неравенства достижимые (точные).Доказанный выше вывод об эквивалентности конкретных норм являетсячастным случаем общего результата математического анализа:в конечномерном линейном векторном пространстве все нормы топологическиэквивалентны друг другу (см., к примеру, [20, 40, 50]). Носодержание Предложения 3.3.2 состоит ещё и в указании конкретныхконстант эквивалентности норм, от которых существенно зависят различныечисловые оценки и вытекающие из них действия по решениютех или иных задач.Любой вектор однозначно представляется своим разложением покакому-то фиксированному базису линейного пространства, или, инымисловами, своими компонентами-числами в этом базисе. В связи сэтим помимо определённой выше сходимости по норме имеет смыслрассматривать “покомпонентную сходимость”, при которой один векторсчитается сходящимся к другому тогда и только тогда, когда всекомпоненты первого вектора сходятся к соответствующим компонентамвторого. Формализацией этих соображений являетсяОпределение 3.3.3 Говорят, что переменная a ∈ X сходится к пределуa⋆ покомпонентно (покомпонентным образом) относительно некоторогобазиса, если для каждого индекса i имеет место сходимостьсоответствующей компоненты a i → a ⋆ i в R или C.

3.3. Нормы векторов и матриц 233Интересен вопрос о том, как соотносятся между собой сходимостьпо норме и сходимость всех компонент вектора.Предложение 3.3.3 В конечномерных линейных векторных пространствахсходимость по норме и покомпонентная сходимость векторовравносильны друг другу.Доказательство. Пустьa—n-мерная векторная переменная, котораясходится к пределу a ⋆ в покомпонентном смысле относительно базиса{e i } n i=1 . Тогда, разлагая a и a⋆ в этом базисе, получаем‖a−a ⋆ n∑‖ =a i e i −∥≤i=1∥ ∥n∑ ∥∥∥∥ a ⋆ n∑ (ie i =ai −a ⋆ ) ∥∥∥∥i ei∥i=1i=1n∑∥ ∑∥ n (ai −a ⋆ i)e i = |a i −a ⋆ i|‖e i ‖.i=1Как следствие, если a i сходятся к a ⋆ i для любого индекса i = 1,2,...,n,то и ‖a−a ⋆ ‖ → 0.Обратно, пусть имеет место сходимость a к a ⋆ по норме. Из фактаэквивалентности различных норм следует существование такой положительнойконстанты C, чтоi=1max|a i −a ⋆ i | = i‖a−a⋆ ‖ ∞ ≤ C‖a−a ⋆ ‖.Поэтому при ‖a−a ⋆ ‖ → 0 обязательно должна быть сходимость компонентa i к a ⋆ i для всех индексов i.Хотя сходимость по норме и покомпонентная сходимость равносильныдруг другу, в различных ситуациях часто бывает удобнее воспользоватьсякакой-нибудь одной из них. Норма является одним числом,указывающим на степень близости к пределу, и работать с ней поэтомупроще. Но рассмотрение сходимости в покомпонентном смысле позволяетрасчленить задачу на отдельные компоненты, что также нередкоупрощает рассмотрения.Покажем непрерывность сложения и умножения на скаляр относительнонормы. Пусть a → a ⋆ и b → b ⋆ , так что ‖a − a ⋆ ‖ → 0 и

234 3. Численные методы линейной алгебры‖b−b ⋆ ‖ → 0. Тогда‖(a+b)−(a ⋆ +b ⋆ )‖ = ‖(a−a ⋆ )+(b−b ⋆ )‖ ≤ ‖a−a ⋆ ‖+‖b−b ⋆ ‖ → 0,‖αa−αa ⋆ ‖ = ‖α(a−a ⋆ )‖ = |α|‖a−a ⋆ ‖ → 0для любого скаляра α.Умножение на матрицу также непрерывно в конечномерном линейномвекторном пространстве. Если A — m × n-матрица и b — такойn-вектор, что b → b ⋆ , то, зафиксировав индекс i ∈ {1,2,...,m}, оценимразность i-ых компонент векторов Ab и Ab ⋆ :∣ ∣∣(Ab) i −(Ab ⋆ ) i = ∣ ( A(b−b ⋆ ) ) ∣ ∣ n∑ ∣∣∣∣=ia ij (b j −b ⋆ j∣)n∑≤ √j=1a 2 ijj=1n∑√ (b j −b ⋆ j )2в силу неравенства Коши-Буняковского. Поэтому (Ab) i → (Ab ⋆ ) i приb → b ⋆ для любого номера i.3.3в Матричные нормыПомимо векторов основным объектом вычислительной линейной алгебреявляются также матрицы. По этой причине нам будут нужныматричные нормы — для того, чтобы оценивать «величину» той илииной матрицы, а также для того, чтобы ввести расстояние между матрицамикакdist(A,B) := ‖A−B‖, (3.18)где A, B — вещественные или комплексные матрицы.Множество матриц само является линейным векторным пространством,а матрица — это составной многомерный объект, в значительнойстепени аналогичный вектору. Поэтому вполне естественно преждевсего потребовать от матричной нормы тех же свойств, что и длявекторной нормы. Формально, матричной нормой на множестве вещественныхили комплексных m×n-матриц называют вещественнозначнуюфункцию ‖·‖, удовлетворяющую следующим условиям (аксиомамнормы):j=1

3.3. Нормы векторов и матриц 235(МН1) ‖A‖ ≥ 0 для любой матрицы A, причём ‖A‖ = 0 ⇔ A = 0— неотрицательность,(МН2) ‖αA‖ = |α|·‖A‖ для любых матрицы A и α ∈ R или α ∈ C— абсолютная однородность,(МН3) ‖A+B‖ ≤ ‖A‖+‖B‖ для любых матриц A,B,C— «неравенство треугольника».Но условия (МН1)–(МН3) выражают взгляд на матрицу, как на«вектор размерности m×n». Они явно недостаточным, если мы хотимучесть специфику матриц как объектов, между которыми определенатакже операция умножения. В частности, множество всех квадратныхматриц фиксированного размера наделено более богатой структурой,нежели линейное векторное пространство, и обычно в связи с ним используютуже термин «кольцо» или «алгебра», обозначающее множествос двумя взаимносогласованными бинарными операциями — сложениеми умножением (см. [23, 40]). Связь нормы матриц с операциейих умножения отражает четвёртая аксиома матричной нормы:(МН4) ‖AB‖ ≤ ‖A‖·‖B‖ для любых матриц A,B— «субмультипликативность». 6Особую ценность и в теории, и на практике представляют ситуации,когда нормы векторов и нормы матриц, с которыми они совместно рассматриваютсяи на которые умножаются, существуют не сами по себе,но в некотором смысле согласованы друг с другом. Инструментом такогосогласования может как раз-таки выступать аксиома субмультипликативностиМН4, понимаемая в расширенном смысле, т. е. для любыхматриц A и B таких размеров, что произведение AB имеет смысл. Вчастности, она должна быть верна для n × 1-матриц B, являющихсявекторами из R n .Определение 3.3.4 Векторная норма ‖·‖ и матричная норма ‖·‖ ′называются согласованными, еслидля для любой матрицы A и всех векторов x.‖Ax‖ ≤ ‖A‖ ′ ·‖x‖ (3.19)6 Приставка «суб-» означает «меньше», «ниже» и т. п. В этом смысле неравенстватреугольника ВН3 и МН3 можно называть «субаддитивностью» норм.

236 3. Численные методы линейной алгебрыРассмотрим примеры конкретных матричных норм.Пример 3.3.1 Фробениусова норма матрицы A = (a ij ) определяетсякак‖A‖ F =( ∑i,j|a ij | 2 ) 1/2.Ясно, что она удовлетворяет первым трём аксиомам матричной нормыпросто потому, что задаётся совершенно аналогично евклидовой векторнойнорме ‖·‖ 2 . Для обоснования свойства субмультипликативностирассмотрим‖AB‖ 2 F = ∑ ∑∣ ∣∣∣ ∣ a ik b kj2.i,jВ силу неравенства Коши-Буняковского (3.16)∑∣ ( )(∣∣∣2 ∑ ∑ ∣ a ik b kj ≤ a 2 ikkk lпоэтому( ∑kk)( ∑l)b 2 lj),‖AB‖ 2 F ≤ ∑ i,ja 2 ikb 2 lj= ∑a 2 ik b2 lj =i,j,k,l= ‖A‖ 2 F ‖B‖ 2 F,( ∑i,ka 2 ik)( ∑l,jb 2 lj)что и требовалось.Если считать, что B — это матрица размера n×1, т. е. вектор длиныn, то выполненные оценки показывают, что фробениусова норма матрицысогласована с евклидовой векторной нормой ‖·‖ 2 , с которой онасовпадает для векторов.Пример 3.3.2 Матричная норма‖A‖ max = n max|a ij |,i,j

3.3. Нормы векторов и матриц 237определённая на множестве квадратных n × n-матриц, является аналогомчебышёвской нормы векторов ‖·‖ ∞ , отличаясь от неё лишь постоянныммножителем для матриц фиксированного размера. По этойпричине выполнение первых трех аксиом матричной нормы для‖A‖ maxочевидно. Но необходимость удовлетворить аксиоме субмультипликативностивызывает появление в выражении для ‖A‖ max множителя nперед max |a ij |:∣)‖AB‖ max = n maxi,j≤ n( n∑k=1≤ n 2 maxi,jn∑∣k=1a ik b kj∣ ∣∣∣∣≤ n maxi,jmaxi,k |a ik| maxk,j |b kj|)(∑ n|a ik ||b kj |k=1|a ij | max|b ij | = ‖A‖ max ‖B‖ max .i,jЯсно, что без этого множителя выписанная выше цепочка неравенствбыла бы неверной.Небольшая модификация проведённых выкладок показывает также,что норма ‖A‖ max согласована с чебышёвской нормой векторов.Кроме того, несложно устанавливается, что ‖A‖ max согласована с евклидовойвекторной нормой.В связи с последним примером, следует отметить, что аксиома субмультипликативностиМН4 накладывает на матричные нормы болеесерьёзные ограничения, чем может показаться на первый взгляд. Вчастности, матричные нормы нельзя произвольно масштабировать, умножаяна какое-то число.Оказывается, среди матричных норм квадратных матриц нет таких,которые не были бы ни с чем согласованными. Иными словами,справедливоПредложение 3.3.4 Для любой нормы квадратных матриц можноподобрать подходящую норму векторов, с которой матричная нормабудет согласована.Доказательство. Для данной нормы ‖·‖ ′ на множестве n×n-матрицопределим норму ‖v‖ для n-вектора v как ‖(v,v,...,v)‖ ′ , т. е. как нормуматрицы (v,v,...,v), составленной из n штук векторов v как из

238 3. Численные методы линейной алгебрыстолбцов. Выполнение всех аксиом векторной нормы для ‖v‖ очевиднымобразом следует из аналогичных свойств рассматриваемой нормыматрицы.Опираясь на субмультипликативность матричной нормы, имеем‖Av‖ = ‖(Av,Av,...,Av)‖ ′ = ‖A·(v,v,...,v)‖ ′≤ ‖A‖ ′ ·‖(v,v,...,v)‖ ′ = ‖A‖ ′ ·‖v‖,так что требуемое согласование действительно будет достигнуто.3.3г Подчинённые матричные нормыВ предшествующем пункте мы могли видеть, что с заданной векторнойнормой могут быть согласованы различные матричные нормы.И наоборот, для матричной нормы возможна согласованность со многимивекторными нормами. В этих условиях при проведении различныхпреобразований и выводе оценок наиболее выгодно оперироватьсогласованными матричными нормами, которые принимают как можноменьшие значения. Тогда неравенства, получающиеся в результатеприменения в выкладках соотношения (3.19), будут более точными ипозволят получить более тонкие оценки результата. Например, конкретнаяоценка нормы погрешности может оказать сильное влияниена количество итераций, которые мы вынуждены будем сделать в итерационномчисленном методе для достижения той или иной точностиприближённого решения.Пусть дана векторная норма ‖·‖ и зафиксирована матрица A. Изтребования согласованности (3.19) вытекает неравенство для согласованнойнормы матрицы ‖A‖:‖A‖ ≥ ‖Ax‖/‖x‖, (3.20)гдеx—произвольный вектор. Как следствие, значения всех матричныхнорм от A, согласованных с данной векторной нормой ‖·‖, ограниченыснизу выражением‖Ax‖supx≠0 ‖x‖ ,коль скоро (3.20) должно быть справедливым для любого ненулевоговектора x.

3.3. Нормы векторов и матриц 239Предложение 3.3.5 Для любой фиксированной векторной нормы ‖·‖соотношением‖A‖ ′ ‖Ax‖= sup(3.21)x≠0 ‖x‖задаётся матричная норма.Доказательство. Отметим прежде всего, что в случае конечномерныхвекторных пространств R n и C n вместо «sup» в выражении (3.21)можно брать «max». В самом деле,‖Ax‖supx≠0 ‖x‖= supx≠0∥ A x∥‖x‖∥ = sup‖y‖=1‖Ay‖,а задаваемая условием ‖y‖ = 1 единичная сфера любой нормы замкнутаи ограничена, т. е. компактна в R n или C n [40, 50]. Непрерывнаяфункция ‖Ay‖ достигает на этом компактном множестве своего максимума.Таким образом, в действительности‖A‖ ′ = maxx≠0‖Ax‖‖x‖= max‖y‖=1 ‖Ay‖.Проверим теперь для нашей конструкции выполнение аксиом нормы.Если A ≠ 0, то найдётся ненулевой вектор y, такой что Ay ≠ 0.Ясно, что его можно считать нормированным, т. е. ‖y‖ = 1. Тогда‖Ay‖ > 0, и потому max ‖y‖=1 ‖Ay‖ > 0, что доказывает для ‖·‖ ′ первуюаксиому нормы.Абсолютная однородность для ‖·‖ ′ доказывается тривиально. Покажемдля (3.21) справедливость неравенства треугольника. Очевидно,‖(A+B)y‖ ≤ ‖Ay‖+‖By‖,и потомуmax‖y‖=1( )‖(A+B)y‖ ≤ max ‖Ay‖+‖By‖‖y‖=1≤ max ‖Ay‖+ max ‖By‖,‖y‖=1 ‖y‖=1что и требовалось.

240 3. Численные методы линейной алгебрыПриступая к обоснованию субмультипликативности, отметим, чтопо самому построению ‖Ax‖ ≤ ‖A‖ ′ ‖x‖ для любого вектора x. По этойпричине‖AB‖ ′ = max ‖(AB)y‖ = ‖ABz‖ для некоторого z с ‖z‖ = 1‖y‖=1≤ ‖A‖ ′ ·‖Bz‖ ≤ ‖A‖ ′ · max‖z‖=1 ‖Bz‖ = ‖A‖′ ‖B‖ ′ .Это завершает доказательство предложения.Доказанный результат мотивируетОпределение 3.3.5 Матричная норма, определяемая для заданнойвекторной нормы ‖·‖ на линейном векторном пространстве X как‖A‖ ′ = maxx≠0‖Ax‖‖x‖ = max‖y‖=1 ‖Ay‖,называется подчинённой к ‖·‖ матричной нормой (или индуцированной,или операторной нормой).Последний термин — операторная норма — популярен потому, чтоконструкция этой нормы хорошо отражает взгляд на матрицу как наоператор, задающий отображения линейных векторных пространствR n → R m или C n → C m . Операторная норма показывает максимальнуювеличину растяжения по норме, которую получает в сравнении сисходным вектором его образ при действии данного оператора.Несмотря на хорошие свойства подчинённых матричных норм, ихопределение не отличается большой конструтивностью, так как привлекаетоперацию взятия максимума. Естественно задаться вопросомо том, существуют ли вообще достаточно простые и обозримые выражениядля матричных норм, подчинённых тем или иным векторнымнормам. Какими являются подчинённые матричные нормы для рассмотренныхвыше векторных норм ‖·‖ 1 , ‖·‖ 2 и ‖·‖ ∞ ? С другой стороны,являются ли матричные нормы ‖A‖ F (фробениусова) и ‖A‖ maxподчинёнными для каких-либо векторных норм?Ответ на последний вопрос отрицателен. В самом деле, для единичнойn×n-матрицы I имеем‖I‖ max = n, ‖I‖ F = √ n,

3.3. Нормы векторов и матриц 241тогда как из определения подчинённой нормы следует, что должнобыть‖I‖ = sup ‖Iy‖ = max ‖y‖ = 1. (3.22)‖y‖=1 ‖y‖=1Ответом на первые два вопроса являетсяПредложение 3.3.6 Для векторной 1-нормы подчинённой матричнойнормой для m×n-матриц является( m)∑‖A‖ 1 = max |a ij |1≤j≤n— максимальная сумма модулей элементов по столбцам.Для чебышёвской векторной нормы (∞-нормы) подчинённой матричнойнормой для m×n-матриц является( n)∑‖A‖ ∞ = max |a ij |1≤i≤m— максимальная сумма модулей элементов по строкам.Матричная норма, подчинённая евклидовой норме векторов ‖x‖ 2 ,есть ‖A‖ 2 = σ max (A) — наибольшее сингулярное число матрицы A.Доказательство. Для обоснования первой части предложения выпишемследующую цепочку преобразований и оценок‖Ax‖ 1 ==≤m∑ ∣ ∣∣(Ax) i =i=1m∑i=1 j=1(i=1n∑|a ij ||x j | =max1≤j≤ni=1j=1∣ m∑n∑ ∣∣∣ ∣ a ij x j ≤)m∑|a ij | ·i=1j=1n∑j=1 i=1m∑i=1 j=1m∑|a ij ||x j | =n∑|a ij x j |n∑(|x j |j=1m∑i=1)|a ij |n∑|x j | = ‖A‖ 1 ‖x‖ 1 , (3.23)j=1из которой вытекает ‖A‖ 1 ≤ ‖Ax‖ 1 /‖x‖ 1 . При этом все неравенства вцепочке (3.23) обращаются в равенства для вектора x в виде столбцаединичной n × n-матрицы с тем номером j, на котором достигается

242 3. Численные методы линейной алгебры∑max mj i=1 |a ij|. Как следствие, на этом векторе достигается наибольшеезначение отношения ‖Ax‖ 1 /‖x‖ 1 из определения подчинённой матричнойнормы.Аналогичным образом доказывается и вторая часть предложения.Приступая к обоснованию последней части предложения рассмотримn×n-матрицу A ∗ A. Она является эрмитовой, её собственные числавещественны и неотрицательны, будучи квадратами сингулярныхчисел матрицы A и, возможно, ещё нулями (см. Предложение 3.2.4).Унитарным преобразованием подобия (ортогональным в вещественномслучае) матрица A ∗ A может быть приведена к диагональному виду:A ∗ A = U ∗ ΛU, где U — унитарная n × n-матрица, Λ — диагональнаяn×n-матрица, имеющая на диагонали числа σi 2, i = 1,2,...,min{m,n},т. е. квадраты сингулярных чисел σ i матрицы A, и, возможно, ещё нулив случае m < n.Далее имеем‖A‖ 2 = maxx≠0= maxx≠0≤ maxy≠0‖Ax‖ 2‖x‖ 2= maxx≠0√(Ux)∗ Λ(Ux)√(Ux)∗ Ux(σ max (A)√ ∑i y2 i∑i y2 i√x∗ A ∗ Ax√x∗ x= maxy≠0)= maxx≠0√y∗ Λy√y∗ y= σ max (A),√x∗ U ∗ ΛU x√x∗ U ∗ Ux= maxy≠0√ ∑i σ2 i y2 i∑i y2 iгде в выкладках применена замена переменных y = Ux. Кроме того,полученная для ‖A‖ 2 оценка достижима: достаточно взять в качествевектора y столбец единичной n × n-матрицы с номером, равным местуэлемента σmax 2 (A) на диагонали в Λ, а в самом начале выкладокположить x = U ∗ y.Норму матриц ‖·‖ 2 , подчинённую евклидовой векторной норме, частоназывают также спектральной нормой матриц. Для симметричныхматриц она равна наибольшему из модулей собственных чисел и совпадаетс так называемым спектральным радиусом матрицы (см. 3.3ж).Отметим, что спектральная норма матриц не является абсолютнойнормой (см. Пример 3.1.3), т. е. она зависит не только от абсолютныхзначений элементов матрицы. В то же время, ‖ · ‖ 1 и ‖ · ‖ ∞ — этоабсолютные матричные нормы, что следует из вида их выражений.

3.3. Нормы векторов и матриц 2433.3д Топология на множествах матрицСовершенно аналогично случаю векторов можно рассмотреть топологическуюструктуру на множестве матриц. Будем говорить, чтоматричная переменная A сходится к пределу A ⋆ относительно фиксированнойнормы матриц (сходится по норме), если ‖A − A ⋆ ‖ → 0.Матричные нормы назовём топологически эквивалентными (или простоэквивалентными), если предельный переход в одной норме влечётсуществование предела в другой, и обратно. Опять таки, в силу известногофакта из математического анализа в конечномерном линейномпространстве всех m×n-матриц все нормы эквивалентны. Тем неменее, конкретные константы эквивалентности играют огромную рольпри выводе различных оценок, и их значения даёт следующееПредложение 3.3.7 Для квадратных n×n-матриц1√ n‖A‖ 2 ≤ ‖A‖ 1 ≤ √ n‖A‖ 2 ,1√ n‖A‖ ∞ ≤ ‖A‖ 2 ≤ √ n‖A‖ ∞ ,1n ‖A‖ 1 ≤ ‖A‖ ∞ ≤ n‖A‖ 1 .Доказательство. Докажем первое двустороннее неравенство. Имеетместо очевидная оценка‖A‖ 1 = max ‖Ay‖ (√ )1 ≤ max n‖Ay‖2‖y‖ 1≤1 ‖y‖ 1≤1в силу первого неравенства из Предложения 3.3.2. Кроме того, из негоследует, что множество векторов y, удовлетворяющих ‖y‖ 1 ≤ 1, включаетсяво множество векторов, определяемых условием ‖y‖ 2 ≤ 1. Поэтой причинеmax ‖Ay‖ 2 ≤ max ‖Ay‖ 2 = ‖A‖ 2 ,‖y‖ 1≤1 ‖y‖ 2≤1так что в целом действительно ‖A‖ 1 ≤ √ n‖A‖ 2 .С другой стороны, в силу того же первого неравенства из Предложения3.3.2‖A‖ 1 = max ‖Ay‖ 1 ≥ max ‖Ay‖ 2.‖y‖ 1≤1 ‖y‖ 1≤1

244 3. Численные методы линейной алгебрыНо множество векторов ‖y‖ 1 ≤ 1 не более, чем в √ n меньше, чем множествовекторов, удовлетворяющих ‖y‖ 2 ≤ 1. Как следствие,max ‖Ay‖ 2 ≥ √ 1 max ‖Ay‖ 2 = √ 1 ‖A‖ 2 .‖y‖ 1≤1 n ‖y‖ 2≤1 nОбъединяя два выписанных неравенства, получаем требуемое.Как и для векторов, помимо сходимости по норме введём также поэлементнуюсходимость матриц, при которой одна матрица сходитсяк другой тогда и только тогда, когда все элементы первой матрицысходятся к соответствующим элементам второй:A = (a ij ) → A ⋆ = (a ⋆ ij ) в Rm×n или C m×n⇕a ij → a ⋆ ij в R или C для всех индексов i,j.Из эквивалентности матричных норм следует, в частности, существованиедля любой нормы ‖·‖ такой константы C, что( m)∑max|a ij | ≤ max |a ij | = ‖A‖ 1 ≤ C‖A‖i,j 1≤j≤ni=1(вместо 1-нормы матриц в этой выкладке можно было бы взять, к примеру,∞-норму). Поэтому |a ij | ≤ C‖A‖, так что сходимость последовательностиматриц в любой норме равносильна сходимости последовательностейвсех элементов этих матриц.В целом множество матриц с введённым на нём посредством (3.18)расстоянием для любой матричной нормы является полным метрическимпространством, т. е. любая фундаментальная («сходящаяся в себе»)последовательность имеет в нём предел. Это следует из предшествующегорассуждения и из факта полноты вещественной оси R икомплексной плоскости C.В заключение этой темы отметим, что в вычислительной линйнойалгебре понятия норм векторов и матриц впервые стали широко использоватьсяВ.Н. Фаддеевой в монографии [81], которая предшествовалакапитальной книге [44] и вошла в неё составной частью.

3.3. Нормы векторов и матриц 2453.3е Энергетическая нормаЕщё одной важной и популярной конструкцией нормы являетсятак называемая энергетическая норма векторов, которая порождаетсякакой-либо симметричной положительно-определённой матрицей (эрмитовойв комплексном случае). Если A — такая матрица, то выражение〈Ax,y〉, как нетрудно проверить, есть симметричная билинейнаяположительно-определённая форма, т. е. скалярное произведение векторовx и y. Следовательно, можно определить норму вектора x, как‖x‖ A := √ 〈Ax,x〉,т. е. как корень из произведения x на себя в этом новом скалярном произведении.Она называется энергетической нормой вектора x относительноматрицы A, и нижний индекс указывает на эту порождающуюматрицу. Её часто называют также A-нормой векторов, если в задачеимеется в виду какая-то конкретная симметричная положительноопределённая матрица A. Термин «энергетическая» происходит из-зааналогии выражения для этой нормы с выражениями для различныхвидов энергии (см. также §3.10а).x 2x 1Рис. 3.7. Шар единичного радиуса в энергетической нормепри значительном разбросе спектра порождающей матрицыТак как симметричная матрица может быть приведена к диагональномувиду ортогональными преобразованиями подобия, тоA = Q ⊤ DQ,где Q — ортогональная матрица, D = diag{λ 1 ,λ 2 ,...,λ n } — диагональнаяматрица, на главной диагонали которой стоят собственнные

246 3. Численные методы линейной алгебрызначения λ i матрицы A. Поэтому‖x‖ A = √ √〈Ax,x〉 = 〈Q ⊤ DQx,x〉= √ 〈DQx,Qx〉 = √ 〈Dy,y〉 =( ∑iλ 2 i y2 i) 1/2. (3.24)где y = Qx. Таким образом, в системе координат, которая получаетсяиз исходной ортогональным преобразованием x = Q ⊤ y, линии уровняэнергетической нормы, т. е. поверхности ‖x‖ A = const, являются эллипсоидами.Они тем более вытянуты, чем больше различаются междусобой λ i , т. е. чем больше разброс собственных чисел матрицы A.Из сказанного вытекает характерная особенность энергетическойнормы, которая в ряде случаев оборачивается её недостатком, — возможностьсущественного искажения обычного геометрического масштабаобъектов по разным направлениям (своеобразная анизотропия).Она вызывается разбросом собственных значений порождающей матрицыA и приводит к тому, что векторы из R n , имеющие одинаковуюэнергетическую норму, существенно различны по обычной евклидовойдлине, и наоборот (Рис. 3.7). С другой стороны, использование энергетическойнормы, которая порождена матрицей, фигурирующей в постановкезадачи (системе линейных алгебраических уравнений, задачена собственные значения и т. п.) часто является удобным и оправданным,а альтернативы ему очень ограничены. Примеры будут рассмотреныв §3.10б, §3.10в и §3.10г.Из общего факта эквивалентности любых норм в конечномерномлинейном пространстве следует, что энергетическая норма эквивалентнарассмотренным выше матричным нормам ‖·‖ 1 , ‖·‖ 2 , ‖·‖ ∞ , фробениусовойнорме и норме ‖·‖ max . Но интересно знать конкретные константыэквивалентности. Из выражения (3.24) следует, что(mini|λ i |)‖x‖ 2 ≤ ‖x‖ A ≤(max|λ i |i)‖x‖ 2 .Другие двусторонние неравенства для энергетической нормы можнополучить на основе Предложения 3.3.7.Выражения для матричных норм, которые подчинены энергетическойнорме векторов или просто согласованы с нею, выписываютсясложно и даже не всегда могут быть указаны в явном и несложно вычисляемомвиде. Тем не менее, можно привести полезный и красивый

3.3. Нормы векторов и матриц 247результат на эту тему, который будет далее использован при исследованииметода наискорейшего спуска в §3.10б:Предложение 3.3.8 Если S — матрица, которая является значениемнекоторого многочлена от матрицы A, порождающей энергетическуюнорму ‖·‖ A , то для любого вектора x справедливо‖Sx‖ A ≤ ‖S‖ 2 ‖x‖ A . (3.25)Доказательство. Воспользуемся спектральным разложением матрицыA, представив её в виде A = QDQ ∗ , где Q — ортогональная (унитарнаяв общем случае) матрица, а D — диагональная матрица с положительнымисобственными значениями A по диагонали. Ясно, чтоматрица S — симметричная (эрмитова) одновременно с A, причём длянеё справедливо аналогичное разложение S = QΣQ ∗ с той же самойматрицейQ, где Σ = diag{s 1 ,s 2 ,...,s n } — диагональная матрица, имеющаяпо диагонали собственные числа S. Тогда S ∗ = QΣQ ∗ и потому‖Sx‖ 2 A = 〈ASx,Sx〉 = 〈AQΣQ ∗ x,QΣQ ∗ x〉= 〈QDQ ∗ QΣQ ∗ x,QΣQ ∗ x〉 = 〈DΣQ ∗ x,ΣQ ∗ x〉= 〈ΣDΣQ ∗ x,Q ∗ x〉 = 〈Σ 2 DQ ∗ x,Q ∗ x〉≤ s 2 1〈DQ ∗ x,Q ∗ x〉 = s 2 1〈Q ∗ DQ ∗ x,x〉= ‖S‖ 2 2 〈Ax,x〉 = ‖S‖2 2 ‖x‖2 A ,где s 1 — наибольшее сингулярное число матрицы S, т. е. s 1 = ‖S‖ 2 . 3.3ж Спектральный радиусОпределение 3.3.6 Спектральным радиусом квадратной матрицыназывается наибольший из модулей её собственных чисел.Эквивалентное определение: спектральным радиусом матрицы называетсянаименьший из радиусов кругов комплексной плоскости C сцентром в начале координат, который содержит весь спектр матрицы.Эта трактовка хорошо объясняет и сам термин. Обычно спектральныйрадиус матрицы A обозначают ρ(A).

248 3. Численные методы линейной алгебрыСпектральный радиус матрицы — неотрицательное число, котороев общем случае может не совпадать ни с одним из собственных значений(см. Рис. 3.8). Но если матрица неотрицательна, т. е. все её элементы— неотрицательные вещественные числа, то наибольшее по модулюсобственное значение такой матрицы также неотрицательно и,таким образом, равно спектральному радиусу матрицы. Кроме того,неотрицательным может быть выбран соответствующий собственныйвектор. Эти утверждения составляют содержание теоремы Перрона-Фробениуса, одного из главных результатов теории неотрицательныхматриц (см. [9, 35, 50]).Imρ0ReРис. 3.8. Иллюстрация спектрального радиуса матрицы:крестиками обозначены точки спектра.Предложение 3.3.9 Спектральный радиус матрицы не превосходитлюбой её нормы.Доказательство. Рассмотрим сначала случай, когда матрица являетсякомплексной.Пусть λ — собственное значение матрицы A, а v ≠ 0 — соответствующийсобственный вектор, так что Av = λv. Воспользуемся тем установленнымв §3.3в фактом (Предложение 3.3.4), что любая матричнаянорма согласована с некоторой векторной нормой, и возьмём от обеихчастей равенства Av = λv норму, согласованную с рассматриваемой

3.3. Нормы векторов и матриц 249‖A‖. Получим‖A‖·‖v‖ ≥ ‖Av‖ = ‖λv‖ = |λ|·‖v‖, (3.26)где ‖v‖ > 0, и потому сокращение на эту величину обеих частей неравенства(3.26) даёт ‖A‖ ≥ |λ|. Коль скоро наше рассуждение справедливодля любого собственного значения λ, то в самом деле maxλ =ρ(A) ≤ ‖A‖.Рассмотрим теперь случай вещественной n×n-матрицы A. Если λ— её вещественное собственное значение, то проведённые выше рассужденияостаются полностью справедливыми. Если же λ — комплексноесобственное значение матрицы A, то комплексным является и соответствующийсобственный вектор v. Тогда цепочку соотношений (3.26)выписать нельзя, поскольку согласованная векторная норма определеналишь для вещественных векторов из R n .Выполним комплексификацию рассматриваемого линейного пространства,т. е. вложим его в более широкое линейное векторное пространствонад полем комплексных чисел. В формальных терминах мыпереходим от R n к пространству R n ⊕ iR n , где i — мнимая единица(т. е. скаляр, обладающий свойством i 2 = −1), iR n — это множествовсех произведений iy для y ∈ R n , а «⊕» означает прямую сумму линейныхпространств (см. [10, 23, 35, 83]).Элементами R n ⊕ iR n служат упорядоченные пары (x,y) ⊤ , где x,y ∈ R n . Сложение и умножение на скаляр (α +iβ) ∈ C определяютсядля них следующим образом(x,y) ⊤ +(x ′ ,y ′ ) ⊤ = (x+x ′ ,y +y ′ ) ⊤ , (3.27)(α+iβ)·(x,y) ⊤ = (αx−βy,αy +βx) ⊤ . (3.28)Введённые пары векторов(x,y) ⊤ обычно записывают в видеx+iy, причёмx и y называются соответственно вещественной и мнимой частямивектора из R n ⊕iR n . Линейный оператор, действующий на R n ⊕iR n ипродолжающий линейное отображение на R n , порождаемое матрицейA, может быть представлен в матричном виде какA =( A 00 A). (3.29)Его блочно-диагональный вид объясняется тем, что согласно формуле(3.28) для любого α ∈ Rα·(x,y) ⊤ = (αx,αy) ⊤ ,

250 3. Численные методы линейной алгебрыи потому вещественная матрица A независимо действует на вещественнуюи мнимую части векторов из построенного комплексного пространстваR n ⊕iR n .Без какого-либо ограничения общности можно считать, что рассматриваемаянами норма матрицы, т. е. ‖A‖, является подчинённой(операторной) нормой, так как такие нормы являются наименьшимииз всех согласованных матричных норм (см. §3.3г). Если предложениебудет обосновано для подчинённых матричных норм, то оно тем болеебудет верным для всех прочих норм матриц.Пусть ‖·‖ — векторная норма в R n , которой подчинена наша матричнаянорма. Зададим в R n ⊕ iR n норму векторов как ‖(x,y) ⊤ ‖ =‖x‖ + ‖y‖. Тогда ввиду (3.29) и с помощью рассуждений, аналогичныхдоказательству Предложения 3.3.6, нетрудно показать, что подчинённаяматричная норма для A во множестве 2n × 2n-матриц есть‖A‖ = max{‖A‖,‖A‖} = ‖A‖. Кроме того, теперь для A справедливырассуждения о связи нормы и спектрального радиуса, проведённые вначале доказательства для случае комплексной матрицы, т. е.Это и требовалось доказать.ρ(A) = ρ(A) ≤ ‖A‖ = ‖A‖.Для симметричных и эрмитовых матриц спектральный радиус естьнорма, которая совпадает со спектральной матричной нормой‖·‖ 2 . Этоследует из Предложения 3.3.6 и того факта, что для симметричных иэрмитовых матриц сингулярные числа равны абсолютным значениямсобственных чисел. Но для матриц общего вида спектральный радиусматричной нормой не является. Хотя для любого скаляра α справедливоρ(αA) = |α| ρ(A),т. е. спектральный радиус обладает абсолютной однородностью, аксиоманеотрицательности матричной нормы (МН1) и неравенство треугольника(МН3) для него не выполняются.Во-первых, для ненулевой матрицы⎛ ⎞0 10 1 0. .. . ..(3.30)⎜ ⎟⎝ 0 1⎠0 0

3.3. Нормы векторов и матриц 251— жордановой клетки, отвечающей собственному значению 0, спектральныйрадиус равен нулю. Во-вторых, еслиA—матрица вида (3.30),то ρ(A ⊤ ) = ρ(A) = 0, но ρ(A+A ⊤ ) > 0. Это вытекает из того, что симметричнаяматрица A + A ⊤ — ненулевая, поэтому ‖A + A ⊤ ‖ 2 > 0 и,как следствие, наибольший из модулей её собственных значений строгобольше нуля. Получается, что неверно «неравенство треугольника»ρ(A+A ⊤ ) ≤ ρ(A)+ρ(A ⊤ ).Тем не менее, спектральный радиус является важной характеристикойматрицы, которая описывает асимптотическое поведение её степеней.Предложение 3.3.10 Пусть A — квадратная матрица, вещественнаяили комплексная. Для сходимости степеней A k → 0 при k → ∞необходимо, чтобы ρ(A) < 1, т.е. чтобы спектральный радиус матрицыA был меньше 1.Доказательство. Пустьλ — собственное число матрицыA(возможно,комплексное), а v ≠ 0 — соответствующий ему собственный вектор(который также может быть комплексным). Тогда Av = λv, и потомуA 2 v = A(Av) = A(λv) = λ(Av) = λ 2 v,A 3 v = A(A 2 v) = A(λ 2 v) = λ 2 (Av) = λ 3 v,... ... ,так что в целом(Ak ) v = (λ k )v. (3.31)Если последовательность степеней A k , k = 0,1,2,..., сходится к нулевойматрице, то при фиксированном векторе v нулевой предел имеети вся левая часть выписанного равенства. Как следствие, к нулевомувектору должна сходиться и правая часть в (3.31), причём v ≠ 0. Этовозможно лишь в случае |λ| < 1.Ниже в §3.9б мы увидим, что условие ρ(A) < 1 является, в действительности,также достаточным для сходимости к нулю степенейматрицы A.Рассуждения, с помощью которых доказано Предложение 3.3.10,можно продолжить и несложно вывести весьма тонкие свойства спек-

252 3. Численные методы линейной алгебрытрального радиуса. Возьмём от обеих частей равенства (3.31) какуюнибудьвекторную норму:∥ A k v ∥ ∥ = ‖λ k v‖.Поэтому ‖A k ‖‖v‖ ≥ |λ k |‖v‖ для согласованной матричной нормы ‖A‖,так что после сокращения на ‖v‖ ≠ 0 получаем∥ ∥ Ak ≥ |λ|kдля всех k = 0,1,2,....По этой причине для любого собственного значения матрицы имеетместо оценка|λ| ≤ inf ∥ ∥ Ak 1/k ,k∈Nили, иными словами,∥ρ(A) ≤ inf ∥A k∥ ∥ 1/k . (3.32)k∈NТак как всякая матричная норма всегда согласована с какой-то векторной,то выведенное неравенство справедливо для любой матричнойнормы. Оно является обобщением Предложения 3.3.9, переходя в негопри k = 1.Уточнением неравенства (3.32) является формула Гельфандаρ(A) = lim ∥ ∥ Ak 1/k ,k→∞которая также верна для любой из матричных норм. Её доказательствоможно найти, к примеру, в [50].Предложение 3.3.10, неравенство (3.32) и формула Гельфанда, показывают,что с помощью спектрального радиуса адекватно описываетсяасимпототическое поведение норм степеней матрицы. Несмотря на то,что матрица является сложным составным объектом, нормы её степенейведут себя примерно так же, как геометрическая прогрессия сознаменателем, равным спектральному радиусу. Например, для матрицы(3.30) или любой ей подобной n-ая степень зануляется, и это свойствообнаруживается спектральным радиусом.3.3з Матричный ряд НейманаКак известно из математического анализа, операцию суммированияможно обобщить на случай бесконечного числа слагаемых, и такие бес-

3.3. Нормы векторов и матриц 253конечные суммы называются рядами. При этом суммой ряда называетсяпредел (если он существует) сумм конечного числа слагаемых, когдаколичество слагаемых неограниченно возрастает. Совершенно аналогичнаяконструкция применима также к суммированию векторов иматриц, а не только чисел. Именно, суммой матричного ряда∞∑A (k) ,k=0где A (k) , k = 0,1,2,..., — матрицы одного размера, мы будем называтьпредел частичных сумм ∑ Nk=0 A(k) при N → ∞. В этом определенииA (k) могут быть и векторами.Предложение 3.3.11 Пусть X — квадратная матрица и ‖X‖ < 1 внекоторой матричной норме. Тогда матрица (I −X) неособенна, дляобратной матрицы справедливо представлениеи имеет место оценка(I −X) −1 =∞∑X k , (3.33)k=0∥ (I −X)−1 ∥ ∥ ≤11−‖X‖ . (3.34)Фигурирующий в правой части равенства (3.33) аналог геометрическойпрогрессии для матриц называется матричным рядом Неймана.Доказательство. Покажем неособенность матрицы (I −X). Если этоне так, то (I − X)v = 0 для некоторого ненулевого вектора v. ТогдаXv = v, и, беря от обеих частей этого равенства векторную норму,согласованную с матричной нормой, в которой по условию ‖X‖ < 1,мы получим‖X‖‖v‖≥ ‖Xv‖ = ‖v‖.В случае, когда v ≠ 0, можем сократить обе части полученного неравенствана положительную величину ‖v‖, что даёт ‖X‖ ≥ 1. Следовательно,при условии ‖X‖ < 1 и ненулевых v равенство (I − X)v = 0невозможно.

254 3. Численные методы линейной алгебрыОбозначим S N = ∑ Nk=0 Xk — частичную сумму матричного рядаНеймана. Коль скоро‖S N+p −S N ‖ =∥N+p∑k=N+1X k ∥ ∥∥∥∥≤N+p∑k=N+1= ‖X‖ N+1 · 1−‖X‖p1−‖X‖ → 0‖X k ‖ ≤N+p∑k=N+1‖X‖ kпри N → ∞ и любых целых положительных p, то последовательностьS N является фундаментальной (последовательностью Коши) в полномметрическом пространстве квадратных матриц с расстоянием, порождённымрассматриваемой нормой ‖·‖. Следовательно, частичные суммыS N ряда Неймана имеют предел S = lim N→∞ S N , причём(I −X)S N = (I −X)(I +X +X 2 +...+X N ) = I −X N+1 → Iпри N → ∞, поскольку тогда ‖X N+1 ‖ ≤ ‖X‖ N+1 → 0. Так как этотпредел S удовлетворяет соотношению (I−X)S = I, можем заключить,что S = (I −X) −1 .Наконец,∥ ‖(I −X) −1 ∞∑ ∥∥∥∥‖ =X k ≤∥k=0∞∑‖X k ‖ ≤k=0∞∑‖X‖ k =k=011−‖X‖ ,где для бесконечных сумм неравенство треугольника может быть обоснованопредельным переходом по аналогичным неравенствам для конечныхсумм. Это завершает доказательство Предложения. Матричный ряд Неймана является простейшим из матричных степенныхрядов, т. е. сумм вида∞∑c k X kk=0где X — квадратная матрица и c k , k = 0,1,2,..., — счётный наборкоэффицентов. C помощью матричных степенных рядов можно определятьзначения аналитических функций от матриц (например, экспоненту,логарифм, синус, косинус и т. п. от матрицы), просто подставляя

3.4. Приложения сингулярного разложения 255матрицу вместо аргумета в степенные разложения для соответствующихфункций. Эта важная и интересная тема, находящая многочисленныеприложения, развивается в рамках так называемой теории представленийлинейных операторов.3.4 Приложения сингулярного разложения3.4а Исследование неособенности и ранга матрицРассмотренное в §3.2д сингулярное разложение матрицы может служитьосновой для вычислительных технологий решения некоторых важныхматематических задач. Рассмотрим первой задачу об определениитого, особенна или неособенна матрица.Квадратная диагональная матрица неособенна тогда и только тогда,когда все её диагональные элементы не равны нулю. Из сингулярногоразложения матрицы следует, что произвольная квадратнаяматрица неособенна тогда и только тогда, когда её сингулярные числа— ненулевые.Хотя определение особенности или неособенности матрицы обычноассоциируется с исследованием определителся этой матрицы, наиболеенадёжным в вычислительном отношении способом проверки особенности/неособенностиявляется исследование сингулярных чисел матрицы.Хотя эта процедура более трудоёмка, чем нахождение определителя,она гораздо более предпочтительна в силу существенно большейустойчивости к ошибкам. Кроме того, величина ненулевого определителяматрицы является неадекватным признаком того, насколько близкаматрица к особенной: с помощью умножения матрицы на подходящеечисло значение её определителя можно сделать любым, тогда как мералинейной независимости столбцов матрицы или её строк при этомникак не изменится.Рассмотрим теперь задачу о вычислении ранга матрицы. Согласноопределению, ранг — это количество линейно независимых векторстрокили вектор-столбцов матрицы, с помощью которых можно линейнымкомбинированием породить всю матрицу. Фактически, ранг —это число независимых параметров, задающих матрицу. В таком видехорошо видна важность ранга в задачах обработки данных, когданам необходимо выявить какие-то закономерности в массивах данных,полученных в результате наблюдений или опытов. С помощью ранга

256 3. Численные методы линейной алгебрыможно увидеть, к примеру, что все данные суть линейные комбинациинемногих порождающих.Ранг матрицы не зависит непрерывно от её элементов. Выражаясьязыком, который развивается в Главе 4 (§4.2), можно сказать, что задачавычисления ранга матрицы не является вычислительно-корректной.Как следствие, совершенно точное определение ранга в условиях «зашумлённых»данных, которые искажены случайными помехами и ошибкамиизмерений, не имеет смысла. Нам нужно, как правило, знать«приближённый ранг», и при прочих равных условиях для его нахожденияболее предпочтителен тот метод, который менее чувствителенк ошибкам и возмущениям в данных. Под «приближённым рангом»естественно понимать ранг матрицы, приближённо равной исходной всмысле некоторой разумной нормы.Ясно, что ранг диагональной матрицы равен числу её ненулевыхдиагональных элементов. Ортогональные преобразования сохраняютлинейную независимость. Таким образом, ранг любой матрицы равенколичеству её ненулевых сингулярных чисел, что следует из сингулярногоразложения (3.12), т. е. представленияA = UΣV ∗Другой способ нахождения ранга матрицы может состоять в приведенииеё к так называемому строчно-ступенчатому виду с помощьюпреобразований, которые использовались в прямом ходе метода Гаусса.Но в условиях неточных данных и неточных арифметических операцийна ЭВМ строчно-ступенчатая форма является очень ненадёжным инструментом.Использование сингулярного разложения — более надёжныйи достаточно эффективный подход к нахождению ранга матрицы.3.4б Решение систем линейных уравненийЕсли для матрицы A известно сингулярное разложение (3.12), тосистема линейных алгебраических уравнений Ax = b может быть переписанаэквивалентным образом какUΣV ∗ x = b.Отсюда решение легко находится в видеx = VΣ −1 U ∗ b.

3.4. Приложения сингулярного разложения 257Получается, что для вычисления решения мы должны умножить векторправой части на ортогональную матрицу, затем разделить компонентырезультата на сингулярные числа и, наконец, ещё раз умножитьполучившийся вектор на другую ортогональную матрицу. Вычислительнойработы здесь существенно больше, чем при реализации, к примеру,метода исключения Гаусса (см. §3.6б) или других прямых методоврешения СЛАУ, особенно с учётом того, что сингулярное разложениематрицы системы нужно ещё найти. Но описанный путь безупречен свычислительной точки зрения, так как позволяет без накопления ошибокнайти решение системы и, кроме того, проанализировать состояниееё разрешимости.Напомним, что с геометрической точки зрения преобразования, осуществляемыеортогональными матрицами, являются обобщениями поворотови отражений: они сохраняют длины и углы. Поэтому в вычислительномотношении умножения на ортогональные матрицы обладаюточень хорошими свойствами, так как не увеличивают ошибококруглений и других погрешностей. Ниже в §3.5б мы взглянём на этотфакт с другой стороны. Отличие в поведении и результатах методаГаусса и метода, основанного на сингулярном разложении, особеннозримо в случае, когда матрица системы «почти особенна».3.4в Малоранговые приближения матрицыПусть A — m × n-матрица, u k и v k — это её k-ые нормированныелевый и правый сингулярные векторы, а Υ k обозначает их внешнеепроизведение, т. е.Υ k = u k v ∗ k. (3.35)Отметим, что Υ k — m×n-матрица ранга 1. Тогда сингулярное разложение(3.12) матрицы A равносильно её представлению в виде суммыn∑A = σ k Υ k ,k=1где σ i , i = 1,2,...,min{m,n}, — сингулярные числа матрицы A. Еслиσ 1 ≥ σ 2 ≥ ... ≥ σ n , и мы «обрубаем» выписанную сумму после p-гослагаемого, то получающаяся матрица называется p-ранговым приближениемданной матрицы:p∑A p = σ k Υ k , (3.36)k=1

258 3. Численные методы линейной алгебрыЭто в самом деле матрица ранга p, что следует из её сингулярногопредставления, а погрешность, с которой она приближает исходнуюматрицу, равнаn∑σ k Υ k .k=p+1Величина этой погрешности решающим образом зависит от величинысингулярных чисел σ p+1 , . . . , σ min{m,n} , соответствующих отброшеннымслагаемым в (3.35). Более точно, погрешность p-рангового приближенияхарактеризуется следующим замечательным свойством:Теорема 3.4.1 Пусть σ k , u k и v k — сингулярные числа и левые иправые сингулярные векторы m×n-матрицы A соответственно. Еслиp < n иp∑A p = σ k u k vk∗k=1— p-ранговое приближение матрицы A, то‖A−A p ‖ 2 =min ‖A−B‖ 2 = σ p+1 .B∈C m×nrank(B)≤pИными словами, относительно спектральной нормы p-ранговое приближениематрицы обеспечивает наименьшее отклонение от первоначальнойматрицы среди всех матриц ранга не более p.Доказательство. Предположим, что найдётся такая матрица B, имеющаяранг rank(B) ≤ p, что ‖A − B‖ 2 < ‖A − A p ‖ 2 = σ p+1 . Тогдасуществует(n−p)-мерное подпространствоW ⊂ C n , для которого справедливоw ∈ W ⇒ Bw = 0. При этом для любого w ∈ W мы имеемAw = (A−B)w, так что‖Aw‖ 2 = ‖(A−B)w‖ 2 ≤ ‖A−B‖ 2 ‖w‖ 2 < σ p+1 ‖w‖ 2 .Таким образом, W является (n−p)-мерным подпространством в C n , вкотором ‖Aw‖ 2 < σ p+1 ‖w‖ 2 .Но в C n имеется (p+1)-мерное подпространство, образованное векторамиv,для которых‖Av‖ 2 ≥ σ p+1 ‖v‖ 2 . Это подпространство, являющеесялинейной оболочкой первых p+1 правых сингулярных векторовматрицы A. Поскольку сумма размерностей этого подпространства и

3.4. Приложения сингулярного разложения 259подпространства W превосходит n, размерности всего пространства,то должен существовать ненулевой вектор, лежащий в них обоих. Этоприводит к противоречию.Совершенно аналогичный результат справедлив для фробениусовойнормы матриц, и исторически он был обнаружен даже раньше, чемТеорема 3.4.1:Теорема 3.4.2 (теорема Экарта-Янга [87]) Пусть σ k , u k и v k — сингулярныечисла и левые и правые сингулярные векторы m×n-матрицыA соответственно. Если p < n иA p =p∑σ k u k vk∗k=1— p-ранговое приближение матрицы A, то‖A−A p ‖ F =min ‖A−B‖ F = σ p+1 ,B∈C m×nrank(B)≤pгде ‖ · ‖ F — фробениусова норма матриц. Иными словами, относительнофробениусовой нормы p-ранговое приближение матрицы обеспечиваетнаименьшее отклонение от первоначальной матрицы средивсех матриц ранга не более p.Доказательство опускается.Итак, если младшие сингулярные числа матрицы достаточно малы,то вместо неё можно взять p-ранговое приближение вида (3.36).Оно более «экономно», с меньшим числом параметров, представляетисходную матрицу.3.4г Метод главных компонентВ качестве важного и интересного практического примера, которыйиллюстрирует понятия ранга матрицы, матричной нормы, сингулярныхчисел и сингулярных векторов матрицы и пр. рассмотрим так называемыйметод главных компонент, широко применяемый в анализеданных и статистике.Во многих практических задачах приходится иметь дело с большимимассивами числовых данных, характеризующих какой-либо объект

260 3. Численные методы линейной алгебрыили явление. Предположим для определённости, что набор параметров(свойств, признаков и т. п.) рассматриваемого объекта характеризуетсявектор-строкой из n чисел, и мы имеем m штук таких векторов,относящихся, к примеру, к отдельным измерениям. Полученные данныеобразуют вещественную m × n-матрицу, которую мы обозначимчерез A.Нередко возникает необходимость сжатия данных, т. е. уменьшениячисла n параметров объекта с тем, чтобы оставшиеся p признаков,p ≤ n, всё-таки «достаточно наиболее полно» описывали всю совокупностьнакопленной об объекте информации, содержащейся в матрицеA. Метод главных компонент является одним из способов решенияпоставленного вопроса, который в формализованном виде принимаетследующую форму: существует ли в R n ортонормированный базис{e 1 ,e 2 ,...,e p }, p < n, в котором рассматриваемые нами данные, содержащиесяв матрице A, будут представлены в наиболее экономичной(удобной, красивой и т. п.) форме?В качестве меры «близости» матриц мы можем брать различныерасстояния, получая различные постановки задач. Одним из практическинаиболее важных является расстояние, порождённое фробениусовойнормой матриц, которое имеет ясный вероятностно-статистическийсмысл: оно совпадает с так называемой выборочной дисперсией набораданных. Для фробениусовой нормы матриц математическая задачаставится следующим образом. Нужно найти такой ортонормированныйбазис {e 1 , e 2 , . . . , e p } в R n , p ≤ n, что квадратичное отклонение исходныхвекторов данных A i: = (a i1 ,a i2 , . . . , a in ) ⊤ от их приближенийX (i) = ∑ pj=1 x ije j в этом базисе было бы наименьшим возможным длявсех i = 1,2,...,m.Описанная выше процедура обработки матрицы данных называетсяметодом главных компонент в случае применения к матрице данных,которая центрирована путём вычитания из каждого столбца его среднегозначения. При этом компонентами называются правые сингулярныевекторыv k , а масштабированные левые сингулярные векторыσ k u kносят название долей. Метод главных компонент обычно описывают втерминах собственных чисел и собственных векторов так называемойковариацонной матрицы A ⊤ A, но подход, основанный на сингулярномразложении, часто лучше с вычислительной точки зрения.Другая ситуация, в которой часто прибегают к методу главных компоненти которая не связана с необходимостью сжатия данных, — этожелание выделить из данных наиболее значимые факторы, т. е. комби-

3.5. Обусловленность систем линейных уравнений 261нации переменных, наиболее существенные для рассматриваемого объектаили явления. Здесь и пригождается понятие ранга матрицы илиже приближённого ранга для случая неточных данных.Приведённая выше теорема Экарта-Янга даёт математическую основудля решения поставленной задачи. Следует отметить, что соответствующиерезультаты неоднократно переоткрывались статистиками и,по-видимому, первым метод главных компонент предложил К. Пирсонв начале XX века, который отметил, что искомый минимум достигаетсяв том случае, если базис {e 1 ,e 2 ,...,e p } берётся в виде собственныхвекторов так называемой ковариационной матрицы C = A ⊤ A, отвечающихеё p наибольшим собственным значениям. На современном языкеможно сказать, что искомый базис составлен из старших сингулярныхвекторов матрицы данныхA, а «главными компонентами» обычно именуюткомпоненты разложения векторов данных по этому базису.3.5 Обусловленностьсистем линейных уравнений3.5а Число обусловленности матрицВ этом параграфе общие идеи и понятия, развитые в §1.3, рассматриваютсяв приложении к задаче решения системы линейных уравнений.В частности, мы вводим количественную меру чувствительностирешения по отношению к вариациям матрицы и вектора правой части.Рассмотрим систему линейных алгебраических уравненийAx = bс неособенной квадратной матрицей A и вектором правой части b ≠ 0,а также систему(A+∆A)˜x = b+∆b,где ∆A ∈ R n×n и ∆b ∈ R n — возмущения матрицы и вектора правойчасти. Насколько сильно ненулевое решение ˜x возмущённой системыможет отличаться от решения x исходной системы уравнений?Пусть это отличие есть ∆x = ˜x−x, так что ˜x = x+∆x, и потому(A+∆A)(x+∆x) = b+∆b.

262 3. Численные методы линейной алгебрыВычитая из этого равенства исходную невозмущённую систему уравнений,получим(∆A)x+(A+∆A)∆x = ∆b, (3.37)илитак что(∆A)(x+∆x)+A∆x = ∆b,∆x = A −1( −(∆A)˜x+∆b ) .Для оценки величины изменения решения ∆x воспользуемся какойнибудьудобной векторной нормой. Применяя её к обеим частям полученногосоотношения, будем иметь‖∆x‖ ≤ ‖A −1 ‖·(‖∆A‖‖˜x‖+‖∆b‖ )при согласовании используемых векторных и матричных норм. Предполагая,что возмущённое решение ˜x не равно нулю, можем поделитьобе части на ‖˜x‖ > 0, придя к неравенству‖∆x‖‖˜x‖(≤ ‖A −1 ‖· ‖∆A‖+ ‖∆b‖ )‖˜x‖( ‖∆A‖= ‖A −1 ‖‖A‖·‖A‖ + ‖∆b‖ ). (3.38)‖A‖·‖˜x‖Это весьма практичная апостериорная оценка относительной погрешностирешения, которую удобно применять после того, как приближённоерешение системы уже найдено. 7 Коль скоро ‖A‖ · ‖˜x‖ ≥‖A˜x‖ ≈ ‖b‖, то знаменатель второго слагаемого в скобках из правойчасти неравенства «приблизительно не превосходит» ‖b‖. Поэтому полученнойоценке (3.38) путём некоторого огрубления можно придатьболее элегантный вид‖∆x‖‖˜x‖( ‖∆A‖ ‖A −1 ‖‖A‖·‖A‖ + ‖∆b‖ ), (3.39)‖b‖в котором справа задействованы относительные погрешности в матрицеA и правой части b.7 От латинского словосочетания «a posteriori», означающего знание, полученноеиз опыта. Под «опытом» здесь понимается процесс решения задачи.

3.5. Обусловленность систем линейных уравнений 263Фигурирующая в оценках (3.38) и (3.39) величина ‖A −1 ‖‖A‖, на которуюсуммарно умножаются ошибки в матрице и правой части, имеетсвоё собственное название, так как играет важнейшую роль в вычислительнойлинейной алгебре.Определение 3.5.1 Для квадратной неособенной матрицы A величина‖A −1 ‖‖A‖ называется её числом обусловленности (относительновыбранной нормы матриц).Мы будем обозначать число обусловленности матрицы A посредствомcond(A), иногда с индексом, указывающим выбор нормы. 8 Еслиже матрица A особенна, то удобно положитьcond(A) = +∞. Это соглашениеоправдывается тем, что обычно‖A −1 ‖ неограниченно возрастаетпри приближении матрицы A к множеству особенных матриц.Выведем теперь априорную оценку относительной погрешности ненулевогорешения, которая не будет опираться на знание вычисленногорешения и годится для получения оценки до решения СЛАУ. 9После вычитания точного уравнения из приближённого мы получили(3.37):(∆A)x+(A+∆A)∆x = ∆b.Отсюда∆x = (A+∆A) −1( −(∆A)x+∆b )= ( A(I +A −1 ∆A) ) −1(−(∆A)x+∆b)= ( I +A −1 ∆A ) −1A−1 ( −(∆A)x+∆b ) .Беря интересующую нас векторную норму от обеих частей этого равенстваи пользуясь далее условием согласования с матричной нормой,субмультипликативностью и неравенством треугольника, получим‖∆x‖ ≤ ∥ (I +A −1 ∆A ) −1 ∥ ( )∥·‖A −1 ‖· ‖∆A‖‖x‖+‖∆b‖ ,откуда после деления обеих частей на ‖x‖ > 0:‖∆x‖‖x‖≤ ∥ ∥ ( I +A −1 ∆A ) −1 ∥ ∥·‖A −1 ‖·(‖∆A‖+ ‖∆b‖ ).‖x‖8 В математической литературе для числа обусловленности матрицы A можновстретить также обозначения µ(A) или κ(A).9 От латинского словосочетания «a priori», означающего в философии знание,полученное до опыта и независимо от него.

264 3. Численные методы линейной алгебрыПредположим, что возмущение ∆A матрицы A не слишком велико,так что выполнено условие‖∆A‖ ≤ 1‖A‖ .Тогда‖A −1 ∆A‖ ≤ ‖A −1 ‖‖∆A‖ < 1,и обратная матрица (I+A −1 ∆A) −1 разлагается в матричный ряд Неймана(3.33). Соответственно, мы можем воспользоваться вытекающейиз этого оценкой (3.34). Тогда‖∆x‖‖x‖≤=≤‖A −1 ‖1−‖A −1 ‖‖∆A‖ ·(‖∆A‖+ ‖∆b‖ )‖x‖‖A −1 (‖·‖A‖ ‖∆A‖1−‖A −1 ‖‖∆A‖ · ‖A‖ + ‖∆b‖ )‖A‖‖x‖cond(A)1−cond(A)· ‖∆A‖‖A‖( ‖∆A‖·‖A‖ + ‖∆b‖ ), (3.40)‖b‖поскольку ‖A‖‖x‖ ≥ ‖Ax‖ = ‖b‖.Оценка (3.40) — важная априорная оценка относительной погрешностичисленного решения системы линейных алгебраических уравненийчерез оценки относительных погрешностей её матрицы и правойчасти. Если величина ‖∆A‖ достаточно мала, то множитель усиленияотносительной ошибки в данныхcond(A)1−cond(A)· ‖∆A‖‖A‖близок к числу обусловленности матрицы A.Понятие числа обусловленности матрицы и полученные с его помощьюоценки имеют большое теоретическое значение, но их практическаяполезность напрямую зависит от наличия эффективных способоввычисления или хотя бы приближённого оценивания числа обусловленностиматриц. Фактически, определение числа обусловленности требуетзнания некоторых характеристик обратной матрицы, и в случае общихматричных норм хорошего решения задачи оценивания cond(A)не существует до сих пор.

3.5. Обусловленность систем линейных уравнений 265Рис. 3.9. Иллюстрация возмущения решения системы линейныхуравнений с плохой обусловленностью матрицы.Тем не менее, существует практически важный частный случай, когданахождение числа обусловленности матрицы может быть выполненодостаточно эффективно. Это случай спектральной матричной нормы‖·‖ 2 , подчинённой евклидовой норме векторов.Напомним (Предложение 3.2.5), что для любой неособенной квадратнойматрицы A справедливо равенство σ max (A −1 ) = σ −1min(A), и поэтомуотносительно спектральной нормы число обусловленности матрицыестьcond 2 (A) = σ max(A)σ min (A) .Этот результат помогает понять большую роль сингулярных чисел в современнойвычислительной линейной алгебре и важность алгоритмовдля их нахождения. В совокупности с ясным геометрическим смысломевклидовой векторной нормы (2-нормы) это вызывает преимущественноеиспользование этих норм для многих задач теории и практики.Наконец, если матрица A симметрична (эрмитова), то её сингулярныечисла совпадают с модулями собственных значений, и тогдаcond 2 (A) = max i|λ i (A)|min i |λ i (A)|(3.41)— спектральное число обусловленности равно отношению наибольшегои наименьшего по модулю собственных значений матрицы. Для сим-

266 3. Численные методы линейной алгебрыметричных положительно определённых матриц эта формула принимаетсовсем простой видcond 2 (A) = λ max(A)λ min (A) .3.5б Примеры хорошообусловленныхи плохообусловленных матрицУсловимся называть матрицу хорошо обусловленной, если её числообусловленности невелико. Напротив, если число обусловленности матрицывелико, станем говорить, что матрица плохо обусловлена. Естественно,что эти определения имеют неформальный характер, так какзависят от нестрогих понятий «невелико» и «велико». Тем не менее,они весьма полезны в практическом отношени, в частности, потому,что позволяют сделать наш язык более выразительным.Отметим, что для любой подчинённой матричной нормыcond(A) = ‖A −1 ‖‖A‖ ≥ ‖A −1 A‖ = ‖I‖ = 1в силу (3.22), и поэтому соответствующее число обусловленности матрицывсегда не меньше единицы. Для произвольных матричных нормполученное неравенство тем более верно в силу того, что подчинённыенормы принимают наименьшие значения.Рис. 3.10. Иллюстрация возмущения решения системы линейныхуравнений с хорошей обусловленностью матрицы.

3.5. Обусловленность систем линейных уравнений 267Примером матриц, обладающих наилучшей возможной обусловленностьюотносительно спектральной нормы, являются ортогональныематрицы, для которых cond 2 (Q) = 1. Действительно, если Q ортогональна,то ‖Qx‖ 2 = ‖x‖ 2 для любого вектора x. Следовательно,‖Q‖ 2 = 1. Кроме того, Q −1 = Q ⊤ и тоже ортогональна, а потому‖Q −1 ‖ 2 = 1.Самым популярным содержательным примером плохообусловленныхматриц являются, пожалуй, матрицы Гильберта H n = (h ij ), которыевстретились нам в §2.10г при обсуждении среднеквадратичногоприближения алгебраическими полиномами на интервале [0,1]. Этосимметричные матрицы, образованные элементамитак что, к примеру,h ij =1i+j −1 ,H 3 =⎛⎜⎝1121 12 31 13 4i,j = 1,2,...,n,131415⎞⎟⎠ .Число обусловленности матриц Гильберта исключительно быстрорастёт в зависимости от их размера n. Воспользовавшись какими-либостандартными процедурами для вычисления числа обусловленностиматриц (встроенными, к примеру, в системы компьютерной математикиScilab, Matlab, Octave, Maple и им подобные), нетрудно найтиследующие числовые данные:cond 2 (H 2 ) = 19.3,cond 2 (H 3 ) = 524,···cond 2 (H 10 ) = 1.6·10 13 ,··· .Существует общая формула [97, 98] :( √ ) (1+ 2)4ncond 2 (H n ) = O √ ≈ O(34 n / √ n),nгде O — «о большое», известный из математического анализа символЭ. Ландау (см. стр. 94). Интересно, что матрицы, обратные к матрицам

268 3. Численные методы линейной алгебрыГильберта могут быть вычислены аналитически в явном виде [88]. Ониимеют целочисленные элементы, которые также очень быстро растутс размерностью.На этом фоне для матрицы Вандермонда (2.7) оценка числа обусловленности(см. [54])cond 2(V(x0 ,x 1 ,...,x n ) ) ≥ √ 2 (1+√ 2) n−1√ n+1представляется существенно более скромной. 10 Но она и не хороша,так что матрицы Вандермонда можно называть «умеренно плохобусловленными».3.5в Практическое применениечисла обусловленности матрицОценки (3.38) и (3.40) на возмущения решений систем линейных алгебраическихуравнений являются неулучшаемыми на всём множествематриц, векторов правых частей и их возмущений. Более точно, дляданной матрицы эти оценки достигаются на каких-то векторах правойчасти и возмущениях матрицы и правой части. Но «плохая обусловленность»матрицы не всегда означает высокую чувствительность решенияконкретной системы по отношению к тем или иным конкретнымвозмущениям. Если, к примеру, правая часть имеет нулевые компонентыв направлении сингулярных векторов, отвечающих наименьшимсингулярным числам матрицы системы, то решение СЛАУ зависит отвозмущений этой правой части гораздо слабее, чем показывает оценка(3.40) для спектральной нормы (см. рассуждения в §3.4). И определениетого, какова конкретно правая часть по отношению к матрицеСЛАУ — плохая или не очень — не менее трудно, чем само решениеданной системы линейных уравнений.Из сказанного должна вытекать известная осторожность и осмотрительностьпо отношению к выводам, которые делаются о практическойразрешимости и достоверности решений какой-либо системы линейныхуравнений лишь на основании того, велико или мало число обусловленностиих матрицы. Тривиальный пример: число обусловленности диагональнойматрицы может быть сколь угодно большим, но решениеСЛАУ с такими матрицами почти никаких проблем не вызывает!10 Аналогичные по смыслу, но более слабые экспонециальные оценки снизу длячисла обусловленности матрицы Вандермонда выводятся также в книге [41].

3.5. Обусловленность систем линейных уравнений 269Наконец, число обусловленности малопригодно для оценки разбросарешения СЛАУ при значительных и больших изменениях элементовматрицы и правой части (начиная с нескольких процентов от исходногозначения). Получаемые при этом с помощью оценок (3.38) и (3.40)результаты типично завышены во много раз (иногда на порядки), идля решения упомянутой задачи более предпочтительны методы интервальногоанализа (см., к примеру, [84, 93]).Пример 3.5.1 Рассмотрим 2×2-систему линейных уравнений( ) (3 −1 0x =0 3 1)в которой элементы матрицы и правой части заданы неточно, с абсолютнойпогрешностью 1, так что в действительности можно было бызаписать эту систему в неформальном виде как( ) ( )3±1 −1±1 0±1x = .0±1 3±1 1±1Фактически, мы имеем совокупность эквивалентных по точности системлинейных уравнений( ) ( )a11 a 12 b1x = ,a 21 a 22 b 2у которых элементы матрицы и правой части могут принимать значенияиз интерваловa 11 ∈ [2,4], a 12 ∈ [−2,0], b 1 ∈ [−1,1]a 12 ∈ [−1,1], a 22 ∈ [2,4], b 2 ∈ [0,2].При этом обычно говорят [84, 93], что задана интервальная системалинейных алгебраических уравнений( ) ( )[2,4] [−2,0] [−1,1]x = . (3.42)[−1,1] [2,4] [0,2]Её множеством решений называют множество, образованное всевозможнымирешениями систем линейных алгебраических уравнений той

270 3. Численные методы линейной алгебрыже структуры, коэффициенты матрицы и компонетны правой части которойпринадлежат заданным интервалам. В частности, множество решенийрассматриваемой нами системы (3.42) изображено на Рис. 3.11.Мы более подробно рассматриваем интервальные линейные системыуравнений в §4.6.2.521.510.50−0.5−1 −0.5 0 0.5 1 1.5 2 2.5 3Рис. 3.11. Множество решений интервальной линейной системы (3.42).Подсчитаем оценки возмущений, которые получаются на основе числаобусловленности для решения системы (3.42). Её можно рассматривать,как систему, получающуюся путём возмущения «средней системы»( ) (3 −1 0x =0 3 1)на величину∆A =( )∆a11 ∆a 12=∆a 21 ∆a 22( )1 1, ‖∆A‖ ∞ ≤ 2,1 1в матрице и величину( ) (∆b1 1∆b = = , ‖∆b‖ ∞ ≤ 1,∆b 2 1)в правой части. Чебышёвская векторная норма (∞-норма) используетсяздесь для оценки ∆b потому, что она наиболее адекватно (без искаженияформы) описывает возмущение правой части b. Соответствующая∞-норма для матрицы ∆A, подчинённая векторной ∞-норме,

3.5. Обусловленность систем линейных уравнений 271также наиболее уместна в этой ситуации, поскольку обеспечивает наиболееаккуратное согласование вычисляемых оценок.Обусловленность средней матрицы относительно ∞-нормы равна1.778, ∞-норма средней матрицы равна 4, а ∞-норма средней правойчасти — это 1. Следовательно, по формуле (3.40) получаем‖∆x‖‖x‖ 24.Поскольку решение средней системы есть ˜x = ( 1 ⊤,3 , 9) 1 и оно имеет ∞-норму 1 3, то оценкой разброса решений расматриваемой системы уравненийявляется ˜x±∆x, где ‖∆x‖ ∞ ≤ 8, т. е. двумерный брус 11([−7.667,8.333][−7.889,8.111]).По размерам он в более чем в 4 (четыре) раза превосходит оптимальные(точные) покоординатные оценки множества решений, равные([−1,3][−0.5,2.5]).Этот брус выделен пунктиром на Рис. 3.11.При использовании других норм результаты, даваемые формулой(3.40), совершенно аналогичны своей грубостью оценивания возмущенийрешений.Отметим в заключение этой темы, что задача оценивания разбросарешений СЛАУ при вариациях входных данных является в общемслучае NP-трудной [90, 91]. Иными словами, если мы не накладываемограничений на величину возмущений в данных, она требует длясвоего решения экспоненциально больших трудозатрат11 Читатель может проверить числовые данные этого примера в любой системекомпьютерной математики: Scilab, Matlab, Octave и т. п.

272 3. Численные методы линейной алгебры3.6 Прямые методы решения системлинейных алгебраических уравненийРешение систем линейных алгебраических уравнений вида⎧a 11 x 1 + a 12 x 2 +...+ a 1n x n = b 1 ,⎪⎨ a 21 x 1 + a 22 x 2 +...+ a 2n x n = b 2 ,. . .. . ... .. .⎪⎩a n1 x 1 +a n2 x 2 +...+a mn x n =b m ,(3.43)с коэффициентамиa ij и свободными членами b i , или, в краткой форме,Ax = b (3.44)с m×n-матрицей A = (a ij ) и m-вектором правой части b = (b i ), являетсяважной математической задачей. Она часто встречается как самапо себе, так и в качестве составного элемента в технологической цепочкерешения более сложных задач. Например, решение нелинейныхуравнений или систем уравнений часто сводится к последовательностирешений линейных уравнений (метод Ньютона).Следует отметить, что системы линейных алгебраических уравненийне всегда предъявляются к решению в каноническом виде (3.43).Это придаёт дополнительную специфику процессу решения подобныхзадач и иногда диктует выбор тех или иных методов решения.Пример 3.6.1 Пусть задана двумерная область D = [x 1 ,x 1 ]×[x 1 ,x 2 ],имеющая форму прямоугольника со сторонами, параллельными координатнымосям. Рассмотрим в ней численное решение дифференциальногоуравнения Лапласа∂ 2 u∂x 2 + ∂2 u1 ∂x 2 = 0. (3.45)2В математической физике дифференциальный оператор, применяемыйк неизвестной функции двух переменных u(x 1 ,x 2 ), обычно обозначаютсимволом «∆», так что само уравнение (3.45) в краткой форме имеетвид ∆u = 0.Уравнением Лапласа описывается, к примеру, распределение температурыстационарного теплового поля, потенциал электростатического

3.6. Прямые методы решения линейных систем 273поля или же потенциальное течение несживаемой жидкости. Для определенияконкретного решения этого уравнения задают ещё какие-либокраевые условия на границе расчётной области. Мы будем считать заданнымизначения искомой функции u(x 1 ,x 2 ) на границе прямоугольника:u(x 1 ,x 2 ) = f(x 2 ), u(x 1 ,x 2 ) = f(x 2 ), (3.46)u(x 1 ,x 2 ) = g(x 1 ), u(x 1 ,x 2 ) = g(x 1 ). (3.47)Рассматриваемую задачу называют задачей Дирихле для уравненияЛапласа.Рис. 3.12. Расчётная область для численного решения уравнения Лапласа.Станем решать задачу (3.45)–(3.47) с помощью конечно-разностногометода, в котором искомая функция заменяется своим дискретныманалогом, а производные в решаемом уравнении заменяются на разностныеотношения. Введём на области D равномерную прямоугольнуюсетку, и вместо функции u(x 1 ,x 2 ) непрерывного аргумента будемрассматривать её значения в узлах построенной сетки.Если обозначить через u ij значение искомой функции u в точкеx ij , то после замены вторых производных формулами (2.65) получимследующую систему соотношенийu i−1,j −2u ij +u i+1,jh 2 1+ u i,j−1 −2u ij +u i,j+1h 2 2= 0, (3.48)i = 1,2,...,m−1, j = 1,2,...,n−1, для внутренних узлов расчётной

274 3. Численные методы линейной алгебрыобласти. На границе области имеем условияu i0 = f i, u in = f i , (3.49)u 0j = g j, u mj = g j , (3.50)i = 1,2,...,m−1, j = 1,2,...,n−1. Соотношения (3.48) и (3.46)–(3.47)образуют, очевидно, систему линейных алгебраических уравнений относительнонеизвестных u ij , i = 1,2,...,m−1, j = 1,2,...,n−1, но онане имеет канонический вид (3.43), так как незвестные имеют двойныеиндексы. Конкретный вид (3.43), который получит решаемая системауравнений, зависит от способа выбора базиса в пространстве векторовнеизвестных, в частности, от способа перенумерации этих неизвестных,при котором мы образуем из них вектор с одним индексом.Ясно, что рассмотренный пример может быть сделан ещё более выразительнымв трёхмерном случае, когда нам необходимо численно решатьтрёхмерное уравнение Лапласа.Системы линейных алгебраических уравнний, аналогичные рассмотреннойв Примере 3.6.1, где матрица и вектор неизвестных не заданы вявном виде, будем называть системами в операторной форме. Не все изизложенных ниже методов решения СЛАУ могут быть непосредственноприменены к системам подобного вида.По характеру вычислительного алгоритма методы решения уравненийи систем уравнений традиционно разделяют на прямые и итерационные.В прямых методах искомое решение получается в результатевыполнения конечной последовательности действий, так что эти методынередко называют ещё конечными или даже точными. Напротив, витерационных методах решение достигается как предел некоторой последовательностиприближений, которая конструируется по решаемойсистеме уравнений.Одна из основных идей, лежащих в основе прямых методов длярешения систем линейных алгебраических уравнений, состоит в том,чтобы эквивалентными преобразованиями привести решаемую системук наиболее простому виду, из которого решение находится уже непосредственно.В качестве простейших могут выступать системы с диагональными,двухдиагональными, треугольными и т. п. матрицами. Чемменьше ненулевых элементов остаётся в матрице преобразованной системы,тем проще и устойчивее её решение, но, с другой стороны, темсложнее и неустойчивее приведение к такому виду. На практике обыч-

3.6. Прямые методы решения линейных систем 275но стремятся к компромиссу между этими взаимно противоположнымитребованиями, и в зависимости от целей, преследуемых при решенииСЛАУ, приводят её к диагональному (метод Гаусса-Йордана), двухдиагональному(см., к примеру, [65]) или треугольному виду. Мы, в основном,рассмотрим методы, основанные на приведении к треугольномувиду.Наконец, для простоты мы далее подробно разбираем случай системуравнений (3.43)–(3.44), в которых число неизвестных n равно числууравненийm, т. е. имеющих квадратнуюn×n-матрицу коэффициентов.3.6а Решение треугольных линейных системНапомним, что треугольными матрицами называют матрицы, укоторых все элементы ниже главной диагонали либо все элементы вышеглавной диагонали нулевые (так что и нулевые, и ненулевые элементыобразуют треугольники):⎛ ⎞ ⎛ ⎞× × ··· × × ×0× . . . × ×× × U =. .. . ., L =× × . . ⎜0.,⎟ ⎜⎝ × × ⎠ ⎝... .. ⎟ × ⎠× × × ··· × ×где крестиками «×» обозначены ненулевые элементы. В первом случаеговорят о верхней (или правой) треугольной матрице, а во втором— о нижней (или левой) треугольной матрице. Соответственно, треугольныминазываются системы линейных алгебраических уравнений,матрицы которых имеют треугольный вид — верхний или нижний.Рассмотрим для определённости линейную систему уравненийLx = b (3.51)с неособенной нижней треугольной матрицей L = (l ij ), так что l ij = 0приj > i иl ii ≠ 0 для всехi = 1,2,...,n. Её первое уравнение содержиттолько одну неизвестную переменную x 1 , второе уравнение содержитдве неизвестных переменных x 1 и x 2 , и т. д., так что в i-е уравнениевходят лишь переменные x 1 , x 2 , . . . , x i . Найдём из первого уравнениязначение x 1 и подставим его во второе уравнение системы, в котором врезультате останется всего одна неизвестная переменная x 2 . Вычислим

276 3. Численные методы линейной алгебрыx 2 и затем подставим известные значения x 1 и x 2 в третье уравнение,из которого определится x 3 . И так далее.Решение линейной системы (3.51) с нижней треугольной n×n-матрицейвыполняется по следующему простому алгоритмуDO FOR i = 1 TO n⎛x i ← ⎝ b i − ∑ j

3.6. Прямые методы решения линейных систем 277Пусть дана система линейных алгебраических уравнений⎧a 11 x 1 + a 12 x 2 +...+ a 1n x n = b 1 ,⎪⎨ a 21 x 1 + a 22 x 2 +...+ a 2n x n = b 2 ,⎪⎩.. . .. . .a n1 x 1 +a n2 x 2 +...+a mn x n =b m ,и относительно её коэффициета a 11 будем предполагать, что a 11 ≠ 0.Умножим первое уравнение системы на (−a 21 /a 11 ) и сложим со вторымуравнением. В результате коэффициент a 21 во втором уравнениизанулится, а получившаяся система будет совершенно равносильна исходной.Проделаем подобное преобразование с остальными — 3-м, 4-м и т. д.до n-го уравнениями системы, т. е. будем умножать первое уравнениена (−a i1 /a 11 ) и складывать с i-ым уравнением системы. В результатеполучим равносильную исходной систему линейных алгебраическихуравнений, в которой неизвестная переменная x 1 присутствует лишьв первом уравнении. Матрица получившейся СЛАУ станет выглядетьследующим образом:⎛⎞× × × ··· ×0 × × ··· ×0 × × . . . .,⎜ .⎝ . . . .. ⎟ . ⎠0 × × ··· ×где посредством «×» обозначены элементы, возможно, не равные нулю.Рассмотрим теперь в преобразованной системе уравнения со 2-гопо n-е. Они образуют квадратную (n−1) × (n−1)-систему линейныхуравнений, в которой неизвестная переменная x 1 уже не присутствуети которую можно решать отдельно, никак не обращаясь к первомууравнению исходной системы. Если элемент на месте (2,2) не сделалсяравным нулю, к этой системе можно заново применить вышеописаннуюпроцедуру исключения неизвестных. Её результатом будет обнулениеподдиагональных элементов 2-го столбца матрицы СЛАУ. И так далее.Выполнив (n − 1) шагов подобного процесса — для 1-го, 2-го, . . . ,(n − 1)-го столбцов матрицы данной системы, мы получим, в конце

278 3. Численные методы линейной алгебрыконцов, линейную систему с верхней треугольной матрицей, котораянесложно решается с помощью обратной подстановки, рассмотреннойвыше в §3.6а. Описанное преобразование системы линейных алгебраическихуравнений к равносильному треугольному виду называетсяпрямым ходом метода Гаусса, и его псевдокод выглядит следующимобразом:DO FOR j = 1 TO n−1DO FOR i = j +1 TO nr ij ← (−a ij /a jj )DO FOR k = j +1 TO na ik ← a ik +r ij a jkEND DO(3.53)END DOEND DOb i ← b i +r ij b jОн выражает процесс последовательного обнуления поддиагональныхэлементов j-го столбца матрицы системы, j = 1,2,...,n−1, и соответствующиепреобразования вектора правой части. Матрица системы приэтом приводится к верхнему треугольному виду. Далее следует обратныйход метода Гаусса для решения полученной верхней треугольнойсистемы, и он является процессом обратной подстановки из §3.6а:DO FOR i = n DOWNTO 1⎛ ⎞x i ← a ij x j⎠ / a ii⎝ b i − ∑ j>i, (3.54)END DOОн позволяет последовательно вычислить, в обратном порядке, искомыезначения неизвестных, начиная с n-ой. Отметим, что в псевдокоде

3.6. Прямые методы решения линейных систем 279(3.53) прямого хода метода Гаусса зануление поддиагональных элементовпервых столбцов уже учтено нижней границей внутреннего циклапо k, которая равна j +1.Помимо изложенной выше вычислительной схемы существует многодругих версий метода Гаусса. Весьма популярной является, к примеру,схема единственного деления. При выполнении её прямого ходасначала делят первое уравнение системы на a 11 ≠ 0, что даётx 1 + a 12a 11x 2 +···+ a 1na 11x n = b 1a 11. (3.55)Умножая затем уравнение (3.55) на a i1 и вычитая результат из i-гоуравнения системы для i = 2,3,...,n, добиваются обнуления поддиагональныхэлементов первого столбца. Затем процедура повторяется вотношении 2-го уравнения и 2-го столбца получившейся СЛАУ, и такдалее. Обратный ход совпадает с (3.54).Схема единственного деления совершенно эквивалентна алгоритму(3.53) и отличается от него лишь тем, что для каждого столбца делениев ней выполняется действительно только один раз, тогда каквсе остальные операции — это умножение и сложение. С другой стороны,уравнения преобразуемой системы в схеме единственного делениядополнительно масштабируются диагональными коэффициентами принеизвестных, и в некоторых случаях это бывает нежелательно.3.6в Матричная интерпретация метода ГауссаУмножение первого уравнения системы на r i1 = −a i1 /a 11 и сложениеего с i-ым уравнением могут быть представлены в матричном видекак умножение обеих частей системы Ax = b слева на матрицу⎛⎞100 1. . .. r i1 1,⎜⎝ . 1 ⎟⎠0 0 1которая отличается от единичной матрицы наличием одного дополнительногоненулевого элемента r i1 на месте (i,1). Исключение поддиа-

280 3. Численные методы линейной алгебрыгональных элементов первого столбца матрицы СЛАУ — это последовательноедомножение обеих частей этой системы слева на матрицы⎛10⎞ ⎛10⎞r 21 1 0 1 . 0 ... ,r 31 0 ..,⎜⎟⎝ . 1 ⎠ ⎜ .⎟⎝ . 1 ⎠0 0 1 0 0 1и так далее до⎛10⎞0 1 . . . ...⎜⎟⎝ 0 1 ⎠r n101Нетрудно убедиться, что умножение матриц выписанного выше видавыполняется по простому правилу:⎛10⎞ ⎛10⎞1 1 . r .. i1 . .. ·11⎜.⎝.. ⎟ ⎜. ⎠ ⎝ r .. ⎟0k1 ⎠1 0 1⎛=⎜⎝10⎞1 .r .. i1 .1.r .. ⎟k1 ⎠0 1

3.6. Прямые методы решения линейных систем 281Оно также остаётся верным в случае, когда у матриц-сомножителейна взаимнодополнительных местах в первом столбце присутствует болееодного ненулевого элемента. Следовательно, обнуление поддиагональныхэлементов первого столбца и соответствующие преобразованияправой части в методе Гаусса — это не что иное, как умножениеобеих частей СЛАУ слева на матрицу⎛10⎞r 21 1 E 1 =r 31 0 1. (3.56)⎜⎝. . .. ⎟⎠r n1 0 1Аналогично, обнуление поддиагональных элементов j-го столбцаматрицы СЛАУ и соответствующие преобразования правой части можноинтерпретировать как умножение системы слева на матрицу⎛1E j =⎜⎝⎞0. .. 1r j+1,j 1. (3.57).0 . .. ⎟⎠r nj 1В целом метод Гаусса представляется как последовательность умноженийобеих частей решаемой СЛАУ слева на матрицы E j вида (3.57),j = 1,2,...,n−1. При этом матрицей системы становится матрицаE n−1···E 2 E 1 A = U, (3.58)которая является верхней треугольной матрицей.Коль скоро все E j — нижние треугольные матрицы, их произведениетакже является нижним треугольным. Кроме того, всеE j неособенны(нижние треугольные с единицами по главной диагонали). Поэтомунеособенно и их произведение E n−1···E 2 E 1 . Вводя обозначениеL = ( E n−1···E 2 E 1) −1,

282 3. Численные методы линейной алгебрынетрудно понять, что L — нижняя треугольная матрица, для которойв силу (3.58) справедливоA = LU.Получается, что исходная матрица СЛАУ оказалась представленнойв виде произведения нижней треугольной L и верхней треугольной Uматриц. Это представление называют треугольным разложением матрицыили LU-разложением. 12Соответственно, преобразования матрицы A в прямом ходе методаГаусса можно трактовать как её разложение на нижний треугольныйL и верхний треугольный U множители. В результате исходная СЛАУпредставляется в равносильной формеL(Ux) = b,решение которой сводится к решению двух треугольных систем линейныхалгебраических уравнений{Ly = b,(3.59)Ux = yс помощью прямой и обратной подстановок соответственно.Отметим, что при реализации метода Гаусса на компьютере дляэкономии машинной памяти можно хранить треугольные сомножителиL и U на месте A, так как у L по диагонали стоят все единицы.3.6г Метод Гаусса с выборомведущего элементаИ в прямом, и в обратном ходе метода Гаусса встречаются операцииделения, которые не выполнимы в случае, когда делитель равеннулю. Тогда не может быть выполнен и метод Гаусса в целом. Этотраздел посвящен тому, как модифицировать метод Гаусса, чтобы онбыл применим для решения любых СЛАУ с неособенными матрицами.Ведущим элементом в методе Гаусса называют элемент матрицырешаемой системы, на который выполняется деление при исключении12 От английских слов lower (нижний) и upper (верхний). Нередко для обозначенияэтого же понятия можно встретить кальки с иностранных терминов — «LUфакторизация»и «LU-декомпозиция».

3.6. Прямые методы решения линейных систем 283поддиагональных элементов очередного столбца. 13 В алгоритме, описанномв §3.6б, ведущим всюду берётся фиксированный диагональныйэлемент a jj , вне зависимости от его значения, но желательно модифицироватьметод Гаусса так, чтобы ведущий элемент, по возможности,всегда был отличен от нуля. С другой стороны, при решении конкретныхСЛАУ, даже в случае a jj ≠ 0, более предпочтительным иногдаможет оказаться выбор другого элемента в качестве ведущего.Отметим, что любое изменение порядка уравнений в системе приводитк равносильной системе уравнений. Но при этом в матрице СЛАУпереставляются строки, так что она существенно меняется. Воспользуемсяэтим изменением для организации успешного выполнения методаГаусса.Назовём активной подматрицей j-го шага прямого хода методаГаусса подматрицу исходной матрицы СЛАУ, образованную последнимиn−j+1строками и столбцами. Именно эта подматрица подвергаетсяпреобразованиям на j-ом шаге прямого хода, тогда как первые j − 1строк и столбцов остаются уже неизменными.{j−1{j−100активнаяподматрицаj-ый столбецРис. 3.13. Структура матрицы СЛАУ перед началомj-го шага прямого хода метода Гаусса.Частичным выбором ведущего элемента на j-ом шаге прямого хо-13 Иногда в русской математической литературе его назыают главным элементом.

284 3. Численные методы линейной алгебрыда метода Гаусса называют его выбор, как максимального по модулюэлемента из всех элементов j-го столбца, лежащих не выше диагонали,и сопровождаемый соответствующей перестановкой строк матрицыи компонент правой части (т. е. уравнений СЛАУ). Максимальным помодулю, а не просто ненулевым, ведущий элемент выбирается для того,чтобы обеспечить наибольшую численную устойчивость алгоритмав условиях вычислений с конечной точностью.Предложение 3.6.1 Метод Гаусса с частичным выбором ведущегоэлемента всегда выполним для систем линейных алгебраических уравненийс неособенными квадратными матрицами.Доказательство. Преобразования прямого хода метода Гаусса сохраняютсвойство определителя матрицы системы быть неравным нулю.Перед началом j-го шага метода Гаусса эта матрица имеет блочнотреугольныйвид, изображённый на Рис. 3.13, и поэтому её определительравен произведению определителей ведущей подматрицы порядка(j−1) и активной подматрицы порядка n−j+1. Следовательно, активнаяподматрица имеет ненулевой определитель, т. е. в первом её столбцеобязан найтись хотя бы один ненулевой элемент. Максимальный по модулюиз этих ненулевых элементов также ненулевой, и его мы делаемведущим. Как следствие, прямой ход метода Гаусса выполним.Обратный ход также не встречает деления на нуль, поскольку полученнаяв прямом ходе верхняя треугольная матрица неособенна, т. е.все её диагональные элементы должны быть ненулевыми. Каково матричное представление метода Гаусса с выбором ведущегоэлемента? Введём элементарные матрицы перестановок⎛⎞1. .. 0 ··· 1← i-ая строка⎜ 1 ⎟P =⎜⎝. .. ....11 ··· 0. ⎟ .. ⎠1← j-ая строка(3.60)

3.6. Прямые методы решения линейных систем 285(называемые также матрицами транспозиции), которые получаютсяиз единичной матрицы перестановкой двух её строк (или столбцов) сномерами i и j. Умножение на такую матрицу слева приводит к перестановкеi-ой и j-ой строк, а умножение справа — к перестановке i-го иj-го столбцов. Тогда для метода Гаусса с частичным выбором ведущегоэлемента справедливо следующее матричное представление(E n−1 P n−1 )···(E 1 P 1 )A = U,где E j — матрицы преобразований, введённые в предыдущем разделе,а P 1 , P 2 , . . . , P n−1 — элементарные матрицы перестановок, при помощикоторых выполняется необходимая перестановка строк на 1-м, 2-м, . . . ,(n−1)-м шагах прямого хода метода Гаусса.Несмотря на то, что метод Гаусса с частичным выбором ведущегоэлемента теоретически всегда спасает положение, на практике длянекоторых «плохих» СЛАУ он может работать не очень хорошо. Этопроисходит в случае, когда ведущий элемент оказывается малым, ипотому коэффициенты r ij из прямого метода Гаусса (3.53) получаютсябольшими по абсолютной величине. По этой причине для обеспеченияустойчивости вычислительного процесса по методу Гаусса иногда имеетсмысл выбирать ведущий элемент более тщательно, чем это делаетсяпри описанном выше частичном выборе.Заметим, что ещё одним простым способом равносильного преобразованиясистемы уравнений является перенумерация переменных. Ейсоответствует перестановка столбцов матрицы, тогда как вектор правыхчастей при этом неизменен. Полным выбором ведущего элементаназывают способ его выбора, как максимального по модулю элементаиз всей активной подматрицы (а не только из её первого столбца,как было при частичном выборе), и сопровождаемый соответствующейперестановкой строк и столбцов матрицы и компонент правой части.Метод Гаусса с полным выбором выдущего элемента имеет следующеематричное представление(E n−1 ˇPn−1 )···(E 1 ˇP1 )AˆP 1··· ˆP n−1 = U,где ˇP i — элементарные матрицы перестановок, при помощи которыхвыполняется перестановка строк, ˆPj — элементарные матрицы перестановок,с помощью которых выполняется перестановка столбцов насоответствующих шагах прямого хода метода Гаусса.Напомним, что матрицей перестановок называется матрица, получающаясяиз единичной матрицы перестановкой произвольного числа

286 3. Численные методы линейной алгебрыеё строк (или столбцов). Матрица перестановок может быть представленакак произведение нескольких элементарных матриц перестановоквида (3.60) (см. подробности, к примеру, в [7]).Теорема 3.6.1 Для неособенной матрицы A существуют матрицыперестановок ˇP и ˆP, такие чтоˇPAˆP = LU,где L, U — нижняя и верхняя треугольные матрицы, причём диагональнымиэлементами в L являются единицы. В этом представленииможно ограничиться лишь одной из матриц ˇP или ˆP.Этот результат показывает, что можно один раз переставить строкии столбцы в исходной матрице и потом уже выполнять LU-разложениепрямым ходом метода Гаусса без какого-либо специального выбора ведущегоэлемента. Доказательство теоремы можно найти в [11, 13, 36].3.6д Существование LU-разложенияВ методе Гаусса с выбором ведущего элемента перестановка строки столбцов приводит к существенному изменению исходной матрицысистемы, что не всегда желательно. Естественно задаться вопросом одостаточных условиях реализуемости метода Гаусса без перестановкистрок и столбцов. Этот вопрос тесно связан с условиями полученияLU-разложения матрицы посредством прямого хода «немодифицированного»метода Гаусса, изложенного в §3.6б.Теорема 3.6.2 Если A = (a ij ) — квадратная n×n-матрица, у которойвсе ведущие миноры порядков от 1 до (n − 1) отличны от нуля,т.е.a 11 ≠ 0,( )a11 adet 12≠ 0, ... ,a 21 a 22⎛⎞a 11 a 12 ... a 1,n−1a 21 a 22 ... a 2,n−1det⎜⎝... .. .⎟⎠ ≠ 0.a n−1,1 a n−1,2 ... a n−1,n−1

3.6. Прямые методы решения линейных систем 287то для A существует LU-разложение, т.е. представление её в видеA = LU— произведения нижней треугольной n×n-матрицы L и верхней треугольнойn ×n-матрицы U. Это LU-разложение для A единственнопри условии, что диагональными элементами в L являются единицы.Доказательство проводится индукцией по порядку n матрицы A.Если n = 1, то утверждение теоремы очевидно. Тогда искомые матрицыL = (l ij ) и U = (u ij ) являются просто числами, и достаточновзять l 11 = 1 и u 11 = a 11 .Пусть теорема верна для матриц размера (n − 1) × (n − 1). Тогдапредставим n×n-матрицу A в блочном виде:⎛ ⎞a 11 a 12 ... a 1n( )a 21 a 22 ... a 2nA = ⎜⎝... .. .⎟⎠ = An−1 z,v a nna n1 a n2 ... a nnгде A n−1 — ведущая (n−1)×(n−1)-подматрица A,z — вектор-столбец размера n−1,v — вектор-строка размера n−1,такие что⎛ ⎞a 1na 2nz = ⎜ ⎟⎝ . ⎠ , v = ( )a n1 a n2 ... a n,n−1 .a n−1,nТребование разложения A на треугольные множители диктует равенство( ) ( ) ( )An−1 z Ln−1 0 Un−1 yA = = · ,v a nn x l nn 0 u nnгде L n−1 ,U n−1 — (n−1)×(n−1)-матрицы,x — вектор-строка размера n−1,y — вектор-столбец размера n−1.

288 3. Численные методы линейной алгебрыСледовательно, используя правила перемножения матриц по блокам,необходимо имеемA n−1 = L n−1 U n−1 , (3.61)z = L n−1 y, (3.62)v = xU n−1 , (3.63)a nn = xy +l nn u nn . (3.64)Первое из полученных соотношений выполнено в силу индукционногопредположения, причём оно должно однозначно определять L n−1и U n−1 , если потребовать по диагонали в L n−1 единичные элементы.Далее, по условию теоремы detA n−1 ≠ 0, а потому матрицы L n−1 иU n−1 также должны быть неособенны. По этой причине системы линейныхуравнений относительно x и y —xU n−1 = v и L n−1 y = z,которыми являются равенства (3.62)–(3.63), однозначно разрешимы.Стоит отметить, что именно в этом месте доказательства неявно используетсяусловие теоремы, которое требует, чтобы в матрице A всеведущие миноры порядков, меньших чем n, были ненулевыми.Найдя из (3.62)–(3.63), векторы x и y, мы сможем из соотношения(3.64) восстановитьl nn и u nn . Если дополнительно потребоватьl nn = 1,то значение u nn находится однозначно и равно (a nn −xy). В Теореме 3.6.2 не требуется неособенность всей матрицы A. Издоказательства нетрудно видеть, что при наложенных на A условияхеё LU-разложение будет существовать даже при detA = 0, но тогда вматрице U последний элемент u nn будет равен нулю.В связи с матрицами, имеющими ненулевые ведущие миноры, полезноследующееОпределение 3.6.1 Квадратная n×n-матрица A = (a ij ) называетсястрого регулярной (или строго неособенной), если все её ведущиеминоры, включая и определитель самой матрицы, отличны от нуля,т.е.( )a11 aa 11 ≠ 0, det 12≠ 0, ... , detA ≠ 0.a 21 a 22

3.6. Прямые методы решения линейных систем 289Теорема 3.6.3 Пусть A — квадратная неособенная матрица. Для существованияеё LU-разложения необходимо и достаточно, чтобы онабыла строго регулярной.Доказательство. Достаточность мы доказали в Теореме 3.6.2.Для доказательства необходимости привлечём блочное представлениетреугольного разложения A = LU. Задавая разные размеры блоковв матрицах A, L и U, получим равенства, аналогичные (3.61). Ониозначают, что любая ведущая подматрица в A есть произведение ведущихподматриц соответствующих размеров из L и U. Но L и U —неособенные треугольные матрицы, так что все их ведущие подматрицытакже неособенны. Отсюда можно заключить неособенность всехведущих подматриц в A, т. е. её строгую регулярность. {j{j00← j-ая строка↑ j-ый столбецРис. 3.14. Структура матрицы СЛАУ перед началомj-го шага прямого хода метода Гаусса: другой вид.В формулировке Теоремы 3.6.2 ничего не говорится о том, реализуемли метод Гаусса для соответствующей системы линейных алгебраическихуравнений. Но нетрудно понять, что в действительности требуемоеТеоремой 3.6.2 условие отличия от нуля ведущих миноров в матрицеСЛАУ является достаточным для выполнимости рассмотренногов §3.6б варианта метода Гаусса.

290 3. Численные методы линейной алгебрыПредложение 3.6.2 Если в системе линейных алгебраических уравненийAx = b матрица A — квадратная и строго регулярная, то методГаусса реализуем в применении к этой системе без перестановкистрок и столбцов.Доказательство. В самом деле, к началу j-го шага прямого хода, накотором предстоит обнулить поддиагональные элементы j-го столбцаматрицы СЛАУ, её ведущей j × j-подматрицей является треугольнаяматрица, которая получена из исходной ведущей подматрицы преобразованиямипредыдущих j − 1 шагов метода Гаусса (см. Рис. 3.14).Эти преобразования — линейное комбинирование строк — не изменяютсвойство определителя матрицы быть неравным нулю. Поэтому отличиеот нуля какого-либо ведущего минора влечёт отличие от нуля всехдиагональных элементов ведущей треугольной подматрицы преобразованнойматрицы СЛАУ. В частности, при этом всегда a jj ≠ 0, так чтоделение на этот элемент в алгоритмах (3.53) и (3.54) выполнимо. В общем случае проверка как условий Теоремы 3.6.2, так и строгойрегулярности матрицы являются весьма непростыми, посколькувычисление ведущих миноров матрицы требует немалых трудозатрат,и, по существу, ничуть не проще самого метода Гаусса. Тем не менее,условия Теоремы 3.6.2 заведомо выполнены, к примеру, в двух важныхчастных случаях:• для СЛАУ с положительно определёнными матрицами(в силу известного критерия Сильвестера),• если матрица СЛАУ имеет диагональное преобладание(см. признак Адамара, §3.2е).3.6е Разложение ХолесскогоНапомним, что квадратнаяn×n-матрица называется положительноопределённой, если 〈Ax,x〉 > 0 для любых n-векторов x. Ясно, чтоположительно-определённые матрицы неособенны.Теорема 3.6.4 Матрица A является симметричной положительноопределённой тогда и только тогда, когда существует неособеннаянижняя треугольная матрица C, такая что A = CC ⊤ . При этомматрица C из выписанного представления единственна.

3.6. Прямые методы решения линейных систем 291Определение 3.6.2 Представление A = CC ⊤ называется разложениемХолесского, а нижняя треугольная матрица C — множителемХолесского для A.Доказательство. Пусть A = CC ⊤ и C неособенна. Тогда неособеннаматрица C ⊤ , и для любого ненулевого вектора x ∈ R n имеем〈Ax,x〉 = (Ax) ⊤ x = ( CC ⊤ x ) ⊤x= x ⊤ CC ⊤ x = (C ⊤ x) ⊤ (C ⊤ x) = ‖C ⊤ x‖ 2 2 > 0,поскольку C ⊤ x ≠ 0. Кроме того, A симмметрична по построению. Такимобразом, она является симметричной положительно определённойматрицей. 14Обратно, пусть матрица A симметрична и положительно определена.В силу критерия Сильвестера все её ведущие миноры положительны,а потому на основании Теоремы 3.6.2 о существовании LUразложениямы можем заключить, что A = LU для некоторых неособенныхнижней треугольной матрицы L = (l ij ) и верхней треугольнойматрицы U. Мы дополнительно потребуем, чтобы все диагональныеэлементы l ii в L были единицами, так что это разложение будет дажеоднозначно определённым.Так какLU = A = A ⊤ = ( LU ) ⊤= U ⊤ L ⊤ ,тои далееU = L −1 U ⊤ L ⊤ , (3.65)U ( L ⊤) −1= L −1 U ⊤ .Слева в этом равенстве стоит произведение верхних треугольных матриц,а справа — произведение нижних треугольных. Равенство, следовательно,возможно лишь в случае, когда левая и правая его части— это диагональная матрица, которую мы обозначим через D :=diag{d 1 ,d 2 ,...,d n }. Тогда из (3.65) вытекаетU = L −1 U ⊤ L ⊤ = DL ⊤ ,14 Это рассуждение никак не использует факт треугольности C и на самом делеобосновывает более общее утверждение: произведение матрицы на её транспонированнуюявляется симметричной положительно определённой матрицей.

292 3. Численные методы линейной алгебрыи потомуA = LU = LDL ⊤ . (3.66)Ясно, что в силу неособенностиL и U матрица D также неособенна,так что по диагонали у неё стоят ненулевые элементы d i , i = 1,2,...,n.Более того, мы покажем, что все d i положительны.Из (3.66) следует, что D = L −1 A(L ⊤ ) −1 = L −1 A(L −1 ) ⊤ . Следовательно,для любого ненулевого вектора x〈Dx,x〉 = x ⊤ Dx = x ⊤ L −1 A(L −1 ) ⊤ x = ( (L −1 ) ⊤ x ) ⊤A((L −1 ) ⊤ x ) > 0,так как (L −1 ) ⊤ x ≠ 0 в силу неособенности матрицы (L −1 ) ⊤ . Инымисловами, диагональная матрица D положительно определена одновременнос A. Но тогда её диагональные элементы обязаны быть положительными,так как в противном случае, если предположить, что d i ≤ 0для некоторого i, то, беря вектор x равным i-му столбцу единичнойматрицы, получим〈Dx,x〉 = (Dx) ⊤ x = x ⊤ Dx = d i ≤ 0.Это противоречит положительной определённости матрицы D.Как следствие, из диагональных элементов матрицы D можно извлекатьквадратные корни. Если обозначить получающуюся при этомдиагональную матрицу через √ D := diag{ √ d 1 , √ d 2 ,..., √ d n }, то окончательноможем взять C = L √ D. Это представление для множителяХолесского, в действительности, единственно, так как по A при сделанныхнами предположениях единственным образом определяется нижняятреугольная матрица L, а матричные преобразования, приведшиек формуле (3.66) и её следствиям, обратимы и также дают однозначноопределённый результат.3.6ж Метод ХолесскогоДоказанная теорема мотивирует прямой метод решения систем линейныхуравнений, который аналогичен методу (3.59) на основе LUразложения.Именно, если разложение Холесского уже найдено, то решениеисходной СЛАУ Ax = b, равносильной CC ⊤ x = b, сводится крешению двух систем линейных уравнений с треугольными матрицами:{ Cy = b,(3.67)C ⊤ x = y.

3.6. Прямые методы решения линейных систем 293Для решения первой системы применяем прямую подстановку, а длярешения второй системы — обратную.Как конструктивно найти разложение Холесского?Выпишем равенство A = CC ⊤ , определяющее множитель Холесского,в развёрнутой форме с учётом симметричности A:⎛⎞a 11a 21 a 22▽⎜⎝... ..⎟⎠ = (3.68)a n1 a n2 ... a nn⎛ ⎞ ⎛ ⎞c 11c c 21 c 22 011 c 21 ··· c n1c 22 ··· c n2⎜ . ⎝ . . .. ⎟ ⎜ . ⎠·⎝ .. ⎟ . ⎠c n1 c n2 ··· c nn 0 , (3.69)c nn(где «▽» означает симметричные относительно главной диагонали элементыматрицы, которые несущественны в последующих рассмотрениях).Можно рассматриваеть это равенство как систему уравнений относительнонеизвестных переменных c 11 , c 21 , c 22 , . . . , c nn — элементовнижнего треугольника множителя Холесского. Всего их 1+2+...+n =12n(n+1) штук, и для их определения имеем столько же соотношений,вытекающих в этом матричном равенстве из выражений для элементовa ij , i ≥ j, которые образуют нижний треугольник симметричнойматрицы A = (a ij ).В поэлементной форме система уравнений (3.68) имеет вид, определяемыйправилом умножения матриц и симметричностью A:a ij =j∑c ik c jk при i ≥ j. (3.70)k=1Выписанные соотношения образуют, фактически, двумерный массив,но их можно линейно упорядочить таким образом, что система уравнений(3.70) получит специальный вид (очень напоминающий треугольныеСЛАУ), и далее она может быть решена с помощью процесса, сходногос прямой подстановкой для труегольных СЛАУ (см. §3.6а).

294 3. Численные методы линейной алгебрыВ самом деле, (3.70) равносильно{c2j1 +c 2 j2 +...+c2 j,j−1 +c2 jj = a jj,c i1 c j1 +c i2 c j2 +...+c ij c jj = a ij , i = j +1,...,n,j = 1,2...,n,(3.71)если выписывать выражения для элементов a ij по столбцам матрицыA, начиная в каждом столбце с диагонального элемента a jj и идя сверхувниз до a jn . В подробной записипри j = 1{c211 = a 11 ,c i1 c 11 = a i1 ,i = 2,3,...,n,при j = 2{c221 +c 2 22 = a 22,c i1 c 21 +c i2 c 22 = a i2 ,i = 3,4,...,n,при j = 3{c231 +c 2 32 +c2 33 = a 33,c i1 c 31 +c i2 c 32 +c i3 c 33 = a i3 ,i = 4,5,...,n,··· ··· .Получается, что в уравнениях для j-го столбца множителя Холесскогоприсутствуют все элементыj-го и предшествующих столбцов, но из нихреально неизвестными к моменту обработки j-го столбца (j-ой группыуравнений) являются только (n−j+1) элементов именно j-го столбца,которые к тому же выражаются несложным образом через известныеэлементы.В целом выписанная система уравнений действительно имеет оченьспециальный вид, пользуясь которым можно находить элементы c ijматрицыC последовательно друг за другом по столбцам (см. Рис. 3.15).

3.6. Прямые методы решения линейных систем 295⎛C =⎜⎝⎞↓0↓ ↓ . ↓ ↓ ..,. ... . .. ⎟ ↓ ⎠ ··· ×Рис. 3.15. Схема определения элементов в методе Холесского.Более точно,при j = 1{c11 = √ a 11 ,c i1 = a i1 /c 11 ,i = 2,3,...,n,при j = 2{c22 = √ a 22 −c 2 21 ,c i2 = ( a i2 −c i1 c 21)/c22 ,i = 3,4,...,n,при j = 3{c33 = √ a 33 −c 2 31 −c2 32 ,c i3 = ( a i3 −c i1 c 31 −c i2 c 32)/c33 ,i = 4,5,...,n,и так далее для остальных j. Псевдокод этого процесса выглядит следующимобразом:DO FOR j = 1 TO n∑j−1c jj ← √ ajj −k=1c 2 jkDO FOR i = j +1 TO n( )∑j−1/c ij ← a ij − c ik c jk cjjEND DOEND DOk=1(3.72)

296 3. Численные методы линейной алгебрыЕсли A — симметричная положительно определённая матрица, то всилу Теоремы 3.6.4 система (3.71) обязана иметь решение, и этот алгоритмуспешно прорабатывает до конца, находя его. Если же матрицаA не является положительно определённой, то алгоритм (3.72) аварийнопрекращает работу при попытке извлечь корень из отрицательногочисла либо разделить на нуль. Вообще, запуск алгоритма (3.72) — этосамый экономичный способ проверки положительной определённостисимметричной матрицы.Метод решения СЛАУ, основанный на разложении Холесского и использующийсоотношения (3.67) и алгоритм (3.72), называют методомХолесского. Он был предложен в 1910 году А.-Л. Холесским в неопубликованнойрукописи, которая, тем не менее, сделалась широко известнойво французской геодезической службе, где решались такие системыуравнений. Позднее метод неоднократно переоткрывался, и потомуиногда в связи с ним используются также термины «метод квадратногокорня» или «метод квадратных корней», данные другими его авторами.Метод Холесского можно рассматривать как специальную модификациюметода Гаусса, которая требует вдвое меньше времени и памятиЭВМ, чем обычный метод Гаусса в общем случае. Замечательнымсвойством метода Холесского является также то, что обусловленностьмножителей Холесского, вообще говоря, является лучшей, чем у матрицыисходной СЛАУ: она равна корню квадратному из обусловленностиисходной матрицы СЛАУ (это следует из самого разложения Холесского).То есть, в отличие от обычного метода Гаусса, треугольныесистемы линейных уравнений из (3.67), к решению которых сводитсязадача, менее чувствительны к ошибкам, чем исходная линейная система.В следующем пункте мы увидим, что подобную ситуацию следуетрассматривать как весьма нетипичную.Если при реализации метода Холесского использовать комплекснуюарифметику, то извлечение квадратного корня можно выполнятьвсегда, и потому такая модификация применима к симметричным матрицам,которые не являются положительно определёнными. При этоммножители Холесского становяться комплексными треугольными матрицами.Другой популярный способ распространения идеи метода Холесскогона произвольные симметричным матрицы состоит в том, чтобы ограничитьсяразложением (3.66), которое называется LDL-разложениемматрицы. Если исходная матрица не является положительно опреде-

3.7. Методы на основе ортогональных преобразований 297лённой, то диагональными элементами в матрице D могут быть отрицательными.Но LDL-разложение столь же удобно для решения системлинейных алгебраических уравнений, как и рассмотренные ранее треугольныеразложения. Детали этих построений читатель может найти,к примеру, в [11, 15, 43, 67].Отметим также, что существует возможность другой организациивычислений при решении системы уравнений (3.70), когда неизвестныеэлементы c 11 , c 21 , c 22 , . . . , c nn последовательно находятся по строкаммножителя Холесского, а не по столбцам. Этот алгоритм называетсясхемой окаймления [15], и он по своим свойствам примерно эквивалентенрассмотренному выше алгоритму (3.72).3.7 Прямые методы на основеортогональных преобразований3.7а Число обусловленностии матричные преобразованияПусть матрицаAумножается на матрицуB. Как связано число обусловленностипроизведения AB с числами обусловленности исходныхсомножителей A и B?Справедливои поэтому‖AB‖ ≤ ‖A‖‖B‖,∥ ∥ ∥(AB)−1 = ∥B −1 A −1∥ ∥ ≤ ‖A −1 ‖‖B −1 ‖,cond(AB) = ∥ ∥ (AB)−1 ∥ ∥ ‖AB‖ ≤ condA·condB. (3.73)С другой стороны, еслиC = AB, тоA = CB −1 , и в силу доказанногонеравенстваcond(A) ≤ cond(C)·cond(B −1 ) = cond(AB)·cond(B),коль скоро cond(B −1 ) = cond(B). Поэтомуcond(AB) ≥ cond(A)/cond(B).

298 3. Численные методы линейной алгебрыАналогичным образом из B = CA −1 следуетcond(AB) ≥ cond(B)/cond(A).Объединяя полученные неравенства, в целом получаем оценку{ } cond(A)cond(AB) ≥ maxcond(B) , cond(B). (3.74)cond(A)Ясно, что её правая часть не меньше 1.Неравенства (3.73)–(3.74) кажутся грубыми, но они достижимы. Всамом деле, пустьA—неособенная симметричная матрица с собственннымизначениями λ 1 , λ 2 , . . . и спектральным числом обусловленности,равным (стр. 265)cond 2 (A) = max i|λ i (A)|min i |λ i (A)| .У матрицы A 2 собственные векторы, очевидно, совпадают с собственнымивекторами матрицы A, а собственные значения равны λ 2 1, λ 2 2, . . . .Как следствие, числом обусловленности матрицы A 2 становитсяcond 2 (A) = max i(λ i (A)) 2min i (λ i (A)) 2 = max i|λ i (A)| 2min i |λ i (A)| 2 =( maxi |λ i (A)|min i |λ i (A)|и в верхней оценке (3.73) получаем равенство. Совершенно сходным образомможно показать, что для спектрального числа обусловленностиоценка (3.73) достигается также на произведениях вида A ⊤ A.Нижняя оценка (3.74) достигается, к примеру, при B = A −1 длячисел обусловлености, порождённых подчинёнными матричными нормами.Практически наиболее важной является верхняя оценка (3.73), иона показывает, в частности, что при преобразованиях и разложенияхматриц число обусловленности может существенно расти. Рассмотрим,к примеру, решение системы линейных алгебраических уравненийAx = b методом Гаусса в его матричной интерпретации. Обнуление поддиагональныхэлементов первого столбца матрицы A — это умножениеисходной СЛАУ слева на матрицу E 1 , имеющую вид (3.56), так что мыполучаем систему(E 1 A)x = E 1 b (3.75)с матрицей E 1 A, число обусловленности которой оценивается какcond(E 1 A) ≤ cond(E 1 )cond(A).) 2,

3.7. Методы на основе ортогональных преобразований 299Перестановка строк или столбцов матрицы, выполняемая для поискаведущего элемента, может незначительно изменить эту оценку в сторонуувеличения, так как матрицы перестановок ортогональны и имеютнебольшие числа обусловленности. Далее мы обнуляем поддиагональныеэлементы второго, третьего и т. д. столбцов матрицы системы(3.75), умножая её слева на матрицы E 2 , E 3 , . . . , E n−1 вида (3.57). Врезультате получаем верхнюю треугольную систему линейных уравненийUx = y,в которой U = E n−1 ...E 2 E 1 A, y = E n−1 ...E 2 E 1 b, и число обусловленностиматрицы U оценивается сверху какcond(U) ≤ cond(E n−1 )·...·cond(E 2 )·cond(E 1 )·cond(A). (3.76)Если E j отлична от единичной матрицы, то cond(E j ) > 1, причёмнесмотря на специальный вид матриц E j правая и левая части неравенства(3.76) могут отличаться не очень сильно (см. примеры ниже).Как следствие, обусловленность матриц, в которые матрица A исходнойСЛАУ преобразуется на промежуточных шагах прямого хода методаГаусса, а также обусловленность итоговой верхней треугольнойматрицы U могут быть существенно хуже, чем у матрицы A.Пример 3.7.1 Для 2×2-матрицы (3.10)A =( ) 1 23 4число обусловленности равно cond 2 (A) = 14.93. Выполнение для неёпреобразований прямого хода метода Гаусса приводит к матрицеà =( ) 1 2,0 −2число обусловленности которой cond 2 (Ã) = 4.27, т. е. уменьшается.С другой стороны, для матрицы (3.11)B =( 1 2−3 4),

300 3. Численные методы линейной алгебрычисло обусловленностиcond 2 (B) = 2.62. Преобразования метода Гауссапревращают её в матрицу( ) 1 2˜B = ,0 10для которой число обусловленности уже равно cond 2 (˜B) = 10.4, т. е.существенно возрастает.Числовые данные этого примера читатель может проверить с помощьюсистем компьютерной математики, таких как Scilab, Matlab иим аналогичных.Фактически, ухудшение обусловленности и, как следствие, всё б´ольшаячувствительность решения к погрешностям в данных — это дополнительнаяплата за приведение матрицы (и всей СЛАУ) к удобному длярешения виду. Можно ли уменьшить эту плату? И если да, то как?Хорошей идеей является привлечение для матричных преобразованийортогональных матриц, которые имеют наименьшую возможнуюобусловленность в спектральной норме (и небольшие числа обусловленнстив других нормах). Умножение на такие матрицы, по крайнеймере, не будет ухудшать обусловленность получающихся систем линейныхуравнений и устойчивость их решений к ошибкам вычислений.3.7б QR-разложение матрицОпределение 3.7.1 Для матрицы A представление A = QR в видепроизведения ортогональной матрицы Q и правой треугольной матрицыR называется QR-разложением.По поводу этого определения следует пояснить, что правая треугольнаяматрица — это то же самое, что верхняя треугольная матрица,которую мы условились обозначать U. Другая терминология обусловленаздесь историческими причинами, и частичное её оправданиесостоит в том, что QR-разложение матрицы действительно «совсемдругое», нежели LU-разложение. Впрочем, в математической литературеможно встретить тексты, где LU-разложение матрицы называется«LR-разложением» (от английских слов left-right), т. е. разложением на«левую и правую треугольные матрицы».Теорема 3.7.1 QR-разложение существует для любой квадратнойматрицы.

3.7. Методы на основе ортогональных преобразований 301Доказательство. Если A — неособенная матрица, то, как было показанопри доказательстве Теоремы 3.6.4, A ⊤ A — симметричная положительноопределённая матрица. Следовательно, существует её разложениеХолесскогоA ⊤ A = R ⊤ R,где R — правая (верхняя) треугольная матрица. При этомR, очевидно,неособенна. Тогда матрица Q := AR −1 ортогональна, посколькуQ ⊤ Q = ( AR −1) ⊤AR −1 = (R −1 ) ⊤ A ⊤ AR −1= (R −1 ) ⊤( R ⊤ R ) R −1 = ( (R −1 ) ⊤ R ⊤)( RR −1) = I.Следовательно, в целом A = QR, где определённые выше сомножителиQ и R удовлетворяют условиям теоремы.Рассмотрим теперь случай особенной матрицы A. Известно, чтолюбую особенную матрицу можно приблизить последовательностьюнеособенных. Например, это можно сделать с помощью матриц A k =A + 1 kI, начиная с достаточно больших натуральных номеров k. Приэтом собственные значения A k суть λ(A k ) = λ(A)+ 1 k, и если величина1kменьше расстояния от нуля до ближайшего ненулевого собственногозначения матрицы A, то A k неособенна.В силу уже доказанного для всех матриц из последовательности{A k } существуют QR-разложения:A k = Q k R k ,где все Q k ортогональны, а R k — правые треугольные матрицы. В качествеортогонального разложения для A можно было бы взять пределыматриц Q k и R k , если таковые существуют. Но сходятся ли куданибудьпоследовательности этих матриц при k → ∞, когда A k → A?Ответ на это вопрос может быть отрицательным, а потому приходитсядействовать более тонко, выделяя из {A k } подходящую подпоследовательность.Множество ортогональных матриц компактно, поскольку являетсязамкнутым (прообраз единичной матрицы I при непрерывном отображенииX ↦→ X ⊤ X) и ограничено (‖X‖ 2 ≤ 1). Поэтому из последовательностиортогональных матриц {Q k } можно выбрать сходящуюсяподпоследовательность {Q kl } ∞ l=1 . Ей соответствуют подпоследовательности{A kl } и {R kl }, причём первая из них также сходится, как подпоследовательностьсходящейся последовательности {A k }.

302 3. Численные методы линейной алгебрыОбозначим Q := lim l→∞ Q kl , и это также ортогональная матрица.Тогда ( )lim Q⊤klA kl = lim Q ⊤ kl→∞ l→∞ l · lim A kl = Q ⊤ A = Rl→∞— правой треугольной матрице, поскольку все Q ⊤ k lA kl были правымитреугольными матрицами R kl . Таким образом, в целом снова A = QRс ортогональной Q и правой треугольной R, как и требовалось. Если известно QR-разложение матрицы A, то решение исходнойСЛАУ, равносильной(QR)x = bсводится к решению треугольной системы линейных алгебраическихуравненийRx = Q ⊤ b. (3.77)Ниже в §3.17е мы встретимся и с другими важными применениями QRразложенияматриц — при численном решении проблемы собственныхзначений.Хотя для неособенных матриц доказательство Теоремы 3.7.1 носитконструктивный характер, оно существенно завязано на разложениеХолесского матрицы A ⊤ A, а потому находить с его помощьюQR-разложение не очень удобно. На практике основным инструментомполучения QR-разложения является техника, использующая так называемыематрицы отражения и матрицы вращения, описанию которыхпосвящены следующие разделы книги.3.7в Ортогональные матрицы отраженияОпределение 3.7.2 Для вектора u ∈ R n с единичной евклидовой нормой,‖u‖ 2 = 1, матрица H = H(u) = I −2uu ⊤ называется матрицейотражения или матрицей Хаусхолдера. Вектор u называется порождающимили вектором Хаусхолдера для матрицы отражения H(u).Предложение 3.7.1 Матрицы отражения являются симметричнымиортогональными матрицами. Кроме того, для матрицы H(u)порождающий вектор u является собственным вектором, отвечающимсобственному значению (−1), т.е. H(u)·u = −u;любой вектор v ∈ R n , ортогональный порождающему векторуu, является собственным вектором, отвечающим собственномузначению 1, т.е. H(u)·v = v.

3.7. Методы на основе ортогональных преобразований 303Доказательство проводится непосредственной проверкой.Симметричность матрицы H(u):Ортогональность:H ⊤ = ( I −2uu ⊤) ⊤= I ⊤ − ( 2uu ⊤) ⊤= I −2 ( u ⊤) ⊤u ⊤ = I −2uu ⊤ = H.H ⊤ H = ( I −2uu ⊤)( I −2uu ⊤)= I −2uu ⊤ −2uu ⊤ +4uu ⊤ uu ⊤= I −4uu ⊤ +4u(u ⊤ u)u ⊤ = I, так как u ⊤ u = 1.Собственные векторы и собственные значения:H(u)·u = ( I −2uu ⊤) u = u−2u(u ⊤ u) = u−2u = −u;H(u)·v = ( I −2uu ⊤) v = v −2u(u ⊤ v) = v, поскольку u ⊤ v = 0.Это завершает доказательство предложения.Из последних двух свойств матриц отражения следует геометрическаяинтерпретация, которая мотивирует их название. Эти матрицыдействительно осуществляют преобразование отражения относительногиперплоскости, ортогональной порождающему вектору u.Чтобы убедиться в этом, представим произвольный вектор x в видеαu+v, где u — порождающий матрицу отражения вектор, а v — емуортогональный, т. е. u ⊤ v = 0 (см. Рис. 3.16). ТогдаH(u)·x = H(u)·(αu+v) = −αu+v,т. е. в преобразованном матрицей H(u) векторе компонента, ортогональнаярассматривамой гиперплоскости, сменила направление на противоположное.Это и соответствует отражению относительно неё.Предложение 3.7.2 Для любого ненулевого вектора x ∈ R n существуетматрица отражения, переводящая его в вектор, коллинеарныйзаданному вектору e ∈ R n с единичной длиной, ‖e‖ 2 = 1.

304 3. Численные методы линейной алгебрыuxvHxРис. 3.16. Геометрическая интерепретация действия матрицы отражения.Доказательство. Если H — искомая матрица отражения, и u — порождающийеё вектор Хаусхолдера, то утверждение предложения требуетравенстваHx = x−2 ( uu ⊤) x = γe (3.78)с некоторым коэффициентом γ ≠ 0. Отдельно рассмотрим два случая— когда векторы x и e неколлинеарны, и когда они коллинеарны другдругу.В первом случае можно переписать (3.78) в виде равенства2u ( u ⊤ x ) = x−γe, (3.79)правая часть которого заведомо не равна нулю. Тогда и числовой множительu ⊤ x в левой части обязан быть ненулевым, и из соотношения(3.79) можно заключить, чтоu = 12u ⊤ x (x−γe),т. е. что вектор u, порождающий искомую матрицу отражения, долженбыть коллинеарен вектору (x−γe).Для определения коэффициентаγ заметим, что ортогональная матрицаH не изменяет длин векторов, так что ‖Hx‖ 2 = ‖x‖ 2 . С другойстороны, взяв евклидову норму от обеих частей (3.78), получим‖Hx‖ 2 = |γ|‖e‖ 2 . Сопоставляя оба равенства, можем заключить‖x‖ 2 = |γ|‖e‖ 2 , т. е. γ = ±‖x‖ 2 .Следовательно, вектор Хаусхолдера u коллинеарен векторамũ = x±‖x‖ 2 e, (3.80)

3.7. Методы на основе ортогональных преобразований 305и для окончательного определения u остаётся лишь применить нормировку:u = ũ‖ũ‖ 2.Тогда H = I −2uu ⊤ — искомая матрица отражения.Обсудим теперь случай, когда x коллинеарен e. При этом предшествующаяконструкция частично теряет смысл, так как вектор ũ =x−γe может занулиться при подходящем выборе множителя γ.Но даже еслиx−γe = 0 для какого-то одного из значенийγ = −‖x‖ 2и γ = ‖x‖ 2 , то для противоположного по знаку значения γ навернякаx − γe ≠ 0. Более формально можно сказать, что конкретный знак умножителяγ = ±‖x‖ 2 следует выбирать из условия максимизации нормывектора (x−γe). Далее все рассуждения, следующие за формулой(3.79), остаются в силе и приводят к определению вектора Хаусхолдера.Наконец, в случае коллинеарных векторов x и e мы можем простоуказать явную формулу для вектора Хаусхолдера:При этомu = x‖x‖ 2.u ⊤ x = x⊤ x‖x‖ 2= ‖x‖ 2 ≠ 0,и для соответствующей матрицы отражения имеет местоHx = x−2 ( uu ⊤) x = x−2u ( u ⊤ x ) = x−2x‖x‖ 2‖x‖ 2 = −x.Итак, вектор x снова переводится матрицей H в вектор, коллинеарныйвектору e, т. е. условие предложения удовлетворено и в этом случае. 15В доказательстве предложения присутствовала неоднозначность ввыборе знака в выражении ũ = x ± ‖x‖ 2 e, если x и e неколлинеарны.В действительности, годится любой знак, и его конкретный выборможет определяться, как мы увидим, требованием устойчивости вычислительногоалгоритма.15 Интересно, что этот тонкий случай доказательства имеет, скорее, теоретическоезначение, так как на практике если вектор уже имеет нужное направление, то с ним,как правило, можно вообще ничего не делать.

306 3. Численные методы линейной алгебры3.7г Метод ХаусхолдераВ основе метода Хаусхолдера для решения систем линейных алгебраическихуравнений (который называют также методом отражений)лежит та же самая идея, что и в методе Гаусса: привести эквивалентнымипреобразованиями исходную систему к правому (верхнему) треугольномувиду, а затем воспользоваться обратной подстановкой (3.54).Но теперь это приведение выполняется более глубокими, чем в методеГаусса, преобразованиями матрицы, именно, путём последовательногоумножения на специальным образом подобранные матрицы отражения.Предложение 3.7.3 Для любой квадратной матрицы A существуетконечная последовательность H 1 , H 2 , ..., H n−1 , состоящая изматриц отражения и, возможно, единичных матриц, таких чтоматрицаH n−1 H n−2···H 2 H 1 A = Rявляется правой треугольной матрицей.Раздельное упоминание матриц отражения и единичных матриц вызваноздесь тем, что единичная матрица не является матрицей отражения.Для формального описания алгоритма очень удобно применять системуобозначений матрично-векторных объектов, укоренившуюся вязыках программирования высокого уровня Fortran, Matlab, Scilab идр. В частности, посредством A(p : q,r : s) обозначается сечение массиваA,которое определяется как массив с тем же количеством измеренийи имеющий элементы, которые стоят на пересечении строк с номерамис p по q и столбцов с номерами с r по s. То есть, запись A(p : q,r : s)указывает в индексах матрицы A не отдельные значения, а целые диапазоныизменения индексов элементов, из которых образуется новаяматрица, как подматрица исходной.Доказательство предложения конструктивно.Используя результат Предложения 3.7.2, возьмём в качестве H 1матрицу отражения, которая переводит 1-й столбец A в вектор, коллинеарный(1,0,...,0) ⊤ , если хотя бы один из элементов a 21 , a 31 , . . . , a n1не равен нулю. Иначе полагаемH 1 = I. Затем переходим к следующемушагу.

3.7. Методы на основе ортогональных преобразований 307В результате выполнения первого шага матрица СЛАУ приводится,как и в методе Гаусса, к виду⎛⎞× × × ··· ×0 × × ··· ×0 × × . . . ..⎜ .⎝ . . . .. ⎟ . ⎠0 × × ··· ×где крестиками «×» обозначены элементы, которые, возможно, не равнынулю. Проделаем теперь то же самое с матрицей A(2 : n,2 : n),обнулив у неё поддиагональные элементы первого столбца, которыйявляется вторым во всей большой матрице. И так далее до (n −1)-гостолбца.Таблица 3.1. QR-разложение матрицыс помощью отражений ХаусхолдераDO FOR j = 1 TO n−1END DOIF ( вектор A((j +1) : n,j) ненулевой ) THENвычислить вектор Хаусхолдера u, отвечающийотражению, которое переводит вектор A(j : n,j)в (n−j +1)-вектор (1,0,...,0) ⊤ ;˜H ← I −2uu ⊤ ;ELSE˜H ← I ;END IFA(j : n,j : n) ← ˜HA(j : n,j : n);Определим теперь H j , j = 2,3,...,n−1, как n×n-матрицу отражения,порождаемую вектором Хаусхолдера u ∈ R n , который имеет нулевымипервые j−1 компонент и подобран так, чтобы H j (u) аннулировалаподдиагональные элементы j-го столбца в матрице H j−1···H 2 H 1 A,

308 3. Численные методы линейной алгебрыесли среди них существуют ненулевые. Иначе, если в преобразуемойматрице все элементы a j+1,j , a j+2,j , . . . , a nj — нулевые, то полагаемH j = I — единичной n×n-матрице.Можно положить в блочной форме( ) I 0H i = ,0 ˜Hiгде в верхнем левом углу стоит единичная (j − 1) × (j − 1)-матрица,а ˜H i — матрица размера (n − j + 1) × (n − j + 1), которая переводитвекторA(j : n,j) в (n−j+1)-вектор(1,0,...,0) ⊤ , т. е. обнуляет поддиагональныеэлементы j-го столбца в A. Если хотя бы один из элементовa j+1,j , a j+2,j , . . . , a nj не равен нулю, то ˜H i — матрица отражения, способпостроения которой описывается в Предложении 3.7.2. Иначе, если(a j+1,j , a j+2,j , . . . , a nj ) ⊤ = 0, то ˜H i единичная (n−j +1)×(n−j +1)-матрица.Отметим, что из представленияH n−1 H n−2···H 2 H 1 A = Rвытекает равенство A = QR с ортогональной матрицейQ = ( H n−1 H n−2···H 2 H 1) −1.Таким образом, мы получаем QR-разложение матрицы A, т. е. Предложения3.7.2 и 3.7.3 дают в совокупности ещё одно, конструктивное,доказательство Теоремы 3.7.1. Соответствующий псевдокод алгоритмадля вычисления QR-разложения матрицы приведён в Табл. 3.1.Как следствие, исходная система уравнений Ax = b становится равносильнойсистеме уравнений{Qy = b,Rx = y,с несложно решаемыми составными частями. При практической реализацииудобнее дополнить алгоритм Табл. 3.1 инструкциями, которыезадают преобразования вектора правой части СЛАУ, и тогда результатомработы нового алгоритма будет правая треугольная СЛАУ Rx = y.Её можно решать с помощью обратной подстановки (3.54).

3.7. Методы на основе ортогональных преобразований 309Согласно Предложению 3.7.2 вычисление вектора Хаусхолдера u вкачестве первого шага требует нахождения из (3.80) вектора ũ, в которомимеется неоднозначность выбора знака второго слагаемого. Привычислениях на цифровых ЭВМ в стандартной арифметике с плавающейточкой имеет смысл братьũ ={A(j : n,j)+‖A(j : n,j)‖2 e, если a jj ≥ 0,A(j : n,j)−‖A(j : n,j)‖ 2 e, если a jj ≤ 0,где e = (1,0,...,0) ⊤ . Тогда вычисление первого элемента в столбцеA(j : n,j), т. е. того единственного элемена, который останется ненулевым,не будет сопровождаться вычитанием чисел одного знака и, какследствие, возможной потерей точности.Ещё одно соображение по практической реализации описанного вПредложении 3.7.3 алгоритма состоит в том, что в действительностидаже не нужно формировать в явном виде матрицу отражения ˜H:умножение на неё можно выполнить по экономичной формуле(I −2uu⊤ ) A(j : n,j : n) = A(j : n,j : n)−2u ( u ⊤ A(j : n,j : n) ) .Определённым недостатком метода Хаусхолдера и описываемого вследующем пункте метода вращений в сравнении с методом Гаусса являетсяпривлечение неарифметической операции извлечения квадратногокорня, которая приводит к иррациональностям. Это не позволяетточно (без округлений) реализовать соответствующие алгоритмы в полерациональных чисел, к примеру, в программных системах так называемых«безошибочных вычислений» или языках программированиятипа Ruby [82], которые могут оперировать рациональными дробями счислителем и знаменателем в виде целых чисел.3.7д Матрицы вращенияПусть даны натуральные числа k, l, не превосходящие n, т. е. размерностипространства R n , и задано значение угла θ, 0 ≤ θ < 2π.

310 3. Численные методы линейной алгебрыМатрицей вращения называется n×n-матрица G(k,l,θ) вида⎛⎞1. .. k-ая строкаcosθ ··· −sinθ1. . .. ., (3.81)1l-ая строкаsinθ ··· cosθ⎜⎟⎝⎠. ..1где все не выписанные явно элементы вне главной диагонали равнынулю. Таким образом, G(k,l,θ) — это матрица, которая отличаетсяот единичной матрицы лишь элементами, находящимися в позициях(k,k), (k,l), (l,k) и (l,l) для данных индексов k, l. Нетрудно проверить,что она ортогональна.Матрица ( )cosθ −sinθsinθcosθзадаёт, как известно, вращение двумерной плоскости 0x 1 x 2 на угол θвокруг начала координат. 16 Матрица G(k,l,θ) также задаёт вращениепространства R n на угол θ вокруг оси, проходящей через начало координати ортогональной гиперплоскости 0x k x l . Матрицы вращенияG(k,l,θ) называют также матрицами Гивенса, и мы будем иногда обозначатьих посредством G(k,l), если конкретная величина угла θ несущественна.Если вектор a = (a 1 ,a 2 ) ⊤ — ненулевой, то, взяв√a 2 1 +a2 2 ,cosθ = a 1, sinθ = −a 2, где ‖a‖ 2 =‖a‖ 2 ‖a‖ 2мы можем с помощью матрицы двумерного вращения занулить вторуюкомпоненту этого вектора:( )( ( )cosθ −sinθ a1 ‖a‖2sinθcosθa 2)16 Напомним, что положительным направлением вращения плоскости считаетсявращение «против часовой стрелки».=0.

3.7. Методы на основе ортогональных преобразований 311x 20 x 1Рис. 3.17. Подходящим вращением можно занулитьлюбую из компонент двумерного вектора.Аналогично может быть занулена первая компонента вектора a, путёмдомножения на такую матрицу вращения, чтоcosθ = a 2‖a‖ 2, sinθ = a 1‖a‖ 2.В общем случае умножение любой матрицы A = (a ij ) слева наматрицу вращения G(k,l,θ) приводит к тому, что в их произведенииà = (ã ij ) := G(k,l,θ)A строки k-ая и l-ая становятся линейными комбинациямистрок с этими же номерами из A:ã kj ← a kj cosθ − a lj sinθ,ã lj ← a kj sinθ + a lj cosθ,(3.82)j = 1,2,...,n. Остальные элементы матрицы à совпадают с элементамиматрицы A. Из рассуждений предшествующего абзаца вытекает,что путём специального подбора угла θ можно всегда занулить элементв произвольной наперёд заданной позиции k-ой или l-ой строкиматрицы à = G(k,l,θ)A.Как следствие, любая квадратная матрица A может быть приведенак правому треугольному виду с помощью последовательности умноженийслева на матрицы вращения. Более точно, мы можем один задругим занулить поддиагональные элементы первого столбца, потомвторого, третьего и т. д., аналогично тому, как это делалось в методе

312 3. Численные методы линейной алгебрыГаусса. При этом зануление поддиагональных элементов второго и последующихстолбцов никак не испортит полученные ранее нулевые элементыпредшествующих столбцов, так как линейное комбинированиенулей даст снова нуль. В целом, существует набор матриц вращенияG(1,2), G(1,3), . . . , G(1,n), G(2,3), . . . , G(n−1,n), таких чтоG(n−1,n) ··· G(2,3)G(1,n) ··· G(1,3)G(1,2)A = R— правой треугольной матрице. ОтсюдаA = G(1,2) ⊤ G(1,3) ⊤··· G(1,n) ⊤ G(2,3) ⊤··· G(n−1,n) ⊤ R,и мы получили QR-разложение матрицыA, так как произведение транспонированныхматриц вращения также является ортогональной матрицей.Использование преобразований вращения — ещё один конструктивныйспособ получения QR-разложения, технически даже более простой,чем метод отражений Хаусхолдера. При его реализации организовыватьполноценные матрицы вращенияG(k,l,θ) и матричные умноженияс ними, конечно, нецелесообразно, так как большинством элементовв G(k,l,θ) являются нули. Результат умножения слева на матрицувращения разумно находить путём перевычисления лишь ненулевыхэлементов всего двух строк по формулам (3.82).Для плотно заполненных матриц использование вращений в полторараза более трудоёмко, чем получение QR-разложения с помощьюматриц отражения, но зато вращения более предпочтительны для разреженныхматриц в силу своей большей гибкости при занулении отдельныхэлементов.3.7е Процессы ортогонализацииОртогонализацией называют процесс построения по заданному базисулинейного пространства некоторого ортогонального базиса, которыйимеет ту же самую линейную оболочку. Ввиду удобства ортогональныхбазисов для представления решений разнообразных задач и,как следствие, их важности во многих приложениях (см., к примеру,§2.10г) огромное значение имеют и процессы ортогонализации.Исторически первым процессом ортогонализации был алгоритм, которыйпо традиции связывают с именами Й. Грама и Э. Шмидта. 17 По17 Иногда этот процесс называют «ортогонализацией Сонина-Шмидта».

3.7. Методы на основе ортогональных преобразований 313конечной линейно независимой системе векторов v 1 , v 2 ,. . . , v n процессГрама-Шмидта строит ортогональный базис q 1 , q 2 , . . . , q n линейнойоблочки векторов v 1 , v 2 ,. . . , v n .Возмём в качестве первого вектора q 1 конструируемого ортогональногобазиса вектор v 1 , первый из исходного базиса. Далее для построенияq 2 можно использовать v 2 «как основу», но откорректировав его сучётом требования ортогональности к q 1 и принадлежности линейнойоболочке векторов q 1 = v 1 и v 2 . Естественно положить q 2 = v 2 +α 21 q 1 ,где коэффициент α 21 подлежит определению из условия ортогональности〈q 1 ,v 2 +α 21 q 1 〉 = 0.Отсюдаα 21 = − 〈q 1,v 2 〉〈q 1 ,q 1 〉 .Далее аналогичным образом находится q 3 = v 3 +α 31 q 1 +α 32 q 2 , и т. д.В целом ортогонализация Грама-Шмидта выполняется в соответствиисо следующими расчётными формулами:∑j−1q j ← v j −k=1〈q k ,v j 〉〈q k ,q k 〉 q k, j = 1,2,...,n. (3.83)В Табл. 3.2 дан псевдокод ортогонализации Грама-Шмидта, дополненнойещё нормализаций получающихся векторов.Дадим матричное представление процесса ортогонализации Грама-Шмидта.Пусть векторы v 1 , v 2 , . . . , v n заданы своими координатными представлениямив некотором базисе, и из вектор-столбцов этих координатныхпредставлений мы организуем матрицу W. В результате ортогонализациимы должны получить ортогональную матрицу, в которойпервый столбец — это нормированный первый вектор, второй столбец— это нормированная линейная комбинация первых двух векторстолбцов,и т. д. Столбец с номером j результирующей ортогональнойматрицы равен нормированной линейной комбинации первых j штукстолбцов исходной матрицы. В целом процесс ортогонализации Грама-Шмидта равносилен умножению W слева на верхнюю треугольнуюматрицу, в результате чего должна получиться ортогональная матрица.

314 3. Численные методы линейной алгебрыТаблица 3.2. Ортогонализация Грама-ШмидтаDO FOR j = 1 TO nq j ← v j ;END DODO k = 1 TO j −1α kj ← 〈q k ,v j 〉;q j ← q j −α kj q j ;END DOα jj ← ‖q j ‖ 2 ;IF (α jj = 0 ) THENSTOP, сигнализируя «v j линейно зависитот векторов v 1 , v 2 ,. . . , v j−1 »END IFq j ← q j /α jj ;Фактически, ортогонализацию Грама-Шмидта можно рассматриватькак ещё один способ получения QR-разложения матрицы. Но свойстваэтого процесса существенно хуже, чем у метода отражений илиметода вращений. Если исходная система векторов близка к линейнозависимой, то полученный в результате применения алгоритма Грама-Шмидта базис может существенно отличаться от ортогонального в томсмысле, что попарные скалярные произведения его векторов будут заметноотличаться от нуля.Этот недостаток можно до некоторой степени исправить, модифицироваврасчётные формулы алгоритма Грама-Шмидта так, чтобы вычислениепоправочных коэффициентов α kj выполнялось другим способом.Псевдокод модифицированной ортогонализации Грама-Шмидтадан в Табл. 3.3.В общем случае при ортогонализации Грама-Шмидта построениекаждого следующего вектора требует привлечения всех ранее построенныхвекторов. Но если исходная система векторов имеет специальныйвид, в определённом смысле согласованный с используемым скалярнымпроизведением, то ситуация упрощается. Важнейший частный

3.7. Методы на основе ортогональных преобразований 315Таблица 3.3. Модифицированный алгоритмортогонализации Грама-ШмидтаDO FOR j = 1 TO nq j ← v j ;END DODO k = 1 TO j −1α kj ← 〈q k ,q j 〉;q j ← q j −α kj q j ;END DOα jj ← ‖q j ‖ 2 ;IF (α jj = 0 ) THENSTOP, сигнализируя «v j линейно зависитот векторов v 1 , v 2 ,. . . , v j−1 »END IFq j ← q j /α jj ;случай — ортогонализация так называемых подпространств Крылова.Определение 3.7.3 Пусть A — квадратная n × n-матрица, r — n-вектор. Подпространствами Крылова K i (A,r), i = 1,2,...,n, матрицыA относительно вектора r называются линейные оболочки векторовr, Ar, ..., A i−1 r, т.е. K i (A,r) = lin{r,Ar,...,A i−1 r}.Оказывается, что если A — симметричная положительно определённаяматрица, то при ортогонализации подпространств Крылова построениекаждого последующего вектора привлекает лишь два предшествующихвектора из строящегося базиса. Более точно, справедливаТеорема 3.7.2 Пусть векторы r, Ar, A 2 r, ..., A n−1 r линейно независимы.Если векторы p 0 , p 1 , ..., p n−1 получены из них с помощьюпроцесса ортогонализации, то они выражаются трёхчленными ре-

316 3. Численные методы линейной алгебрыкуррентными соотношениямиp 0 ← r,p 1 ← Ap 1 −α 1 p 1 ,p k+1 ← Ap k −α k p k −β k p k−1 ,k = 1,2,...,n−2,где коэффициенты ортогонализации α k и β k вычисляются следующимобразом:α k = 〈Ap k,p k 〉〈p k ,p k 〉 , k = 0,1,...,n−2,β k = 〈Ap k,p k−1 〉〈p k−1 ,p k−1 〉 = 〈p k,p k 〉〈p k−1 ,p k−1 〉 , k = 1,2,...,n−2.Этот факт был открыт К. Ланцошем в 1952 году и имеет многочисленныеприменения в практике вычислений. В частности, он существенноиспользуется в методе сопряжённых градиентов для решенияСЛАУ (см. §3.10г).Доказательство. Если векторы p 0 , p 1 , . . . , p n−1 получены из r, Ar,A 2 r, . . . , A n−1 r в результате ортогонализации, то из формул (3.83) следуетk−1∑p k = A k r +i=0c (k)i A i r,c (k)i ∈ R.Как следствие, вектор p k = A k r принадлежит подпространству, являющемусялинейной оболочкой векторов r, Ar, . . . , A k r, или, что то жесамое, линейной оболочкой векторов p 0 , p 1 , . . . , p k . По этой причинеp k+1 выражается через предшествующие векторы какp k+1 = Ap k −γ (k)0 p 0 −...−γ (k)k p kс какими-то коэффициентами γ (k)0 , . . . , γ(k) k .Домножая скалярно полученное соотношение на векторыp 0 , p 1 , . . . ,p k и привлекая условие ортогональности вектора p k+1 всем p 0 , p 1 , . . . ,p k , получимγ (k)j = 〈Ap k,p j 〉〈p j ,p j 〉 , j = 0,1,...,k.

3.8. Метод прогонки 317Но при j = 0,1,...,k−2 справедливо 〈Ap k ,p j 〉 = 0, так как 〈Ap k ,p j 〉 =〈p k ,Ap j 〉, а вектор Ap j есть линейная комбинация векторов p 0 , p 1 , . . . ,p j+1 , каждый из которых ортогонален к p k при j+1 < k, т. е. j ≤ k−2.Итак, из коэффициентов γ (k)j ненулевыми остаются лишь два коэффициентаДалее,α k = γ (k)k= 〈Ap k,p k 〉〈p k ,p k 〉 ,β k = γ (k)k−1 = 〈Ap k,p k−1 〉〈p k−1 ,p k−1 〉 .〈Ap k ,p k−1 〉 = 〈p k ,Ap k−1 〉 = 〈p k ,p k +α k−1 p k−1 +β k−1 p k−2 〉 = 〈p k ,p k 〉,и поэтомуβ k = 〈p k,p k 〉〈p k−1 ,p k−1 〉 .Это завершает доказательство теоремы.3.8 Метод прогонкиДо сих пор не делалось никаких дополнительных предположений оструктуре нулевых и ненулевых элементов в матрице системы. Но длябольшого числа систем линейных уравнений, встречающихся в практикематематического моделирования ненулевые элементы заполняютматрицу не полностью, образуя в ней те или иные правильные структуры— ленты, блоки, их комбинации и т. п. Естественно попытатьсяиспользовать это обстоятельство при конструировании более эффективныхчисленных методов для решения СЛАУ с такими матрицами.Метод прогонки, предложенный в 1952–53 годах И.М. Гельфандом иО.В. Локуциевским, предназначен для решения линейных систем уравненийс трёхдиагональными матрицами. 18 Это важный в приложенияхслучай СЛАУ, возникающий, к примеру, при решении многих краевыхзадач для дифференциальных уравнений. По определению, трёхдиагональныминазываются матрицы, все ненулевые элементы которых18 Для краткости можно называть их просто трёхдиагональными линейными системами.

318 3. Численные методы линейной алгебрысосредоточены на трёх диагоналях — главной и соседних с ней сверхуи снизу. Иными словами, для трёхдиагональной матрицы A = (a ij )неравенство a ij ≠ 0 имеет место лишь при i = j и i = j ±1.00Рис. 3.18. Портрет трёхдиагональной матрицы.Обычно трёхдиагональную системуnлинейных уравнений с n неизвестнымиx 1 , x 2 , . . . , x n записывают в следующем специальном каноническомвиде, даже без обращения к матрично-векторной форме:a i x i−1 +b i x i +c i x i+1 = d i , 1 ≤ i ≤ n, (3.84)где для единообразия рассматривают дополнительные фиктивные переменныеx 0 и x n+1 и полагают a 1 = c n = 0. Подобный вид и обозначенияоправдываются тем, что соответствующие СЛАУ получаютсядействительно «локально», как дискретизация дифференциальныхуравнений, связывающих значения искомых величин также локально,в окрестности какой-либо рассматриваемой точки.Пример 3.8.1 В §2.8 мы могли видеть, что на равномерной сеткеu ′′ (x i ) ≈ u i−1 −2u i +u i+1h 2 ,и правая часть этой формулы помимо самого узла x i , в котором берётсяпроизводная, вовлекает ещё только соседние узлы x i−1 и x i+1 .Поэтому решение конечно-разностными методами краевых задач дляразличных дифференциальных уравнений второго порядка приводит к

3.8. Метод прогонки 319линейным системам уравнений с матрицами, у которых помимо главнойдиагонали заполнены только две соседние с ней, т. е. к системам стрёхдиагональными матрицами.Соотношения вида (3.84)a i x i−1 +b i x i +c i x i+1 = d i , i = 1,2,...,называют также трёхточечными разностными уравнениями или разностнымиуравнениями второго порядка.Пусть для СЛАУ с трёхдиагональной матрицей выполняется прямойход метода Гаусса без выбора ведущего элемента (т. е. без перестановокстрок и столбцов матрицы). Если он успешно прорабатывает доконца, то приводит к системе с двухдиагональной матрицей вида⎛ ⎞× ×× . . . 0. .. × , (3.85)⎜0⎟⎝ × × ⎠×в которой ненулевые элементы присутствуют лишь на главной диагоналии первой верхней побочной. Следовательно, формулы обратногохода метода Гаусса вместо (3.54) должны иметь следующий двучленныйвидx i = ξ i+1 x i+1 +η i+1 , i = n,n−1,...,1, (3.86)где, как и в исходных уравнениях, в n-ом соотношении присутствуетвспомогательная фиктивная неизвестная x n+1 . Оказывается, что величиныξ i и η i в соотношениях (3.86) можно несложным образом выразитьчерез элементы исходной системы уравнений.Уменьшим в (3.86) все индексы на единицу —x i−1 = ξ i x i +η i— и подставим полученное соотношение в i-ое уравнение системы, получимa i(ξi x i +η i)+bi x i +c i x i+1 = d i .

320 3. Численные методы линейной алгебрыОтсюдаc ix i = − x i+1 + d i −a i η i.a i ξ i +b i a i ξ i +b iСравнивая эту формулу с двучленными расчётными формулами (3.86),можем заключить, чтоc iξ i+1 = − , (3.87)a i ξ i +b iη i+1 = d i −a i η ia i ξ i +b i, (3.88)для i = 1,2,...,n. Это формулы прямого хода прогонки, целью которогоявляется вычисление величин ξ i и η i , называемых прогоночнымикоэффициентами. Вместе с формулами обратного хода (3.86) они определяютметод прогонки для решения систем линейных алгебраическихуравнений с трёхдиагональной матрицей.Для начала расчётов требуется знать величины ξ 1 и η 1 в прямомходе и x n+1 — в обратном. Формально они неизвестны, но фактическиполностью определяются условием a 1 = c n = 0. Действительно, конкретныезначения ξ 1 и η 1 не влияют на результаты решения, потомучто в формулах (3.87)–(3.88) прямого хода прогонки они встречаются смножителем a 1 = 0. Кроме того, из формул прямого хода следует, чтоc n 0ξ n+1 = − = − = 0,a n ξ n +b n a n ξ n +b nа это коэффициент при x n+1 в обратном ходе прогонки. Поэтому иx n+1 может быть произвольным. Итак, для начала прогонки можноположить, к примеру,ξ 1 = η 1 = x n+1 = 0. (3.89)Дадим теперь достаточные условия выполнимости метода прогонки,т. е. того, что знаменатели в расчётных формулах прямого ходане обращаются в нуль. Эти условия, фактически, будут также обосновыватьвозможность приведения трёхдиагональной матрицы исходнойСЛАУ к двухдиагональному виду (3.85) преобразованиями прямого ходаметода Гаусса без перестановки строк или столбцов, так как этипреобразования являются ничем иным, как прямым ходом метода прогонки.

3.8. Метод прогонки 321Предложение 3.8.1 Если в системе линейных алгебраических уравненийс трёхдиагональной матрицей (3.84) имеет место диагональноепреобладание, т.е.|b i | > |a i |+|c i |, i = 1,2,...,n,то метод прогонки c выбором начальных значений согласно (3.89) являетсяреализуемым.По поводу формулировки Предложения 3.8.1 можно заметить, чтоусловие диагонального преобладания в матрице влечёт её строгую регулярность,как мы видели в §3.6д. Поэтому в силу Теоремы 3.6.2 существуетLU-разложение такой матрицы, и оно может быть получено спомощью прямого хода метода Гаусса без перестановки строк и столбцов.Но это и означает реализуемость метода прогонки. Ниже, тем неменее, даётся другое доказательство этого факта, которое позволяетпомимо установления реализуемости дать ещё числовые оценки «запасаустойчивости» прогонки, т. е. того, насколько сильно знаменателивыражений (3.87)–(3.88) для прогоночных коэффициентов отличны отнуля в зависимости от элементов матрицы СЛАУ.Доказательство. Покажем по индукции, что в рассматриваемой реализациипрогонки для всех индексовiсправедливо неравенство|ξ i | < 1.Прежде всего, ξ 1 = 0 и потому база индукции выполнена: |ξ 1 | < 1.Далее, предположим, что для некоторого индекса i уже установленаоценка |ξ i | < 1. Если соответствующее c i = 0, то из (3.87) следуетξ i+1 = 0, и индукционный переход доказан. Поэтому пусть c i ≠ 0.Тогда справедлива следующая цепочка соотношений|ξ i+1 | =∣ − c ∣i ∣∣∣=a i ξ i +b i|c i ||a i ξ i +b i |≤|c i |∣ |bi |−|a i |·|ξ i | ∣ из оценки снизу для модуля суммы

322 3. Численные методы линейной алгебрыгде при переходе ко второй строке мы воспользовались известным неравенствомдля модуля суммы двух чисел:|x+y| ≥ ∣ ∣ |x|−|y|∣ ∣. (3.90)Итак, неравенства |ξ i | < 1 доказаны для всех прогоночных коэффициентовξ i , i = 1,2,...,n+1.Как следствие, для знаменателей прогоночных коэффициентов ξ i иη i в формулах (3.87)–(3.88) имеем∣∣a i ξ i +b i∣ ∣ ≥ ∣ ∣|b i |−|a i ξ i | ∣ ∣ по неравенству (3.90)= |b i |−|a i ||ξ i | в силу диагонального преобладания> |a i |+|c i |−|a i |·|ξ i | из-за диагонального преобладания= |a i |(1−|ξ i |)+|c i |≥ |c i | ≥ 0 в силу оценки |ξ i | < 1,то есть строгое отделение от нуля. Это и требовалось доказать.Отметим, что существуют и другие условия реализуемости методапрогонки. Например, некоторые из них требуют от матрицы «болеемягкое» нестрогое диагональное преобладание (3.14), но зато болеежёсткие, чем в Предложении 3.8.1, условия на коэффициенты системы.Весьма популярна, в частности, такая формулировка [17]:Предложение 3.8.2 Если в трёхдиагональной системе линейных алгебраическихуравнений (3.84) побочные диагонали не содержат нулей,т.е. a i ≠ 0, i = 2,3,...,n, и c i ≠ 0, i = 1,2,...,n − 1, имеет местонестрогое диагональное преобладание|b i | ≥ |a i |+|c i |, i = 1,2,...,n,но хотя бы для одного индекса i это неравенство является строгим,то метод прогонки реализуем.Нетрудно убедиться, что реализация прогонки требует линейного взависимости от размера системы количества арифметических операций(примерно 8n), т. е. весьма экономична.На сегодняшний день разработано немало различных модификацийметода прогонки, которые хорошо приспособлены для решения тех или

3.9. Стационарные итерационные методы 323иных специальных систем уравнений, как трёхдиагональных, так и болееобщих, имеющих ленточные или даже блочно-ленточные матрицы[17]. В частности, существует метод матричной прогонки [27].3.9 Стационарные итерационные методыдля решения линейных систем3.9а Краткая теорияИтерационные методы решения уравнений и систем уравнений —это методы, порождающие последовательность приближений {x (k) } ∞ k=0к искомому решению x ⋆ , которое получается как пределx ⋆ = limk→∞ x(k) .Допуская некоторую вольность речи, обычно говорят, что «итерационныйметод сходится», если к пределу сходится конструируемая импоследовательность приближений {x (k) }.Естественно, что на практике переход к пределу по k → ∞ невозможенв силу конечности объема вычислений, который мы можем произвести.Поэтому при реализации итерационных методов вместо x ⋆ обычнодовольствуются нахождением какого-то достаточно хорошего приближенияx (k) к x ⋆ . Здесь важно правильно выбрать условие остановкиитераций, при котором мы прекращаем порождать очередные приближенияи выдаём x (k) в качестве решения. Подробнее мы рассмотримэтот вопрос в §3.14.Общая схема итерационных методов выглядит следующим образом:выбираются одно или несколько начальных приближений x (0) , x (1) ,. . . , x (m) , а затем по их известным значениям последовательно вычисляютсяx (k+1) ← T k (x (0) ,x (1) ,...,x (k) ), k = m,m+1,m+2,..., (3.91)где T k — отображение, называемое оператором перехода или операторомшага (k-го). Конечно, в реальных итерационных процессах каждоеследующее приближение, как правило, зависит не от всех предшествующихприближений, а лишь от какого-то их фиксированного конечногочисла. Более точно, итерационный процесс (3.91) называютp-шаговым,если его последующее приближение x (k+1) является функцией только

324 3. Численные методы линейной алгебрыот p предшествующих приближений, т. е. от x (k) , x (k−1) , . . . , x (k−p+1) .В частности, наиболее простыми в этом отношении являются одношаговыеитерационные методыx (k+1) ← T k (x (k) ), k = 0,1,2,...,в которых x (k+1) зависит лишь от значения одной предшествующейитерации x (k) . Для начала работы одношаговых итерационных процессовнужно знать одно начальное приближение x (0) .Итерационный процесс называется стационарным, если операторперехода T k не зависит от номера шага k, т. е. T k = T, и нестационарнымв противном случае. Линейным p-шаговым итерационнымпроцессом будут называться итерации, в которых оператор переходаимеет видT k (x (k) ,x (k−1) ,...,x (k−p+1) )= C (k,k) x (k) +C (k,k−1) x (k−1) +...+C (k,k−p+1) x (k−p+1) +d (k)с какими-то коэффициентами C (k,k) , C (k,k−1) , . . . , C (k,k−p+1) и свободнымчленом d (k) . В случае векторной неизвестной переменной x всеC (k,l) являются матрицами подходящих размеров, а d (k) — вектор тойже размерности, что и x. Матрицы C (k,l) часто называют матрицамиперехода рассматриваемого итерационного процесса.Итерационные методы были представлены выше в абстрактной манере,как некоторые конструктивные процессы, которые порождаютпоследовательности, сходящиеся к искомому решению. В действительности,мотивации возникновения и развития итерационных методовявлялись существенно более ясными и практичными. Итерационныеметоды решения уравнений и систем уравнений возникли как уточняющиепроцедуры, которые позволяли за небольшое (удовлетворяющеепрактику) количество шагов получить приемлемое по точности приближённоерешение задачи. Многие из классических итерационных методовявно несут отпечаток этих взглядов и ценностей.Ясно, что для коррекции приближённого решения необходимо знать,насколько и как именно оно нарушает точное равенство обеих частейуравнения. На этом пути возникает важное понятие невязки приближённогорешения ˜x, которая определяется как разность левой и правойчастей уравнения (системы уравнений) после подстановки в него ˜x. Исследованиеэтой величины, отдельных её компонент (в случае системы

3.9. Стационарные итерационные методы 325уравнений) и решение вопроса о том, как можно на основе этой информациикорректировать приближение к решению, составляет важнейшуючасть работы по конструированию итерационных методов.Мы подробно рассматриваем различные итерационные методы длярешения нелинейных уравнений и систем уравнений в Главе 4, а здесьосновное внимание будет уделено итерационному решению систем линейныхалгебраических уравнений и проблемы собственных значений.Причины, по которым для решения систем линейных уравненийитерационные методы могут оказаться более предпочтительными, чемпрямые, заключаются в следующем. Большинство итерационных методовявляются самоисправляющимися, т. е. такими, в которых погрешность,допущенная в вычислениях, при сходимости исправляется в ходеитерирования и не отражается на окончательном результате. Это следуетиз конструкции оператора перехода, в котором обычно по самомуего построению присутствует информация о решаемой системе уравнений(что мы увидим далее на примерах). При выполнении алгоритмаэта информация на каждом шаге вносится в итерационный процесси оказывает влияние на его ход. Напротив, прямые методы решенияСЛАУ этим свойством не обладают, так как, оттолкнувшись от исходнойсистемы, мы далее уже не возвращаемся к ней, а оперируем с еёследствиями, которые никакой обратной связи от исходной системы неполучают. 19Нередко итерационные процессы сравнительно несложно программируются,так как представляют собой повторяющиеся единообразныепроцедуры, применяемые к последовательным приближениям к решению.При решении СЛАУ с разреженными матрицами в итерационныхпроцессах нередко можно легче, чем в прямых методах, учитыватьструктуру нулевых и ненулевых элементов матрицы и основывать наэтом упрощённые формулы матрично-векторного умножения, которыесущественно уменьшают общую трудоёмкость алгоритма.Иногда системы линейных алгебраических уравнений задаются воператорном виде, рассмотренном нами в начале §3.6 (стр. 274) т. е.так, что их матрица и правая часть не выписываются явно. Вместо этогозадаётся действие такой матрицы (линейного оператора) на любойвектор, и это позволяет строить и использовать итерационные методы.С другой стороны, преобразования матриц таких систем, которые яв-19 Для исправления этого положения прямые методы решения СЛАУ в ответственныхситуациях часто дополняют процедурами итерационного уточнения. См.,к примеру, пункт 67 главы 4 в [42].

326 3. Численные методы линейной алгебрыляются основой прямых методов решения систем линейных уравнений,очень сложны или порой просто невозможны.Наконец, быстро сходящиеся итерационные методы могут обеспечиватьвыигрыш по времени даже для СЛАУ общего вида, если требуютнебольшое число итераций.То обстоятельство, что искомое решение получается как топологическийпредел последовательности, порождаемой методом, являетсяхарактерной чертой именно итерационных методов решения уравнений.Существуют и другие конструкции, по которым решение задачистроится из последовательности, порождаемой методом. Интересныйпример дают методы Монте-Карло, в которых осуществляется усреднениепоследовательности приближений.3.9б Сходимость стационарныходношаговых итерационных методовСистемы линейных уравнений видаx = Cx+d,в котором вектор неизвестных переменных выделен в одной из частей,мы будем называть системами в рекуррентном виде.Теорема 3.9.1 Пусть система уравнений x = Cx + d имеет единственноерешение. Стационарный одношаговый итерационный процессx (k+1) ← Cx (k) +d, k = 0,1,2,..., (3.92)сходится при любом начальном приближении x (0) тогда и только тогда,когда спектральный радиус матрицы C меньше единицы, т.е.ρ(C) < 1.Оговорка о единственности решения существенна. Если взять, кпримеру, C = I и d = 0, то рассматриваемая система обратится втождество x = x, имеющее решением любой вектор. Соответствующийитерационный процесс x (k+1) ← x (k) , k = 0,1,2,..., будет сходиться излюбого начального приближения, хотя спектральный радиус матрицыперехода C равен единице.Доказательство Теоремы 3.9.1 будет разбито на две части, результаткаждой из которых представляет самостоятельный интерес.

3.9. Стационарные итерационные методы 327Предложение 3.9.1 Если ‖C‖ < 1 в какой-нибудь матричной норме,то стационарный одношаговый итерационный процессx (k+1) ← Cx (k) +d, k = 0,1,2,...,сходится при любом начальном приближении x (0) .Доказательство. В формулировке предложения ничего не говоритсяо пределе, к которому сходится последовательность приближений{x (k) }, порождаемых итерационным процессом. Но мы мы можем указатьего в явном виде и строить доказательство с учётом этого знания.Если ‖C‖ < 1 для какой-нибудь матричной нормы, то в силу результатао матричном ряде Неймана (Предложение 3.3.11, стр. 253)матрица (I−C) неособенна и имеет обратную. Следовательно, системауравнений(I−C)x = d, как и равносильная ей x = Cx+d, имеют единственноерешение, которое мы обозначим x ⋆ . Покажем, что в условияхпредложения это и есть предел последовательных приближений x (k) .В самом деле, еслиx ⋆ = Cx ⋆ +d,то, вычитая это равенство из соотношений x (k) = Cx (k−1) + d, k =1,2,..., получимx (k) −x ⋆ = C ( x (k−1) −x ⋆) .Вспомним, что всякая матричная норма согласована с некоторой векторнойнормой (Предложение 3.3.4), и именно эту норму мы применимк обеим частям последнего равенства:∥ x (k) −x ⋆∥ ∥ ≤ ‖C‖∥ ∥x (k−1) −x ⋆∥ ∥ .Повторное применение этой оценки погрешности для x (k−1) , x (k−2) , . . . ,и т. д. вплоть до x (1) приводит к цепочке неравенств‖x (k) −x ⋆ ‖ ≤ ‖C‖·∥∥x (k−1) −x ⋆∥ ∥≤ ‖C‖ 2 ·∥∥x (k−2) −x ⋆∥ ∥≤ ... ...≤ ‖C‖ k ·∥∥x (0) −x ⋆∥ ∥. (3.93)Правая часть неравенства (3.93) сходится к нулю при k → ∞ в силуусловия ‖C‖ < 1, поэтому последовательность приближений {x (k) } ∞ k=0действительно сходится к пределу x ⋆ .

328 3. Численные методы линейной алгебрыПобочным следствием доказательства Предложения 3.9.1 являетсяпрояснение роли нормы матрицы перехода ‖C‖ как коэффициентаподавления погрешности приближений к решению СЛАУ в согласованнойвекторной норме. Это следует из неравенств (3.93): чем меньше‖C‖, тем быстрее убывает эта погрешность на каждом отдельном шагеитерационного процесса.Предложение 3.9.2 Для любой квадратной матрицы A и любогоǫ > 0 существует такая подчинённая матричная норма ‖·‖ ǫ , чтоρ(A) ≤ ‖A‖ ǫ ≤ ρ(A)+ǫ.Доказательство. Левое из выписанных неравенств было обоснованоранее в Предложении 3.3.9, и потому содержанием сформулированногорезультата является правое неравенство, дающее, фактически, оценкуснизу для спектрального радиуса с помощью некоторой специальнойматричной нормы.С помощью преобразования подобия приведём матрицу A к жордановойканонической формегде⎛λ 1 1J =⎜⎝S −1 AS = J,⎞. λ .. 1 . .. 10 0λ 1 λ 2 1.0.. . .. 0λ 2 . ..⎟0 0 .⎠ ..а S — некоторая неособенная матрица, осуществляющая преобразованиеподобия. ПоложимD ǫ := diag{1,ǫ,ǫ 2 ,...,ǫ n−1 },

3.9. Стационарные итерационные методы 329— диагональной n×n-матрице с числами 1, ǫ, ǫ 2 , . . . , ǫ n−1 по главнойдиагонали. Тогда нетрудно проверить, что(SD ǫ ) −1 A(SD ǫ ) = D −1ǫ (S −1 AS)D ǫ= D −1ǫ JD ǫ =⎛⎜⎝λ 1⎞ǫ. λ .. 1 . .. ǫλ 1 λ 2 ǫ,. .. . ..λ 2 . .. ⎟⎠. ..— матрица в «модифицированной» жордановой форме, которая отличаетсяот обычной жордановой формы присутствиемǫвместо1 на верхнейпобочной диагонали каждой жордановой клетки.Действительно, умножение на диагональную матрицу слева — этоумножение строк матрицы на соответствующие диагональные элементы,а умножение на диагональную матрицу справа равносильно умножениюстолбцов на элементы диагонали. Два таких умножения — наDǫ −1 = diag{1,ǫ −1 ,ǫ −2 ,...,ǫ 1−n } слева и на D ǫ = diag{1,ǫ,ǫ 2 ,...,ǫ n−1 }справа — компенсируют друг друга на главной диагонали матрицы J.Но на верхней побочной диагонали, где ненулевые элементы имеют индексы(i,i − 1), от этих умножений остаётся множитель ǫ −i ǫ i+1 = ǫ,i = 0,1,...,n−1.Определим теперь векторную норму‖x‖ ǫ := ∥ ∥ (SDǫ ) −1 x ∥ ∥∞.

330 3. Численные методы линейной алгебрыТогда для подчинённой ей матричной нормы справедлива следующаяцепочка оценок‖A‖ ǫ = maxx≠0= maxy≠0= maxy≠0‖Ax‖ ǫ= max‖x‖ ǫ x≠0∥ (SDǫ ) −1 A(SD ǫ )y ∥ ∞‖y‖ ∞∥∥(Dǫ −1 JD ǫ )y ∥ ∞‖y‖ ∞∥ (SDǫ ) −1 Ax ∥ ∥∞∥ ∥ (SDǫ ) −1 x ∥ ∥∞= ∥ ∥ D−1ǫ JD ǫ∥∥∞после замены y = (SD ǫ ) −1 x= максимум сумм модулей элементов в D −1ǫ JD ǫ по строкам≤ max|λ i (A)|+ǫ = ρ(A)+ǫ,iгде λ i (A) — i-ое собственное значение матрицы A. Неравенство припереходе к последней строке возникает по существу, так как матрицаможет иметь большое по модулю собственное значение в жордановойклетке размера 1×1, в которой нет элементов ǫ. Доказательство Теоремы 3.9.1 о сходимости одношагового стационарногоитерационного процесса.Сначала покажем необходимость условия теоремы. Пусть порождаемаяв итерационном процессе последовательность {x (k) } сходится. Еёпределом при этом может быть только решение x ⋆ системы x = Cx+d,т. е. должно быть lim k→∞ x (k) = x ⋆ , в чём можно убедиться, переходяв соотношенииx (k+1) = Cx (k) +dк пределу по k → ∞. Далее, вычитая почленно равенство для точногорешения x ⋆ = Cx ⋆ +d из расчётной формулы итерационного процессаx (k) = Cx (k−1) +d, получимx (k) −x ⋆ = C(x (k−1) −x ⋆ ), k = 1,2,...,

3.9. Стационарные итерационные методы 331откудаx (k) −x ⋆ = C(x (k−1) −x ⋆ )= C 2 (x (k−2) −x ⋆ )= ··· ···= C k (x (0) −x ⋆ ).Так как левая часть этих равенств при k → ∞ сходится к нулю, тодолжна сходиться к нулю и правая, причём для любого вектора x (0) . Всилу единственности и, как следовательно, фиксированности решенияx ⋆ вектор (x (0) −x ⋆ ) также может быть произвольным, и тогда сходимостьпогрешности к нулю возможна лишь при C k → 0. На основанииПредложения 3.3.10 (стр. 251) заключаем, что спектральный радиус Cдолжен быть строго меньше 1.Достаточность. Если ρ(C) < 1, то взяв положительное ǫ удовлетворяющимоценке ǫ < 1 −ρ(C), мы можем согласно Предложению 3.9.2выбрать матричную норму ‖·‖ ǫ так, чтобы выполнялось неравенство‖C‖ ǫ < 1. Далее в этих условиях применимо Предложение 3.9.1, котороеутверждает сходимость итерационного процесса (3.92)x (k+1) ← Cx (k) +d, k = 0,1,2,... .Это завершает доказательство Теоремы 3.9.1.Доказанные результаты — теорема и два предложения — проясняютроль спектрального радиуса среди различных характеристик матрицы.Мы могли видеть в §3.3ж, что спектральный радиус не является матричнойнормой, но, как выясняется, его с любой степенью точностиможно приблизить некоторой подчинённой матричной нормой. Крометого, понятие спектрального радиуса оказывается чрезвычайно полезнымпри исследовании итерационных процессов и вообще степенейматрицы.Следствие из Предложения 3.9.2. Степени матрицы A k сходятся кнулевой матрице при k → ∞ тогда и только тогда, когда ρ(A) < 1.В самом деле, ранее мы установили (Предложение 3.3.10), что изсходимости степеней матрицы A k при k → ∞ к нулевой матрице вытекаетρ(A) < 1. Теперь результат Предложения 3.9.2 позволяет сказать,

332 3. Численные методы линейной алгебрычто это условие на спектральный радиус является и достаточным: еслиρ(A) < 1, то мы можем подобрать матричную норму так, чтобы‖A‖ < 1, и тогда ‖A n ‖ ≤ ‖A‖ n → 0 при n → ∞.С учётом Предложения 3.9.2 более точно переформулируются условиясходимости матричного ряда Неймана (Предложение 3.3.11): онсходится для матрицы A тогда и только тогда, когда ρ(A) < 1, а условие‖A‖ < 1 является всего лишь достаточным.Заметим, что для несимметричных матриц нормы, близкие к спектральномурадиусу, могут оказаться очень экзотичными и даже неестественными.Это видно из доказательства Теоремы 3.9.1. Как правило,исследовать сходимость итерационных процессов лучше всё-таки вобычных нормах, часто имеющих практический смысл.Интересен вопрос о выборе начального приближения для итерационныхметодов решения СЛАУ. Иногда его решают из каких-то содержательныхсоображений, когда в силу физических и прочих содержательныхпричин бывает известно некоторое хорошее приближение крешению, а итерационный метод предназначен для его уточнения. Приотсутствии таких условий начальное приближение нужно выбирать наоснове других идей.Например, если в рекуррентном виде x = Cx + d, исходя из которогостроятся сходящиеся итерации, матрица C имеет «малую» норму(относительно неё мы вправе предполагать, что ‖C‖ < 1), то тогдачленом Cx можно пренебречь. Как следствие, точное решение не сильноотличается от вектора свободных членов d, и поэтому можно взятьx (0) = d. Этот вектор привлекателен также тем, что получается какпервая итерация при нулевом начальном приближении. Беря x (0) = d,мы экономим на этой итерации.3.9в Подготовка линейной системык итерационному процессуВ этом параграфе мы исследуем различные способы приведениясистемы линейных алгебраических уравненийк равносильной системе в рекуррентном видеAx = b (3.94)x = Cx+d, (3.95)

3.9. Стационарные итерационные методы 333отталкиваясь от которого можно организовывать одношаговый итерационныйпроцесс для решения (3.94). Фактически, это вопрос о том,как связан предел стационарного одношагового итерационного процесса(3.92) с интересующим нас решением системы линейных алгебраическихуравнений Ax = b. При этом практический интерес представляет,естественно, не всякое приведение системы (3.94) к виду (3.95), но лишьтакое, которое удовлетворяет условию сходимости стационарного одношаговогоитерационного процесса, выведенному в предшествующемразделе, т. е. ρ(C) < 1.Существует большое количество различных способов приведенияисходной ИСЛАУ к виду, допускающему применение итераций, большоеразнообразие способов организации этих итерационных процессови т. п. Не претендуя на всеохватную теорию, мы рассмотрим нижелишь несколько общих приёмов подготовки и организации итерационныхпроцессов.Простейший способ состоит в том, чтобы добавить к обеим частямисходной системы по вектору неизвестной переменной x, т. е.а затем член Ax перенести в правую часть:x+Ax = x+b, (3.96)x = (I −A)x+b.Иногда этот приём работает, но весьма часто он непригоден, так какспектральный радиус матрицы C = I − A оказывается не меньшимединицы.В самом деле, еслиλ—собственное значение для A, то для матрицы(I − A) собственным значением будет 1 − λ, и тогда 1 − λ > 1 привещественных отрицательных λ. С другой стороны, если у матрицы Aесть собственные значения, б´ольшие по модулю, чем 2, т. е. если |λ| > 2,то |1−λ| = |λ−1| ≥ ∣ ∣|λ|−1 ∣ ∣ > 1 и сходимости стационарных итерациймы также не получим.Из предшествующих рассуждений можно ясно видеть, что необходимактивный способ управления свойствами матрицы C в получающейсясистеме рекуррентного вида x = Cx+d. Одним из важнейшихинструментов такого управления служит предобуславливание исходнойсистемы.Определение 3.9.1 Предобуславливанием системы линейных алгебраическихуравнений Ax = b называется умножение слева обеих её

334 3. Численные методы линейной алгебрычастей на некоторую матрицу Λ. Сама эта матрица Λ называетсяпредобуславливающей матрицей или, коротко, предобуславливателем.Цель предобуславливания — изменение (вообще говоря, улучшение)свойств матрицы A исходной системы Ax = b, вместо которой мы получаемсистему(ΛA)x = Λb.Продуманный выбор предобуславливателя может, к примеру, изменитьвыгодным нам образом расположение спектра матрицы A, так необходимоедля организации сходящихся итерационных процессов.Естественно выполнить предобуславливание до перехода к системе(3.96), т. е. до прибавления вектора неизвестных x к обеим частям исходнойСЛАУ. Поскольку тогда вместоAx = b будем иметь(ΛA)x = Λb,то далее получаемx = (I −ΛA)x+Λb.Теперь в этом рекуррентном виде с помощью подходящего выбора Λможно добиваться требуемых свойств матрицы (I −ΛA).Каким образом следует выбирать предобуславливатели? Совершеннообщего рецепта на этот счёт не существует, и теория разбиваетсяздесь на набор рекомендаций для ряда более или менее конкретныхважных случаев.Например, если в качестве предобуславливающей матрицы взятьΛ = A −1 или хотя бы приближённо равную обратной к A, то вместосистемы Ax = b получим (A −1 A)x = A −1 b, т. е. систему уравненийIx = A −1 bили близкую к ней, матрица которой обладает всеми возможными достоинствами(хорошим диагональным преобладанием, малой обусловленностьюи т. п.). Ясно, что нахождение подобного предобуславливателяне менее трудно, чем решение исходной системы, но сама идеяпримера весьма плодотворна. На практике в качестве предобуславливателейчасто берут несложно вычисляемые обратные матрицы к тойили иной «существенной» части матрицы A. Например, к главной диагоналиматрицы или же к трём диагоналям — главной и двум побочным.Другой способ приведения СЛАУ к рекуррентному виду основан нарасщеплении матрицы системы.

3.9. Стационарные итерационные методы 335Определение 3.9.2 Расщеплением квадратной матрицы A называетсяеё представление в виде A = G+(−H) = G−H, где G — неособеннаяматрица.Если известно некоторое расщепление матрицы A, A = G − H, товместо исходной системы Ax = b мы можем рассмотретькоторая равносильнатак что(G−H)x = b,Gx = Hx+b,x = G −1 Hx+G −1 b.На основе полученного рекуррентного вида можно организовать итерацииx (k+1) ← G −1 Hx (k) +G −1 b, (3.97)задавшись каким-то начальным приближением x (0) . Таким образом,всякое расщепление матрицы СЛАУ помогает конструированию итерационныхпроцессов.Но практическое значение имеют не все расщепления, а лишь те, вкоторых матрица G обращается «относительно просто», чтобы организацияитерационного процесса не сделалсь более сложной задачей, чемрешение исходной СЛАУ. Другое требование к матрицам, образующимрасщепление, состоит в том, чтобы норма обратной для G, т. е. ‖G −1 ‖,была «достаточно малой», поскольку ‖G −1 H‖ ≤ ‖G −1 ‖‖H‖. Если G −1имеет большую норму, то может оказаться ρ(G −1 H) > 1, и для итерационногопроцесса (3.97) не будут выполнеными условия сходимости.Очень популярный способ расщепления матрицы A состоит в том,чтобы сделать элементы в G = (g ij ) и H = (h ij ) взаимнодополнительными,т. е. такими, что g ij h ij = 0 для любых индексов i и j. Тогданенулевые элементы матриц G и (−H) совпадают с ненулевыми элементамиA.В качестве примеров несложно обращаемых матриц можно указать201) диагональные матрицы,2) треугольные матрицы,20 Обратная матрица очень просто находится также для ортогональных матриц,но они не очень хороши для расщепления, так как норма обратной для них не мала.

336 3. Численные методы линейной алгебры3) трёхдиагональные матрицы,4) . . . .Ниже в §3.9д и §3.9е мы подробно рассмотрим итерационные процессы,соответствующие первым двум пунктам этого списка.3.9г Скалярный предобуславливательи его оптимизацияНапомним, что скалярными матрицами (из-за своего родства скалярам)называются матрицы, кратные единичным, т. е. имеющие видτI, где τ ∈ R или C. Сейчас мы подробно исследуем описанную в предшествующемразделе возможность управления итерационным процессомна простейшем примере предобуславливания с помощью скалярнойматрицы, когда Λ = τI, τ ∈ R и τ ≠ 0.Итак, рассматриваем итерационный процессx (k+1) ← (I −τA)x (k) +τb, (3.98)τ = const, который часто называют методом простой итерации. Еслиλ i , i = 1,2,...,n, — собственные числа матрицы A (вообще говоря, оникомплексны), то собственные числа матрицы (I −τA) равны (1−τλ i ).Ясно, что в случае, когда среди λ i имеются числа с разным знакомвещественной части Reλ i , при любом фиксированном вещественном τвыражениеRe(1−τλ i ) = 1−τ Reλ iбудет иметь как меньшие 1 значения для каких-то λ i , так и б´ольшиечем 1 значения для некоторых других λ i . Как следствие, добиться локализациивсех значений (1−τλ i ) в единичном круге комплекной плоскостис центром в нуле, т. е. соблюдения условияρ(I−τA) < 1, никакимвыбором τ будет невозможно.Далее рассмотрим практически важный частный случай, когда A— симметричная положительно определённая матрица, так что все λ i ,i = 1,2,...,n, вещественны и положительны. Обычно они не бываютизвестными, но нередко более или менее точно известен интервал ихрасположения на вещественной оси R. Будем предполагать, что λ i ∈[µ,M], i = 1,2,...,n.Матрица (I−τA) тогда также симметрична, и потому её спектральныйрадиус совпадает с 2-нормой. Чтобы обеспечить сходимость итерационногопроцесса и добиться её наибольшей скорости, нам нужно,

3.9. Стационарные итерационные методы 337согласно Теореме 3.9.1 и оценкам убывания погрешности (3.93), найтизначение τ, которое доставляет минимум величине‖I −τA‖ 2 = maxλ i|1−τλ i |,где максимум в правой части берётся по дискретному множеству точекλ i , i = 1,2,...,n, спектра матрицы A. В условиях, когда о расположенииλ i ничего не известно кроме их принадлежности интервалу [µ,M],естественно заменить максимизацию по множествуλ i , i = 1,2,...,n, намаксимизацию по всему объемлющему его интервалу [µ,M]. Итак, мыбудем искать оптимальное значение τ = τ опт , при котором достигается( )min max |1−τλ| .τ λ∈[µ,M]Обозначивg(τ) = maxµ≤λ≤M |1−τλ|,обратимся для минимизации функции g(τ) к геометрической иллюстрацииРис. 3.19. Пользуясь ею, мы исследуем поведение g(τ) приизменении аргумента τ.При τ ≤ 0 функция (1−τλ) не убывает по λ, и при положительныхλ, очевидно, не меньше 1 по абсолютной величине. Тогда итерационныйпроцесс (3.98) сходиться не будет. Следовательно, в нашем анализеимеет смысл ограничится теми τ, для которых (1−τλ) убывает по λ.Это значения τ > 0.При 0 < τ ≤ M −1 функция 1−τλ на интервале λ ∈ [µ,M] неотрицательнаи монотонно убывает. Поэтому g(τ) = max λ |1−τλ| = 1−τµи достигается на левом конце интервала [µ,M].При τ > M −1 велична 1−τM отрицательна, так что график функции1−τλ на интервале λ ∈ [µ,M] пересекает ось абсцисс. При этомg(τ) = max { 1−τµ,−(1−τM) } ,причём на левом конце (1−τµ) убывает с ростом τ, а на правом конце−(1−τM) растёт с ростом τ.При некотором τ = τ опт наступает момент, когда эти значения наконцах интервала [µ,M] сравниваются друг с другом:1−τµ = −(1−τM).

338 3. Численные методы линейной алгебры10 µ MλРис. 3.19. Графики функций 1−τλ для различных τОн и является моментом достижения оптимума, поскольку дальнейшееувеличение τ приводит к росту −(1−τM) на правом конце интервала,а уменьшение τ ведёт к росту 1−τµ на левом конце. В любом из этихслучаев g(τ) возрастает. Отсюдаτ опт =2M +µ , (3.99)а значение оптимума g(τ), равное коэффициенту подавления 2-нормыпогрешности (как следствие из неравенств (3.93)), есть‖I −τ опт A‖ 2 = minτmaxλ∈[µ,M] |1−τλ| = 1−τ оптµ= 1− 2 M −µ ·µ =M +µ M +µ . (3.100)Ясно, что эта величина меньше единицы, т. е. даже с помощью простейшегоскалярного предобуславливателя мы добились сходимости итерационногопроцесса.Полезно оценить значение (3.100), используя спектральное числообусловленности матрицы A. Так как µ ≤ λ min (A) и λ max (A) ≤ M, тоcond 2 (A) = λ max(A)λ min (A) ≤ M µ .

3.9. Стационарные итерационные методы 339Поэтому, принимая во внимание тот факт, что функцияf(x) = x−1x+1 = 1− 2x+1возрастает при положительных x, можем заключить, что‖I −τ опт A‖ 2 = M/µ−1M/µ+1 ≥ cond 2(A)−1cond 2 (A)+1 .Получается, что чем больше cond 2 (A), т. е. чем хуже обусловленностьматрицы A исходной системы, тем медленнее сходимость нашего итерационногопроцесса. Мы увидим далее, что это характерно для поведениямногих итерационных методов.Наибольшую трудность на практике представляет нахождение µ,т. е. нижней границы спектра матрицы СЛАУ. Иногда мы даже можемничего не знать о её конкретной величине кроме того, что µ ≥ 0. Вэтих условиях развитая нами теория применима лишь частично. Оптимальнымзначением параметра τ следует, очевидно, взятьτ опт = 2 M ,метод простой итерации (3.98) будет при этом сходиться, но никакихоценок его скорости сходимости дать нельзя.3.9д Итерационный метод ЯкобиПусть в системе линейных алгебраических уравнений Ax = b диагональныеэлементы матрицы A = (a ij ) отличны от нуля, т. е. a ii ≠ 0,i = 1,2,...,n. Это условие не является обременительным, так как длянеособенной матрицы A перестановкой строк (соответствующей перестановкеуравнений системы) можно всегда сделать диагональные элементыненулевыми.В развёрнутом виде рассматриваемая система имеет видn∑a ij x j = b i , i = 1,2,...,n,j=1и, выражая i-ю компоненту вектора неизвестных из i-го уравнения,получим ⎛ ⎞x i = 1 ⎝b i − ∑ a ij x j⎠, i = 1,2,...,n.a iij≠i

340 3. Численные методы линейной алгебрыНетрудно понять, что эти соотношения дают представление исходнойСЛАУ в рекуррентном виде x = T(x), необходимом для организацииодношаговых итераций x (k+1) ← T(x (k) ), k = 0,1,2,.... ЗдесьT(x) = ( T 1 (x),T 2 (x),...,T n (x) ) ⊤и⎛ ⎞T i (x) = 1 ⎝b i − ∑ a ij x j⎠, i = 1,2,...,n.a iij≠iТаблица 3.4. Итерационный метод Якоби для решения СЛАУk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )END DODO FOR i = 1 TO nEND DO⎛x (k+1)i ← 1 ⎝ b i − ∑ a iij≠ik ← k +1 ;a ij x (k)j⎞⎠Псевдокод соответствующего итерационного процесса представленв Табл. 3.4, где вспомогательная переменная k — это счётчик числаитераций. Он был предложен ещё в середине XIX века К.Г. Якоби ичасто (особенно в старых книгах по численным методам) называется«методом одновременных смещений». Под «смещениями» здесь имеютсяв виду коррекции компонент очередного приближения к решению,выполняемые на каждом шаге итерационного метода. Смещениякоррекции«одновременны» потому, что все компоненты следующегоприближения x (k+1) насчитываются независимо друг от друга по единообразнымформулам, основанным на использовании лишь предыдущегоприближения x (k) . В следующем параграфе будет рассмотрен

3.9. Стационарные итерационные методы 341итерационный процесс, устроенный несколько по-другому, в которомсмещения-коррекции компонент очередного приближения к решению«не одновременны» в том смысле, что находятся последовательно одназа другой не только из предыдущего приближения, но ещё и друг издруга.Пусть A = ˜L+D+Ũ, где⎛00a 21 0 .˜L =a 31 a .. 32 ⎜ .⎝ . . .. 0a n1 a n2 ··· a n,n−1 0⎞⎟⎠— строго нижняятреугольная матрица.D = diag{a 11 ,a 22 ,...,a nn } — диагональ матрицы A,⎛⎞0 a 12 ··· a 1,n−1 a 1n. 0 .. a2,n−1 a 2nŨ =. .. . .⎜⎝0⎟0 a n−1,n ⎠0— строго верхняятреугольная матрица.Тогда итерационный метод Якоби может быть представлен как метод,основанный на таком расщеплении матрицы системы A = G−H (см.§3.9в), чтоG = D, H = −(˜L+Ũ).Соответственно, в матричном виде метод Якоби записывается какx (k+1) ← −D −1 (˜L+Ũ)x(k) +D −1 b, k = 0,1,2,... .Теперь нетрудно дать условия его сходимости, основываясь на общемрезультате о сходимости стационарных одношаговых итераций(Теорема 3.9.1). Именно, метод Якоби сходится из любого начальньногоприближения тогда и только тогда, когдаρ ( D −1 (˜L+Ũ)) < 1.

342 3. Численные методы линейной алгебрыМатрица D −1 (˜L + Ũ) просто выписывается по исходной системе иимеет вид ⎛⎞0 a 12 /a 11 ... a 1n /a 11a 21 /a 22 0 ... a 2n /a 22⎜⎝ .. . (3.101). .. . ⎟⎠a n1 /a nn a n2 /a nn ... 0Но нахождение её спектрального радиуса является задачей, сравнимойпо сложности с выполнением самого итерационного процесса, и потомуприменять его для исследования сходимости метода Якоби непрактично.Для быстрой и грубой оценки спектрального радиуса можновоспользоваться какой-нибудь матричной нормой и результатом Предложения3.3.9.Полезен также следующий достаточный признак сходимости:Предложение 3.9.3 Если в системе линейных алгебраических уравненийAx = b квадратная матрица A имеет диагональное преобладание,то метод Якоби для решения этой системы сходится при любомначальном приближении.Доказательство. Диагональное преобладание в матрице A = (a ij )означает, что|a ii | > ∑ |a ij |, i = 1,2,...,n.j≠iСледовательно,что равносильно∑∣ a ij∣∣∣∣ < 1,a iij≠i( ∑max1≤i≤nj≠ii = 1,2,...,n,∣ )a ij∣∣∣∣ < 1.a iiВ выражении, стоящем в левой части неравенства, легко угадать подчинённуючебышёвскую норму (∞-норму) матрицы D (˜L+Ũ), кото-−1рая была выписана нами в (3.101). Таким образом,∥ D −1 (˜L+Ũ)∥ ∥∞< 1,

3.9. Стационарные итерационные методы 343откуда, ввиду результата Предложения 3.9.1, следует доказываемое. Итерационный метод Якоби был изобретён в середине XIX века исейчас при практическом решении систем линейных алгебраическихуравнений используется редко, так как существенно проигрывает поэффективности более современным численным методам. 21 Тем не менее,совсем сбрасывать метод Якоби со счёта будет преждевременным.Лежащая в его основе идея выделения из оператора системы уравнений«диагональной части» достаточно плодотворна и может быть с успехомприменена в различных ситуациях.Рассмотрим, к примеру, систему уравненийAx = b(x),в которойA —n×n-матрица,b(x) — некоторая вектор-функция от неизвестнойпеременной x. В случае, когдаb(x) — нелинейная функция, никакиечисленные методы для решения СЛАУ здесь уже неприменимы,но для отыскания решения мы можем воспользоваться незначительноймодификацией итераций Якобиx (k+1)i← 1a ii⎛⎝ b i(x(k) ) − ∑ j≠ia ij x (k)j⎞⎠, i = 1,2,...,n,k = 0,1,2,..., с некоторым начальным приближением x (0) . Если b(x)изменяется «достаточно медленно», так что |b ′ i (x)/a ii| < 1 для любыхx ∈ R n при всех i = 1,2,...,n, то сходимость этого процесса для произвольногоначального приближения следует, к примеру, из теоремыШрёдера о неподвижной точке (Теорема 4.4.5, стр. 462).Вообще, нелинейный итерационный процесс Якоби в применении ксистеме уравнений⎧F 1 (x 1 ,x 2 ,...,x n ) = 0,⎪⎨ F 2 (x 1 ,x 2 ,...,x n ) = 0,⎪⎩.. .. .F n (x 1 ,x 2 ,...,x n ) = 021 Примеры применения и детальные оценки скорости сходимости метода Якобидля решения модельных задач математической физики можно увидеть в [37].

344 3. Численные методы линейной алгебрыможет заключаться в следующем. Задавшись каким-то начальным приближениемx (0) , на очередном k-ом шаге для всех i = 1,2,...,n последовательнонаходят решения ˜x i уравнений((k)F i x 1 ,...,x(k) i−1 ,x i,x (k) )i+1 ,...,x(k) n = 0относительно x i , а затем полагают x (k+1)i← ˜x i , i = 1,2,...,n.3.9е Итерационный метод Гаусса-ЗейделяВ итерационном методе Якоби при организации вычислений по инструкции(x (k+1)i ← 1 b i − ∑ )a ij x (k)j , i = 1,2,...,n, (3.102)a iij≠iкомпоненты очередного приближения x (k+1) находятся последовательноодна за другой, так что к моменту вычисления i-ой компонентывектора x (k+1) уже найдены x (k+1)1 , x (k+1)2 , . . . , x (k+1)i−1 . Но метод Якобиникак не использует эти новые значения, и при вычислении любойкомпоненты следующего приближения всегда опирается только навектор x (k) предшествующего приближения. Если итерации сходятсяк решению, то естественно ожидать, что все компоненты x (k+1) ближек искомому решению, чем x (k) , а посему немедленное вовлечение их впроцесс вычислений будет способствовать ускорению сходимости.На этой идее основан итерационный метод Гаусса-Зейделя, 22 псевдокодкоторого представлен в Табл. 3.5 (где, как и ранее, k — счётчикитераций). В нём суммирование в формуле (3.102) для вычисления i-ой компоненты очередного приближения x (k+1) разбито на две части— по индексам, предшествующим i, и по индексам, следующим за i.Первая часть суммы использует новые вычисленные значения x (k+1)1 ,. . . , x (k+1)i−1, тогда как вторая — компоненты x (k)i+1 , . . . , x(k) n из старогоприближения. Метод Гаусса-Зейделя иногда называют также итерационнымметодом «последовательных смещений», а его основная идея —немедленно вовлекать уже полученную информацию в вычислительныйпроцесс — с успехом применима и для нелинейных итерационныхсхем.22 В отчествественной литературе по вычислительной математике нередко используетсятакже термин «метод Зейделя».

3.9. Стационарные итерационные методы 345Таблица 3.5. Итерационный метод Гаусса-Зейделядля решения линейных систем уравненийk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )DO FOR i = 1 TO n⎛x (k+1)i ← 1 ∑i−1⎝ b i − a ij x (k+1)ja iiEND DOk ← k +1 ;END DOj=1−n∑j=i+1a ij x (k)j⎞⎠Чтобы получить для метода Гаусса-Зейделя матричное представление,перепишем его расчётные формулы в видеi∑j=1a ij x (k+1)j= −n∑j=i+1a ij x (k)j +b i ,i = 1,2,...,n.Используя введённые в §3.9д матрицы ˜L,D иŨ, на которые разлагаетсяA, можем записать эти формулы в видет. е.(D+ ˜L)x (k+1) = −Ũx(k) +b,x (k+1) = −(D + ˜L) −1 Ũx (k) +(D + ˜L) −1 b, k = 0,1,2,... . (3.103)Таким образом, метод Гаусса-Зейделя можно рассматривать как итерационныйметод, порождённый таким расщеплением матрицы СЛАУв виде A = G−H, что G = D + ˜L, H = −Ũ.В силу Теоремы 3.9.1 необходимым и достаточным условием сходимостиметода Гаусса-Зейделя из любого начального приближения являетсянеравенствоρ ( (D + ˜L) −1 Ũ ) < 1.

346 3. Численные методы линейной алгебрыПредложение 3.9.4 Если в системе линейных алгебраических уравненийAx = b матрица A имеет диагональное преобладание, то методГаусса-Зейделя для решения этой системы сходится при любомначальном приближении.Доказательство. Отметим, прежде всего, что в условиях диагональногопреобладания в A решение x ⋆ рассматриваемой линейной системысуществует (вспомним признак неособенности Адамара, §3.2е). Пусть,как и ранее, x (k) — приближение к решению, полученное на k-ом шагеитерационного процесса. Исследуем поведение погрешности решенияz (k) = x (k) −x ⋆ в зависимости от номера итерации k.Чтобы получить формулу для z (k) , предварительно перепишем соотношения,которым удовлетворяет точное решение x ⋆ : вместоn∑a ij x ⋆ j = b i ,j=1i = 1,2,...,n.можно придать им следующий эквивалентный видx ⋆ i = 1a ii(∑i−1b i − a ij x ⋆ j −j=1n∑j=i+1a ij x ⋆ j), i = 1,2,...,n.Вычитая затем почленно эти равенства из расчётных формул методаГаусса-Зейделя, т. е. изx (k+1)i = 1a ii(получимz (k+1)i = 1a ii(∑i−1b i −j=1∑i−1−j=1a ij x (k+1)ja ij z (k+1)j−−n∑j=i+1n∑j=i+1a ij x (k)ja ij z (k)j)), i = 1,2,...,n,, i = 1,2,...,n.Беря абсолютное значение от обеих частей этого равенства и пользуясьнеравенством треугольника для оценки сумм в правой части, будем

3.9. Стационарные итерационные методы 347иметь для i = 1,2,...,n:∣ (k+1)∑i−1∣ z ∣i ≤ a ij∣∣∣·∣∣(k+1)∑∣ z ∣ n ∣ j + a ij∣∣∣·∣∣(k)a ii∣ z ∣ja iij=1j=i+1≤ ∥ ∥ i−1∣∑z(k+1) a ij∣∣∣∞ ∣ + ∥ ∥ z(k) a ∞ iij=1n ∑j=i+1∣ a ij∣∣∣∣ . (3.104)a iiС другой стороны, условие диагонального преобладания в матрицеA, т. е.∑|a ij | < |a ii |, i = 1,2,...,n,j≠iозначает существование константы κ, 0 ≤ κ < 1, такой что∑|a ij | ≤ κ|a ii |, i = 1,2,...,n. (3.105)j≠iПо этой причине∑∣ a ij∣∣∣∣ ≤ κ,a iij≠ii = 1,2,...,n,откуда для i = 1,2,...,n следуетn∑j=i+1∣ a ij∣∣∣i−1∣∑∣ ≤ κ −a ij∣∣∣i−1∣ (∑a ii∣ ≤ κ −κa ij∣∣∣i−1∣)∑a ii∣ = κ 1−a ij∣∣∣a ii∣ .a iij=1Подставляя полученную оценку в неравенства (3.104), приходим к соотношениям∣ (k+1)∥z ∣ ∥ ∑i−1∣ i ≤ ∥z (k+1) a ij∣∣∣∞ ∣ + κ ∥ ∥ (∑i−1∣)z(k) a ∞1−a ij∣∣∣ii∣ , (3.106)a iij=1i = 1,2,...,n.∣Предположим, что max 1≤i≤n z (k+1)∣ достигается при i = l, так чтоij=1j=1j=1∥ ∥ z(k+1) ∞= ∣ (k+1)z ∣ . (3.107)l

348 3. Численные методы линейной алгебрыРассмотрим теперь отдельно l-ое неравенство из (3.106). Привлекаяравенство (3.107), можем утверждать, что∥ ∥ z(k+1) ∞≤ ∥ ∥ l−1∣∑z(k+1) a lj∣∣∣∞ ∣ +κ ∥ ∥ (l−1∣)∑z(k) a ∞1−a lj∣∣∣ll∣ ,a llj=1j=1то есть∥ ∥ ∑l−1∣)z(k+1) ∞(1−a lj∣∣∣∣ ≤ κ ∥ ∥ ∑l−1∣)z(k) a ∞(1−a lj∣∣∣ll∣ . (3.108)a llКонечно, значение индекса l, на котором достигается равенство (3.107),может меняться в зависимости от номера итерацииk. Но так как вплотьдо оценки (3.106) мы отслеживали все компоненты погрешностиz (k+1)i ,то вне зависимости от k неравенство (3.108) должно быть справедливымдля компоненты с номером l, определяемой условием (3.107).Далее, в силу диагонального преобладания в матрице A∑l−1∣ 1−a lj∣∣∣∣ > 0,a llj=1и на эту положительную величину можно сократить обе части неравенства(3.108). Окончательно получаем∥ z(k+1) ∥ ∥∞≤ κ ∥ ∥ z(k) ∥ ∥∞,j=1j=1что при |κ| < 1 означает сходимость метода Гаусса-Зейделя.Фактически, в доказательстве Предложения 3.9.4 мы получили дажеоценку уменьшения чебышёвской нормы погрешности через «мерудиагонального преобладания» в матрице СЛАУ, в качестве которой можетвыступать величина κ, определённая посредством (3.105).Теорема 3.9.2 Если в системе линейных алгебраических уравненийAx = b матрица A является симметричной положительно определённой,то метод Гаусса-Зейделя сходится к решению из любого начальногоприближения.Доказательство может быть найдено, к примеру, в [3, 11]. Теорема3.9.2 является частным случаем теоремы Островского-Райха (теорема3.9.3), которая, в свою очередь, может быть получена как следствие

3.9. Стационарные итерационные методы 349из более общей теории итерационных методов, развитой А.А. Самарскими начала которой мы излагаем в §3.12.Метод Гаусса-Зейделя был сконструирован как модификация методаЯкоби, и, казалось бы, должен работать лучше. Так оно и есть«в среднем», на случайно выбранных системах — метод Гаусса-Зейделяработает несколько быстрее, что можно показать математически строгопри определённых допущениях на систему. Но в целом ситуация нестоль однозначна. Для СЛАУ размера 3×3 и более существуют примеры,на которых метод Якоби расходится, но метод Гаусса-Зейделя сходится,так же как существуют и примеры другого свойства, когда методЯкоби сходится, а метод Гаусса-Зейделя расходится. В частности, дляметода Якоби неверна Теорема 3.9.2, и он может расходится для системлинейных уравнений с симметричными положительно-определённымиматрицами.По поводу практического применения метода Гаусса-Зейделя можносказать почти то же самое, что и о методе Якоби в §3.9д. Для решениясистем линейных алгебраических уравнений он используется в настоящеевремя нечасто, но его идея не утратила своего значения и успешноприменяется при построении различных итерационных процессов длярешения линейных и нелинейных систем уравнений.3.9ж Методы релаксацииОдим из принципов, который кладётся в основу итерационных методоврешения систем уравнений, является так называемый принципрелаксации. 23 Он понимается как специальная организация итераций,при которой на каждом шаге процесса уменьшается какая-либо величина,характеризующая погрешность решения системы.Поскольку само решение x ⋆ нам неизвестно, то оценить напрямуюпогрешность(x (k) −x ⋆ ) не представляется возможным. По этой причинео степени близости x (k) к x ⋆ судят на основании косвенных признаков,важнейшим среди которых является величина невязки решения.Невязка определяется как разность левой и правой частей уравненияпосле подстановки в него приближения к решению, и в нашем случаеэто Ax (k) −b. При этом конкретное применение принципа релаксацииможет заключаться в том, что на каждом шаге итерационного процессастремятся уменьшить абсолютные значения компонент вектора23 От латинского слова «relaxatio» — уменьшение напряжения, ослабление.

350 3. Численные методы линейной алгебрыневязки либо её норму, либо какую-то зависящую от них величину.В этом смысле методы Якоби и Гаусса-Зейделя можно рассматриватькак итерационные процессы, в которых также осуществляется релаксация,поскольку на каждом их шаге компоненты очередного приближениявычисляются из условия зануления соответствующих компонентневязки на основе уже полученной информации о решении. Правда,это делается «локально», для отдельно взятой компоненты, и без учётавлияния результатов вычисления этой компоненты на другие компонентыневязки.Различают релаксацию полную и неполную, в зависимости от того,добиваемся ли мы на каждом отдельном шаге итерационного процесса(или его подшаге) наибольшего возможного улучшения рассматриваемойфункции от погрешности или нет. Локально полная релаксацияможет казаться наиболее выгодной, но глобально, с точки зрения сходимостипроцесса в целом, тщательно подобранная неполная релаксациянередко приводит к более эффективным методам.Очень популярной реализацией высказанных выше общих идей являетсяметод решения систем линейных алгебраических уравнений, вкотором для улучшения сходимости берётся «взвешенное среднее» значенийкомпонент предшествующейx (k) и последующей x (k+1) итерацийметода Гаусса-Зейделя. Более точно, зададимся вещественным числомω, которое будем называть параметром релаксации, и i-ую компонентуочередного (k +1)-го приближения положим равнойωx (k+1)i+(1−ω)x (k)i ,где x (k)i — i-ая компонента приближения, полученного в результате k-го шага алгоритма, а x (k+1)i — i-ая компонента приближения, котороебыло бы получено на основе x (k) и x (k+1)1 , . . . , x (k+1)i−1 , x (k)i+1 , . . . , x(k) nс помощью метода Гаусса-Зейделя. Псевдокод получающегося итерационногоалгоритма, который обычно и называют методом релаксациидля решения систем линейных алгебраических уравнений, представленв Табл. 3.6.Расчётные формулы этого метода можно записать в виде∑i−1a ii x (k+1)i+ω a ij x (k+1)jj=1= (1−ω)a ii x (k)i−ωn∑j=i+1a ij x (k)j+ωb i ,для i = 1,2,...,n. Используя введённые выше в §3.9е матрицы ˜L, D и

3.9. Стационарные итерационные методы 351Таблица 3.6. Псевдокод метода релаксациидля решения систем линейных уравненийk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )DO FOR i = 1 TO nx (k+1)iEND DOk ← k +1 ;END DO← (1−ω)x (k)i⎛+ ω ⎝ b i −a ii∑i−1j=1a ij x (k+1)j−n∑j=i+1a ij x (k)j⎞⎠Ũ, можно придать этим соотношениям более компактный вид(D+ω˜L) x (k+1) = ( (1−ω)D−ωŨ) x (k) +ωb,откудаx (k+1) = ( D+ω˜L ) −1((1−ω)D−ω Ũ ) x (k) + ( D +ω˜L ) −1ωb,k = 0,1,2,....В зависимости от конкретного значения параметра релаксации приняторазличать три случая:если ω < 1, то говорят о «нижней релаксации»,если ω = 1, то имеем итерации Гаусса-Зейделя,если ω > 1, то говорят о «верхней релаксации». 24Последний случай может показаться экзотичным, но во многих ситуацияхон действительно обеспечивает улучшение сходимости итераций24 В англоязычной литературе по вычислительной линейной алгебре этот методобычно обозначают аббревиатурой SOR(ω), которая происходит от термина«Successive OverRelaxation» — последовательная верхняя релаксация.

352 3. Численные методы линейной алгебрыв сравнении с методом Гаусса-Зейделя. Несколько упрощённое объяснениеэтого явления может состоять в том, что если направление отx (k) к x (k+1) оказывается удачным в том смысле, что приближает к искомомурешению, то имеет смысл пройти по нему и дальше, за x (k+1) .Это соответствует случаю ω > 1.Важно отметить, что метод релаксации также укладывается в изложеннуюв §3.9в схему итерационных процессов, порождаемых расщеплениемматрицы решаемой системы уравнений. Именно, мы берёмA = G ω −H ω с матрицамиG ω = D+ω˜L,H ω = (1−ω)D−ωŨ.Необходимое и достаточное условие сходимости метода релаксации принимаетпоэтому видρ ( G −1ω H ω)< 1.Для некоторых специфичных, но очень важных задач математическойфизики значение релаксационного параметра ω, при котором величинаρ ( )G −1ω H ω достигает минимума, находится относительно просто.В более сложных задачах для оптимизации ω требуется весьматрудный анализ спектра матрицы перехода G −1ω H ω из представления(3.97). Обзоры состояния дел в этой области читатель может найти в[45, 49, 77, 95, 96].Предложение 3.9.5 Если C ω = ( D+ω˜L ) −1((1−ω)D−ω Ũ ) — матрицаоператора перехода метода релаксации, то ρ(C ω ) ≥ |ω −1|. Какследствие, неравенство0 < ω < 2 на параметр релаксации необходимодля сходимости метода.Доказательство. Прежде всего, преобразуем матрицу C ω для приданияей более удобного для дальнейших выкладок вида:C ω = ( D+ω˜L ) −1((1−ω)D−ω Ũ )= ( D(I +ωD −1˜L) ) −1 ((1−ω)D−ω Ũ )= ( I +ωD −1˜L) −1D −1 ( (1−ω)D −ωŨ)= ( I +ωD −1˜L) −1 ((1−ω)I −ωD −1 Ũ ) .

3.9. Стационарные итерационные методы 353Желая исследовать расположение собственных чисел λ i (C ω ) матрицыC ω , рассмотрим её характеристический полином(I −1 (φ(λ) = det(C ω −λI) = det(+ωD−1˜L) (1−ω)I −ωD −1 Ũ ) )−λI= p n λ n +p n−1 λ n−1 +...+p 1 λ+p 0 ,в котором p n = (−1) n по построению. Свободный член p 0 характеристическогополинома может быть найден как φ(0):( (I −1 (p 0 = det C ω = det +ωD−1˜L) (1−ω)I −ωD −1 Ũ ))= det ( (I +ωD −1˜L) −1 )·det ( (1−ω)I −ωD −1 Ũ )= det ( (1−ω)I −ωD −1 Ũ ) = (1−ω) n ,коль скоро матрица (I +ωD −1˜L) — нижняя треугольная и диагональнымиэлементами имеет единицы, а ( (1 − ω)I − ωD −1 Ũ ) — верхняятреугольная, с элементами (1−ω) по главной диагонали.С другой стороны, по теореме Виета свободный член характеристическогополинома матрицы, делённый на старший коэффициент, равенпроизведению его корней, т. е. собственных чисел матрицы, умноженномуна (−1) n (см., к примеру, [22]), и поэтомуn∏λ i (C ω ) = (1−ω) n .i=1Отсюда необходимо следуетmax |λ i(C ω )| ≥ |ω −1|,1≤i≤nчто и доказывает Предложение.Теорема 3.9.3 (теорема Островского-Райха) Если в системе линейныхалгебраических уравнений Ax = b матрица A является симметричнойположительно определённой, то для всех значений параметраω ∈]0,2[ метод релаксации сходится к решению из любого начальногоприближения.Доказательство опускается. Читатель может найти его, к примеру,в книгах [13, 95, 96]. Обоснование теоремы Островского-Райха будет

354 3. Численные методы линейной алгебрытакже дано ниже в §3.12 как следствие теоремы Самарского, дающейдостаточные условия сходимости для итерационных методов весьма общеговида.3.10 Нестационарные итерационныеметоды для линейных систем3.10а Теоретическое введениеВ этом параграфе для решения систем линейных алгебраическихуравнений мы рассмотрим нестационарные итерационные методы, которыераспространены не меньше стационарных. В основу нестационарныхметодов могут быть положены различные идеи.В качестве первого примера рассмотрим метод простой итерации(3.98)x (k+1) ← (I −τA)x (k) +τb, k = 0,1,2,...,исследованный нами в §3.9г. Если переписать его в видеx (k+1) ← x (k) −τ ( Ax (k) −b ) , k = 0,1,2,..., (3.109)то расчёт каждой последующей итерации x (k+1) может трактоватьсякак вычитание из x (k) поправки, пропорциональной вектору текущейневязки (Ax (k) − b). Но при таком взгляде на итерационный процессможно попытаться изменять параметр τ в зависимости от шага, т. е.взять τ = τ k переменным, рассмотрев итерацииx (k+1) ← x (k) −τ k(Ax (k) −b ) , k = 0,1,2,.... (3.110)Эту нестационарную версию метода простой итерации часто связываютс именем Л.Ф. Ричардсона, предложившего её идею ещё в 1910 году.Он, к сожалению, не смог развить удовлетворительной теории выборапараметров τ k , и для решения этого вопроса потребовалось ещёнесколько десятилетий развития вычислительной математики. Отметим,что задача об оптимальном выборе параметров τ k на группе изнескольких шагов приводит к так называемым чебышёвским циклическимитерационным методам (см. [37, 45, 77]).Можно пойти по намеченному выше пути дальше, рассмотрев нестационарноеобобщение итерационного процессаx (k+1) ← (I −ΛA)x (k) +Λb, k = 0,1,2,...,

3.10. Нестационарные итерационные методы 355который получен в результате матричного предобуславливания исходнойсистемы линейных алгебраических уравнений. Переписав его вычислительнуюсхему в видеx (k+1) ← x (k) −Λ ( Ax (k) −b ) , k = 0,1,2,...,нетрудно увидеть возможность изменения предобуславливающей матрицыΛ в зависимости от номера шага. Таким образом, приходим квесьма общей схеме нестационарных линейных итерационных процессовx (k+1) ← x (k) −Λ k(Ax (k) −b ) , k = 0,1,2,...,где {Λ k } ∞ k=0 — некоторая последовательность матриц, выбор которойзависит, вообще говоря, от начального приближения x (0) .Другой популярный путь построения нестационарных итерационныхметодов для решения уравнений — использование вариационныхпринципов.Интуитивно понятный термин «вариация» был введён в математикуЖ.-Л. Лагранжем для обозначения малого изменения («шевеления»)независимой переменной или рассматриваемой функции (функционала).Соответственно, метод исследования задач нахождения экстремумов,основанный на изучении зависимости функции от вариацийаргументов получил название метода вариаций. Но со временем «вариационными»стали именовать методы решения различных уравнений,которые сводят исходную постановку задачи к определённым задачамна нахождение экстремума. Согласно этой терминологии, вариационнымипринципами теперь называют переформулировки интересующихнас задач в виде каких-либо оптимизационных задач, т. е. задач на нахождениеминимумов или максимумов. Тогда итерационные методырешения СЛАУ могут конструироваться как итерационные процессыдля отыскания этих экстремумов тех или иных функционалов.Вариационные принципы получаются весьма различными способами.Некоторые из них вытекают из содержательного (физического, механическогои пр.) смысла решаемой задачи. Например, в классическоймеханике хорошо известны «припцип наименьшего действия Лагранжа»,в оптике существует «принцип Ферма» [70]. В последнее столетиеимеется тенденция всё меньше связывать вариационные принципы сконкретным физическим содержанием, они становятся абстрактнымматематическим инструментом решения разнообразных задач.Строго говоря, в вычислительном отношении получающаяся в результатеописанного выше свед´ения оптимизационная задача может

356 3. Численные методы линейной алгебрыбыть не вполне эквивалентна исходной, так как задача нахожденияустойчивого решения уравнения может превратиться в неустойчивуюзадачу о проверке точного равенства экстремума нулю (этот вопрос болееподробно обсуждается далее в §4.2б). Но если существование решенияуравнения известно априори, до того, как мы приступаем к его нахождению(например, на основе каких-либо теорем существования), товариационные методы становятся важным подспорьем практическихвычислений. Именно такова ситуация с системами линейных алгебраическихуравнений, разрешимость которых часто обеспечивается различнымирезультатами из линейной алгебры.Как именно можно переформулировать задачу решения СЛАУ в видеоптимизационной задачи? По-видимому, простейший способ можетосновываться на том факте, что точное решение x ⋆ зануляет нормуневязки ‖Ax−b‖, доставляя ей, таким образом, наименьшее возможноезначение. Желая приобрести гладкость получаемого функционалапо неизвестной переменной x, обычно берут евклидову норму невязки,или даже её квадрат, т. е. скалярное произведение 〈Ax−b,Ax−b〉, чтобыне привлекать взятия корня. Получающаяся задача минимизациивеличины ‖Ax−b‖ 2 2 является называется линейной задачей о наименьшихквадратах, и мы рассмотрим её подробнее в §3.15.Ещё одним фактом, который служит теоретической основой для вариационныхметодов решения систем линейных алгебраических уравненийявляетсяПредложение 3.10.1 Вектор x ⋆ ∈ R n является решением системылинейных алгебраических уравнений Ax = b с симметричной положительноопределённой матрицей A тогда и только тогда, когда ондоставляет минимум функционалу Φ(x) = 1 2〈Ax,x〉 −〈b,x〉.Доказательство. Если A — симметричная положительно-определённаяматрица, то, как мы видели в §3.3а, выражением 1 2〈Ax,x〉 задаётсятак называемая энергетическая норма ‖·‖ A векторов из R n .Далее, пусть x ⋆ — решение рассматриваемой системы линейных алгебраическихуравнений Ax = b, которое существует и единственно всилу положительной определённости матрицы A. Из единственностиx ⋆ следует, что некоторый вектор x ∈ R n является решением системыуравнений тогда и только тогда, когда x−x ⋆ = 0, или, иными словами,‖x−x ⋆ ‖ 2 A = 0.С другой стороны, учитывая симметричность матрицы A и равен-

3.10. Нестационарные итерационные методы 357ство Ax ⋆ = b, получаемΦ(x) = 1 2 〈Ax,x〉−〈b,x〉= 1 2 〈Ax,x〉−〈Ax⋆ ,x〉+ 1 2 〈Ax⋆ ,x ⋆ 〉− 1 2 〈Ax⋆ ,x ⋆ 〉= 1 2(〈Ax,x〉−〈Ax,x ⋆ 〉−〈Ax ⋆ ,x〉+〈Ax ⋆ ,x ⋆ 〉 ) − 1 2 〈Ax⋆ ,x ⋆ 〉= 1 2 〈A(x−x⋆ ), x−x ⋆ 〉− 1 2 〈Ax⋆ ,x ⋆ 〉= 1 2 ‖x−x⋆ ‖ 2 A − 1 2 〈Ax⋆ ,x ⋆ 〉, (3.111)так что функционал Φ(x) отличается от половины квадрата энергетическойнормы погрешности лишь постоянным слагаемым 1 2 〈Ax⋆ ,x ⋆ 〉(которое заранее неизвестно из-за незнания нами x ⋆ ). Следовательно,Φ(x) действительно достигает своего единственного минимума при томже значении аргумента, что и ‖x−x ∗ ‖ 2 A , т. е. на решении x⋆ рассматриваемойлинейной системы.Функционал Φ(x) = 1 2〈Ax,x〉−〈b,x〉, который является квадратичнойформой от вектора переменных x, обычно называют функционаломэнергии из-за его сходства с выражениями для различных видовэнергии в физических системах. К примеру, кинетическая энергия теламассы m, движущегося со скоростью v, равна 1 2 mv2 . Энергия упругойдеформации пружины с жёсткостью k, растянутой или сжатой на величинуx, равна 1 2 kx2 , и т. п.ПосколькуA—симметричная матрица, то ортогональным преобразованиемподобия она может быть приведена к диагональной матрицеD, на главной диагонали которой стоят собственные значения A:A = Q ⊤ DQ,причём в силу положительной определённости матрицы A диагональныеэлементы D положительны. Подставляя это представление в выражениедля функционала энергии Φ(x), получимΦ(x) = 〈 Q ⊤ DQx,x 〉 −2〈b,x〉= 〈 D(Qx),Qx 〉 −2〈Qb,Qx〉= 〈Dy,y〉−2〈Qb,y〉,

358 3. Численные методы линейной алгебрыРис. 3.20. Типичный график функционалаэнергии и его линии уровня.где обозначеноy = Qx. Видим, что в изменённой системе координат, котораяполучается с помощью ортогонального линейного преобразованияпеременных, выражение для функционала энергииΦ(x) есть суммаквадратов с коэффициентами, равными собственным значениям матрицыA, т. е. член 〈Dy,y〉, минус линейный член 2〈Qb,y〉. Таким образом,график функционала энергии — это эллиптический параболоид,возможно, сдвинутый относительно начала координат и ещё повёрнутый,а его поверхности уровня (линии уровня в двумерном случае) —эллипсоиды (эллипсы), в центре которых находится искомое решениесистемы уравнений. При этом форма эллипсоидов уровня находится взависимости от разброса коэффициентов при квадратах переменных,т. е. от числа обусловленности матрицы A. Чем больше эта обусловленность,тем сильнее сплющены эллипсоиды уровня, так что для плохообусловленныхСЛАУ решение находится на дне длинного и узкого«оврага».

3.10. Нестационарные итерационные методы 3593.10б Метод наискорейшего спускаВ предшествующем пункте были предложены две вариационные переформулировкизадачи решения системы линейных алгебраическихуравнений. Как находить минимум соответствующих функционалов?Прежде, чем строить конкретные численные алгоритмы, рассмотримобщую схему.Пусть f : R n → R — некоторая функция, ограниченная снизу навсём пространстве R n и принимающая своё наименьшее значение в x ⋆ ,так чтоf(x) ≥ f(x ⋆ ) = minx∈R nf(x) для любых x ∈ Rn .Нам нужно найти точку x ⋆ . При этом саму функцию f, для которойищется экстремум, в теории оптимизации называют целевой функцией.Различают экстремумы локальные и глобальные. Локальными называютэкстремумы, в которых значения целевой функции лучше, чемв некоторой окрестности рассматривамой точки. Глобальные экстремумыдоставляют функции значения, лучшие всех значений функции навсей её области определения. Нас в связи с задачей минимизации функционалаэнергии интересуют, конечно, его глобальные минимумы.Типичным подходом к решению задач оптимизации является итерационноепостроение последовательности значений аргумента {x (k) },которая «минимизирует» функцию f в том смысле, чтоlimk→∞ f(x(k) ) = minx∈R nf(x).Если построенная последовательность {x (k) } сходится к некоторомупределу, то он и является решением задачи x ⋆ в случае непрерывнойфункции f.Метод градиентного спуска, является способом построения последовательности,которая является минимизирующей для определённогокласса дифференцируемых целевых функций, и заключается в следующем.Пусть уже найдено какое-то приближение x (k) , k = 0,1,2,..., кточке минимума функции f(x). Естественная идея состоит в том, чтобыиз x (k) сдвинуться по направлению наибольшего убывания целевойфункции, которое противоположно направлению градиента f ′ (x (k) ),т. е. взятьx (k+1) ← x (k) −τ k f ′ (x (k) ), (3.112)

360 3. Численные методы линейной алгебрыгде τ k — величина шага, которая выбирается из условия убывания целевойфункции на рассматриваемой итерации. Далее мы можем повторитьэтот шаг ещё раз и ещё . . . столько, сколько требуется длядостижения требуемого приближения к минимуму.Если целевая функция имеет более одного локального экстремума,то этот метод может сходиться к какому-нибудь одному из них, которыйне обязательно является глобальным. К счастью, подобный феноменне может случиться в интересующем нас случае минимизациифункционала энергии Φ(x), порождаемого системой линейных уравненийс симметричной положительно определённой матрицей. СвойстваΦ(x) достаточно хороши, и он имеет один локальный минимум, которыйодновременно и глобален.локальныеминимумыглобальныйминимумРис. 3.21. Глобальные и локальные минимумы функции.Вычислим градиент функционала энергии:⎛⎞∂Φ(x)= ∂ ⎝ 1 n∑ n∑ n∑a ij x i x j − b i x i⎠ =∂x l ∂x l 2i=1 j=1i=1n∑a lj x j −b l ,l = 1,2,...,n. Множитель1/2 исчезает в результате потому, что в двойнойсумме помимо квадратичных слагаемыхa ii x 2 i остальные слагаемыеприсутствуют парами, как a ij x i x j и a ji x j x i , причём a ij = a ji . В целомj=1Φ ′ (x) =( ∂Φ(x)∂x 1, ∂Φ(x)∂x 2,..., ∂Φ(x)∂x n) ⊤= Ax−b,

3.10. Нестационарные итерационные методы 361т. е. градиент функционала Φ равен невязке решаемой системы линейныхуравнений в рассматриваемой точке. Важнейшим выводом из этогофакта является тот, что метод простой итерации (3.98)–(3.109) являетсяни чем иным, как методом градиентного спуска (3.112) для минимизациифункционала энергииΦ, в котором шагτ k выбран постоянными равным τ. Вообще, метод градиентного спуска (3.112) оказываетсяравносильным простейшему нестационарному итерационному методу(3.110).Выбор величины шага τ k является очень ответственным делом, таккак от него зависит и наличие сходимости, и её скорость. Спуск понаправлению антиградиента обеспечивает убывание целевой функциилишь при достаточно малых шагах, и потому при неудачно большойвеличине шага мы можем попасть в точку, где значение функционалане меньше, чем в текущей точке. С другой стороны, слишком малыйшаг приведёт к очень медленному движению в сторону решения.Для градиентного метода с постоянным шагом его трактовка как методапростой итерации позволяет, опираясь на результат §3.9г, выбратьшаг τ k = const, который наверняка обеспечивает сходимость процесса.Именно, если положительные числа µ и M — это нижняя и верхняяграницы спектра положительно определённой матрицы A решаемойсистемы, то в соответствии с (3.99) для сходимости следует взятьτ k = τ =2M +µ .Другой способ выбора шага состоит в том, чтобы потребовать τ kнаибольшим возможным, обеспечивающим убывание функционала Φвдоль выбранного направления спуска по антиградиенту. При этомполучается разновидность градиентного спуска, называемая методомнаискорейшего спуска, теория которого была разработана в конце 40-хгодов XX века Л.В. Канторовичем.Для определения конкретной величины шага τ k в методе наискорейшегоспуска нужно подставить выражение x (k) −τ k Φ ′ (x (k) ) = x (k) −τ k (Ax (k) −b) в аргумент функционала энергии и продифференцироватьполучающееся отображение по τ k . Для удобства выкладок обозначим

362 3. Численные методы линейной алгебрыневязку r (k) := Ax (k) −b. ИмеемΦ ( x (k) −τ k r (k)) = 2〈 1 A(x (k) −τ k r (k) ),x (k) −τ k r (k)〉 −〈b,x (k) −τ k r (k) 〉= 2〈 1 Ax (k) ,x (k)〉 〈−τ k Ax (k) ,r (k)〉 〈+ 1 2 τ2 k Ar (k) ,r (k)〉−〈b,x (k) 〉+τ k 〈b,r (k) 〉.При дифференцировании выписанного выражения по τ k не зависящиеот него члены исчезнут, и мы получимddτ kΦ ( x (k) −τ k r (k)) = − 〈 Ax (k) ,r (k)〉 +τ k 〈Ar (k) ,r (k) 〉+〈b,r (k) 〉= τ k〈Ar (k) ,r (k)〉 − 〈 Ax (k) −b,r (k)〉= τ k〈Ar (k) ,r (k)〉 −〈r (k) ,r (k) 〉.Таким образом, в точке экстремума по τ k из условиянеобходимо следуетddτ kΦ ( x (k) −τ k r (k)) = 0τ k = 〈r(k) ,r (k) 〉〈Ar(k),r (k)〉.Легко видеть, что при найденном значении τ k функционалом энергиидействительно достигается минимум по выбранному направлениюспуска, так как тогда его вторая производная по τ k , равная〈Ar (k) ,r (k) 〉,положительна. В целом, псевдокод метода наискорейшего градиентногоспуска для решения системы линейных алгебраических уравненийAx = b представлен в Табл. 3.7.Теорема 3.10.1 Если A — симметричная положительно определённаяматрица, то последовательность {x (k) }, порождаемая методомнаискорейшего спуска, сходится к решению x ⋆ системы уравненийAx = b из любого начального приближения x (0) , и быстрота этойсходимости оценивается неравенством‖x (k) −x ⋆ ‖ A ≤( ) k M −µ‖x (0) −x ⋆ ‖ A , k = 0,1,2,..., (3.113)M +µгде µ, M — нижняя и верхняя границы спектра матрицы A.

3.10. Нестационарные итерационные методы 363Таблица 3.7. Псевдокод метода наискорейшего спускадля решения систем линейных уравненийk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )END DOr (k) ← Ax (k) −b ;τ k ← ‖r(k) ‖ 2 2〈Ar (k) ,r (k) 〉 ;x (k+1) ← x (k) −τ k r (k) ;k ← k +1 ;Доказательство оценки (3.113) и теоремы в целом будет полученопутём сравнения метода наискорейшего спуска с методом градиентногоспуска с постоянным оптимальным шагом.Пусть в результате выполнения (k−1)-го шага метода наискорейшегоспуска получено приближение x (k) , и мы делаем k-ый шаг, которыйдаёт x (k+1) . Обозначима также через ˜x результат выполнения с x (k)одного шага метода простой итерации, так что˜x = x (k) −τ ( Ax (k) −b ) .Из развитой в предшествующей части параграфа теории вытекает, чтопри любом выборе параметра τДалее, из равенства (3.111)Φ(x (k+1) ) ≤ Φ(˜x).Φ(x) = 1 2 ‖x−x⋆ ‖ 2 A − 1 2 〈Ax⋆ ,x ⋆ 〉с постоянным вычитаемым 1 2 〈Ax⋆ ,x ⋆ 〉 следует, что12 ‖x(k+1) −x ⋆ ‖ 2 A ≤ 1 2 ‖˜x−x⋆ ‖ 2 A ,

364 3. Численные методы линейной алгебрыт. е.‖x (k+1) −x ⋆ ‖ A ≤ ‖˜x−x ⋆ ‖ A . (3.114)Иными словами, метод, обеспечивающий лучшее убывание значенияфункционала энергии одновременно обеспечивает лучшее приближениек решению в энергетической норме.В методе градиентного спуска с постоянным шагом — совпадающемс методом простой итерации (3.98) или (3.109) — имеем˜x−x ⋆ = (I −τA)(x (k) −x ⋆ ), k = 0,1,2,....Матрица (I−τA) является многочленом первой степени от матрицы A,и потому можем применить неравенство (3.25) из Предложения 3.3.8(стр. 247):‖˜x−x ⋆ ‖ A ≤ ‖I −τA‖ 2 ‖x (k) −x ⋆ ‖ A .При этом у метода наискорейшего спуска оценка заведомо не хужеэтой оценки, в которой взято значение параметра шага τ = 2/(M +µ),оптимальное для спуска с постоянным шагом. Тогда в соответствии с(3.114) и с оценкой (3.100) для метода простой итерации получаем( ) M −µ‖x (k+1) −x ⋆ ‖ A ≤ ‖x (k) −x ⋆ ‖ A , k = 0,1,2,...,M +µоткуда следует доказываемая оценка (3.113).x ⋆x (0)Рис. 3.22. Иллюстрация работы метода наискорейшего спуска.

3.10. Нестационарные итерационные методы 365Интересно и поучительно рассмотреть геометрическую иллюстрациюработы метода наискорейшего спуска.Градиент функционала энергии нормален к его поверхностям уровня,и именно по этим направлениям осуществляется «спуск» — движениев сторону решения. Шаг в методе наискорейшего спуска идётна максимально возможную величину — до пересечения с касательнымэллипсоидом. Поэтому траектория метода наискорейшего спускаявляется ломаной, звенья которой перпендикулярны друг другу (см.Рис. 3.22).Хотя доказательство Теоремы 3.10.1 основано на мажоризации наискорейшегоспуска методом простой итерации и может показаться довольногрубым, оценка (3.113) в действительности весьма точно передаётособенности поведения метода, а именно, замедление сходимостипри M ≫ µ. Тот факт, что в случае плохой обусловленности матрицысистемы движение к решению в методе наискорейшего спуска весьмадалеко от оптимального, подтверждается вычислительной практикой иможет быть понято на основе геометрической интерпретации. Искомоерешение находится при этом на дне глубокого и вытянутого оврага, аметод «рыскает» от одного склона оврага к другому вместо того, чтобыидти напрямую к глубочайшей точке — решению.3.10в Метод минимальных невязокДругой популярный подход к выбору итерационных параметров τ kв нестационарном итерационном процессе (3.110)x (k+1) ← x (k) −τ k(Ax (k) −b ) , k = 0,1,2,...,был предложен С.Г. Крейном и М.А. Красносельским в работе [24] иназван ими методом минимальных невязок. Его псевдокод приведёнв Табл. 3.8. Каждый шаг этого метода минимизирует ‖Ax − b‖ 2 или,что равносильно, ‖Ax−b‖ 2 2 в направлении невязки k-го приближения,равной r (k) = Ax (k) −b. Оказывается, что это эквивалентно наибольшемувозможному уменьшению A ⊤ A-нормы погрешности приближённогорешения системы. В самом деле, если x ⋆ — точное решение системы

366 3. Численные методы линейной алгебрыуравнений, то Ax ⋆ = b, и потому‖Ax−b‖ 2 2 = 〈Ax−b,Ax−b〉 = 〈Ax−Ax⋆ ,Ax−Ax ⋆ 〉= 〈A(x−x ⋆ ),A(x−x ⋆ )〉 = 〈 A ⊤ A(x−x ⋆ ), x−x ⋆〉= ‖x−x ⋆ ‖ 2 A ⊤ A . (3.115)Если уже найдено x (k) , и мы желаем выбрать параметр τ так, чтобына следующем приближении x (k) − τr (k) минимизировать 2-нормуневязки решения, то необходимо найти минимум по τ для выражения∥ A(x (k) −τr (k) )−b ∥ ∥ 2 2 = 〈 A(x (k) −τr (k) )−b,A(x (k) −τr (k) )−b 〉= τ 2 〈Ar (k) ,Ar (k) 〉−2τ ( 〈Ax (k) ,Ar (k) 〉−〈b,Ar (k) 〉 )+〈Ax (k) ,Ax (k) 〉+〈b,b〉.Дифференцируя его по τ и приравнивая производную нулю, получим2τ〈Ar (k) ,Ar (k) 〉−2 ( 〈Ax (k) ,Ar (k) 〉−〈b,Ar (k) 〉 ) = 0,что с учётом равенства Ax (k) −b = r (k) даётОкончательноτ 〈Ar (k) ,Ar (k) 〉−〈r (k) ,Ar (k) 〉 = 0.τ = 〈Ar(k) ,r (k) 〉〈Ar (k) ,Ar (k) 〉 = 〈Ar(k) ,r (k) 〉‖Ar (k) ‖ 2 .2Теорема 3.10.2 Если A — симметричная положительно определённаяматрица, то последовательность {x (k) }, порождаемая методомминимальных невязок, сходится к решению x ⋆ системы уравненийAx = b из любого начального приближения x (0) , и быстрота этойсходимости оценивается неравенством‖x (k) −x ⋆ ‖ A⊤ A ≤( ( µ) ) 2 k/21− ‖x (0) −x ⋆ ‖MA⊤ A, (3.116)k = 0,1,2,..., где µ, M — нижняя и верхняя границы спектра матрицыA.

3.10. Нестационарные итерационные методы 367Таблица 3.8. Псевдокод метода минимальных невязокдля решения систем линейных уравненийk ← 0 ;выбираем начальное приближение x (0) ;DO WHILE ( метод не сошёлся )END DOr (k) ← Ax (k) −b ;τ k ← 〈Ar(k) ,r (k) 〉‖Ar (k) ‖ 2 2x (k+1) ← x (k) −τ k r (k) ;k ← k +1 ;;Доказательство теоремы можно найти, к примеру, в книге [56], гдедля невязок r (k) = Ax (k) −b доказывается оценка∥ r(k+1) ∥ ∥2≤( ( µ) ) 2 1/2∥1−∥ ∥r (k) M 2, k = 0,1,2,....С учётом выкладок (3.115) этот результат совершенно равносилен неравенству(3.116).Для систем линейных уравнений с несимметричными матрицами, которыеположительно определены, метод минимальных невязок такжесходится. Но если матрица системы не является положительно определённойметод может не сходиться к решению.Пример 3.10.1 В системе линейных алгебраических уравнений( ) ( 2 2 2x =1 0 1)матрица не является ни симметричной, ни положительно определённой(её собственные значения приблизительно равны 2.732 и −0.7321).

368 3. Численные методы линейной алгебрыВ применении к этой системе метод минимальных невязок с нулевымначальным приближением вскоре после начала работы устанавливаетсяна векторе (0.7530088,0.2469912) ⊤ , тогда как настоящее решение —это вектор(1,0) ⊤ . Из других начальных приближений метод будет сходитсяк другим векторам, которые также не совпадают с этим точнымрешением.Практически важной особенностью метода минимальных невязокявляется быстрая сходимость к решению на первых шагах, котораязатем замедляется и выходит на асимптотическую скорость, описываемуюТеоремой 3.10.2.Если сходимость методов наискорейшего спуска и минимальныхневязок принципиально не лучше сходимости метода простой итерации,то имеют ли они какое-либо практическое значение? Ответ наэтот вопрос положителен. Вспомним, что наша оптимизация методапростой итерации основывалась на знании границ спектра симметричнойположительно определённой матрицы СЛАУ. Для работы методовнаискорейшего спуска и минимальных невязок этой информации нетребуется.Метод минимальных невязок в представленной выше версии не отличаетсябольшой эффективностью. Но он послужил основой для созданиямногих популярных современных методов решения СЛАУ. Вчастности, большое распространение на практике получила модификацияметода минимальных невязок, известная под англоязычной аббревиатуройGMRES — Generalized Minimal RESidulas — обобщённыйметод минимальных невязок, предложенная Ю. Саадом [56] (см. также[43, 59]).3.10г Метод сопряжённых градиентовМетодами сопряжённых направлений для решения систем линейныхалгебраических уравнений вида Ax = b называют методы, в которыхрешение ищется в виде линейной комбинации векторов, ортогональныхв скалярном произведении, которое порождено матрицейсистемы или же какой-либо матрицей, связанной с матрицей системы.Таким образом, при этомx = x (0) +n∑c i s (i) ,i=1

3.10. Нестационарные итерационные методы 369где x (0) — начальное приближение, s (i) , i = 1,2,...,n, — векторы «сопряжённыхнаправлений»,c i — коэффициенты разложения решения поним. Термин «сопряжённые направления» имеет происхождение в аналитическойгеометрии, где направления, задаваемые векторами u и v,называются сопряжёнными относительно поверхности второго порядка,задаваемой уравнением 〈Rx,x〉 = const c симметричной матрицейR, если 〈Ru,v〉 = 0. В методах сопряжённых направлений последовательностроится базис из векторов s (i) и одновременно находятся коэффициентыc i , i = 1,2,...,n.Наиболее популярными представителями методов споряжённых направленийявляются методы сопряжённых градиентов, предложенныеМ.Р. Хестенсом и Э.Л. Штифелем в начале 50-х годов прошлого века.Их общая схема такова.Пусть требуется найти решение системы линейных алгебраическихуравненийAx = bс симметричной и положительно определённой матрицей A. Для такойматрицы имеет смысл понятие A-ортогональности, и пусть s (1) ,s (2) , . . . , s (n) — базис R n , составленный из A-ортогональных векторов.Решение x ⋆ системы уравнений можно искать в виде разложения поэтому базису, т. е.n∑x ⋆ = x i s (i) (3.117)i=1с какими-то неизвестными коэффициентами x i , i = 1,2,...,n. Умножаяобе части этого равенства слева на матрицу A и учитывая, чтоAx ⋆ = b, будем иметьn∑x i (As (i) ) = b.i=1Если далее умножить скалярно это равенство на s (j) , j = 1,2,...,n, тополучим n штук соотношенийn∑x i 〈As (i) ,s (j) 〉 = 〈b,s (j) 〉, j = 1,2,...,n. (3.118)i=1Но в силу A-ортогональности системы векторов s (1) , s (2) , . . . , s (n){ 0, если i ≠ j,〈As (i) ,s (j) 〉 = 〈s (i) ,s (j) 〉 A = δ ij =1, если i = j,

370 3. Численные методы линейной алгебрытак что от равенств (3.118) останется лишьx i 〈As (i) ,s (i) 〉 = 〈b,s (i) 〉,i = 1,2,...,n.Окончательноx i = 〈b,s(i) 〉〈As (i) ,s (i) 〉 ,i = 1,2,...,n,откуда из (3.117) нетрудно восстановить искомое решение СЛАУ. Нодля практического применения этого элегантного результата нужноуметь эффективно строить A-ортогональный базис s (1) , s (2) , . . . , s (n)пространства R n .Он определяются процессом A-ортогонализации невязок r (0) , r (1) ,. . . , r (n−1) последовательных приближений к решению x (0) , x (1) , . . . ,x (n−1) . Этот процесс ортогонализации конечен и завершается при некоторомk ≤ n, для которого r (k) = 0, т. е. когда очередная невязка приближённогорешения зануляется.Но на практике из-за неизбежных погрешностей вычислений методсопряжённых градиентов может не прийти к решению системы за nшагов. Тогда целесообразно повторить цикл уточнения, превратив алгоритмпри необходимости в итерационный Именно такой псевдокодметода сопряжённых градиентов приведён в Табл. 3.9. В теле циклапервая команда вычисляет длину очередного шага метода, а втораястрока даёт следующее приближение к решению. Далее вычисляетсяневязка вновь найденного приближённого решения, а в следующихдвух строках тела цикла (перед увеличением счётчика k) вычисляетсяновое направление движения к решению.Широко распространена также другая трактовка метода сопряжённыхградиентов, представляющая его как модификацию метода наискорейшегоградиентного спуска. Как мы видели в предшествующемпараграфе, направления градиентов энергетического функционала, покоторым осуществляется движение (спуск) к решению в методе наискорейшегоспуска, могут сильно изменяться от шага к шагу. По этой причинетраектория метода наискорейшего спуска имеет зигзагообразныйвид, и для получения решения затрачивается много лишней работы.Естественно попытаться каким-нибудь образом сгладить «вихляния»метода наискорейшего спуска, чтобы он шёл к решению более прямымпутём. Один из возможных способов сделать это состоит в том, чтобына каждой итерации корректировать наравление спуска по антигради-

3.10. Нестационарные итерационные методы 371Таблица 3.9. Псевдокод метода сопряжённых градиентовдля решения систем линейных уравненийk ← 0 ;выбираем начальное приближение x (0) ;r (0) ← Ax (0) −b ;s (0) ← r (0) ;DO WHILE ( метод не сошёлся )END DOτ k ← 〈r(k) ,r (k) 〉〈As (k) ,s (k) 〉 ;x (k+1) ← x (k) −τ k s (k) ;r (k+1) ← r (k) −τ k As (k) ;υ k ← 〈r(k+1) ,r (k+1) 〉〈r (k) ,r (k) 〉s (k+1) ← r (k+1) +υ k s (k) ;k ← k +1 ;;енту с помощью некоторой добавки. Например, исходя их геометрическихсоображений, её можно взять пропорциональной разности двухпоследовательных приближений, так что в целом получаем алгоритмx (k+1) ← x (k) −τ k(Ax (k) −b ) +υ k(x (k) −x (k−1)) ,k = 0,1,2,...,(3.119)где τ k , υ k — некоторые параметры. Для их определения можно привлечьусловие минимизации энергетического функционала Φ(x) в точкеx (k+1) . При этом получаются формулы для τ k и υ k , приведённые впсевдокоде Табл. 3.9.Итерационный процесс (3.119) — двухшаговый, так что для началаего работы требуется знать два последовательных приближения к решению.Можно положитьx (−1) = x (0) , откуда однозначно определяется

372 3. Численные методы линейной алгебрыx (1) и т. д.3.11 Методы установленияМетоды установления — общее название для большой группы методов,в основе которых лежит идея искать решение рассматриваемойстационарной задачи как предела по времени t → ∞ для решениясвязанной с ней вспомогательной нестационарной задачи. Этотподход к решению различных задач был развит в 30-е годы XX векаА.Н. Тихоновым.Пусть требуется решить систему уравненийAx = b.Наряду с ней рассмотрим также систему уравнений∂x(t)∂t+Ax(t) = b, (3.120)в которой вектор неизвестных переменных x зависит от времени t. Ясно,что если x(t) не зависит от переменной t, то производная ∂x/∂tзануляется и соответствующие значения x(t) являются решением исходнойзадачиНаиболее часто задачу (3.120) рассматривают на бесконечном интервале[t 0 ,∞) и ищут её устанавливающееся решение, т. е. такое, чтосуществует конечный lim t→∞ x(t) = x ⋆ . Тогда из свойств решения задачи(3.120) следует, что∂xlimt→∞ ∂t = 0,и потому x ⋆ является искомым решением для Ax = b.При поиске значений x(t), установившихся в пределе t → ∞, значенияx(t) для конечных t не слишком интересны, так что для решениясистемы дифференциальных уравнений (3.120) можно применитьпростейший явный метод Эйлера (метод ломаных) с постоянным временн´ымшагом τ, в котором производная заменяется на разделённуюразность вперёд. Обозначая x (k) := x(t k ), t k = t 0 + τk, k = 0,1,2...,получим вместо (3.120)x (k+1) −x (k)+Ax (k) = b, (3.121)τ

3.11. Методы установления 373илиx (k+1) = x (k) −τ(Ax (k) −b), k = 0,1,2,...,то есть известный нам метод простой итерации (3.98) для решения системыуравнений Ax = b. При переменном шаге по времени, когдаτ = τ k , k = 0,1,2,..., получающийся метод Эйлераэквивалентенx (k+1) −x (k)+Ax (k) = bτ kx (k+1) = x (k) −τ k (Ax (k) −b), k = 0,1,2,...,т. е. простейшему нестационарному итерационному методу Ричардсона(3.110).Представление метода простой итерации в виде (3.121), как методарешения системы дифференциальных уравнений, даёт возможностьпонять суть ограничений на параметр τ. Это не что иное, как ограничениена величину шага по времени, вызванное требованием устойчивостиметода. Если шаг по времени мал, то до установления решениязадачи (3.120) нам нужно сделать большое количество таких мелкихшагов, что даёт ещё одно объяснение невысокой вычислительной эффективностиметода простой итерации.Более быструю сходимость к решению можно достичь, взяв шагпо времени большим, но для этого нужно преодолеть ограничение наустойчивость метода. Реализация этой идеи действительно приводитк более эффективным численным методам решения некоторых специальныхсистем линейных уравнений Ax = b, встречающихся при дискретизациидифференциальных уравнений с частными производными.Таковы методы переменных направлений, методы расщепления и методыдробных шагов, идейно близкие друг другу (см. [85]).Очевидно, что вместо (3.120) можно рассмотреть задачу более общеговидаB ∂x +Ax(t) = b, (3.122)∂tгде B — некоторая неособенная матрица. Смысл её введения станетболее понятен, если переписать (3.122) в равносильном виде∂x∂t +B−1 Ax(t) = B −1 b.

374 3. Численные методы линейной алгебрыТогда в пределе, при занулении ∂x/∂t, имеемB −1 Ax = B −1 b.откуда видно, что матрица B выполняет роль, аналогичную роли предобуславливающейматрицы для системы Ax = b.Отметим в заключение темы, что для решения систем линейных алгебраическихуравнений, возникающих при дискретизации уравненийв частных производных эллиптического типа, предельно эффективнымиявляются так называемые многосеточные методы, предложенныеР.П. Федоренко в начале 60-х годов XX века.3.12 Теория А.А. СамарскогоМы уже отмечали, что системы линейных алгебраических уравнений,которые необходимо решать на практике, часто бывают заданынеявно, в операторном виде. При этом мы не можем оперировать итерационнымиформулами вида (3.91) с явно заданным оператором T k(наподобие (3.92)). Для подобных случаев А.А. Самарским была предложенаспециальная каноническая форма одношагового линейного итерационногопроцесса, предназначеного для решения систем уравненийAx = b:B kx (k+1) −x (k)τ k+Ax (k) = b, k = 0,1,2,..., (3.123)где B k , τ k — некоторые последовательности матриц и скалярных параметровсоответственно, причём τ k > 0. Мы будем называть её каноническойформой Самарского. Если x (k) сходится к пределу, то принекоторых необременительных условиях на B k и τ k этот предел являетсярешением системы линейных алгебраических уравнений Ax = b.Различные последовательности матриц B k и итерационных параметровτ k задают различные итерационные методы. Выбирая начальноезначение x (0) , находим затем из (3.123) последовательные приближениякак решения уравненийB k x (k+1) = ( B k −τ k I ) x (k) +τ k b, k = 0,1,2,....Ясно, что для однозначной разрешимости этой системы уравнений всематрицы B k должны быть неособенными. Итерационный метод в фор-

3.12. Теория А.А. Самарского 375ме (3.123) естественно назвать явным, если B k = I — единичная матрицаи выписанная выше система сводится к явной формуле для нахожденияследующего итерационного приближения x (k+1) . Иначе, еслиB k ≠ I, итерации (3.123) называются неявными. Неявные итерационныеметоды имеет смысл применять лишь в том случае, когда решениесистемы уравнений относительно x (k+1) существенно легче, чем решениеисходной системы.Выпишем представление в форме Самарского для рассмотренныхранее итерационных процессов. Метод простой итерации из §3.9г принимаетвидx (k+1) −x (k)+Ax (k) = b, k = 0,1,2,..., (3.124)τгде τ = τ k = const — постоянный параметр, имеющий тот же смысл,что и в рассмотрениях §3.9г. Переменный параметр τ k в (3.124) приводитк нестационарному методу Ричардсона (3.110) (см. §3.10а). ЕслиD и ˜L — диагональная и строго нижняя треугольная части матрицы Aсоответственно (см. §3.9д), то методы Якоби и Гаусса-Зейделя можнозаписать в видеD x(k+1) −x (k)+Ax (k) = b,1и(D + ˜L) x(k+1) −x (k)+Ax (k) = b.1Наконец, итерационный метод релаксации с релаксационным параметромω (см. §3.9ж) в тех же обозначениях имеет форму Самарского(D +ω˜L) x(k+1) −x (k)ω+Ax (k) = b, k = 0,1,2,....При исследовании сходимости итераций в форме Самарского удобнопользоваться матричными неравенствами, связанными со знакоопределённостьюматриц. Условимся для вещественной n×n-матрицы Gписать G⊲0, если 〈Gx,x〉 > 0 для всех ненулевых n-векторовx, т. е. еслиматрица G положительно определена. Из этого неравенства следуеттакже существование такой константы µ > 0, что 〈Gx,x〉 > µ〈x,x〉.Неравенство G ⊲H будем понимать как 〈Gx,x〉 > 〈Hx,x〉 для всех x,что равносильно также G−H ⊲0.Достаточное условие сходимости итерационного процесса в формеСамарского (3.123) даёт

376 3. Численные методы линейной алгебрыТеорема 3.12.1 (теорема Самарского) Если A — симметричная положительноопределённая матрица, τ > 0 и B ⊲ 1 2τA, то стационарныйитерационный процессB x(k+1) −x (k)τ+Ax (k) = b, k = 0,1,2,...,сходится к решению системы уравнений Ax = b из любого начальногоприближения.Доказательство. Пусть x ∗ — решение системы уравнений Ax = b, такчтоB x∗ −x ∗+Ax ∗ = b.τЕсли обозначить через z (k) = x (k) −x ∗ — погрешность k-го приближения,то она удовлетворяет однородному соотношениюB z(k+1) −z (k)τ+Az (k) = 0, k = 0,1,2,.... (3.125)Исследует поведение энергетической нормы погрешности. Покажем сначала,что в условиях теоремы числовая последовательность ‖z (n) ‖ A =〈Az (n) ,z (n) 〉 является невозрастающей.Из соотношения (3.125) следуетиТаким образом,z (k+1) = ( I −τB −1 A ) z (k) , (3.126)Az (k+1) = ( A−τAB −1 A ) z (k) .〈Az (k+1) ,z (k+1) 〉 = 〈Az (k) ,z (k) 〉−τ 〈AB −1 Az (k) ,z (k) 〉Коль скоро матрица A симметрична,и потому〈Az (k+1) ,z (k+1) 〉 =−τ 〈Az (k) ,B −1 Az (k) 〉+τ 2 〈AB −1 Az (k) ,AB −1 Az (k) 〉.〈AB −1 Az (k) ,z (k) 〉 = 〈Az (k) ,B −1 Az (k) 〉,〈Az (k) ,z (k) 〉−2τ 〈( B − 1 2 τA) B −1 Az (k) ,B −1 Az (k)〉 . (3.127)

3.12. Теория А.А. Самарского 377Учитывая неравенство B ⊲ 1 2τA, можем заключить, что вычитаемое вправой части полученного равенства всегда неотрицательно. По этойпричине‖z (k+1) ‖ A ≤ ‖z (k) ‖ A ,так что последовательность‖z (k) ‖ A монотонно не возрастает и ограниченаснизу нулём. В силу теоремы Вейерштрасса она имеет предел приk → ∞.НеравенствоB ⊲ 1 2τA, т. е. положительная определённость матрицы(B− 1 2τA), означает существование такогоη > 0, что для любыхy ∈ Rn〈(B −12 τA) y,y 〉 ≥ η〈y,y〉 = η‖y‖ 2 2 .Окончательно получаем из (3.127)‖z k+1) ‖ 2 A −‖z (k) ‖ 2 A +2ητ ∥ ∥ B −1 Az (k)∥ ∥ 2 2 ≤ 0для всех k = 0,1,2,.... Переходя в этом неравенстве к пределу поk → ∞, заключаем, что тогда ‖B −1 Az (k) ‖ 2 → 0. При неособенной матрицеB −1 A это возможно лишь при z (k) → 0. Итак, вне зависимости отвыбора начального приближения итерационный процесс в самом делесходится.Отметим, что из теоремы Самарского следует теорема Островского-Райха (Теорема 3.9.3) о сходимости метода релаксации для СЛАУ ссимметричными положительно определёнными матрицами, а также,как её частный случай, Теорема 3.9.2 о сходимости метода Гаусса-Зейделя. В самом деле, пусть A = ˜L + D + Ũ в обозначениях §3.9д,т. е. ˜L и Ũ — строго нижняя и строго верхняя треугольные части матрицыA,аD — её диагональная часть. Если A симметрична, то ˜L = Ũ⊤ ,и поэтомуТогда〈Ax,x〉 = 〈˜Lx,x〉+〈Dx,x〉+〈Ũx,x〉 = 〈Dx,x〉+2〈˜Lx,x〉.〈Bx,x〉− 1 2 ω〈Ax,x〉 = 〈(D +ω˜L)x,x〉− 1 2 ω( 〈Dx,x〉+2〈˜Lx,x〉 )= ( 1− 1 2 ω) 〈Dx,x〉 > 0при 0 < ω < 2.Дальнейшие результаты в этом направлении читатель может увидеть,к примеру, в [37, 80].

378 3. Численные методы линейной алгебры3.13 Вычисление определителей матрици обратных матрицПредположим, что для матрицы A выполняется LU-разложение.Как отмечалось, выполняемые в представленной нами версии методаГаусса преобразования — линейное комбинирование строк — не изменяютвеличины определителя матрицы. Следовательно, detA равенопределителю получающейся в итоге верхней треугольной матрицы U,т. е. detA есть произведение диагональных элементов U.Другая возможная трактовка этого результата состоит в том, чтоесли A = LU — треугольное разложение матрицы A, то, как известноиз линейной алгебры,detA = detL·detU.Определитель нижней треугольной матрицы L равен 1, коль скоро наеё диагонали стоят все единицы. Следовательно, как и ранее, detA =detU, а точнее — произведению всех диагональных элементов в верхнейтреугольной матрице U.Совершенно аналогичные выводы можно сделать и при использованиидругих матричных разложений. Например, если нам удалось получитьA = QR — разложение исходной матрицы в произведение ортогональнойи правой треугольной, то, коль скоро detQ = 1, искомыйопределитель detA = detR и вычисляется по R как произведение еёдиагональных элементов.Рассмотрим теперь вычисление матрицы, обратной к данной матрице.Отметим, прежде всего, что в современных вычислительных технологияхэто приходится делать не слишком часто. Один из примеров,когда подобное вычисление необходимо по существу, — нахождениедифференциала операции обращения матрицы A ↦→ A −1 , равногоd(A −1 ) = −A −1 (dA)A −1 .(см., к примеру, [14]). Тогда коэффициенты чувствительности решениясистемы уравнений Ax = b по отношению к элементам матрицы иправой части (т. е. производные решения по коэффициентам и правымчастям системы, см. §1.3) даются формулами∂x ν∂a ij= −z νi x j ,∂x ν∂b i= z νi ,

3.13. Вычисление определителей и обратных матриц 379ν = 1,2,...,n, где Z = (z ij ) = A −1 — обратная к матрице A.Гораздо чаще встречается необходимость вычисления произведенияобратной матрицы A −1 на какой-то вектор b, и это произведение всегдаследует находить как решение системы уравнений Ax = b какими-либоиз методов для решения СЛАУ. Такой способ заведомо лучше, чем вычислениеA −1 b через нахождение обратной A −1 , как по точности, таки по трудоёмкости.Матрица A −1 , обратная к данной матрице A, является решениемматричного уравненияAX = I.Но это уравнение распадается на n уравнений относительно векторныхнеизвестных, соответствующих отдельным столбцам неизвестнойматрицы X, и потому мы можем решать получающиеся уравнения порознь.Из сказанного следует способ нахождения обратной матрицы: нужнорешить n штук систем линейных уравненийAx = e (j) , j = 1,2,...,n, (3.128)где e (j) — j-ый столбец единичной матрицы I. Это можно сделать, кпримеру, любым из рассмотренных нами выше методов, причём прямыеметоды здесь особенно удобны в своей матричной трактовке. В самомделе, сначала мы можем выполнить один раз LU-разложение (илиQR-раложение) исходной матрицы A, а затем хранить его и использоватьпосредством схемы (3.59) (или (3.77)) для различных правыхчастей уравнений (3.128). Если матрица A — симмметричная положительноопределённая, то очень удобным может быть разложение Холесскогои последующее решение систем уравнений (3.128) с помощьюпредставления (3.67).В прямых методах решения СЛАУ прямой ход, т. е. приведение исходнойсистемы к треугольному виду, является наиболее трудоёмкойчастью всего алгоритма, которая требует обычно O(n 3 ) арифметическихопераций. Обратный ход (обратная подстановка) — существенноболее лёгкая часть алгоритма, требующая всего O(n 2 ) операций. Поэтой причине изложенный выше рецепт однократного LU-разложенияматрицы (или других разложений) позволяет сохранить общую трудоёмкостьO(n 3 ) для алгоритма вычисления обратной матрицы.Другой подход к обращению матриц — конструирование чисто матричныхпроцедур, не опирающихся на методы решения систем линейныхуравнений с векторными неизвестными. Известен итерационный

380 3. Численные методы линейной алгебрыметод Шульца для обращения матриц: задавшись специальным начальнымприближением X (0) , выполняют итерацииX (k+1) ← X (k)( 2I −AX (k)) , k = 0,1,2,... . (3.129)Метод Шульца — это не что иное как метод Ньютона для решения системыуравнений, применённый к X −1 −A = 0 (см. §4.5б). 25 Его можнотакже рассматривать как матричную версию известной процедуры длявычисления обратной величины (см. [12], глава 3).Предложение 3.13.1 Метод Шульца сходится тогда и только тогда,когда его начальное приближение X (0) удовлетворяет условиюρ(I −AX (0) ) < 1.Доказательство. Расчётную формулу метода Шульца можно переписатьв видеX (k+1) = 2X (k) −X (k) AX (k) .Умножим обе части этого равенства слева на (−A) и добавим к ним поединичной матрице I, получимчто равносильноI −AX (k+1) = I −2AX (k) +AX (k) AX (k) ,I −AX (k+1) = (I −AX (k) ) 2 , k = 0,1,2,... .Отсюда, в частности, следует, чтоI −AX (k) = ( I −AX (0)) 2 k , k = 0,1,2,... .Если X (k) → A −1 при k → ∞, то ( I − AX (0)) 2 k → 0 — последовательностьстепеней матрицы сходится к нулю. Тогда необходимоρ(I −AX (0) ) < 1 в силу Предложения 3.3.10.И наоборот, если ρ(I−AX (0) ) < 1, то ( I−AX (0)) 2 k → 0 при k → ∞,и потому должна иметь место сходимость X (k) → A −1 . Из доказательства предложения следует, что метод Шульца имеетквадратичную сходимость.25 Иногда этот метод называют также методом Хотеллинга, так как одновременнос Г. Шульцем [94] его рассматривал американский экономист и статистикГ. Хотеллинг [89]. Кроме того, встречается (хотя и крайне редко) также названиеметод Бодевига.

3.14. Оценка погрешности приближённого решения 3813.14 Оценка погрешностиприближённого решенияВ этом параграфе мы рассмотрим практически важный вопрос обоценке погрешности приближённого решения систем линейных алгебраическихуравнений. Первый способ носит общий характер и можетприменяться в любых ситуациях, в частности, не обязательно в связис итерационными методами.Пусть ˜x — приближённое решение системы уравнений Ax = b, тогдакак x ∗ — её точное решение. Тогда, принимая во внимание, что I =A −1 A и Ax ∗ = b,‖˜x−x ∗ ‖ = ∥ ∥A −1 A˜x−A −1 Ax ∗∥ ∥= ∥ ∥ A −1 (A˜x−Ax ∗ ) ∥ ∥≤ ∥ ∥ A−1 ∥ ∥ ∥ ∥ A˜x−b∥ ∥, (3.130)где матричная и векторная нормы, естественно, должны быть согласованы.Величина (A˜x − b) — это невязка приближённого решения ˜x,которую мы обычно можем вычислять непосредственно по ˜x. Как следствие,погрешность решения можно узнать, найдя каким-либо образомили оценив сверху норму обратной матрицы ‖A −1 ‖.Иногда из практики можно получать какую-то информацию о значении‖A −1 ‖. Например, если A — симметричная положительно определённаяматрица и известна нижняя граница её спектра µ > 0, то‖A −1 ‖ 2 ≤ 1/µ. Напомним, что аналогичную информацию о спектрематрицы СЛАУ мы использовали при оптимизации скалярного предобуславливателяв §3.9г. Такова ситуация с численным решением некоторыхпопулярных уравнений математической физики (уравнением Лапласаи его обобщениями, к примеру), для которых дискретные аналогисоответствующих дифференциальных операторов хорошо изученыи известны оценки их собственных значений.В общем случае быстрое нахождение ‖A −1 ‖ или хотя бы разумныхоценок в какой-то норме для ‖A −1 ‖ сверху, более быстрое, чем решениеисходной СЛАУ, является нетривиальным делом. Краткий обзор существующихчисленных процедур для этой цели («оценщиков» обратнойматрицы) и дальнейшие ссылки на литературу можно найти в [13].Для конкретных численных методов оценка погрешности приближённогорешения иногда может быть выведена из свойств этих ме-

382 3. Численные методы линейной алгебрытодов. Например, в стационарных одношаговых итерационных методахпоследовательность погрешностей приближений своими свойствамиочень близка к геометрической прогрессии, и этим обстоятельствомможно с успехом воспользоваться.Пусть задан сходящийся стационарный одношаговый итерационныйметодx (k+1) ← Cx (k) +d, k = 0,1,2,...,в котором ‖C‖ < 1 для некоторой матричной нормы. Ясно, что ввидурезультатов §3.9б о связи спектрального радиуса и матричных нормпоследнее допущение не ограничивает общности нашего рассмотрения.Как оценить отклонение по норме очередного приближения x (k) от пределаx ⋆ := lim k→∞ x (k) , не зная самого этого предела и наблюдая лишьза итерационной последовательностью x (0) , x (1) , . . . , x (k) , . . . ?Как и прежде, имеемx (k) = Cx (k−1) +d,x ⋆ = Cx ⋆ +d.Вычитание второго равенства из первого даётx (k) −x ⋆ = C ( x (k−1) −x ⋆) . (3.131)Перенесём x (k) в правую часть этого соотношения, а затем добавим кобеим частям по x (k−1) :x (k−1) −x ⋆ = x (k−1) −x (k) +C ( x (k−1) −x ⋆) .Возьмём теперь от обеих частей полученного равенства векторную норму,которая согласована с используемой матричной нормой дляC. Применяязатем неравенство треугольника, приходим к оценке∥ x (k−1) −x ⋆∥ ∥ ≤∥ ∥x (k) −x (k−1)∥ ∥ +‖C‖·∥ ∥x (k−1) −x ⋆∥ ∥ ,Перенесение в левую часть второго слагаемого из правой части и последующееделение обеих частей неравенства на положительную величину(1−‖C‖) даёт∥ x (k−1) −x ⋆∥ ∥1≤ ∥ x (k) −x (k−1)∥ ∥ . (3.132)1−‖C‖

3.14. Оценка погрешности приближённого решения 383С другой стороны, вспомним, что из (3.131) следует∥ x (k) −x ⋆∥ ∥ ≤ ‖C‖·∥ ∥x (k−1) −x ⋆∥ ∥ .Подставляя сюда вместо ‖x (k−1) −x ⋆ ‖ оценку сверху (3.132), получаемокончательно∥ x (k) −x ⋆∥ ∥ ≤‖C‖∥ x (k) −x (k−1)∥ ∥ . (3.133)1−‖C‖Выведенная оценка может быть использована на практике как дляоценки погрешности какого-то приближения из итерационной последовательности,так и для определения момента окончания итераций, т. е.того, достигнута ли желаемая точность приближения к решению илинет.Пример 3.14.1 Рассмотрим систему линейных алгебраических уравнений( ) ( 2 1 0x = ,3 4 5)точное решение которой равно (−1,2) ⊤ . Пусть для решения этой системыорганизован итерационный метод Гаусса-Зейделя с начальнымприближением x (0) = (0,0) ⊤ . Через сколько итераций компоненты очередногоприближения к решению станут отличаться от точного решенияне более, чем на 10 −3 ?Исследуемый нами вопрос требует чебышёвской нормы‖·‖ ∞ для измеренияотклонения векторов друг от друга, и соответствующая подчинённаяматричная норма задаётся выражением из Предложения 3.3.6.Матрица оператора перехода итерационного метода Гаусса-Зейделя согласно(3.103) есть−( ) −1 ( ) ( )2 0 0 1 0 −0.5= ,3 4 0 0 0 0.375так что её ∞-норма равна 0.5. Следовательно, в оценке (3.133) имеем‖C‖1−‖C‖ = 0.51−0.5 = 1,и потому должно быть справедливым неравенство∥ x (k) −x ⋆∥ ∥∞≤ ∥ ∥ x (k) −x (k−1)∥ ∥∞. (3.134)

384 3. Численные методы линейной алгебрыОно показывает, что компоненты очередного приближения отличаютсяот компонент точного решения не более, чем компоненты приближенийдруг от друга.Запустив итерации Гаусса-Зейделя, мы можем видеть, чтоx (0) = (0,0) ⊤ ,x (1) = (0,1.25) ⊤ ,x (2) = (−0.625,1.71875) ⊤ ,··· ···x (8) = (−0.998957,1.999218) ⊤ ,x (9) = (−0.999609,1.999707) ⊤ ,т. е. 9-я итерация отличается от предыдущей 8-й меньше чем на 10 −3 , ипотому согласно оценке (3.134) на этой итерации мы получаем требуемуюпогрешность. То, что она действительно такова, можно убедитьсяиз сравнения x (9) с известным нам точным решением (−1,2) ⊤ . Как хорошо видно из примера, практическая реализация методикиоценки погрешности итерационного решения может столкнуться сдвумя трудностями. Во-первых, непростым является определение матрицыC (которая может и не задаваться в явном виде). Во-вторых,выбор нормы ‖·‖, в которой ‖C‖ < 1, также может быть неочевидным.Теоретически такая норма должна существовать, если итерационныйпроцесс сходится из любого начального приближения, но её конкретныйвыбор в общем случае непрост.3.15 Линейная задачао наименьших квадратахДля заданных m × n-матрицы A и m-вектора b линейной задачейо наименьших квадратах называют задачу отыскания такого вектораx, который доставляет минимум квадратичной форме 〈Ax−b,Ax−b〉,или, что равносильно, квадрату евклидовой нормы невязки ‖Ax−b‖ 2 2.Ясно, что для матриц A полного ранга в случае m ≤ n, когда числострок матрицы не превосходит числа столбцов, искомый минимум,как правило, равен нулю. Для квадратной матрицы A линейная задачао наименьших квадратах, фактически, равносильна решению системы

3.16. Проблема собственных значений 385линейных алгебраических уравнений Ax = b и несёт особую спецификулишь когда A имеет неполный ранг, т. е. особенна. Теоретически ипрактически наиболее важный случай линейной задачи о наименьшихквадратах соответствует m > n. Он находит многочисленные и разнообразныеприменения при обработке данныхКоль скорото〈Ax−b,Ax−b〉 = 〈Ax,Ax〉 −〈b,Ax〉−〈Ax,b〉+〈b,b〉= 〈Ax,Ax〉 −2〈Ax,b〉+〈b,b〉,∂∂x i〈Ax−b,Ax−b〉 = ∂∂x i(〈Ax,Ax〉 −2〈Ax,b〉)Система линейных алгебраических уравненийA ⊤ Ax = A ⊤ b (3.135)называется нормальной системой уравнений для линейной задачи онаименьших квадратах с матрицей A и вектором b. 26 Её решение идоставляет искомый минимум выражению ‖Ax−b‖ 2 23.16 Проблема собственных значений3.16а Обсуждение постановки задачиНенулевой векторv называется собственным вектором квадратнойматрицы A, если в результате умножения на эту матрицу он переходитв коллинеарный себе, т. е. отличающийся от исходного только некоторымскалярным множителем:Av = λv. (3.136)Сам скаляр λ, который является коэффициентом пропорциональностиисходного вектора и его образа при действии матрицы, называютсобственным значением матрицы. Проблемой собственных значенийназывают задачу определения собственных значений и собственныхвекторов матриц: для заданной n×n-матрицы A найти числа λ иn-векторы v ≠ 0, удовлетворяющие условию (3.136).26 Переход от исходной системы уравнений Ax = b к нормальной системе (3.135)иногда называют первой трансформацией Гаусса.

386 3. Численные методы линейной алгебрыСистема уравнений (3.136) кажется недоопределёной, так как содержитn+1 неизвестных, которые нужно найти из n уравнений. Нона самом деле можно замкнуть её, к примеру, каким-нибудь условиемнормировки собственных векторов (‖v‖ = 1 в какой-то норме) илитребованием, чтобы какая-нибудь компонента v принимала бы заданноезначение. Последнее условие иногда даже более предпочтительноввиду своей линейности.Даже если рассматриваемая матрица A имеет все элементы вещественными,могут не существовать вещественные λ и v, удовлетворяющиесоотношению (3.136). По этой причине целесообразно рассматриватьзадачу определения собственных чисел λ и собственных векторовv в поле комплексных чисел C, которое алгебраически замкнуто. 27 Изкурса линейной алгебры читателю должно быть известно, что задачанахождения собственных значений матрицы A эквивалентна задаченахождения корней уравненияdet(A−λI) = 0,называемого характеристическим (или вековым) уравнением для матрицыA.Иногда при упоминании этой задачи подчёркивают — «алгебраическаяпроблема собственных значений», чтобы уточнить, что речь идёто матрицах конечных размеров, конечномерной ситуации и т. п. в отличие,скажем, от задачи нахождения собственных значений операторовв бесконечномерных пространствах функций. Слово «проблема» такжеуместно в этом контексте, поскольку рассматриваемая задача сложнаи имеет много аспектов.Различают полную проблему собственных значений и частичнуюпроблему собственных значений. В полной проблеме требуется нахождениевсех собственных чисел и собственных векторов. Частичная проблемасобственных значений — это задача нахождения некоторых собственныхчисел матрицы и/или некоторых собственных векторов. Кпримеру, наибольшего по модулю собственного значения, или несколькихнаибольших по модулю собственных значений и соответствующихим собственных векторов.Собственные значения матриц нужно знать во многих приложениях.Например, задача определения частот собственных колебаний ме-27 Напомним, что алгебраически замкнутым называется поле, в котором в которомвсякий многочлен ненулевой степени с коэффициентами из этого поля имеетхотя бы один корень.

3.16. Проблема собственных значений 387ханических систем (весьма важная, к примеру, при проектированииразличных конструкций) сводится к нахождению собственных значенийтак называемых матриц жёсткости этих систем. Особую важностьсобственным значениям придаёт то обстоятельство, что соответствующиеим частоты собственных колебаний являются непосредственнонаблюдаемыми из опыта физическими величинами. Это тон звучаниятронутой гитарной струны и т. п.Пример 3.16.1 Линейные динамические системы с дискретным временемвидаx (k+1) = Ax (k) +b (k) , k = 0,1,2... , (3.137)служат моделями разнообразных процессов окружающего нас мира, отбиологии до экономики.Общее решение такой системы есть сумма частного решения исходнойсистемы (3.137) и общего решения однородной системы x (k+1) =Ax (k) без свободного члена. Если искать нетривиальные решения однороднойсистемы в виде x (k) = λ k h, где λ — ненулевой скаляр и h— n-вектор, то нетрудно убедиться, что λ должно быть собственнымзначением A, а h — собственным вектором матрицы A. Ясно, что собственные векторы матрицы определяются неоднозначно,с точностью до скалярного множителя. В связи с этим часто говорято нахождении одномерных инвариантных подпространств матрицы.Инвариантные подпространства матрицы могут иметь и б´ольшуюразмерность, и в любом случае их знание доставляет важную информациюо рассматриваемом линейном операторе, позволяя упроститьего представление. Пусть, например, S — это p-мерное инвариантноеподпространство матрицы A, так что Ax ∈ S для любого x ∈ S, ибазисом S являются векторы v 1 , v 2 , . . .v p . Беря базис всего пространстваR n так, чтобы его последними векторами были v 1 , v 2 , . . .v p (это,очевидно, можно сделать всегда), получим в нём блочно-треугольноепредставление рассматриваемого линейного оператора:(A11 A 120 A 22)с p×p-блоком A 22 . В последние десятилетия задача определения дляматрицы тех или иных инвариантных подпространств, не обязательноодномерных, также включается в «проблему собственных значений».

388 3. Численные методы линейной алгебрыПомимо необходимости выхода в общем случае в комплексную плоскостьC, даже для вещественных матриц, ещё одной особенностью проблемысобственных значений, осложняющей её решение является нелинейныйхарактер задачи, несмотря на традицию отнесения её к «вычислительнойлинейной алгебре». Это обстоятельство нетрудно осознтьиз рассмотрения основного соотношения (3.136)Av = λv,которое является системой уравнений относительно λ и v, причём в егоправой части суммарная степень неизвестных переменных равна двум:2 = (1 при λ) + (1 при v).Если собственное значение ˜λ матрицы A уже найдено, то, как известно,определение соответствующих собственных векторов сводитсяк решению системы линейных алгебраических уравнений(A− ˜λI)x = 0с особенной матрицей. Но на практике часто предпочитают пользоватьсядля нахождения собственных векторов специализированнымивычислительными процедурами. Многие из них позволяют вычислятьсобственные векторы одновременно с собственными значениями матриц.В заключение нашего обсуждения коснёмся алгоритмического аспектапроблемы собственных значений. Напомним известную в алгебретеорему Абеля-Руффини: для алгебраических полиномов степенивыше 4 не существует прямых методов нахождения корней. Как следствие,мы не вправе ожидать существования прямых методов решенияпроблемы собственных значений для произвольных матриц размераболее 4 × 4, и потому рассматриваемые ниже методы — существенноитерационные.3.16б Обусловленность проблемысобственных значенийСпектр матрицы, как множество точек комплексной плоскости C,непрерывно зависит от элементов матрицы. Соответствующий результатчасто называют теоремой Островского (читатель может увидетьдетальное изложение этой теории в книгах [19, 26, 34, 41, 50]). Но собственныевекторы (инвариантные подпространства) матрицы могут из-

3.16. Проблема собственных значений 389меняться в зависимости от матрицы разрывным образом даже в совершеннообычных ситуациях.Пример 3.16.2 [50] Рассмотрим матрицуA =( 1+ε δ0 1Её собственные значения суть числа 1 и 1 + ε, и при εδ ≠ 0 соответствующиминормированными собственными векторами являются(1 −δ√ε2 +δ 2 ε)и).( 10Выбирая подходящим образом отношение ε/δ, можно придать первомусобственном вектору любое направление, сколь бы малыми ни являлисьзначения ε и δ.Если положить ε = 0, тоA =( 1 δ0 1При δ ≠ 0 у матрицы A будет всего один собственный вектор, хотя принадлежащем δ её можно сделать сколь угодно близкой к единичнойматрице, имеющей два линейно независимых собственных вектора. ).).При более пристальном изучении проблемы собственных значенийвыясняется, что, несмотря на непрерывную зависимость собственныхзначений от элементов матрицы, скорость их изменения может бытьсколь угодно большой (даже для матриц фиксированного размера),если они соответствуют так называемым нелинейным элементарнымделителям матрицы — жордановым клеткам размера 2 и более.Пример 3.16.3 Собственные значения матрицы( ) λ 1A =ε λ— возмущённой жордановой 2 × 2-клетки — равны λ ± √ ε, так чтомгновенная скорость их изменения, равная √ ε/ε, при ε = 0 бесконечна.

390 3. Численные методы линейной алгебрыЭто же явление имеет место и для произвольной жордановой клетки,размером более двух.Всюду далее большую роль будут играть матрицы, которые преобразованиемподобия можно привести к диагональному виду. Для ихобозначения вводитсяОпределение 3.16.1 Матрицы, подобные диагональным матрицам,будем называть матрицами простой структуры или диагонализуемымиматрицами. 28Собственные числа матриц простой структуры зависят от возмущенийгораздо более «плавным образом», чем в общем случае.Теорема 3.16.1 (теорема Бауэра-Файка [86]) Если A — квадратнаяматрица простой структуры, λ i (A) — её собственные числа, V —матрица из собственных векторов A, а ˜λ — собственное число возмущённойматрицы A+∆A, тоmini∣ ∣˜λ−λi (A) ∣ ∣ ≤ cond2 (V)‖∆A‖ 2 . (3.138)Доказательство. Если ˜λ совпадает с каким-то из собственных значенийисходной матрицы A, то левая часть доказываемого неравенствазануляется, и оно, очевидно, справедливо. Будем поэтому предполагать,что ˜λ не совпадает ни с одним из λ i (A), i = 1,2,...,n. Следовательно,если, согласно условию теоремыV −1 AV = D,где D = diag{λ 1 ,λ 2 ,...,λ n } — диагональная матрица с собственнымичислами матрицы A по диагонали, то матрица D − ˜λI неособенна.С другой стороны, матрица A + ∆A − ˜λI является особенной попостроению, так что особенна и матрица V −1( A+∆A− ˜λI ) V . НоV −1( A+∆A− ˜λI ) V = (D − ˜λI)+V −1 (∆A)V28 Такие матрицы называют также недефектными.= (D − ˜λI) ( I +(D − ˜λI) −1 V −1 (∆A)V ) ,

3.16. Проблема собственных значений 391откуда можно заключить о том, что особенной должна быть матрица(I +(D − ˜λI) −1 V −1 (∆A)V ) . Как следствие, матрица(D − ˜λI) −1 V −1 (∆A)Vимеет собственное значение −1, и потому любая норма этой матрицыдолжна быть не меньшей 1. В частности, это верно для спектральнойнормы: ∥ ∥(D− ˜λI) −1 V −1 (∆A)V ∥ ∥2≥ 1.Отсюдаmax ∣ (λi − ˜λ) −1∣ ∣·‖V −1 ‖ 2 ‖∆A‖ 2 ‖V‖ 2 ≥ 1.1≤i≤nПоследнее неравенство равносильноmin ∣ (λi − ˜λ) −1∣ ∣ ≤ ‖V −1 ‖ 2 ‖∆A‖ 2 ‖V‖ 2 ,или1≤i≤nкак и требовалось.mini∣ ∣˜λ−λi (A) ∣ ∣ ≤ cond2 (V)‖∆A‖ 2 ,Теорема Бауэра-Файка показывает, что, каково бы ни было возмущение∆A матрицы простой структуры A, для любого собственногозначения ˜λ возмущённой матрицы A + ∆A найдётся собственное значениеλ i матрицы A, отличающееся от ˜λ не более чем на величинуспектральной нормы возмущения ‖∆A‖ 2 , умноженную на число обусловленностиматрицы собственных векторов. Таким образом, числообусловленности матрицы из собственных векторов может служить меройобусловленности проблемы собственных значений.Практическую ценность теоремы Бауэра-Файка в целом и неравенства(3.138) в частности снижает то обстоятельство, что собственныевекторы матрицы определены с точностью до скалярного множителя,и потому cond 2 (V) есть величина, заданная не вполне однозначно.Наилучшим выбором для cond 2 (V) в неравенстве был бы, очевидно,минимум чисел обусловленности матриц из собственных векторов, ноего нахождение является в общем случае сложной задачей. Тем не менее,прикидочные оценки и качественные выводы на основе теоремыБауэра-Файка делать можно.Важнейший частный случай применения теоремы Бауэра-Файка относитсяк симметричным матрицам. Они имеют простую структуру и,

392 3. Численные методы линейной алгебрыкроме того, собственные векторы симметричных матриц ортогональныдруг другу. Как следствие, матрица собственных векторов V можетбыть взята ортогональной, с числом обусловленности 1. Получаемследующий результат: если λ i (A) — собственные числа симметричнойматрицы A, а ˜λ — собственное число возмущённой матрицы A+∆A,тоmini∣ ∣˜λ−λi (A) ∣ ∣ ≤ ‖∆A‖2 .Иными словами, при возмущении симметричных матриц их собственныечисла изменяются на величину, не превосходящую спектральнойнормы возмущения, т. е. гораздо более умеренно, чем для матриц общеговида.Предложение 3.16.1 Матрицы простой структуры образуют открытоевсюду плотное подмножество во множестве всех квадратныхматриц.Набросок доказательства таков: если для произвольного малого ε кканонической жордановой форме n ×n-матрицы прибавить возмущающуюматрицу вида diag{ε,ε/2,ε/3,...,ε/n}, то получающаяся треугольнаяматрица будет иметь различные собственные числа, т. е. сделаетсядиагонализуемой. Требуемое возмущение исходной матрицы мыможем получить изdiag{ε,ε/2,ε/3,...,ε/n} путём преобразования подобия,обратного по отношению к тому, которое переводит исходнуюматрицу к жордановой нормальной форме.Как следствие, матрицы с нелинейными элементарными делителями,которые соответствуют жордановым клеткам размера 2 и более,составляют множество первой бэровской категории во множестве всехматриц. Подобные множества, называемые также тощими, являютсяв топологическом смысле наиболее разреженными и бедными множествами(см. [18, 48]). Но на долю таких матриц приходятся главныетрудности, с которыми сталкиваются при решении проблемы собственныхзначений. В этом отношении задача нахождения сингулярных чисели сингулярных векторов является принципиально другой, так каксимметричная матрица A ⊤ A (эрмитова матрица A ∗ A в комплексномслучае) всегда имеет простую структуру, т. е. диагонализуема.3.16в Коэффициенты перекоса матрицыЦелью этого пункта является детальное исследование устойчивостирешения проблемы собственных значений в упрощённой ситуации,

3.16. Проблема собственных значений 393когда все собственные значения матрицы A различны. Именно в этомслучае, как было отмечено в §3.16б, собственные векторы непрерывнозависят от элементов матрицы и, более того, существуют их конечныедифференциалы.Пусть A — данная матрица и dA — дифференциал (главная линейнаячасть) её возмущения, так что A + dA — это близкая к A возмущённаяматрица. Как изменятся собственные значения и собственныевекторы матрицы A + dA в сравнении с собственными значениями исобственными векторами A?ИмеемAx i = λ i x i ,(A+dA)(x i +dx i ) = (λ i +dλ i )(x i +dx i ),где через λ i обозначены собственные значения A, x i — собственные векторы,i= 1,2,...,n, причём последние образуют базис в R n , коль скоропо предположениюAявляется матрицей простой структуры. Пренебрегаячленами второго порядка малости, можем выписать равенство(dA)x i +A(dx i ) = λ i (dx i )+(dλ i )x i . (3.139)Пусть y 1 , y 2 , . . . , y n — собственные векторы эрмитово-сопряжённойматрицы A ∗ , соответствующие её собственным значениям λ 1 , λ 2 , . . . ,λ n . Умножая скалярно равенство (3.139) на y j , получим〈(dA)x i ,y j 〉+〈A(dx i ),y j 〉 = λ i 〈dx i ,y j 〉+(dλ i )〈x i ,y j 〉. (3.140)В частности, при j = i имеем〈(dA)x i ,y i 〉+〈A(dx i ),y i 〉 = λ i 〈dx i ,y i 〉+(dλ i )〈x i ,y i 〉,где соседние со знаком равенства члены можно взаимно уничтожить:они оказываются одинаковыми, коль скороСледовательно,и потому〈A(dx i ),y i 〉 = 〈dx i ,A ∗ y i 〉 = 〈dx i ,λ i y i 〉 = λ i 〈dx i ,y i 〉.〈(dA)x i ,y i 〉 = (dλ i )〈x i ,y i 〉,dλ i = 〈(dA)x i,y i 〉.〈x i ,y i 〉

394 3. Численные методы линейной алгебрыПусть теперь j ≠ i. Тогда 〈x i ,y j 〉 = 0 в силу биортогональностисистем векторов {x i } и {y j } (Предложение 3.2.2), и потому〈A(dx i ),y j 〉 = 〈dx i ,A ∗ y j 〉 = 〈dx i ,λ j y j 〉 = λ j 〈dx i ,y j 〉.Подставляя этот результат в (3.140), будем иметьПоэтому〈(dA)x i ,y j 〉+λ j 〈dx i ,y j 〉 = λ i 〈dx i ,y j 〉.〈dx i ,y j 〉 = 〈(dA)x i,y j 〉λ i −λ j.Разложим dx i по базису из собственных векторов невозмущённойматрицы A:n∑dx i = α ij x j .j=1Так как собственные векторы задаются с точностью до множителя,то в этом разложении коэффициенты α ii содержательного смысла неимеют, и можно считать, чтоα ii = 0 (напомним, что мы, в действительности,ищем возмущение одномерного инвариантного подпространстваматрицы). Для остальных коэффициентов имеем〈dx i ,y j 〉 = α ij 〈x j ,y j 〉,опять таки в силу Предложения 3.2.2. Следовательно, для i ≠ jα ij = 〈(dA)x i,y j 〉(λ i −λ j )〈x j ,y j 〉 .Перейдём теперь к оцениванию возмущений собственных значенийи собственных векторов. Из формулы для дифференциала dλ i и изнеравенства Коши-Буняковского следуетгде посредством|dλ i | ≤ ‖dA‖ 2‖x‖ 2 ‖y‖ 2〈x i ,y i 〉= ν i ‖dA‖ 2 ,ν i = ‖x i‖ 2 ‖y i ‖ 2, i = 1,2,...,n,〈x i ,y i 〉обозначены величины, называемые коэффициентами перекоса матрицыA, отвечающие собственным значениям λ i , i = 1,2,...,n.

3.16. Проблема собственных значений 395Ясно, что ν i ≥ 1, и можно интерпретировать коэффициенты перекосакакν i = 1cosϕ i,где ϕ i угол между собственными векторами x i и y i исходной и сопряжённойматриц. Коэффиценты перекоса характеризуют, таким образом,обусловленность проблемы собственных значений в смысле второгоподхода §1.3.Для симметричной (или, более общо, эрмитовой) матрицы коэффициентыперекоса равны 1. В самом деле, сопряжённая к ней задача насобственные значения совпадает с ней самой, и потому в наших обозначенияхx i = y i , i = 1,2,...,n. Следовательно, 〈x i ,y i 〉 = 〈x i ,x i 〉 =‖x i ‖ 2 ‖y i ‖ 2 , откуда и следует ν i = 1.Это наименьшее возможное значение коэффициентов перекоса, такчто численное нахождение собственных значений симметричных (эрмитовыхв комплексном случае) матриц является наиболее устойчивым.Что касается возмущений собственных векторов, то коэффициентыα ij их разложения оцениваются сверху как|α ij | ≤ ‖(dA)x i‖ 2 ‖y j ‖ 2|λ i −λ j |·|〈x j ,y j 〉|≤ ‖dA‖ 2|λ i −λ j | ν j,и потому имеет место общая оценка‖dx i ‖ 2 ≤ ‖dA‖ 2 ·‖x‖ 2 ·∑j≠iν j|λ i −λ j | . (3.141)Отметим значительную разницу в поведении возмущений собственныхзначений и собственных векторов матриц. Из оценки (3.141) следует,что на чувствительность отдельного собственного вектора влияюткоэффициенты перекоса всех собственных значений матрицы, ане только того, которое отвечает этому вектору. Кроме того, в знаменателяхслагаемых из правой части (3.141) присутствуют разностиλ i −λ j , которые могут быть малыми при близких собственных значенияхматрицы. Как следствие, собственные векторы при этом оченьчувствительны к возмущениям в элементах матрицы. Это мы моглинаблюдать в Примере 3.16.2. В частности, даже для симметричных(эрмитовых) матриц задача отыскания собственных векторов можетоказаться плохообусловленной.

396 3. Численные методы линейной алгебрыПример 3.16.4 Вещественная 20×20-матрица⎛⎞20 20019 2018 20. .. . , ..⎜⎟⎝ 2 20 ⎠ε 1в которой ненулевыми являются две диагонали — главная и верхняяпобочная, а также первый в последней строке элемент ε, называетсяматрицей Уилкинсона (см. [42]). При ε = 0 эта матрица имеет, очевидно,различные собственные значения 1, 2, . . . , 18, 19, 20. Но в общемслучае характеристическое уравнение матрицы Уилкинсона есть(20−λ)(19−λ)...(1−λ)−20 19 ε = 0,и его свободный член, который равен 20!−20 −19 ε, зануляется при ε =20 −19 ·20! ≈ 4.64·10 −7 . Как следствие, матрица будет иметь при этомнулевое собственное значение, т. е. сделается особенной. Величина возмущения, изменившего в рассмотренном примере наименьшеесобственное значение с 1 до 0, примерно равна одинарнойточности представления на цифровых ЭВМ машинных чисел в районеединицы согласно стандартам IEEE 754/854. Как видим, несмотряна то, что все собственные числа матрицы различны и, следовательно,являются гладкими функциями от элементов матрицы, скорость их изменениянастолько велика, что практически мы как будто имеем делос разрывными функциями.3.16г Круги ГершгоринаПусть A = (a ij ) — квадратная матрица из R n×n или C n×n . Еслиλ ∈ C — её собственное значение, тоAv = λv (3.142)для некоторого собственного вектора v ∈ C n . Предположим, что в vнаибольшее абсолютное значение имеет компонента с номером l, такчто |v l | = max 1≤j≤n |v j |.

3.16. Проблема собственных значений 397Рассмотрим l-ую компоненту векторного равенства (3.142):что равносильноПо этой причинеn∑a lj v j = λv l ,j=1n∑a lj v j = (λ−a ll )v l .j=1j≠l|λ−a ll ||v l | =∣ ∑ ∣∣∣∣ a lj v j ≤ ∑ |a lj v j |∣j≠lj≠l= ∑ j≠l|a lj ||v j | ≤ |v l | ∑ j≠l|a lj |,коль скоро |v j | ≤ |v l |. Наконец, поскольку v ≠ 0, мы можем сократитьобе части полученного неравенства на положительную величину |v l |:|λ−a ll | ≤ ∑ j≠l|a lj |.Не зная собственного вектора v, мы не располагаем и номером l егонаибольшей по модулю компоненты. Но можно действовать наверняка,рассмотрев дизъюнкцию соотношений выписанного выше вида длявсех l = 1,2...,n, так как хотя бы для одного из них непременно справедливывыполненные нами рассуждения. Потому в целом, если λ —какое-либо собственное значение рассматриваемой матрицы A, должновыполняться хотя бы одно из неравенств|λ−a ll | ≤ ∑ j≠l|a lj |, l = 1,2,...,n.Каждое из этих соотношений на λ определяет на комплексной плоскостиC круг с центром в точке a ll и радиусом, равным ∑ j≠l |a lj|. Какследствие, мы приходим к результату, который был установлен в 1931году С.А. Гершгориным:

398 3. Численные методы линейной алгебрыТеорема 3.16.2 (теорема Гершгорина) Все собственные значенияλ(A)любой вещественной или комплексной n × n-матрицы A = (a ij ) расположеныв объединении кругов комплексной плоскости с центрамиa ii и радиусами ∑ j≠i |a ij|, i = 1,2,...,n, т.е.λ(A) ∈n⋃i=1{z ∈ C ∣ |z −aii | ≤ ∑ }j≠i |a ij| .Фигурирующие в условиях теоремы круги комплексной плоскости{z ∈ C ∣ |z −a ii | ≤ ∑ }j≠i |a ij| , i = 1,2,...,n,называются кругами Гершгорина матрицы A = (a ij ). Можно дополнительнопоказать (см., к примеру, [42, 50, 95]), что если объединениекругов Гершгорина распадается на несколько связных, но непересекающихсячастей, то каждая такая часть содержит столько собственныхзначений матрицы, сколько кругов её составляют.Нетрудно продемонстрировать, что теорема Гершгорина равносильнапризнаку Адамара неособенности матриц (Теорема 3.2.2). В самомделе, если матрица имеет диагональное преобладание, то её круги Гершгоринане захватывают начала координат комплексной плоскости, апотому в условиях теоремы Гершгорина матрица должна быть неособенной.Обратно, пусть верен признак Адамара. Если λ — собственноезначение матрицы A = (a ij ), то матрица (A−λI) особенна и потому неможет иметь диагональное преобладание. Как следствие, хотя бы дляодного i = 1,2,...,n должно быть выполнено|λ−a ii | ≤ ∑ j≠i|a ij |, i = 1,2,...,n.Этими условиями и определяются круги Гершгорина.Пример 3.16.5 Для 2×2-матрицы (3.10)( ) 1 2,3 4рассмотренной в Примере 3.1.3 (стр. 218), собственные значения суть12 (5 ± √ 33), они приблизительно равны −0.372 и 5.372. На Рис. 3.23,

3.16. Проблема собственных значений 399Im2-2 0 2 4 6Re-2Рис. 3.23. Круги Гершгорина для матриц (3.10) и (3.11).показывающем соответствующие матрице круги Гершгорина, эти собственныезначения выделены крестиками.Для матрицы (3.11)( 1 2−3 4которая отличается от матрицы (3.10) лишь противоположным знакомэлемента на месте (2,1), круги Гершгорина те же. Но собственныезначения у неё комплексные, равные 1 2 (5±i√ 15), т. е. приблизительно2.5±1.936i. Они выделены на Рис. 3.23 звёздочками. Бросается в глаза «избыточность» кругов Гершгорина, которые вкачестве области локализации собственных значений очерчивают оченьбольшую область комплексной плоскости. Это характерно для матрицс существенной внедиагональной частью. Но если недиагональные элементыматрицы малы сравнительно с диагональными, то информация,даваемая кругами Гершгорина, становится весьма точной.3.16д Отношение РэлеяОпределение 3.16.2 Для квадратной n×n-матрицы A, вещественнойили комплексной, отношением Рэлея называется функционал R(x),задаваемый какR(x) := 〈Ax,x〉〈x,x〉 ,),

400 3. Численные методы линейной алгебрыкоторый определён на множестве ненулевых векторов из R n или C n .Область значений отношения Рэлея, т. е. множество{R(x) | x ≠ 0},называется полем значений матрицы A. Можно показать, что оно являетсявыпуклым подмножеством комплексной плоскости C.Перечислим основные свойства отношения Рэлея.Для любого скаляра α справедливоR(αx) = R(x),что устанавливается непосредственной проверкой.Если v — собственный вектор матрицы A, то R(x) равен собственномузначению матрицы, отвечающему v. В самом деле, если обозначитьэто собственное значение посредством λ, то Av = λv. По этой причинеR(v) = 〈Av,v〉〈v,v〉= 〈λv,v〉〈v,v〉= λ〈v,v〉〈v,v〉= λ.Как следствие доказанного свойства, можем заключить, что собственныечисла матрицы принадлежат её полю значений.Собственые векторы являются стационарными точками отношенияРэлея, т. е. точками зануления производной. Покажем это для вещественнойсимметричной матрицы, для которой отношение Рэлея рассматриваетсядля всех ненулевых вещественных векторов:∂R(x)= ∂ ( ) 〈Ax,x〉∂x i ∂x i 〈x,x〉= 2(Ax) i〈x,x〉−〈Ax,x〉·2x i〈x,x〉 2 .Если x = v = (v 1 ,v 2 ,...,v n ) ⊤ — собственный вектор матрицы A, точислитель последней дроби равен 2λv i 〈v,v〉−〈λv,v〉·2v i = 0.Практическое значение отношения Рэлея для вычислительных методовсостоит в том, что с его помощью можно легко получить приближениек собственному значению, если известен приближённый собственныйвектор матрицы.Хотя отношение Рэлея имеет смысл и практическое значение дляпроизвольных матриц, особую красоту и богатство содержания оноприобретает для эрмитовых (симметричных в вещественном случае)матриц.

3.16. Проблема собственных значений 401Если A — эрмитова n×n-матрица, то, как известно,A = UDU ∗ ,где D = diag{λ 1 ,λ 2 ,...,λ n } — диагональная матрица с вещественнымисобственными значениями матрицы A по диагонали, U — некотораяунитарная n×n-матрица (ортогональная в вещественном случае). ТогдаR(x) = 〈Ax,x〉〈x,x〉где y = U ∗ x. Поскольку= 〈UDU∗ x,x〉〈x,x〉1‖y‖ 2 2n∑|y i | 2 =i=1= 〈DU∗ x,U ∗ x〉〈U ∗ x,U ∗ x〉n∑i=1|y i | 2‖y‖ 2 2= 1,=∑ ni=1 λ i|y i | 2‖y‖ 2 ,2то для эрмитовых матриц отношение Рэлея есть выпуклая комбинация,с коэффициентами |y i | 2 /‖y‖ 2 2 , её собственных значений. В целомже из проведённых выше выкладок следует, что область значения отношенияРэлея для эрмитовой матрицы — это интервал [λ min ,λ max ] ⊂ R,коль скоро все λ i вещественны. Кроме того, для эрмитовых матриц отношениеРэлея позволяет легко находить нетривиальные границы длянаименьшего собственного значения сверху и наибольшего собственногозначения снизу.В теории на основе отношения Рэлея нетрудно вывести полезныеоценки для собственных и сингулярных чисел матриц. В частности, изсвойств отношения Рэлея следует (см. подробности в [40, 50])Теорема 3.16.3 (теорема Вейля) Пусть A и B — эрмитовы n ×nматрицы,причём λ 1 ≥ λ 2 ≥ ... ≥ λ n — собственные значения матрицыA и ˜λ 1 ≥ ˜λ 2 ≥ ... ≥ ˜λ n — собственные значения матрицыà = A+B. Тогда |˜λ i −λ i | ≤ ‖B‖ 2 .Следствие. Пусть A и B — произвольные матрицы одинакового размера,причём σ 1 ≥ σ 2 ≥ ... ≥ σ n — сингулярные числа матрицы A, а˜σ 1 ≥ ˜σ 2 ≥ ... ≥ ˜σ n — сингулярные числа матрицы à = A+B. Тогда|˜σ i −σ i | ≤ ‖B‖ 2 .Следствие из теоремы Вейля показывает, что сингулярные числанепрерывно зависят от элементов матрицы, и зависимость эта имеет

402 3. Численные методы линейной алгебрыдовольно плавный характер. В этом состоит важное отличие сингулярныхчисел матрицы от её собственных чисел, которые могут изменятьсяв зависимости от элементов матрицы сколь угодно быстро (см.Пример 3.16.3).3.17 Численные методы решенияпроблемы собственных значений3.17а Предварительное упрощение матрицыЕстественной идеей является приведение матрицы, для которой решаетсяпроблема собственных значений, к некоторой, по-возможности,простейшей форме, для которой собственные значения и/или собственныевекторы могут быть найдены проще, чем для исходной. В частности,идеальным было бы приведение матрицы к диагональной или треугольнойформе, по которым собственные числа могут быть найденынепосредственно. Элементраными преобразованиями, с помощью которыхможет быть выполнено это приведение, в данном случае должныбыть, очевидно, такие, которые сохраняют неизменным спектр матрицы,т. е. преобразования подобия матрицы A ↦→ S −1 AS. Они существенносложнее действуют на матрицу, чем преобразования линейного комбинированиястрок, которые использовались при решении систем линейныхалгебраических уравнений. Невозможность полной реализацииидеи упрощения матрицы следует из теоремы Абеля-Руффини, которуюмы обсуждали в §3.16а: если бы это упрощение было возможным,то оно привело бы к конечному алгоритму решения алгебраическихуравнений произвольной степени.Тем не менее, в некоторых частных случаях идея предварительногоупрощения матрицы для решения проблемы собственных значений,может оказаться полезной. Её наиболее популярное воплощение — этотак называемая почти треугольная (хессенбергова) форма матрицы.Определение 3.17.1 Матрица H = (h ij ) называется верхней почтитреугольной или хессенберговой матрицей (в форме Хессенберга), еслиh ij = 0 при i > j +1.Наглядный «портрет» хессенберговой матрицы выглядит следую-

3.17. Численные методы для проблемы собственных значений 403щим образом:⎛ ⎞× × ··· × ×× × ··· × ×H =× . . . . ..⎜ .⎝ .. ⎟ × × ⎠0 × ×Симметричная хессенбергова матрица — это, очевидно, трёхдиагональнаяматрица.Предложение 3.17.1 Любую n × n-матрицу A можно привести кортогонально подобной хессенберговой матрице H = QAQ ⊤ , где Q —произведение конечного числа отражений или вращений.Доказательство. Рассмотрим для определённости преобразования спомощью матриц отражения.Возьмём матрицу отражения Q 1 = I−2uu ⊤ так, чтобы первая компонентавектора Хаусхолдера u была нулевой и при этом⎛ ⎞ ⎛ ⎞a 11 a 11a 21a ′ 21Q 1 a 31=,⎜ ⎟ ⎜ ⎟⎝ . ⎠ ⎝0. ⎠a n1 0т. е. занулялись бы элементы a 31 , . . . , a n1 в первом столбце. Нетрудновидеть, что Q 1 выглядит следующим образом⎛ ⎞1 0 ··· 0 00 × ··· × ×Q 1 =0 × . .. .. . ..⎜ . . .⎝ . . .. ⎟ × × ⎠0 × ··· × ×Далее, когда A умножается на такую матрицу Q 1 слева, то в ней неизменяются элементы первой строки. Когда матрица Q 1 A умножаетсяна Q ⊤ 1 = Q 1 справа, то в ней не изменяются элементы первого столбца.

404 3. Численные методы линейной алгебрыПоэтому в матрице Q 1 AQ ⊤ 1 , как и в Q 1A, первый столбец имеет нулив позициях с 3-й по n-ую.Далее выбираем матрицы отражения Q 2 , Q 3 , . . . , Q n−2 так, чтобыумножение слева на Q i давало нули в позициях с (i+2)-ой по n-ую вi-ом столбце. Эти матрицы имеют видQ i =( I 00 ˜Qi),где в верхнем левом углу стоит единичная матрица размера i × i, а˜Q i — матрица отражения размера (n−i)×(n−i). При этом последующееумножения справа на Q ⊤ i = Q i также не портит возникающуюпочти треугольную структуру результирующей матрицы. Получающаясяв итоге матрица QAQ ⊤ с Q = Q n−2 ...Q 1 действительно являетсяверхней почти треугольной.3.17б Степенной методЕсли для собственных значений λ i , i = 1,2,...,n, некоторой матрицысправедливо неравенство|λ 1 | > |λ 2 | ≥ |λ 3 | ≥ ...|λ n |, тоλ 1 называютдоминирующим собственным значением, а соответствующий ему собственныйвектор — доминирующим собственным вектором. Степеннойметод, описанию которого посвящён этот пункт, предназначен длярешения частичной проблемы собственных значений — нахождения доминирующихсобственного значения и собственного вектора матрицы.Лежащая в его основе идея чрезвычайно проста и состоит в том,что если у матрицы A имеется собственное значение λ 1 , превосходящеепо модулю все остальные собственные значения, то при действии этойматрицей на произвольный вектор x ∈ C n направление v 1 , отвечающееэтому собственному значению λ 1 будет растягиваться сильнее остальных(при λ 1 > 1) или сжиматься меньше остальных (при λ 1 ≤ 1). Приповторном умножении A на результат Ax предшествующего умноженияэта компонента ещё более удлинится в сравнении с остальными. Повториврассмотренную процедуру умножения достаточное количествораз, мы получим вектор, в котором полностью преобладает направлениеv 1 , т. е. практически будет получен приближённый собственныйвектор.

3.17. Численные методы для проблемы собственных значений 405В качестве приближённого собственного значения матрицы A можнопри этом взять «отношение» двух последовательных векторов, порождённыхнашим процессом — x (k+1) = A k+1 x (0) и x (k) = A k x (0) ,k = 0,1,2,.... Слово «отношение» взято здесь в кавычки потому, чтоупотреблено не вполне строго: ясно, что векторы x (k+1) и x (k) могутоказаться неколлинеарными, и тогда их «отношение» смысла иметь небудет. Возможны следующие пути решения этого вопроса:1) рассматривать отношение каких-нибудь фиксированных компонентвекторов x (k+1) и x (k) , т. е.для некоторого i ∈ {1,2,...,n};x (k+1)i/x (k)i(3.143)2) рассматривать отношение проекций последовательных приближенийx(k+1) иx (k) на направление, задаваемое каким-нибудь векторомl (k) , т. е.〈x (k+1) ,l (k) 〉〈x (k) ,l (k) 〉 . (3.144)Во втором случае мы обозначили направление проектирования черезl (k) , чтобы подчеркнуть его возможную зависимость от номера шага k.Ясно также, что это направление l (k) не должно быть ортогональнымвектору x (k) , чтобы не занулился знаменатель в (3.144).Последний способ кажется более предпочтительным в вычислительномотношении, поскольку позволяет избегать капризного поведения водной отдельно взятой компоненте вектора x (k) , когда она может сделатьсяочень малой по абсолютной величине или совсем занулиться,хотя в целом вектор x (k) будет иметь значительную длину. Наконец, вкачестве вектора, задающего направление проектирования во второмварианте, естественно взять сам x (k) , вычисляя на каждом шаге отношение〈x (k+1) ,x (k) 〉〈x (k) ,x (k) 〉 , (3.145)где x (k) = A k x (0) . Нетрудно увидеть, что это выражение совпадает сотношением Рэлея для приближения x (k) к собственному вектору.Для организации вычислительного алгоритма степенного методатребуется разрешить ещё два тонких момента, связанных с реализациейна ЭВМ.

406 3. Численные методы линейной алгебрыВо-первых, это возможное неограниченное увеличение (при λ 1 > 1)или неограниченное уменьшение (при λ 1 < 1) норм векторов x (k) иx (k+1) , участвующих в нашем процессе. Разрядная сетка современныхцифровых ЭВМ, как известно, конечна и позволяет представлять числаиз ограниченного диапазона. Чтобы избежать проблем, вызванных выходомза этот диапазон («переполнением» или «исчезновением порядка»),имеет смысл нормировать x (k) . При этом наиболее удобна нормировкав евклидовой норме ‖·‖ 2 , так как тогда знаменатель отношения(3.145) сделается равным единице.Во-вторых, при выводе степенного метода мы неявно предполагали,что начальный вектор x (0) выбран так, что он имеет ненулевую проекциюна направление доминирующего собственного вектора v 1 матрицыA. В противном случае произведения любых степеней матрицы A наx (0) будут также иметь нулевые проекции на v 1 , и никакой дифференциациидлины компонент A k x (0) , на которой и основывается степеннойметод, не произойдёт. Это затруднение может быть преодолено спомощью какой-нибудь априорной информации о доминирующем собственномвекторе матрицы. Кроме того, при практической реализациистепенного метода на цифровых ЭВМ неизбежные ошибки округления,как правило, приводят к появлению ненулевых компонент в направленииv 1 , которые затем в процессе итерирования растянутся на нужнуювеличину. Но, строго говоря, это может не происходить в некоторыхисключительных случаях, и потому при ответственных вычисленияхрекомендуется многократный запуск степенного метода с различныминачальными векторами (так называемый мультистарт).В псевдокоде, представленном в Табл. 3.10, ˜λ — это приближённоедоминирующее собственное значение матрицы A, а x (k) — текущее приближениек нормированному доминирующему собственному вектору.Теорема 3.17.1 Пусть n×n-матрицаA является матрицей простойструктуры (т.е. диагонализуема) и у неё имеется простое доминирующеесобственное значение, которому соответствует один линейныйэлементарный делитель. Если начальный вектор x (0) не лежитв линейной оболочке lin{v 2 ,...,v n } собственных векторов A, которыене являются доминирующими, то степенной метод сходится.Доказательство. При сделанных нами предположениях о матрице Aона может быть представлена в видеA = VDV −1 ,

3.17. Численные методы для проблемы собственных значений 407Таблица 3.10. Степенной метод для нахождениядоминирующего собственного значения матрицыk ← 0;выбираем вектор x (0) ≠ 0;нормируем x (0) ← x (0) /‖x (0) ‖ 2 ;DO WHILE ( метод не сошёлся )END DOy (k+1) ← Ax (k) ;˜λ ← 〈 y (k+1) ,x (k)〉 ;x (k+1) ← y (k+1) /‖y (k+1) ‖ 2 ;k ← k +1;где D = diag{λ 1 ,λ 2 ,...,λ n } — диагональная матрица с собственнымизначениями λ 1 , λ 2 , . . . , λ n по диагонали, а V — матрица, осуществляющаяпреобразование подобия, причём без ограничения общности можносчитать, что λ 1 — доминирующее собственное значение A. Матрица Vсоставлена из собственных векторов v i матрицы A как из столбцов:⎛⎞(v 1 ) 1 (v 2 ) 1 ... (v n ) 1V = ( ) (v 1 ) 2 (v 2 ) 2 ... (v n ) 2v 1 v 2 ··· v n = ⎜.⎝ . . .. ⎟ . ⎠ ,(v 1 ) n (v 2 ) n ... (v n ) nгде через (v i ) j обозначена j-ая компонента i-го собственного вектора

408 3. Численные методы линейной алгебрыматрицы A. При этом можно считать, что ‖v i ‖ 2 = 1. Следовательно,A k x (0) = ( VDV −1) kx (0) = ( VDV −1)( VDV−1)···(VDV−1)x (0)} {{ }k раз= VD ( V −1 V ) D ( V −1 V )···(V −1 V ) DV −1 x (0)= VD k V −1 x (0) = VD k z= V⎛λ k 1 z ⎞ ⎛ ⎞11λ k 2z 2⎜ ⎟⎝ . ⎠ = ( λ k 1 z ) (λ 2 /λ 1 ) k (z 2 /z 1 )1 V ⎜ ⎟⎝ . ⎠ ,λ k nz n (λ n /λ 1 ) k (z n /z 1 )где обозначено z = V −1 x (0) . Необходимое условие последнего преобразованияэтой цепочки — z 1 ≠ 0 — выполнено потому, что в условияхтеоремы вектор x (0) = Vz должен иметь ненулевую первую компонентупри разложении по базису из собственных векторов A, т. е. столбцовматрицы V .Коль скоро λ 1 — доминирующее собственное значение матрицы A,т. е.|λ 1 | > |λ 2 | ≥ ... ≥ |λ n |,то все частные λ 2 /λ 1 , λ 3 /λ 1 , . . . , λ n /λ 1 по модулю меньше единицы, ипотому при k → ∞ вектор⎛ ⎞1(λ 2 /λ 1 ) k (z 2 /z 1 )⎜ ⎟⎝ . ⎠(λ n /λ 1 ) k (z n /z 1 )сходится к вектору (1,0,0,...,0) ⊤ . Соответственно, произведение⎛ ⎞1(λ 2 /λ 1 ) k (z 2 /z 1 )V⎜ ⎟⎝ . ⎠(λ n /λ 1 ) k (z n /z 1 )(3.146)

3.17. Численные методы для проблемы собственных значений 409сходится к первому столбцу матрицы V , т. е. к собственному вектору,отвечающему λ 1 . Вектор x (k) , который отличается от A k x (0) лишьнормировкой, сходится к собственному вектору v 1 , а величина ˜λ =〈y (k+1) ,x (k) 〉 сходится к 〈Av 1 ,v 1 〉 = 〈λ 1 v 1 ,v 1 〉 = λ 1 . Из проведённых выше выкладок следует, что быстрота сходимостистепенного метода определяется отношениями |λ i /λ 1 |, i = 2,3,...,n,— знаменателями геометрических прогрессий, стоящих в качестве элементоввектора (3.146). Фактически, решающее значение имеет наибольшееиз этих отношений, т. е. |λ 2 /λ 1 |, зависящее от того, насколькомодуль доминирующего собственного значения отделён от модуляостальной части спектра. Чем больше эта отделённость, тем быстреесходимость степенного метода.Пример 3.17.1 Для матрицы (3.10)( ) 1 2,3 4при вычислениях с двойной точностью степеной метод с начальнымвектором x (0) = (1,1) ⊤ за 7 итераций даёт семь верных знаков доминирующегособственного значения 1 2 (5+√ 33) ≈ 5.3722813. Детальнаякартина сходимости показана в следующей табличке:Номер Приближениеитерации к собственному значению1 5.02 5.34482763 5.37394454 5.37216495 5.37228946 5.37228087 5.3722814Быстрая сходимость объясняется малостью величины |λ 2 /λ 1 |, которая,как мы могли видеть в Примере 3.1.3, для рассматриваемойматрицы равна всего лишь 0.069.Для матрицы (3.11)( ) 1 2,−3 4

410 3. Численные методы линейной алгебрыпри тех же исходных условиях степенной метод порождает последовательностьзначений ˜λ, которая случайно колеблется от примерно0.9 до 4 и очевидным образом не имеет предела. Причина — наличиеу матрицы двух одинаковых по абсолютной величине комплексносопряжённыхсобственных значений 2.5±1.936i (см. Пример 3.1.3). Отметим, что для симметричных (эрмитовых) положительно определённыхматриц в степенном методе в качестве приближения к доминирующемусобственному значению можно брать отношение‖x (k+1) ‖ 2‖x (k) ‖ 2,x (k+1) = Ax (k)(см. [77]).Наконец, необходимое замечание о сходимости степенного методав комплексном случае. Так как комплексные числа описываются парамивещественных чисел, то комплексные одномерные инвариантныепространства матрицы имеют вещественную размерность 2. Даже будучинормированными, векторы из такого подпространства могут отличатьсяна скалярный множитель e iϕ для какого-то аргумента ϕ, такчто если не принять специальных мер, то в степенном методе видимойстабилизации координатных представлений комплексных собственныхвекторов может не наблюдаться. Тем не менее, о факте сходимости илирасходимости можно при этом судить по стабилизации приближения ксобственному значению. Либо кроме нормировки собственных векторовследует предусмотреть ещё приведение их к такой форме, в которойкоординатные представления будут определяться более «жёстко», например,требованием, чтобы первая компонента вектора была бы чистовещественной.Пример 3.17.2 Рассмотрим работу степенного метода в применениик матрице( ) 1 2i,3 4iимеющей собственные значенияλ 1 = −0.4308405−0.1485958i,λ 2 = 1.4308405+4.1485958i.

3.17. Численные методы для проблемы собственных значений 411Доминирующим собственным значением здесь является λ 2 .Начав итерирование с вектора x (0) = (1,1) ⊤ , уже через 7 итерациймы получим 6 правильных десятичных знаков в вещественной и мнимойчастях собственного значения. Но вот в порождаемых алгоритмомнормированных векторах x (k) —x (9) =( ) −0.01132−0.43223i,−0.11659−0.89413i( ) 0.40491−0.15163ix (10) =,0.80725−0.40175i( ) 0.27536+0.33335ix (11) =,0.64300+0.63215i( ) 0.22535+0.36900ix (12) =,−0.38795+0.81397iи так далее — нелегко «невооружённым глазом» узнать один и тот жесобственный вектор, который «крутится» в одномерном комплексноминвариантном подпространстве. Но если поделить все получающиесявекторы на их первую компоненту, то получим один и тот же результат( )1.,2.07430−0.21542iи теперь уже налицо факт сходимости собственных векторов.Как ведёт себя степенной метод в случае, когда матрица A не являетсядиагонализуемой? Полный анализ ситуации можно найти, например,в книгах [42, 44]. Наиболее неблагоприятен при этом случай, когдадоминирующее собственное значение находится в жордановой клеткеразмера два и более. Теоретически степенной метод всё таки сходитсяк этому собственному значению, но уже медленнее любой геометрическойпрогрессии.Пример 3.17.3 Рассмотрим работу степенного метода в применениик матрице( ) 1 1,0 1

412 3. Численные методы линейной алгебрыт. е. к жордановой 2×2-клетке с собственным значением 1.Запустив степенной метод из начального вектора x (0) = (1,1) ⊤ , будемиметь следующееНомер Приближениеитерации к собственному значению1 1.53 1.310 1.099009930 1.0332963100 1.009999300 1.00333331000 1.001То есть, для получения n верных десятичных знаков собственного значенияприходится делать примерно 10 n−1 итераций, что, конечно же,непомерно много. При увеличении размера жордановой клетки сходимостьстепенного метода делается ещё более медленной. 3.17в Обратные степенные итерацииОбратными степенными итерациями для матрицы A называютописанный в прошлом параграфе степенной метод, применённый к обратнойматрице A −1 , в котором вычисляется отношение результатовпредыдущей итерации к последующей, т. е. обратная к (3.143) или (3.144)величина. Явное нахождение обратной матрицыA −1 при этом не требуется,так как в степенном методе используется лишь результатx (k+1) еёумножения на вектор x (k) очередного приближения, а это, как известно(см., в частности, §3.13), эквивалентно решению системы линейныхуравнений Ax (k+1) = x (k) .Так как собственные значения матриц A и A −1 взаимно обратны,то обратные степенные итерации будут сходится к наименьшему поабсолютной величине собственному значению A и соответствующемусобственному вектору.Чтобы в отношении〈x (k) ,l (k) 〉〈x (k+1) ,l (k) 〉 ,которое необходимо вычислять в обратных степенных итерациях, знаменательне занулялся, удобно брать l (k) = x (k+1) . Тогда очередным

3.17. Численные методы для проблемы собственных значений 413Таблица 3.11. Обратные степенные итерации для нахождениянаименьшего по модулю собственного значения матрицы Ak ← 0;выбираем вектор x (0) ≠ 0;нормируем x (0) ← x (0) /‖x (0) ‖ 2 ;DO WHILE ( метод не сошёлся )END DOнайти y (k+1) из системы Ay (k+1) = x (k) ;˜λ ← 〈 x (k) ,y (k+1)〉 / 〈 y (k+1) ,y (k+1)〉 ;x (k+1) ← y (k+1) /‖y (k+1) ‖ 2 ;k ← k +1;приближением к наименьшему по модулю собственному значению матрицыA является〈x (k) ,x (k+1) 〉〈x (k+1) ,x (k+1) 〉 ,где Ax (k+1) = x (k) . Псевдокод получающегося метода представлен вТабл. 3.11.Практическая реализация решения системы линейных уравнений(5-я строка псевдокода) может быть сделана достаточно эффективной,если предварительно выполнить LU- или QR-разложение матрицы A, азатем на каждом шаге метода использовать формулы (3.59) или (3.77).Пример 3.17.4 Рассмотрим работу обратных степенных итерацийдля знакомой нам матрицы( ) 1 2,3 4собственные значения которой суть 1 2 (5±√ 33), приблизительно равные−0.372 и 5.372.

414 3. Численные методы линейной алгебрыЗапустив обратные степенные итерации из начального вектора x (0)= (1,1) ⊤ , за 7 итераций получим 7 верных значащих цифр наименьшегопо модулю собственного числа 0.3722813. Скорость сходимостиздесь получается такой же, как в Примере 3.14.1 для доминирующегособственного значения этой матрицы, что неудивительно ввиду одинаковогозначения знаменателя геометрической прогрессии λ 2 /λ 1 . Обратные степенные итерации особенно эффективны в случае, когдаимеется хорошее приближение к собственному значению и требуетсянайти соответствующий собственный вектор.3.17г Сдвиги спектраСдвигом матрицы называют прибавление к ней скалярной матрицы,т. е. матрицы, пропорциональной единичной матрице, так что вместоматрицыAмы получаем матрицу A+ϑI. Если λ i (A) — собственныезначения матрицы A, то для любого комплексного числа ϑ собственнымизначениями матрицы A+ϑI являются числа λ i (A)+ϑ, тогда каксобственные векторы остаются неизменными. Цель сдвига — преобразованиеспектра матрицы для того, чтобы улучшить работу тех илииных алгоритмов решения проблемы собственных значений.Если, к примеру, у матрицы A наибольшими по абсолютной величинебыли два собственных значения −2 и 2, то прямое применениек ней степенного метода не приведёт к успеху. Но у матрицы A + Iэти собственные значения перейдут в −1 и 3, второе собственное числостанет наибольшим по модулю, и теперь уже единственным. Соответственно,степенной метод сделается применимым к новой матрице.Пример 3.17.5 Для матрицы (3.11)( ) 1 2,−3 4как было отмечено в Примере 3.17б, простейший степенной метод расходитсяиз-за существования двух наибольших по абсолютной величинесобственных значений.Но если сдвинуть эту матрицу на 2i, то её спектр (см. Рис. 3.23)поднимется «вверх», абсолютные величины собственных значений перестанутсовпадать, и степенной метод окажется применимым.

3.17. Численные методы для проблемы собственных значений 415Степенные итерации для «сдвинутой» матрицы( 1+2i 2)−3 4+2i(3.147)довольно быстро сходятся к наибольшему по модулю собственному значению5 2 + (2 + 1 2√15)i ≈ 2.5 + 3.9364917i. Детальная картина сходимостипри вычислениях с двойной точностью и начальным векторомx (0) = (1,1) ⊤ показана в следующей табличке:Номер Приближениеитерации к собственному значению1 2.0 + 2.0 i3 2.0413223 + 4.3140496 i5 2.7022202 + 3.9372711 i10 2.5004558 + 3.945456 i20 2.4999928 + 3.9364755 iВ данном случае для матрицы (3.147) имеем |λ 2 /λ 1 | ≈ 0.536.Im0ReРис. 3.24. С помощью подходящих сдвигов любую крайнююточку спектра можно сделать наибольшей по модулю.Поскольку спектр симметричной (эрмитовой) матрицы лежит навещественной оси, то к таким матрицам имеет смысл применять вещественныесдвиги. В частности, при этом для симметричных веще-

416 3. Численные методы линейной алгебрыственных матриц алгоритмы будут реализовываться в более простойвещественной арифметике.С помощью сдвигов матрицы можно любое её собственное значение,которое является крайней точкой выпуклой оболочки спектра, сделатьнаибольшим по модулю, обеспечив, таким образом, сходимость к немуитераций степенного метода. Но как добиться сходимости к другим собственнымзначениям, которые лежат «внутри» спектра, а не «с краю»?Здесь на помощь приходят обратные степенные итерации.Обратные степенные итерации сходятся к ближайшей к нулю точкеспектра матрицы, и такой точкой с помощью подходящего сдвигаможет быть сделано любое собственное число. В этом — важное преимуществосдвигов для обратных степенных итераций.Другое важное следствие сдвигов — изменение отношения |λ 2 /λ 1 |,величина которого влияет на скорость сходимости степенного метода.Обычно с помощью подходящего выбора величины сдвига ϑ можнодобиться того, чтобы∣ λ 2 +ϑ∣λ 1 +ϑбыло меньшим, чем |λ 2 /λ 1 |, ускорив тем самым степенные итерации.Совершенно аналогичный эффект оказывает удачный выбор сдвига наотношение |λ n /λ n−1 |, которое определяет скорость сходимости обратныхстепенных итераций.3.17д Метод Якоби для решения симметричнойпроблемы собственных значенийВ этом параграфе мы рассмотрим численный метод для решениясимметричной проблемы собственных значений, т. е. для вычислениясобственных чисел и собственных векторов симметричных матриц. Онбыл впервые применён К.Г. Якоби в 1846 году к конкретной 7 × 7-матрице, а затем был забыт на целое столетие и вновь переоткрытлишь после Второй мировой войны, когда началось бурное развитиевычислительной математики.Идея метода Якоби состоит в том, чтобы подходящими преобразованиямиподобия от шага к шагу уменьшать норму внедиагональнойчасти матрицы. Получающиеся при этом матрицы имеет тот же спектр,что и исходная матрица, но будут стремиться к диагональной матрицес собственными значениями на главной диагонали. Инструментом реализацииэтого плана выступают элементарные ортогональные матрицы

3.17. Численные методы для проблемы собственных значений 417вращений, рассмотренные в §3.7д. Почему именно ортогональные матрицыи почему вращений? Ответ на эти вопросы станет ясен позднеепри анализе работы алгоритма.Итак, положим A (0) := A. Если матрица A (k) , k = 0,1,2,..., ужевычислена, то подберём матрицу вращений G(p,q,θ) вида (3.81) такимобразом, чтобы сделать нулями пару внедиагональных элементов в позициях(p,q)и(q,p) в матрицеA (k+1) := G(p,q,θ) ⊤ A (k) G(p,q,θ). Желаядостичь этой цели, мы должны добиться выполнения равенства(a(k+1)ppa (k+1)qpa (k+1)pqa (k+1)qq)=(cosθ −sinθsinθ cosθ( )× 0) ⊤ (a(k)ppa (k)qpa (k)pqa (k)qq)( )cosθ −sinθsinθ cosθ=0 ×,где, как обычно, посредством «×» обозначены какие-то элементы, конкретноезначение которых несущественно. Строго говоря, в результатерассматриваемого преобразования подобия в матрице A (k) изменятсяи другие элементы, находящиеся в строках и столбцах с номерами p иq. Этот эффект будет проанализирован ниже в Предложении 3.17.3.Опуская индексы, обозначающие номер итерации и приняв сокращённыеобзначения c = cosθ, s = sinθ, получим( )× 00 ×=(a pp c 2 +a qq s 2 +2sca pq sc(a qq −a pp )+a pq (c 2 −s 2 ))sc(a qq −a pp )+a pq (c 2 −s 2 ) a pp s 2 +a qq c 2 −2sca pqПриравнивание внедиагональных элементов нулю даётa pp −a qq= c2 −s 2.a pq scПоделив обе части этой пропорции пополам, воспользуемся тригонометрическимиформулами двойных угловa pp −a qq= c2 −s 2= cos(2θ)2a pq 2sc sin(2θ) = 1 =: τ.tg(2θ)

418 3. Численные методы линейной алгебрыПоложим t := sinθ/cosθ = tgθ. Вспоминая далее тригонометрическуюформулу для тангенса двойного углаtg(2θ) = 2tgθ1−tg 2 θ ,мы можем прийти к выводу, что t является корнем квадратного уравненияt 2 +2τt−1 = 0с положительным дискриминантом (4τ 2 +4), которое, следовательно,всегда имеет вещественные корни. Отсюда находится сначала t:t = −τ ± √ τ 2 +1,причём из двух корней мы берём наименьший по абсолютной величине.Он равенt = −τ +sgn τ ·√τ 2 +1, если τ ≠ 0,t = ±1, если τ ≠ 0,и первую формулу для улучшения численной устойчивости лучше записатьв виде, освобождённом от вычитания близких чисел:t = (−τ +sgn τ ·√τ 2 +1)(τ +sgn τ ·√τ 2 +1)(τ +sgn τ ·√τ 2 +1)=1(τ +sgn τ ·√τ 2 +1)при τ ≠ 0.Затем на основе известных тригонометрических формул, выражающихкосинус и синус через тангенс, находим c и s:c =1√t2 +1 ,s = t·c.Займёмся теперь обоснованием сходимости метода Якоби для решениясимметричной проблемы собственных значений.Предложение 3.17.2 Фробениусова норма матрицы A, т.е.( n 1/2∑‖A‖ F = aij) 2 ,i,j=1

3.17. Численные методы для проблемы собственных значений 419не изменяется при умножениях на ортогональные матрицы слеваили справа.Доказательство. Напомним, что следом матрицы A = (a ij ), обозначаемымtrA, называется сумма всех её диагональных элементов:n∑trA = a ii .Нетрудно проверить, что привлечение понятия следа позволяет переписатьопределение фробениусовой нормы матрицы таким образом⎛ (n∑ n) ⎞ 1/2∑‖A‖ F = ⎝ a ij a ij⎠ = ( tr(A ⊤ A) ) 1/2.j=1i=1Следовательно, для любой ортогональной матрицы Q справедливо‖QA‖ F =(tr ( (QA) ⊤ (QA) )) 1/2=i=1(tr ( A ⊤ Q ⊤ QA )) 1/2=(tr(A ⊤ A) ) 1/2= ‖A‖F .Для доказательства аналогичного соотношения с умножением на ортогональнуюматрицу справа заметим, что фробениусова норма не меняетсяпри транспонировании матрицы. Следовательно,‖AQ‖ F = ∥ ∥ ( Q ⊤ A ⊤) ⊤∥∥F = ‖Q ⊤ A ⊤ ‖ F = ‖A ⊤ ‖ F = ‖A‖ F ,что завершает доказательство Предложения.Следствие. Фробениусова норма матрицы не меняется при ортогональныхпреобразованиях подобия.Для более точного описания меры близости матриц A (k) , которыепорождаются конструируемым нами методом, к диагональной матрицевведём величину( ) 1/2 ∑ND(A) = a 2 ijj≠i— фробениусову норму внедиагональной части матрицы. Ясно, чтоматрица A диагональна тогда и только тогда, когда ND(A) = 0.

420 3. Численные методы линейной алгебрыПредложение 3.17.3 Пусть преобразование подобия матрицы A спомощью матрицы вращений G таково, что в матрице B = G ⊤ AGзануляются элементы в позициях (p,q) и (q,p). ТогдаND 2 (B) = ND 2 (A)−2a 2 pq . (3.148)Итак, в сравнении с матрицей A в матрице B изменились элементыстрок и столбцов с номерами p и q, но фробениусова норма недиагональнойчасти изменилась при этом так, как будто кроме зануленияэлементов a pq и a qp ничего не произошло.Доказательство. Для 2×2-подматрицы(app a pqa qp a qq)из матрицы A и соответствующей ей 2×2-подматрицы(bpp 00 b qq)в матрице B справедливо соотношениеa 2 pp +a2 qq +2a2 pq = b2 pp +b2 qq ,так как ортогональным преобразованием подобия фробениусову нормаматрицы не изменяется. Но, кроме того, ‖A‖ 2 F = ‖B‖2 F , и потомуND 2 (B) = ‖B‖ 2 F − n ∑= ‖A‖ 2 F −i=1b 2 ii( n∑i=1= ND 2 (A)−2a 2 pq ,a 2 ii − ( a 2 pp +a 2 (qq)+ b2pp +b 2 ) )qqпоскольку на диагонали у матрицы A изменились только два элемента— a pp и a qq .

3.17. Численные методы для проблемы собственных значений 421Таблица 3.12. Метод Якоби для вычисления собственныхзначений симметричной матрицыВходСимметричная матрица A.Допуск ǫ на норму внедиагональных элементов.ВыходМатрица, на диагонали которой стоят приближёнияк собственным значениям A.АлгоритмDO WHILE ( ND(A) > ǫ )выбрать ненулевой внедиагональныйэлемент a pq в A;обнулить a pq и a qp преобразованием подобияс матрицей вращения G(p,q,θ);END DOТеперь можно ответить на вопрос о том, почему в методе Якобидля преобразований подобия применяются именно ортогональные матрицы.Как следует из результатов Предложений 3.17.2 и 3.17.3, умножениена ортогональные матрицы обладает замечательным свойствомсохранения фробениусовой нормы матрицы и, как следствие, «перекачивания»её величины с внедиагональных элементов на диагональв результате специально подобранных цепочек таких умножений. Придругих преобразованиях подобия добиться этого было бы едва ли возможно.Итак, всё готово для организации итерационного процесса приведениясимметричной матрицы к диагональному виду, при котором внедиагональныеэлементы последовательно подавляются. Как уже отмечалось,занулённые на каком-то шаге алгоритма элементы могутвпоследствии вновь сделаться ненулевыми. Но результат Предложения3.17.3 показывает, что норма внедиагональной части матрицы приэтом всё равно монотонно уменьшается.

422 3. Численные методы линейной алгебрыРазличные способы выбора ненулевых внедиагональных элементов,подлежащих обнулению, приводят к различным практическим версиямметода Якоби.Выбор наибольшего по модулю внедиагонального элемента — наилучшеедля отдельно взятого шага алгоритма решение. Но поиск этогоэлемента имеет трудоёмкость n(n −1)/2, что может оказаться весьмадорогостоящим, особенно для матриц больших размеров. Преобразованиеподобия с матрицей вращений обходится всего в O(n) операций!Чаще применяют циклический обход столбцов (или строк) матрицы,и наибольший по модулю элемент берут в пределах рассматриваемогостолбца (строки).Наконец, ещё одна популярная версия — это так называемый «барьерныйметод Якоби», в котором назначают величину «барьера» назначение модуля внедиагональных элементов матрицы, и алгоритм обнуляетвсе элементы, модуль которых превосходит этот барьер. Затембарьер понижается, процесс обнуления повторяется заново, и так дотех пор, пока не будет достигнута требуемая точность.К 70-м годам пошлого века, когда было разработано немало эффективныхчисленных методов для решения симметричной проблемысобственных значений, стало казаться, что метод Якоби устарел и будетвытеснен из широкой вычислительной практики (см., к примеру,рассуждения в [78]). Дальнейшее развитие не подтвердило эти пессимистичныепрогнозы. Выяснилось, что метод Якоби почти не имеетконкурентов по точности нахождения малых собственных значений, тогдакак методы, основанные на трёхдиагонализации исходной матрицы,могут терять точность (соответствующие примеры приведены в [13]).Кроме того, метод Якоби оказался хорошо распараллеливаемым, т. е.подходящим для расчётов на современных многопроцессорных ЭВМ.3.17е Базовый QR-алгоритмQR-алгоритм, изложению которого посвящён этот параграф, являетсяодним из наиболее эффективных численных методов для решенияполной проблемы собственных значений. Он был изобретён независимоВ.Н. Кублановской (1960 год) и Дж. Фрэнсисом (1961 год). ПубликацияВ.Н. Кублановской появилась раньше 29 , а Дж. Фрэнсис более пол-29 Упоминая о вкладе В.Н.Кублановской в изобретение QR-алгоритма, обычноссылаются на её статью 1961 года в «Журнале вычислительной математики и математическойфизики» [75]. Но первое сообщение о QR-алгоритме было опубликовано

3.17. Численные методы для проблемы собственных значений 423но развил практичную версию QR-алгоритма.QR-алгоритм является наиболее успешным представителем большогосемейства родственных методов решения полной проблемы собственныхзначений, основанных на разложении исходной матрицы напростейшие. QR-алгоритму предшествовал LR-алгоритм Рутисхаузера.На практике применяются также ортогональный степенной метод,предложенный В.В. Воеводиным, и различные другие близкие вычислительныепроцессы.Вспомним теорему о QR-разложении (Теорема 3.7.1, стр. 300): всякаяквадратная матрица представима в виде произведения ортогональнойи правой (верхней) треугольной матриц. Ранее в нашем курсе мыуже обсуждали конструктивные способы выполнения этого разложения— с помощью матриц отражения Хаусхолдера, а также с помощьюматриц вращений. Следовательно, далее можно считать, что QRразложениевыполнимо и основывать на этом факте свои построения.Вычислительная схема базового QR-алгоритма для решения проблемысобственных значений представлена в Табл. 3.13: мы разлагаемматрицу A (k) , полученную на k-м шаге алгоритма, k = 0,1,2,..., наортогональный Q (k) и правый треугольный R (k) сомножители и далее,поменяв их местами, умножаем друг на друга, образуя следующее приближениеA (k+1) .Таблица 3.13. QR-алгоритм для нахождениясобственных значений матрицы Ak ← 0;A (0) ← A;DO WHILE ( метод не сошёлся )вычислить QR-разложение A (k) = Q (k) R (k) ;A (k+1) ← R (k) Q (k) ;k ← k +1;END DOею раньше — в Дополнении к изданию 1960 года книги [44].

424 3. Численные методы линейной алгебрыПрежде всего отметим, что посколькуA (k+1) = R (k) Q (k) = ( Q (k)) ⊤(Q (k) R (k)) Q (k) = ( Q (k)) ⊤A (k) Q (k) ,то все матрицы A (k) , k = 0,1,2,..., ортогонально подобны друг другу иисходной матрицеA. Как следствие, собственные значения всех матрицA (k) совпадают с собственными значениями A. Результат о сходимостиQR-алгоритма неформальным образом может быть резюмирован вследующем виде: если A — неособенная вещественная матрица, то последовательностьпорождаемых QR-алгоритмом матриц A (k) сходится«по форме» к верхней блочно-треугольной матрице.Это означает, что предельная матрица, к которой сходится QRалгоритм,является верхней треугольной либо верхней блочно-треугольной,причём размеры диагональных блоков зависят, во-первых, оттипа собственных значений матрицы (кратности и принадлежности вещественнойосиR), и, во-вторых, от того, в вещественной или комплекснойарифметике выполняется QR-алгоритм.Если алгоритм выполняется в вещественной (комплексной) арифметикеи все собственные значения матрицы вещественны (комплексны)и различны по модулю, то предельная матрица — верхняя треугольная.Если алгоритм выполняется в вещественной (комплексной) арифметикеи некоторое собственное значение матрицы вещественно (комплексно)и имеет кратность p, то в предельной матрице ему соответствуетдиагональный блок размера p×p. Если алгоритм выполняетсядля вещественной матрицы в вещественной арифметике, то простымкомплексно-сопряжённым собственным значениям (они имеют равныемодули) отвечают диагональные2×2-блоки в предельной матрице. Наконец,если некоторое комплексное собственное значение вещественнойматрицы имеет кратность p, так что ему соответствует ещё такое жекомплексно-сопряжённое собственое значение кратности p, то при выполненииQR-алгоритма в вещественной арифметике предельная матрицаполучит диагональный блок размера 2p×2p.Пример 3.17.6 Проиллюстрируем работу QR-алгоритма на примерематрицы⎛ ⎞1 −2 3⎜ ⎟⎝ 4 5 −6 ⎠, (3.149)−7 8 9

3.17. Численные методы для проблемы собственных значений 425имеющей собственные значения2.75841486.1207926±8.0478897iЧитатель может провести на компьютере этот увлекательный экспериментсамостоятельно, воспользовавшись системами Scilab, Matlabили им подобными: все они имеют встроенную процедуру для QRразложенияматриц. 30Пример 3.17.7 Для ортогональной матрицы( ) 0 1, (3.150)1 0QR-разложением является произведение её самой на единичную матрицу.Поэтому в результате одного шага QR-алгоритма мы снова получимисходную матрицу, которая, следовательно, и будет пределомитераций. В то же время, матрица (3.150) имеет собственные значения,равные ±1, так что в данном случае QR-алгоритм не работает.3.17ж Модификации QR-алгоритмаПредставленная в Табл. 3.13 версия QR-алгоритма на практике обычноснабжается рядом модификаций, которые существенно повышают еёэффективность. Главными из этих модификаций являются1) сдвиги матрицы, рассмотренные нами в §3.17г, и2) предварительное приведение матрицы к специальнойверхней почти треугольной форме.Можно показать (см. теорию в книгах [13, 41]), что, аналогично степенномуметоду, сдвиги также помогают ускорению QR-алгоритма. Нов QR-алгоритме их традиционно организуют способом, представленнымв Табл. 3.14.Особенность организации сдвигов в этом псевдокоде — присутствиеобратных сдвигов (в строке 6 алгоритма) сразу же вслед за прямыми (в5-й строке). Из-за этого в получающемся алгоритме последовательно30 В Scilab’е и Matlab’е она так и называется — qr.

426 3. Численные методы линейной алгебрыТаблица 3.14. QR-алгоритм со сдвигами для нахождениясобственных значений матрицы Ak ← 0;A (0) ← A;DO WHILE ( метод не сошёлся )выбрать сдвиг ϑ k вблизи собственного значения A;вычислить QR-разложение A (k) −ϑ k I = Q (k) R (k) ;A (k+1) ← R (k) Q (k) +ϑ k I;k ← k +1;END DOвычисляемые матрицы A (k) и A (k+1) ортогонально подобны, совершеннотак же, как и в исходной версии QR-алгоритма:A (k+1) = R (k) Q (k) +ϑ k I = ( Q (k)) ⊤Q (k) R (k) Q (k) +ϑ k(Q(k) ) ⊤Q(k)= ( Q (k)) ⊤(Q (k) R (k) +ϑ k I ) Q (k) = ( Q (k)) ⊤A (k) Q (k) .То есть, представленная организация сдвигов позволила сделать их водно и то же время локальными и динамическими по характеру.Пример 3.17.8 Проиллюстрируем работу QR-алгоритма со сдвигамина знакомой нам матрице (3.149)⎛ ⎞1 −2 3⎜ ⎟⎝ 4 5 −6 ⎠−7 8 9из предыдущего примераПредложение 3.17.4 Матрица, имеющая хессенбергову форму, сохраняетэту форму при выполнении с ней QR-алгоритма.

3.18. Численные методы сингулярного разложения 427Доказательство. При QR-разложении хессенберговой матрицы в качествеортогонального сомножителя Q для матрицы (A (k) −ϑI) получаетсятакже хессенбергова матрица, так как j-ый столбец в Q естьлинейная комбинация первых j столбцов матрицы (A (k) −ϑI). В своюочередь, матрица RQ — произведение после перестановки сомножителей— также получается хессенберговой. Добавление диагональногослагаемого ϑI не изменяет верхней почти треугольной формы матрицы.Смысл предварительного приведения к хессенберговой форме заключаетсяв следующем. Хотя это приведение матрицы требует O(n 3 )операций, дальнейшее выполнение одной итерации QR-алгоритма с хессенберговойформой будет теперь стоить всего O(n 2 ) операций, так чтообщая трудоёмкость QR-алгоритма составит O(n 3 ). Для исходной версииQR-алгоритма, которая оперирует с плотно заполненной матрицей,трудоёмкость равна O(n 4 ), поскольку на каждой итерации алгоритмавыполнение QR-разложения требует O(n 3 ) операций.3.18 Численные методы нахождениясингулярных чисел и векторовСингулярные числа зависят от элементов матрицы существенно болееплавным образом, нежели собственные числа. Мы могли видеть этоиз следствия из теоремы Вейля (теорема 3.16.3). На эту тему существуетещё один известный результатТеорема 3.18.1 (теорема Виландта-Хофмана) Пусть A и B — эрмитовыn × n-матрицы, причём λ 1 ≥ λ 2 ≥ ... ≥ λ n — собственныезначения матрицы A и ˜λ 1 ≥ ˜λ 2 ≥ ... ≥ ˜λ n — собственные значенияматрицы Ã = A+B. Тогда(∑ n) 1/2) 2 (˜λi −λ i ≤ ‖B‖ F ,i=1где ‖·‖ F — фробениусова норма матрицы.Доказательство можно найти в [41, 42]

428 3. Численные методы линейной алгебрыПростейшие методы нахождения сингулярных чисел матриц основанына том, что они являются собственными числами матриц A ⊤ A иAA ⊤ (A ∗ A и AA ∗ в комплексном случае).Литература к главе 3Основная[1] Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. –Москва: Бином, 2003, а также другие издания этой книги.[2] Бахвалов Н.С., Корнев А.А., Чижонков Е.В. Численные методы. Решениязадач и упражнения. – Москва: Дрофа, 2008.[3] Березин И.С., Жидков Н.П. Методы вычислений. Т. 1–2. – Москва: Наука,1966.[4] Вержбицкий В.М. Численные методы. Части 1–2. – Москва: «Оникс 21 век»,2005.[5] Воеводин В.В. Вычислительные основы линейной алгебры. – Москва: Наука,1977.[6] Воеводин В.В. Линейная алгебра. – Москва: Наука, 1980.[7] Воеводин В.В., Воеводин Вл.В. Энциклопедия линейной алгебры. Электроннаясистема ЛИНЕАЛ. – Санкт-Петербург: БХВ-Петербург, 2006.[8] Волков Е.А. Численные методы. – Москва: Наука, 1987.[9] Гантмахер Ф.Р. Теория матриц. – Москва: Наука, 1988.[10] Глазман И.М., Любич Ю.И. Конечномерный линейный анализ. – Москва:Наука, 1969.[11] Голуб Дж., ван Лоун Ч. Матричные вычисления. – Москва: Мир, 1999.[12] Демидович Б.П., Марон А.А. Основы вычислительной математики. –Москва: Наука, 1970.[13] Деммель Дж. Вычислительная линейная алгебра. – Москва: Мир, 2001.[14] Зорич В.А. Математический анализ. Т. 1. – Москва: Наука, 1981. T. 2. –Москва: Наука, 1984, а также более поздние издания.[15] Икрамов Х.Д. Численные методы для симметричных линейных систем. –Москва: Наука, 1988.[16] Ильин В.П. Методы и технологии конечных элементов. – Новосибирск: ИздательствоИВМиМГ СО РАН, 2007.[17] Ильин В.П., Кузнецов Ю.И. Трёхдиагональные матрицы и их приложения.– Москва: Наука, 1985.[18] Канторович Л.В., Акилов Г.П. Функциональный анализ. – Москва: Наука,1984.[19] Като Т. Теория возмущений линейных операторов. – Москва: Мир, 1972.

Литература к главе 3 429[20] Коллатц Л. Функциональный анализ и вычислительная математика. –Москва: Мир, 1969.[21] Коновалов А.Н. Введение в вычислительные методы линейной алгебры. –Новосибирск: Наука, 1993.[22] Кострикин А.Н. Введение в алгебру. Часть 1. Основы алгебры. – Москва:Физматлит, 2004.[23] Кострикин А.Н. Введение в алгебру. Часть 2. Линейная алгебра. – Москва:Физматлит, 2000.[24] Красносельский М.А., Крейн С.Г. Итеративный процесс с минимальныминевязками // Математический Сборник. – 1952. – Т. 31 (73), №2. – С. 315–334.[25] Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы.Т. 1–2. – Москва: Наука, 1976.[26] Ланкастер П. Теория матриц. – Москва: Наука, 1978.[27] Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов.– Москва: Наука, 1986.[28] Марчук Г.И., Кузнецов Ю.А. Итерационные методы и квадратичные функционалы.– Новосибирск: Наука, 1972.[29] Матрицы и квадратичные формы. Основные понятия. Терминология / АкадемияНаук СССР. Комитет научно-технической терминологии. – Москва: Наука,1990. – (Сборники научно-нормативной терминологии; Вып. 112).[30] Мацокин А.М. Численный анализ. Вычислительные методы линейной алгебры.Конспекты лекций для преподавания в III семестре ММФ НГУ. — Новосибирск:НГУ, 2009–2010.[31] Миньков С.Л., Миньков Л.Л. Основы численных методов. – Томск: Издательствонаучно-технической литературы, 2005.[32] Мысовских И.П. Лекции по методам вычислений. – Санкт-Петербург: ИздательствоСанкт-Петербургского университета, 1998.[33] Ортега Дж. Введение в параллельные и векторные методы решения линейныхсистем. – Москва: Мир, 1991.[34] Островский А.М. Решение уравнений и систем уравнений.– Москва: Издательство иностранной литературы, 1963.[35] Прасолов В.В. Задачи и теоремы линейной алгебры. – Москва: Наука-Физматлит, 1996.[36] Райс Дж. Матричные вычисления и математическое обеспечение. – Москва:Мир, 1984.[37] Самарский А.А., Гулин А.В. Численные методы. – Москва: Наука, 1989.[38] Стренг Г. Линейная алгебра и её применения. – Москва: Мир, 1980.[39] Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. –Москва: Наука, 1974.[40] Тыртышников Е.Е. Матричный анализ и линейная алгебра. – Москва: Физматлит,2007.

430 3. Численные методы линейной алгебры[41] Тыртышников Е.Е. Методы численного анализа. – Москва: Академия, 2007.[42] Уилкинсон Дж. Алгебраическая проблема собственных значений. – Москва:Наука, 1970.[43] Уоткинс Д. Основы матричных вычислений. – Москва: «Бином. Лабораториязнаний», 2009.[44] Фаддеев Д.К., Фаддеева В.Н. Вычислительные методы линейной алгебры.– Москва–Ленинград: Физматлит, 1960 (первое издание) и 1963 (второе издание).[45] Федоренко Р.П. Итерационные методы решения разностных эллиптическихуравнений // Успехи Математических Наук. – 1973. – Т. 28, вып. 2 (170). –С. 121–182.[46] Форсайт Дж.Э. Что представляют собой релаксационные методы? // Современнаяматематика для инженеров под ред. Э.Ф.Беккенбаха. – Москва:Издательство иностранной литературы, 1958. – С. 418–440.[47] Форсайт Дж., Молер К. Численное решение систем линейных алгебраическихуравнений. – Москва: Мир, 1969.[48] Хаусдорф Ф. Теория множеств. – Москва: УРСС Эдиториал, 2007.[49] Хейгеман Л., Янг Д. Прикладные итерационные методы. – Москва: Мир,1986.[50] Хорн Р., Джонсон Ч. Матричный анализ. – Москва: Мир, 1989.[51] Шилов Г.Е. Математический анализ. Конечномерные линейные пространства.– Москва: Наука, 1969.[52] Шилов Г.Е. Математический анализ. Функции одного переменного. Часть 3.– Москва: Наука, 1970.[53] Aberth O. Precise numerical methods using C++. – San Diego: Academic Press,1998.[54] Beckermann B. The condition number of real Vandermonde, Krylov and positivedefinite Hankel matrices // Numerische Mathematik. – 2000. – Vol. 85, No. 4. –P. 553–577.[55] Kelley C.T. Iterative methods for linear and nonlinear equations. – Philadelphia:SIAM, 1995.[56] Saad Y. Iterative methods for sparse linear systems. – Philadelphia: SIAM, 2003.[57] Scilab — The Free Platform for Numerical Computation. http://www.scilab.org[58] Temple G. The general theory of relaxation methods applied to linear systems //Proceedings of the Royal Society of London. Series A, Mathematical and PhysicalSciences. – 1939. – Vol. 169, No. 939. – P. 476–500.[59] Trefethen L.N., Bau D. III Numerical linear algebra. – Philadelphia: SIAM,1997.Дополнительная

Литература к главе 3 431[60] Александров П.С. Введение в теорию множеств и общую топологию. –Санкт-Петербург: Лань, 2010.[61] Алексеев В.Б. Теорема Абеля в задачах и решениях. – Москва: МосковскийЦентр непрерывного математического образования, 2001.[62] Алексеев Е.Р., Чеснокова О.В., Рудченко Е.А. Scilab. Решение инженерныхи математических задач. – Москва: Alt Linux – Бином, 2008.[63] Алефельд Г., Херцбергер Ю. Введение в интервальные вычисления. –Москва: Мир, 1987.[64] Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. – Москва: Наука,1984.[65] Годунов С.К., Антонов А.Г., Кирилюк О.Г., Костин В.И. Гарантированнаяточность решения систем линейных уравнений в евклидовых пространствах.– Новосибирск: Наука, 1988 и 1992.[66] Годунов С.К. Современные аспекты линейной алгебры. – Новосибирск: Научнаякнига, 1997.[67] Горбаченко В.И. Вычислительная линейная алгебра с примерами наMATLAB. – Санкт-Петербург: «БХВ-Петербург», 2011.[68] Джордж А., Лю Дж. Численное решение больших разреженных системуравнений. – Москва: Мир, 1984.[69] Дробышевич В.И., Дымников В.П., Ривин Г.С. Задачи по вычислительнойматематике. – Москва: Наука, 1980.[70] Зельдович Я.Б., Мышкис А.Д. Элементы прикладной математики. –Москва: Наука, 1967.[71] Икрамов Х.Д. Численные методы линейной алгебры. – Москва: Знание, 1987.[72] Икрамов Х.Д. Численное решение матричных уравнений. – Москва: Наука,1984.[73] Калиткин Н.Н. Численные методы. – Москва: Наука, 1978.[74] Крылов А.Н. Лекции о приближённых вычислениях. – Москва: ГИТТЛ, 1954,а также более ранние издания.[75] Кублановская В.Н. О некоторых алгорифмах для решения полной проблемысобственных значений // Журнал вычисл. матем. и мат. физики. – 1961. –Т. 1, № 4. – С. 555–570.[76] Кузнецов Ю.А. Метод сопряжённых градиентов, его обобщения и применения// Вычислительные процессы и системы. – Москва: Наука, 1983 – Вып. 1.– С. 267–301.[77] Марчук Г.И. Методы вычислительной математики. – Москва: Наука, 1989.[78] Парлетт Б. Симметричная проблема собственных значений. Численные методы.– Москва: Мир, 1983.[79] Пароди М. Локализация характеристических чисел матриц и её применения.– Москва: Издательство иностранной литературы, 1960.

432 3. Численные методы линейной алгебры[80] Самарский А.А., Николаев Е.С. Методы решения сеточных уравнений. –Москва: Наука, 1978.[81] Фаддеева В.Н. Вычислительные методы линейной алгебры. – Москва–Ленинград: Гостехиздат, 1950.[82] Флэнаган Д., Мацумото Ю. Язык программирования Ruby. – Санкт-Петербург: Питер, 2011.[83] Халмош П. Конечномерные векторные пространства. – Москва: ГИФМЛ,1963.[84] Шарый С.П. Конечномерный интервальный анализ. – Электронная книга,2012 (см. http://www.nsc.ru/interval/Library/InteBooks)[85] Яненко Н.Н. Метод дробных шагов решения многомерных задач математическойфизики. – Новосибирск: Наука, 1967.[86] Bauer F.L., Fike C.T. Norms and exclusion theorems // NumerischeMathematik. – 1960. – Vol. 2. – P. 137–141.[87] Eckart C., Young G. The approximation of one matrix by another of lower rank// Psychometrika. – 1936. – Vol. 1. – P. 211–218.[88] Gregory R.T., Karney D.L. A collection of matrices for testing computationalalgorithms. – Hantington, New York: Robert E. Krieger Publishing Company, 1978.[89] Hotelling H. Analysis of a complex of statistical variables into principalcomponents // J. Educ. Psych. – 1933 – Vol. 24. – Part I: pp. 417-441, Part II:pp. 498-520.[90] Kreinovich V., Lakeyev A.V, Noskov S.I. Approximate linear algebra isintractable // Linear Algebra and its Applications. – 1996. – Vol. 232. – P. 45–54.[91] Kreinovich V., Lakeyev A.V., Rohn J., Kahl P. Computational complexityand feasibility of data processing and interval computations. – Dordrecht: Kluwer,1997.[92] Moler C. Professor SVD // The MathWorks News & Notes. – October 2006. –P. 26–29.[93] Moore R.E., Kearfott R.B., Cloud M. Introduction to interval analysis. –Philadelphia: SIAM, 2009.[94] Schulz G. Iterative Berechnung der reziproken Matrix // Z. Angew. Math. Mech.– 1933. – Bd. 13 (1). – S. 57–59.[95] Stoer J., Bulirsch R. Introduction to numerical analysis. – Berlin-Heidelberg-New York: Springer-Verlag, 1993.[96] Varga R.S. Matrix iterative analysis. – Berlin, Heidelberg, New York: SpringerVerlag, 2000, 2010.[97] Wilf H.S. Finite sections of some classical inequalities. – Heidelberg: Springer,1970.[98] Todd J. The condition number of the finite segment of the Hilbert matrix //National Bureau of Standards, Applied Mathematics Series. – 1954. – Vol. 39. –P. 109–116.

Глава 4Решение нелинейныхуравнений и их систем4.1 ВведениеВ этой главе рассматривается задача решения системы уравнений⎧F 1 (x 1 ,x 2 ,...,x n ) = 0,⎪⎨ F 2 (x 1 ,x 2 ,...,x n ) = 0,.(4.1). .. .⎪⎩F n (x 1 ,x 2 ,...,x n ) = 0,над полем вещественных чисел R, или, кратко,F(x) = 0, (4.2)где x = (x 1 ,x 2 ,...,x n ) ∈ R n — вектор неизвестных переменных,F i (x), i = 1,2,...,n, — вещественнозначные функции,F(x) = (F 1 (x),F 2 (x),...,F n (x)) ⊤ — вектор-столбец функций F i .Для переменных x 1 , x 2 , . . . , x n нужно найти набор значений ˜x 1 , ˜x 2 , . . . ,˜x n , называемый решением системы, который обращает в равенства всеуравнения системы (4.1)–(4.2). В некоторых случаях желательно найтивсе такие возможные наборы, т. е. все решения системы, иногда достаточнокакого-то одного. В случае, когда система уравнений (4.1)–(4.2)433

434 4. Решение нелинейных уравнений и их системне имеет решений, нередко требуется предоставить обоснование этогозаключения или даже его вывод, и им может быть протокол работыпрограммы для ЭВМ и т. п.Наряду с задачами, рассмотренными в Главе 2, то есть интерполяциейи приближениями функций, вычислением интегралов, задачарешения уравнений и систем уравнений является одной из классическихзадач вычислительной математики.Всюду далее мы предполагаем, что функции F i (x) по меньшей меренепрерывны, а количество уравнений в системе (4.1)–(4.2) совпадает сколичеством неизвестных переменных. Помимо записи систем уравненийв каноническом виде (4.1)–(4.2) часто встречаются и другие формыих представления, например,G(x) = H(x) (4.3)с какими-то функциями G, H. Чрезвычайно важным частным случаемэтой формы является рекуррентный вид системы уравнений (уравнения),x = G(x). (4.4)в котором неизвестная переменная выражена через саму себя. В этомслучае решение системы уравнений (или уравнения) есть неподвижнаяточка отображения G, т. е. такой элемент области определенияG, который переводится этим отображением сам в себя. Кроме того,рекуррентный вид уравнения или системы хорош тем, что позволяетдовольно просто организовать итерационный процесс для нахождениярешения, что мы могли видеть в Главе 3.Как правило, системы уравнений различного вида могут быть приведеныдруг к другу равносильными преобразованиями. В частности,несложно установить связь решений уравнений и систем уравнений вида(4.1)–(4.2) с неподвижными точками отображений, т. е. с решениямиуравнений в рекуррентом виде (4.4). Ясно, чтоF(x) = 0 ⇐⇒ x = x−ΛF(x),где Λ — ненулевой скаляр в одномерном случае или же неособеннаяn×n-матрица в случае вектор-функцииF. Поэтому решение уравненияF(x) = 0является неподвижной точкой отображенияG(x) = x−ΛF(x).

4.2. Вычислительно-корректные задачи 435Если неизвестная x не явлется конечномерным вектором, а отображенияF и G имеют весьма общую природу, то математические свойствауравнений (4.2) и (4.4) могут существенно различаться, так чтопри этом формы записи (4.2) и (4.4), строго говоря, не вполне равносильныдруг другу. По этой причине для их обозначения часто употребляютотдельные термины — уравнение первого рода и уравнениевторого рода соотвественно.Обращаясь к решению нелинейных уравнений и их систем, мы обнаруживаемсебя в гораздо более сложных условиях, нежели при решениисистем линейных алгебраических уравнений (3.43)–(3.44). Стройнаяи весьма полная теория разрешимости систем линейных уравнений,базирующаяся на классических результатах линейной алгебры,обеспечивала в необходимых нам случаях уверенность в существованиирешения систем линейных уравнений и его единственности. Длянелинейных уравнений столь общей и простой теории не существует.Напротив, нелинейные уравнения и их системы имеют в качестве общегопризнака лишь отрицание линейности, т. е. то, что все они «нелинейны», и потому отличаются огромным разнообразием. Из общихнелинейных уравнений и систем уравнений принято выделять алгебраическиеуравнения и системы уравнений, в которых функции F i (x)являются алгебраическим полиномами относительно неизвестных переменныхx 1 , x 2 , . . . , x n .4.2 Вычислительно-корректные задачи4.2а Предварительные сведения и определенияНапомним общеизвестный факт: на вычислительных машинах (какэлектронных, так и механических, как цифровых, так и аналоговых)мы можем выполнять, как правило, лишь приближённые вычислениянад полем вещественных чисел R. Для цифровых вычислительных машинэтот вывод следует из того, что они являются дискретными и конечнымиустройствами, так что и ввод вещественных чисел в такую вычислительнуюмашину и выполнение с ними различных арифметическихопераций сопровождаются неизбежными ошибками, вызваннымиконечным характером представления чисел, конечностью исполнительныхустройств и т. п. Для аналоговых вычислительных машин данныетакже не могут быть введены абсолютно точно, и процесс вычисленийтакже не абсолютно точен. Потенциально все отмеченные погрешности

436 4. Решение нелинейных уравнений и их системмогут быть сделаны сколь угодно малыми, но в принципе избавитьсяот них не представляется возможным. Получается, что реально• мы решаем на вычислительной машине не исходную математическуюзадачу, а более или менее близкую к ней,• сам процесс решения на ЭВМ отличается от своего идеальногоматематического прообраза, т. е. от результатов вычислений в Rили C по тем формулам, которые его задают.Возникновение и бурное развитие компьютерной алгебры с её «безошибочными»вычислениями едва ли опровергает высказанный вышетезис, так как исходные постановки задач для систем символьных преобразованийтребуют точную представимость входных данных, которыепоэтому подразумеваются целыми или, на худой конец, рациональнымис произвольной длиной числителя и знаменателя (см. [2]), а всепреобразования над ними не выводят за пределы поля рациональныхчисел.Как следствие, в условиях приближённого представления входныхчисловых данных и приближённого характера вычислений над полемвещественных чисел R мы в принципе можем решать лишь те постановкизадач, ответы которых «не слишком резко» меняются при изменениивходных данных, т. е. устойчивы по отношению к возмущениямв этих начальных данных. Для этого, по крайней мере, должна иметьместо непрерывная зависимость решения от входных данных.Для формализации высказанных выше соображений нам необходимоточнее определить ряд понятий.Под массовой задачей [13] будем понимать некоторый общий вопрос,формулировка которого содержит несколько свободных переменных —параметров — могущих принимать значения в пределах предписанныхим множеств. В целом массовая задача Π определяется1) указанием её входных данных, т. е. общим спискомвсех параметров с областями их определения,2) формулировкой тех свойств, которым долженудовлетворять ответ, т. е. решение задачи.Индивидуальная задача I получается из массовой задачи Π путём присваиваниявсем параметрам задачи Π каких-то конкретных значений.Наконец, разрешающим отображением задачи Π мы называм отображение,сопоставляющее каждому набору входных данных-параметров

4.2. Вычислительно-корректные задачи 437ответ соответствующей индивидуальной задачи (см. §1.3). Станем говорить,что массовая математическая задача является вычислительнокорректной, если её разрешающее отображение P → A из множествавходных данных P во множество A ответов задачи непрерывно относительнонекоторых топологий на P и A, определяемых содержательнымсмыслом задачи.Те задачи, ответы на которые неустойчивы по отношению к возмущениямвходных данных, могут решаться на ЭВМ с конечной разряднойсеткой лишь опосредованно, после проведения мероприятий,необходимых для защиты от этой неустойчивости или её нейтрализации.Конечно, скорость изменения решения в зависимости от измененийвходных данных может быть столь большой, что эта зависимость, дажебудучи непрерывной и сколь угодно гладкой, становится похожейна разрывную. Это мы могли видеть в §3.16в для собственных значенийнекоторых матриц, которые являются «практически разрывными»функциями элементов матрицы. Но определением вычислительно корректнойзадачи выделяются те задачи, для которых хотя бы в принципевозможно добиться сколь угодно точного приближения к идеальномуматематическому ответу, например, увеличением количества значащихцифр при вычислениях и т. п.Пример 4.2.1 Задача решения систем линейных уравнений Ax = b снеособенной квадратной матрицейAявляется вычислительно-корректной.Если топология на пространствеR n её решений задается обычнымевклидовым расстоянием и подобным же традиционным образом задаётсярасстояние между векторами правой части и матрицами, то существуютхорошо известные неравенства (см. §3.5а), оценивающие сверхуграницы изменения решений x через изменения элементов матрицы A,правой части b и число обусловленности матрицы A. Пример 4.2.2 Вычисление ранга матрицы — вычислительно некорректнаязадача. Дело в том, что в основе понятия ранга лежит линейнаязависимость строк или столбцов матрицы, т. е. свойство, котороенарушается при сколь угодно малых возмущениях матрицы. Разрывная зависимость решения от входных данных задачи можетвозникать вследствие присутствия в алгоритме вычисления функцииусловных операторов вида IF . . .THEN . . .ELSE, приводящих к ветвле-

438 4. Решение нелинейных уравнений и их системнию. Такова хорошо известная функция знака числа⎧⎨ −1, если x < 0,sgn x = 0, если x = 0,⎩1, если x > 0.Аналогична функция модуля числа |x|, с которой в обычных и внешнепростых выражениях могут быть замаскированы разрывы и ветвления.Например, таково частное sinx/|x|, которое ведёт себя в окрестностинуля примерно как sgn x.Для систем нелинейных уравнений, могущих иметь неединственноерешение, топологию на множестве ответов A нужно задавать ужекаким-либо расстоянием между множествами, например, с помощьютак называемой хаусдорфовой метрики [8]. Напомним её определение.Если задано метрическое пространство с метрикой ̺, то расстояниемточки a до множества X называется величина ̺(a,X), определяемаякак inf x∈X ̺(a,x). Хаусдорфовым расстоянием между компактнымимножествами X и Y называют величину{}̺(X,Y) = max max̺(x,Y), max ̺(y,X) .x∈X y∈YПри этом ̺(X,Y) = +∞, если X = ∅ или Y = ∅. Введённая таким образомвеличина действительно обладает всеми свойствами расстоянияи может быть использована для задания топологии на пространствахрешений тех задач, ответы к которым неединствены, т. е. являются целымимножествами.4.2б Задача решения уравнений не являетсявычислительно-корректнойУже простейшие примеры показывают, что задача решения уравненийи систем уравнений не является вычислительно-корректной. Например,квадратное уравнениедляx 2 +px+q = 0 (4.5)p 2 = 4q (4.6)имеет лишь одно решение x = −p/2. Но при любых сколь угодно малыхвозмущениях коэффициента p и свободного члена q, нарушающих

4.2. Вычислительно-корректные задачи 439равенство (4.6), уравнение (4.5) теряет это единственное решение илиже приобретает ещё одно (см. Рис. 4.1).xxxРис. 4.1. Неустойчивая зависимость решений уравнения (4.5)–(4.6)от сколь угодно малых шевелений его коэффициентов.Аналогичным образом ведёт себя решение двумерной системы уравнений,эквивалентной (4.5),{x+y = r,xy = sпри s = r 2 /4. При этом раздвоение решения не является большимгрехом, коль скоро мы можем рассматривать хаусдорфово расстояниемежду целостными множествами решений. Но вот исчезновение единственногорешения, при котором расстояние между множествами решенийскачком меняется до +∞ — это чрезвычайное событие, однозначноуказывающее на разрывность разрешающего отображения.Как видим, математическую постановку задачи нахождения решенийуравнений нужно «исправить», заменив какой-нибудь вычислительно-корректнойпостановкой задачи. Приступая к поиску ответа на

440 4. Решение нелинейных уравнений и их системэтот математический вопрос, отметим, прежде всего, что с точки зренияпрактических приложений задачи, которые мы обычно формулируемв виде решения уравнений или систем уравнений, традиционновыписывая соотношениеF(x) = 0 (4.2)и ему подобные, имеют весьма различную природу. Это и будет отправнойточкой нашей ревизии постановки задачи решения уравненийи систем уравнений.4.2в ε-решения уравненийВ ряде практических задач пользователю требуется не точное равенствонекоторого выражения нулю, а лишь его «исчезающая малость»в сравнении с каким-то a priori установленным порогом. С аналогичнойточки зрения часто имеет смысл рассматривать соотношениявида (4.3) или (4.4), выражающие равенство двух каких-то выражений.Таковы, например, в большинстве физических, химических и другихестественнонаучных расчётов уравнения материального баланса,вытекающие из закона сохранения массы и закона сохранения заряда.Точное равенство левой и правой частей уравнения здесь неявнымобразом и не требуется, так как погрешность этого равенства всегдаограничена снизу естественными пределами делимости материи. В самомделе, масса молекулы, масса и размеры атома, заряд элементарнойчастицы и т. п. величины, с точностью до которых имеет смыслрассматривать конкретные уравнения баланса — все они имеют вполнеконечные (хотя и весьма малые) значения.Например, не имеет смысла требовать, чтобы закон сохранения зарядавыполнялся с погрешностью, меньшей чем величина элементарногоэлектрического заряда (т. е. заряда электрона, равного1.6·10 −19 Кл).Также бессмысленно требовать, чтобы погрешность изготовления илиподгонки деталей оптических систем была существенно меньшей длинысветовой волны (от 4·10 −7 м до 7.6·10 −7 м в зависимости от цвета).А что касается температуры, то при обычных земных условиях определениееё с точностью, превосходящей 0.001 градуса, вообще проблематичнов силу принципиальных соображений. Наконец, ограниченнаяточность, с которой известны абсолютно все физические константы 1 ,1 В лучшем случае относительная погрешность известных на сегодняшний деньзначений физических констант равна 10 −10 , см. [58].

4.2. Вычислительно-корректные задачи 441также воздвигает границы для требований равенства в физических соотношениях.Совершенно аналогична ситуация с экономическими балансами, какв стоимостном выражении, так и в натуральном: требовать, чтобы онивыполнялись с погрешностью, меньшей, чем одна копейка (наименьшаяденежная величина) или чем единица неделимого товара (телевизор,автомобиль и т. п.) просто бессмысленно.Во всех вышеприведённых примерах под решением уравнения понимаетсязначение переменной, которое доставляет левой и правой частямуравнения пренебрежимо отличающиеся значения. В применениик уравнениям вида (4.2) соответствующая формулировка выглядит следующимобразом:Для заданных отображения F : R n → R n и ε > 0 найтизначения неизвестной переменной x, такие что F(x) ≈ 0с абсолютной погрешностью ε , т. е. ‖F(x)‖ < ε .Решением этой задачи является целое множество точек, которые мыбудем называть ε-решениями или почти решениями, если порог этойпренебрежимой малости не оговорён явно или несуществен.Нетрудно понять, что условием ‖F(x)‖ < ε задаётся открытое множество,если отображение F непрерывно. Любая точка из этого множестваустойчива к малым возмущениям исходных данных, а задача«о нахождении почти решений» является вычислительно-корректной.Как уже отмечалось выше, в некоторых задачах система уравненийболее естественно записывается не как (4.2), а в виде (4.3)G(x) = H(x),и требуется обеспечить с относительной погрешностью ε равенство еёлевой и правой частей:

442 4. Решение нелинейных уравнений и их системДля заданных отображений G, H : R n → R n и ε > 0найти значения неизвестной переменной x, такие чтоG(x) ≈ H(x) с относительной погрешностью ε , т. е.‖G(x)−H(x)‖max{‖G(x)‖,‖H(x)‖} < ε .Решения этой задачи мы также будем называть ε-решениями системыуравнений вида (4.3).Математические понятия, определения которых привлекают малыйдопуск ε, не являются чем-то экзотическим. Таковы, к примеру, ε-энтропия множеств в метрических пространствах, ε-субдифференциалфункции, ε-оптимальные решения задач оптимизации и т. п. Одним изчастных случаевε-решений являются точкиε-спектра матрицы, предложенныедля обобщения традиционного понятия собственного значенияматрицы [11, 47, 59]. Говорят, что точка z на комплексной плоскостипринадлежит ε-спектру матрицы A, если существует комплексныйвектор v единичной длины, такой что ‖(A − zI)v‖ ≤ ε, где ‖ · ‖ —какая-то векторная норма. Иными словами, при условии ‖v‖ = 1 здесьрассматривается приближённое «с точностью до ε» равенство Av = zv.4.2г Недостаточность ε-решенийНо есть и принципиально другой тип задач, которые образно могутбыть названы задачами «об определении перехода через нуль» и не сводятсяк нахождению ε-решений. Таковы задачи, в которых требуетсягарантированно отследить переход функции к значениям противоположногознака (или, более общо, переход через некоторое критическоезначение). При этом, в частности, в любой окрестности решения должныприсутствовать как положительные значения функции, так и еёотрицательные значения, тогда как в задачах нахождения «почти решений»это условие может и не выполняться.Рассмотрим следующую ситуацию, для анализа которой достаточнознание элементраной физики. Пусть кирпич лежит на опоре (см.Рис. 4.2), и мы потихоньку сдвигаем его к краю. Когда он упадёт? Для

4.2. Вычислительно-корректные задачи 443Рис. 4.2. Когда кирпич упадёт с подставки?ответа на этот вопрос приравнивают момент силы тяжести, действующейна свисающую часть кирпича, и момент силы тяжести, действующейна ту часть, которая лежит на опоре.Но в случае точного их равенства кирпич ещё не упадёт! Эта ситуацияназывается неустойчивым равновесием, но в отсутствие каких-либовоздействий на кирпич он не будет падать, а зависнет на грани опоры.Для падения кирпича именно нужен его переход чуть дальше этогоположения неустойчивого равновесия. В частности,ε-решения здесь негодятся по существу дела.Другой пример. Фазовый переход в физической системе (плавление,кристаллизация и т. п.) — типичная задача такого сорта, так как впроцессе фазового перехода температура системы не меняется. Еслимы хотим узнать, прошёл ли фазовый переход полностью, то нужнозафиксировать момент достижения множества состояний, лежащего подругую сторону от границы раздела различных состояний!Ещё один пример. Рассмотрим систему линейных дифференциальныхуравнений с постоянными коэффициентамиdxdt= Ax, (4.7)матрица которой A = A(θ) зависит от параметра θ (возможно, векторного).Пусть при некотором начальном значении θ = θ 0 собственныезначения λ(A) матрицы A имеют отрицательные вещественные части,так что все решения системы (4.7) устойчивы по Ляпунову (и дажеасимптотически устойчивы). При каких значениях параметра θ рассматриваемаясистема сделается неустойчивой?Традиционно отвечают на этот вопрос следующим образом. Cрывустойчивости в системе (4.7) произойдет при Re λ(A(θ)) = 0 для какого-

444 4. Решение нелинейных уравнений и их системРис. 4.3. Срыв устойчивости в динамической системе (4.7) происходит,когда собственные значения A «переходят» через мнимую ось.то собственного значения, так что для определения этого момента нужнонайти решение выписанного уравнения. Но такой ответ неправилен,так как для потери устойчивости необходимо не точное равенство нулюдействительных частей некоторых собственных чисел матрицы, апереход их через нуль в область положительного знака. Без этого переходачерез мнимую ось и «ещё чуть-чуть дальше» система останетсяустойчивой, сколь бы близко мы не придвинули собственные значенияк мнимой оси или даже достигли бы её. Здесь важен именно переход«через и за» критическое значение, в отсутствие которого качественноеизменение в поведении системы не совершится, и этот феномен совершенноне ухватывается понятиями ǫ-решения из §4.2в или ǫ-спектра изработ [11, 47, 59].Рассмотренная ситуация, в действительности, весьма типична длядинамических систем, где условием совершения многих типов структурныхперестроек и изменений установившихся режимов работы систем— так называемых бифуркаций — является переход некоторого параметрачерез определённое бифуркационное значение. К примеру, припереходе через мнимую ось пары комплексных собственных чисел матрицылинеаризованной системы происходит бифуркация Андронова-Хопфа (называемая также «бифуркацией рождения цикла», см. [36]).И здесь принципиален именно переход через некоторый порог, а неблизость к нему, на которую делается упор в понятиях ǫ-решения иǫ-спектра.Нетрудно понять, что такое «переход через нуль» для непрерывнойфункции одного переменного f : R → R. Но в многомерной ситуа-

4.3. Векторные поля и их вращение 445ции мы сталкиваемся с методическими трудностями, возникающими изнеобходимости иметь для нестрогого понятия «прохождение функциичерез нуль» чисто математическое определение. Из требования вычислительнойкорректности следует, что в любой окрестности такого решениякаждая из компонент F i (x) вектор-функции F(x) должна приниматькак положительные, так и отрицательные значения. Но какименно? Какими должны (или могут) быть значения компонент F j (x),j ≠ i, если F i (x) > 0 или F i (x) < 0?В разрешении этого затруднения нам на помощь приходят нелинейныйанализ и алгебраическая топология. В следующем параграфе мыприведём краткий набросок возможного решения этого вопроса.4.3 Векторные поля и их вращение4.3а Векторные поляЕсли M — некоторое множество в R n и задано отображениеΦ : M → R n ,то часто удобно представлять значение Φ(x) как вектор, торчащий източки x ∈ M. При этом говорят, что на M задано векторное поле Φ.Любопытно, что это понятие было введено около 1830 года М. Фарадеем,затем соответствующий язык проник в математическую физику,теорию дифференциальных уравнений и теорию динамических систем(см., к примеру, [8, 50]), и в настоящее время широко используетсяв современном естествознании. Мы воспользуемся соответствующимипонятиями и результатами для наших целей анализа решений системуравнений, численных методов и коррекции постановки задачи.Векторное поле является непрерывным, если непрерывно отображениеΦ(x). Например, на Рис. 4.4 изображены векторные поля( )( )x1x1Φ(x) = Φ(x 1 ,x 2 ) = и Ψ(x) = Ψ(x 1 ,x 2 ) = , (4.8)x 2 −x 2которые непрерывны и даже дифференцируемы.Определение 4.3.1 Пусть задано векторное поле Φ : R n ⊇ M → R n .Точки x ∈ M, в которых поле обращается в нуль, т.е. Φ(x) = 0,называются нулями поля или же его особыми точками.

446 4. Решение нелинейных уравнений и их системx 2✻x 2✻♣✲x 1♣✲x 1Рис. 4.4. Векторные поля Φ(x) и Ψ(x), задаваемые формулами (4.8).Связь векторных полей и их особых точек с основным предметомэтой главы очевидна: особая точка поля Φ : M → R n — это решениесистемы n уравнений⎧Φ 1 (x 1 ,x 2 ,··· ,x n ) = 0,⎪⎨⎪⎩Φ 2 (x 1 ,x 2 ,··· ,x n ) = 0,. .. ....Φ n (x 1 ,x 2 ,··· ,x n ) = 0,лежащее в M. Будем говорить, что векторное поле Φ вырождено, еслиу него есть особые точки. Иначе Φ называется невырожденным.К примеру, векторные поля Рис. 4.4 вырождены на всём R 2 и имеютединственными особыми точками начало координат.Определение 4.3.2 Пусть Φ(x) и Ψ(x) — векторные поля на множествеM ⊆ R n . Непрерывная функция∆(λ,x) : R×M → R nот параметра λ ∈ [0,1] и вектора x ∈ R n , такая что Φ(x) = ∆(0,x)и Ψ(x) = ∆(1,x), называется деформацией векторного поля Φ(x) ввекторное поле Ψ(x).

4.3. Векторные поля и их вращение 447Достаточно прозрачна связь деформаций с возмущениями векторногополя, т. е. отображения Φ. Но в качестве инструмента исследованиярешений систем уравнений и особых точек векторных полей намнужны деформации, которые не искажают свойство поля быть невырожденным.Определение 4.3.3 Деформацию ∆(λ,x) назовём невырожденной, если∆(λ,x) ≠ 0 для всех λ ∈ [0,1] и x ∈ M.Ясно, что невырожденные деформации могут преобразовывать другв друга (соединять) только невырожденные векторные поля. Примераминевырожденных деформаций векторных полей, заданных на всёмR n , являются растяжение, поворот относительно некоторой точки, параллельныйперенос.Определение 4.3.4 Если векторные поля можно соединить невырожденнойдеформацией, то они называются гомотопными.В частности, любая достаточно малая деформация невырожденноговекторного поля приводит к гомотопному полю.Нетрудно понять, что отношение гомотопии векторных полей рефлексивно,симметрично и транзитивно, будучи поэтому отношениемэквивалентности. Как следствие, непрерывные векторные поля,невырожденные на фиксированном множестве M ⊆ R n , распадаетсяна классы гомотопных между собой полей.4.3б Вращение векторных полейПусть D — ограниченная область в R n с границей ∂D. Через clDмы обозначим её топологическое замыкание. Оказывается, каждомуневырожденному на ∂D векторному полю Φ можно сопоставить целочисленнуюхарактеристику — вращение векторного поля Φ на ∂D, —обозначаемую γ(Φ,D) и удовлетворяющую следующим условиям:(A) Гомотопные на ∂D векторные поля имеют одинаковое вращение.(B) ПустьD i , i = 1,2,..., — непересекающиеся области, лежащие в D(их может быть бесконечно много). Если непрерывное векторноеполе Φ невырождено на теоретико-множественной разности( ⋃clD \ D i),i

448 4. Решение нелинейных уравнений и их системто вращенияγ(Φ,D i ) отличны от нуля лишь для конечного набораD i иγ(Φ,D) = γ(Φ,D 1 )+γ(Φ,D 2 )+... .(C) Если Φ(x) = x−a для некоторой точки a ∈ D, то вращение Φна ∂D равно (+1), т. е.γ(Φ,D) = 1.Нетрудно понять, что определенная так величина вращения поляустойчива к малым шевелениям как области (это следует из (B)), таки векторного поля (это вытекает из (A)).Условиями (A)–(B)–(C) вращение векторного поля определяется однозначно,но можно показать [39], что это определение равносильноследующему конструктивному. Зафиксируем некоторую параметризациюповерхности ∂D, т. е. задание её в видеx 1 = x 1 (u 1 ,u 2 ,...,u n−1 ),x 2 = x 2 (u 1 ,u 2 ,...,u n−1 ),... .. .x n = x n (u 1 ,u 2 ,...,u n−1 ),где u 1 ,u 2 ,...,u n−1 — параметры, x i (u 1 ,u 2 ,...,u n−1 ), i = 1,2,...,n, —функции, определяющие одноименные координаты точки x = (x 1 , x 2 ,. . . , x n ) ∈ ∂D. Тогда вращение поля Φ(x) на границе ∂D области Dравно значению поверхностного интеграла⎛Φ 1 (x) ∂Φ1(x) ∂Φ∂u 1··· 1(x)∂u n−11 1S n∫∂D ‖Φ(x)‖ n ·det Φ 2 (x) ∂Φ2(x) ∂Φ∂u 1··· 2(x)∂u n−1du . 1 du 2 ...du n , (4.9)⎜ . . .. . ⎟⎝Φ n (x) ∂Φn(x)∂u 1···⎞⎠∂Φ n(x)∂u n−1где S n — площадь поверхности единичной сферы в R n . Этот интегралобычно называют интегралом Кронекера.В двумерном случае вращение векторного поля имеет простую геометрическуюинтерпретацию: это количество полных оборотов вектора

4.3. Векторные поля и их вращение 449поля, совершаемое при движении точки аргумента в положительномнаправлении по рассматриваемой границе области [50, 54, 55, 57]. Вмногомерном случае такой наглядности уже нет, но величина вращениявекторного поля Φ всё равно может быть истолкована как «числораз, которое отображение Φ : ∂D → Φ(∂D) накрывает образ Φ(∂D)».Рассмотрим примеры. На любой окружности с центром в нуле поле,изображенное на левой половине Рис. 4.4, имеет вращение +1, а полена правой половине Рис. 4.4 — вращение −1. Векторные поля Рис. 4.5,которые задаются формулами{x1 = r cos(Nψ),x 2 = r sin(Nψ),где r = √ x 2 1 +x2 2 — длина радиус-вектора точки x = (x 1,x 2 ), ψ — егоугол с положительным лучом оси абсцисс, при N = 2 и N = 3 имеютвращения +2 и +3 на окружностях с центром в нуле.✻ x2♣ ✲x 1✻ x2♣ ✲x 1Рис. 4.5. Векторные поля, имеющие вращения +2(левый чертёж) и +3 (правый чертёж) на любойокружности с центром в нуле.С вращением векторного поля тесно связана другая известная глобальнаяхарактеристика отображений — топологическая степень [54,55, 56, 57, 27, 39]. Именно, вращение поля Φ на границе области D есть

450 4. Решение нелинейных уравнений и их системтопологическая степень такого отображения φ границы ∂D в единичнуюсферу пространства R n , чтоφ(x) = ‖Φ(x)‖ −1 Φ(x).Зачем нам понадобилось понятие вращения векторного поля? Мысобираемся использовать его для характеризации «прохождения черезнуль» многомерной функции, и теоретической основой этого шага служатследующие результаты:Предложение 4.3.1 [54, 55, 57] Если векторное поле Φ невырожденона замыкании ограниченной области D, то вращение γ(Φ,D) = 0.Теорема 4.3.1 (теорема Кронекера) [54, 55, 57] Пусть векторное полеΦ невырождено на границе ограниченной области D и непрерывно наеё замыкании. Если γ(Φ,D) ≠ 0, то поле Φ имеет в D по крайнеймере одну особую точку.Теорема Кронекера обладает очень большой общностью и частоприменяется не напрямую, а служит основой для более конкретныхдостаточных условий существования нулей поля или решений системуравнений. Например, доказательство теоремы Миранды (см. §4.4б)сводится, фактически, к демонстрации того, что на границе областивращение векторного поля, соответствующего исследуемому отображению,равно ±1.4.3в Индексы особых точекСтанем говорить, что особая точка является изолированной, если внекоторой её окрестности нет других особых точек рассматриваемоговекторного поля. Таким образом, вращение поля одинаково на сферахдостаточно малых радиусов с центром в изолированной особой точке˜x. Это общее вращение называют индексом особой точки ˇx поля Φ илииндексом нуля ˇx поля Φ, и обозначают ind (ˇx,Φ).Итак, оказывается, что особые точки векторных полей (и решениясистем уравнений) могут быть существенно разными, отличаясь другот друга своим индексом, и различных типов особых точек существуетстолько же, сколько и целых чисел, т. е. счётное множество. Какими являютсянаиболее часто встречающиеся особые точки и, соответственно,решения систем уравнений? Ответ на этот вопрос даётся следующимидвумя результатами:

4.3. Векторные поля и их вращение 451Предложение 4.3.2 [54, 55, 57] Если A — невырожденное линейноепреобразование пространства R n , то его единственная особая точка— нуль — имеет индекс ind (0,A) = sgn detA.Определение 4.3.5 Точка области определения отображения дифференцируемогоотображения F : R n → R n называется критической,если в ней якобиан F ′ является особенной матрицей. Иначе говорят,что эта точка — регулярная.Предложение 4.3.3 [54, 55, 57] Если ˜x — регулярная особая точкадифференцируемого векторного поля Φ, то ind (˜x,Φ) = sgn detΦ ′ (˜x).Таким образом, регулярные (не критические) особые точки векторныхполей имеют индекс ±1, а в прочих случаях значение индексаможет быть весьма произвольным.Например, индексы расположенного в начале координат нуля векторныхполей, которые изображены на Рис. 4.4, равны +1 и (−1), причёмполя эти всюду дифференцируемы. Индексы нуля полей Рис. 4.5равны +2 и +3, и в начале координат эти поля не дифференцируемы.Векторное поле на прямой, задаваемое рассмотренным в §4.2б квадратичнымотображением x ↦→ x 2 +px+q при p 2 = 4q имеет особую точкуx = −p/2 нулевого индекса.4.3г Устойчивость особых точекОпределение 4.3.6 Особая точка z поля Φ называется устойчивой,если для любого τ > 0 можно найти такое η > 0, что всякое поле, отличающеесяот Φ меньше чем на η, имеет особую точку, удаленнуюот z менее, чем на τ. Иначе особая точка z называется неустойчивой.Легко понять, что в связи с задачей решения систем уравнений насинтересуют именно устойчивые особые точки, поскольку задача поискатолько таких точек является вычислительно-корректной.Вторым основным результатом, ради которого мы затевали обзортеории вращения векторных полей, является следующееПредложение 4.3.4 [55] Изолированная особая точка непрерывноговекторного поля устойчива тогда и только тогда, когда её индексотличен от нуля.

452 4. Решение нелинейных уравнений и их системНапример, неустойчивое решение квадратного уравнения (4.5)–(4.6)имеет индекс 0, а у векторных полей, изображённых на рисунках 4.4 и4.5, начало координат является устойчивой особой точкой.Интересно отметить, что отличие линейных уравнений от нелинейных,как следует из всего сказанного, проявляется не только в формеи структуре, но и в более глубоких вещах: 1) в линейных задачах индексрешения, как правило, равен ±1, а в нелинейных может быть какнулевым, так и отличным от±1, и, как следствие, 2) в типичных линейныхзадачах изолированное решение устойчиво, а в нелинейных можетбыть неустойчивым.Отметим отдельно, что результат об устойчивости особой точкиненулевого индекса ничего не говорит о количестве особых точек, близкихк возмущаемой особой точке. В действительности, путем шевеленияодной устойчивой особой точки можно получить сразу несколькоособых точек, и это легко видеть на примере полей Рис. 4.5. Любаясколь угодно малая постоянная добавка к полю, изображённому на левомчертеже Рис. 4.5, приводит к распадению нулевой особой точкииндекса 2 на две особые точки индекса 1. Аналогично, любая скольугодно малая постоянная добавка к полю, изображённому на правомчертеже Рис. 4.5, приводит к распадению нулевой особой точки на триособые точки индекса 1. Таким образом, свойство единственности решениянеустойчиво и требовать его наличия нужно со специальнымиоговорками.Если в областиD находится конечное число особых точек, то суммуих индексов называют алгебраическим числом особых точек.Предложение 4.3.5 Пусть непрерывное векторное поле Φ имеет вD конечное число особых точек x 1 , x 2 , ..., x s и невырождено на границе∂D. Тогдаγ(Φ,D) = ind (x 1 ,Φ)+ind (x 2 ,Φ)+···+ind (x s ,Φ).Алгебраическое число особых точек устойчиво к малым возмущениямобласти и векторного поля, так как охватывает совокупную суммуиндексов вне зависимости от рождения и уничтожения отдельных точек.Наконец, сделаем ещё одно важное замечание. Нередко на практикедля решения систем нелинейных уравнений исходную задачу переформулируюткак оптимизационную, пользуясь, например, тем, что

4.3. Векторные поля и их вращение 453yyy=F(x)y=|F(x)|xxРис. 4.6. Устойчивый нуль функции превращаетсяв неустойчивый после взятия нормы функции.справедливы следующие математические эквивалентности:иF(x) = 0 ⇔ minx‖F(x)‖ = 0F(x) = 0 ⇔ minx‖F(x)‖ 2 = 0.Далее имеющимися стандартными пакетами программ ищется решениезадачи минимизации нормы ‖F(x)‖ (или ‖F(x)‖ 2 , чтобы обеспечитьгладкость целевой функции) и результат сравнивается с нулём.С учётом наших знаний о задаче решения систем уравнений хорошовидна вычислительная неэквивалентность такого приведения: устойчиваяособая точка всегда превращается при подобной трансформациив неустойчивое решение редуцированной задачи! Именно, любаясколь угодно малая добавка к |F(x)| может приподнять график функцииy = |F(x)| над осью абсцисс (плоскостью нулевого уровня в общемслучае), так что нуль функции исчезнет.4.3д Вычислительно-корректнаяпостановка задачиТеперь все готово для вычислительно-корректной переформулировкизадачи решения уравнений и систем уравнений. Она должна выглядетьследующим образом:

454 4. Решение нелинейных уравнений и их системДля заданного ε > 0 и системы уравненийF(x) = 0найти на данном множестве D ⊆ R n1) гарантированные двусторонние границывсех решений ненулевого индекса,2) множество ε-решений.(4.10)Мы не требуем единственности решения в выдаваемых брусах, таккак свойство решения быть единственным не является, как мы могливидеть, устойчивым к малым возмущениям задачи.4.4 Классические методырешения уравненийПример 4.4.1 Рабочие имеют кусок кровельного материала ширинойl = 3.3 метра и хотят покрыть им пролёт шириной h = 3 метра,сделав крышу круглой, в форме дуги окружности. Для того, чтобыпридать правильную форму балкам, поддерживающим кровлю, нужнознать, какой именно радиус закругления крыши при этом получится(см. Рис. 4.7).hlα αRРис. 4.7. Проектирование круглой крыши.

4.4. Классические методы решения уравнений 455Обозначим искомый радиус закругления крыши через R. Если 2α— величина дуги (в радианах), соответствующей крыше, тоl2α = R.С другой стороны, из рассмотрения прямоугольного треугольника скатетом h/2 и гипотенузой R получаемR sinα = h/2.Исключая из этих двух соотношений R, получим уравнение относительноодной неизвестной α:l sinα = αh. (4.11)Его решение не может быть выражено в явном виде, и потому далеемы обсудим возможности его численного решения. Уравнение (4.11) является простейшим нелинейным трансцендентнымуравнением. Так называют уравнения и системы уравнений, неявляющиеся алгебраическими, т. е. такие, в которых в обеих частяхуравнений стоят алгебраические выражения относительно неизвестныхпеременных.4.4а Предварительная локализация решенийОбычно первым этапом численного решения уравнений и системуравнений является предварительная локализация, т. е. уточнение местонахождения,искомых решений. Это вызвано тем, что большинствочисленных методов для поиска решений имеют локальный характер,т. е. сходятся к этим решениям лишь из достаточно близких начальныхприближений.Для локализации решений могут применяться как численные, так ианалитические методы, а также их смесь — гибридные методы, которые(следуя Д. Кнуту) можно назвать получисленными или полуаналитическими.Особенно много аналитических результатов существует о локализациирешений алгебраических уравнений (корней полиномов), что, конечно,имеет причину в очень специальном виде этих уравнений, допускающемисследование с помощью выкладок и т. п.

456 4. Решение нелинейных уравнений и их системТеорема 4.4.1 Пусть для алгебраического уравнения видаобозначеноa n x n +a n−1 x n−1 +...+a 1 x+a 0 = 0α = max{a 0 ,...,a n−1 }, β = max{a 1 ,...,a n }.Тогда все решения этого уравнения принадлежат кольцу в комплекснойплоскости, определяемому условием1 α≤ |x| ≤ 1+1+β/|a 0 | |a n | .Полезно правило знаков Декарта, утверждающее, что число положительныхкорней полинома с вещественными коэффициентами равночислу перемен знаков в ряду его коэффициентов или на чётное числоменьше этого числа. При этом корни считаются с учётом кратности,а нулевые коэффициенты при подсчёте числа перемен знаков не учитываются.Если, к примеру, заранее известно, что все корни данногополинома вещественны, то правило знаков Декарта даёт точное числокорней. Рассматривая полином с переменной (−x) можно с помощьюэтого же результата найти число отрицательных корней исходного полинома.4.4б Метод дихотомииЭтот метод часто называют также методом бисекции или методомполовинного деления. Он заключается в последовательном делении пополаминтервала локализации корня уравнения, на концах которогофункция принимает значения разных знаков. Теоретической основойметода дихотомии является следующий факт, хорошо известный в математическоманализе:Теорема 4.4.2 (теорема Больцано-Коши) Если функция f : R → Rнепрерывна на интервале X ⊂ R и на его концах принимает значенияразных знаков, то внутри интервала X существует нуль функцииf, т.е. точка ˜x ∈ X, в которой f(˜x) = 0.Часто её называют просто «теоремой Больцано» (см., к примеру,[38]), так как именно Б. Больцано первым обнаружил это замечательноесвойство непрерывных функций.

4.4. Классические методы решения уравнений 457Очевидно, что из двух половин интервала, на котором функция меняетзнак, хотя бы на одной эта перемена знака обязана сохраняться.Её мы и оставляем в результате очередной итерации метода дихотомии.Рис. 4.8. Иллюстрация метода дихотомии (деления пополам)На вход алгоритму подаются функция f, принимающая на концахинтервала[a,b] значения разных знаков, и точностьǫ, с которой необходимолокализовать решение уравнения f(x) = 0. На выходе получаеминтервал [x,x] шириной не более ǫ, содержащий решение уравнения.Недостаток этого простейшего варианта метода дихотомии — возможностьпотери решений для функций, аналогичных изображеннойна Рис. 4.8. На левой половине исходного интервала функция знакане меняет, но там находятся два нуля функции. Чтобы убедиться вединственности решения или в его отсутствии, можно привлекать дополнительнуюинформацию об уравнении, к примеру, о производнойфигурирующей в нём функции. В общем случае потери нулей можноизбежать, если не отбрасывать подынтервалы, на которых доказательноне установлено отсутствие решений. Последовательная реализацияэтой идеи приводит к «методу ветвлений и отсечений», который подробнорассматривается далее в §4.8.Многомерное обобщение теоремы Больцано-Коши было опубликованоболее чем столетием позже в заметке [44]:Теорема 4.4.3 (теорема Миранды) Пустьf : R n → R n ,f(x) = ( f 1 (x),f 2 (x), ..., f n (x) ) ⊤— функция, непрерывная на брусе X ⊂ R n со сторо-

458 4. Решение нелинейных уравнений и их системТаблица 4.1. Метод дихотомии решения уравненийx ← a; x ← b;DO WHILE (x−x > ǫ)END DOy ← 1 2 (x+x);IF ( f(x) < 0 и f(y) > 0 ) или ( f(x) > 0 и f(y) < 0 )x ← yELSEx ← yEND IFнами, параллельными координатным осям, и для любого i = 1,2,...,nимеет место либоf i(X1 ,...,X i−1 ,X i ,X i+1 ,...,X n)≤ 0либоf i(X1 ,...,X i−1 ,X i ,X i+1 ,...,X n)≥ 0и f i(X1 ,...,X i−1 ,X i ,X i+1 ,...,X n)≥ 0,и f i(X1 ,...,X i−1 ,X i ,X i+1 ,...,X n)≤ 0,т.е. области значений каждой компоненты функции f(x) на соответствующихпротивоположных гранях бруса X имеют разные знаки.Тогда на брусе X существует нуль функции f, т.е. точка x ⋆ ∈ X,в которой f(x ⋆ ) = 0.Характерной особенностью теоремы Миранды является специальнаяформа множества, на котором утверждается существование нуляфункции: оно должно быть брусом со сторонами, параллельнымикоординатным осям, т. е. интервальным вектором. Для полноценногоприменения теоремы Миранды нужно уметь находить или как-то оцениватьобласти значений функций на таких брусах.

4.4. Классические методы решения уравнений 459Удобное средство для решения этой задачи предоставляют методыинтервального анализа. Задача об определении области значенийфункции на брусах из области её определения эквивалентна задаче оптимизации,но в интервальном анализе она принимает специфическуюформу задачи о вычислении так называемого интервального расширенияфункции (см. §1.5).4.4в Метод простой итерацииМетодом простой итерации обычно называют стационарный одношаговыйитерационный процесс, который организуется после того,как исходное уравнение каким-либо способом приведено к равносильномурекуррентному виду x = Φ(x). Далее, после выбора некоторогоначального приближения x (0) , запускается итерационный процессx (k+1) ← Φ(x (k) ), k = 0,1,2,...При благоприятных обстоятельствах последовательность {x (k) } сходится,и её пределом является решение исходного уравнения. Но в общемслучае и характер сходимости, и вообще её наличие существеннозависят как от отображения Φ, так и от начального приближения крешению.Пример 4.4.2 Уравнение (4.11) из Примера 4.4 нетрудно привести крекуррентному видуα = l h sinα,где l = 3.3 и h = 3. Далее, взяв в качестве начального приближения,например, α (0) = 1, через 50 итерацийα (k+1) ← l h sinα(k) , k = 0,1,2,..., (4.12)получаем пять верных знаков точного решения α ∗ = 0.748986642697...(читатель легко может самостоятельно проверить все числовые данныеэтого примера с помощью любой системы компьютерной математики).Итерационный процесс (4.12) сходится к решению α ∗ не из любогоначального приближения. Если α (0) = πl, l ∈ Z, то выполнение итераций(4.12) с идельной точностью даёт α (k) = 0,k = 1,2,.... Если жеα (0)таково, что синус от него отрицателен, то итерации (4.12) сходятся к

460 4. Решение нелинейных уравнений и их системрешению (−α ∗ ) уравнения (4.11). И нулевое, и отрицательное решенияочевидно не имеют содержательного смысла.С другой стороны, переписывание исходного уравнения (4.12) в другомрекуррентном виде —α = 1 l arcsin(αh)— приводит к тому, что характер сходимости метода простой итерациисовершенно меняется. Из любого начального приближения, меньшегопо модулю чем примерно 0.226965, итерацииα (k+1) ← 1 l arcsin( α (k) h ) , k = 0,1,2,...,сходятся лишь к нулевому решению. Б´ольшие по модулю начальныеприближения быстро выводят за границы области определения вещественногоарксинуса, переводя итерации в комплексную плоскость, гдеони снова сходятся к нулевому решению. Таким образом, искомого решенияα ∗ мы при этом никак не получаем.Рассмотренный пример хорошо иллюстрирует различный характернеподвижных точек отображений и мотивирует следующие определения.Неподвижная точка x ⋆ функции Φ(x) называется притягивающей,если существует такая окрестностьΩ точки x ⋆ , что итерационный процессx(k+1) ← Φ(x (k) ) сходится к x ⋆ из любого начального приближенияx (0) ∈ Ω.Неподвижная точка x ⋆ функции Φ(x) называется отталкивающей,если существует такая окрестностьΩ точки x ⋆ , что итерационный процессx (k+1) ← Φ(x (k) ) не сходится к x ⋆ при любом начальном приближенииx (0) ∈ Ω.Ясно, что простые итерации x (k+1) ← Φ(x (k) ) непригодны для нахожденияотталкивающих неподвижных точек. Здесь возникает интересныйвопрос о том, какими преобразованиями уравнений и системуравнений отталкивающие точки можно сделать притягивающими.Наиболее часто существование неподвижных точек можно гарантироватьу отображений, которые удовлетворяют тем или иным дополнительнымусловиям, и самыми популярными из них являются такназываемые условия сжимаемости (сжатия) образа.

4.4. Классические методы решения уравнений 461Напомним, что отображение g : X → X метрического пространстваX с расстоянием dist : X → R + называется сжимающим (или простосжатием), если существует такая положительная постоянная α < 1,что для любой пары элементов x,y ∈ X имеет место неравенствоdist ( g(x),g(y) ) ≤ α·dist(x,y).Теорема 4.4.4 (теорема Банаха о неподвижной точке). Сжимающееотображение g : X → X полного метрического пространства X всебя имеет единственную неподвижную точку. Она может бытьнайдена методом последовательных приближенийx (k+1) ← g(x (k) ), k = 0,1,2,...,при любом начальном приближении x (0) ∈ X.Доказательство этого результата можно найти, к примеру, в [17].Особенно ценен в теореме Банаха её конструктивный характер, позволяющийорганизовать численные методы для нахождения неподвижнойточки.Иногда бывает полезно работать с векторнозначным расстоянием —мультиметрикой, — которая вводится на R n как⎛ ⎞Dist(x,y) :=⎜⎝dist(x 1 ,y 1 ).dist(x n ,y n )⎟⎠ ∈ Rn + . (4.13)Для мультиметрических пространств аналогом теоремы Банаха онеподвижной точке для сжимающих отображений является приводимаяниже теорема Шрёдера о неподвижной точке. Перед тем, как датьеё точную формулировку, введёмОпределение 4.4.1 Отображение g : X → X мультиметрическогопространства X с мультиметрикой Dist : X → R n + называетсяP-сжимающим (или просто P-сжатием), если существует неотрицательнаяn×n-матрица P со спектральным радиусом ρ(P) < 1, такаячто для всех x, y ∈ X имеет местоDist ( g(x),g(y) ) ≤ P ·Dist(x,y). (4.14)

462 4. Решение нелинейных уравнений и их системСледует отметить, что математики, к сожалению, не придерживаютсяздесь единой терминологии. Ряд авторов (см. [46]) за матрицей Pиз (4.14) закрепляют отдельное понятие «оператора Липшица (матрицыЛипшица) отображенияg», и в условиях Определения 4.4.1 говорят,что «оператор Липшица для g сжимающий».Теорема 4.4.5 (теорема Шрёдера о неподвижной точке) Пусть отображениеg : R n ⊇ X → R n является P-сжимающим на замкнутомподмножестве X пространства R n с мультиметрикой Dist. Тогдадля любого x (0) последовательность итерацийx (k+1) = g(x (k) ), k = 0,1,2,...,сходится к единственной неподвижной точке x ∗ отображения g в Xи имеет место оценкаDist(x (k) ,x ∗ ) ≤ (I −P) −1 P ·Dist(x (k) ,x (k−1) ).Доказательство можно найти, например, в книгах [1, 18, 27, 46]4.4г Метод Ньютона и его модификацииПредположим, что для уравнения f(x) = 0 с вещественнозначнойфункцией f известно некоторое приближение ˜x к решению x ∗ . Если f— плавно меняющаяся (гладкая функция), то естественно приблизитьеё в окрестности точки ˜x линейной функцией, т. е.f(x) ≈ f(˜x)+f ′ (˜x)(x− ˜x),и далее для вычисления следующего приближения к x ∗ решать линейноеуравнениеf(˜x)+f ′ (˜x)(x− ˜x) = 0.Отсюда очередное приближение к решениюИтерационный процессx = ˜x− f(˜x)f ′ (˜x) .x (k+1) ← x (k) − f(x(k) )f ′ (x (k) ) , k = 0,1,2,...,

4.4. Классические методы решения уравнений 463называют методом Ньютона. Он явялется одним из наиболее популярныхи наиболее эффективных численных методов решения уравненийи имеет многочисленные обобщения, в том числе на многомерныйслучай, т. е. в применении к решению систем уравнений (см. 4.7в).Пример 4.4.3 Рассмотрим уравнение x 2 − a = 0, решением которогоявляется квадратный корень из числа a. Если f(x) = x 2 − a, тоf ′ (x) = 2x, так что в методе Ньютона для нахождения решения рассматриваемогоуравнения имеем(x (k+1) = x (k) − f(x(k) )) x(k) 2−af ′ (x (k) ) = x(k) −2x (k)= x(k)2 + a2x (k).Итерационный процесс для нахождения квадратного корняx (k+1) ← 1 2(x (k) + ax (k) ), k = 0,1,2,...,известен ещё с античности и часто называется методом Герона. Длялюбого положительного начального приближения x (0) он порождаетубывающую, начиная с x (1) , последовательность, которая быстро сходитсяк арифметическому значению √ a.Метод Ньютона требует вычисления на каждом шаге производнойот функции f, что может оказаться неприемлемым или труднодостижимым.Одна из очевидных модификаций метода Ньютона состоит втом, чтобы «заморозить» производную в некоторой точке и вести итерациипо формулеx (k+1) ← x (k) − f(x(k) )f ′ (ˇx) , k = 0,1,2,...,где ˇx — фиксированная точка, в которой берётся производная. Получаемстационарный итерационный процесс, который существенно прощев реализации, но он имеет качественно более медленную сходимость.Для определения погрешности приближённого решения ˜x и контроляточности вычислений можно применять формулу|˜x−x ∗ | ≤|f(˜x)|min ξ∈[a,b] |f ′ (ξ)| , (4.15)

464 4. Решение нелинейных уравнений и их системкоторая следует из теоремы Лагранжа о среднем (формулы конечныхприращений):f(˜x)−f(x ∗ ) = f ′ (ξ)(˜x−x ∗ ),где ξ — некоторая точка, заключённая между ˜x и x ∗ , т. е. ξ ∈ □{˜x,x ∗ }.Ясно, что тогда|f(˜x)−f(x ∗ )| ≥ minξ|f ′ (ξ)|·|˜x−x ∗ |,и при min ξ∈[a,b] |f ′ (ξ)| ̸= 0 получаем оценку (4.15). Отметим её очевиднуюаналогию с оценкой (3.130) для погрешности решения системлинейных уравнений.4.4д Методы ЧебышёваМетоды Чебышёва для решения уравнения f(x) = 0 основаны наразложении по формуле Тейлора функции f −1 , обратной к f. Они могутиметь произвольно высокий порядок точности, определяемый количествомчленов разложения для f −1 , но практически обычно ограничиваютсянебольшими порядками.Предположим, что вещественная функция f является гладкой и монотоннойна интервале [a,b], так что она взаимно однозначно отображаетэтот интервал в некоторый интервал [α,β]. Как ледствие, существуетобратная к f функция g = f −1 : [α,β] → [a,b], которая имеет туже гладкость, что и функция f.Итак, пусть известно некоторое приближение ˜x к решению x ∗ уравненияf(x) = 0. Обозначив y = f(˜x), разложим обратную функцию g вточке ˜x по формуле Тейлора с остаточным членом в форме Лагранжа:g(0) = g(y)+g ′ (y)(0−y)+g ′′ (y) (0−y)22+g (p+1) (ξ) (0−y)p+1(p+1)!+...+g (p) (y) (0−y)pp!= g(y)+p∑(−1) k g (k) (y) ykk!k=1+ (−1) p+1 g (p+1) (ξ)y p+1(p+1)! ,где ξ — какая-то точка между 0 и y. Возвращаясь к переменной x,

4.4. Классические методы решения уравнений 465будем иметьx ∗ = ˜x+p∑(−1) k g (k)( f(˜x) ) ( f(˜x) ) kk!k=1( ) p+1f(˜x)+ (−1) p+1 g (p+1) (ξ) .(p+1)!В качестве следующего приближения к решению мы можем взять, отбросивостаточный член, значение˜x+p∑(−1) k g (k)( f(˜x) ) ( f(˜x) ) k.k!k=1Подытоживая сказанное, определим итерацииx (k+1) ← x (k) +p∑(−1) k g (k)( f(˜x) ) ( f(˜x) ) k, k = 0,1,2,...,k!k=1которые и называются методом Чебышёва p-го порядка.Как найти производные обратной функции g?Зная производные функции f в какой-то точке, мы можем найти ипрозводные обратной функции g. В самом деле, последовательно дифференцируятождество x = g ( f(x) ) , получимилиg ′( f(x) ) f ′ (x) = 1,g ′′( f(x) )( f ′ (x) ) 2+g′ ( f(x) ) f ′′ (x) = 0,g ′′′( f(x) )( f ′ (x) ) 3+g′′ ( f(x) )·2f ′ (x)f ′′ (x)g ′( f(x) ) f ′ (x) = 1,+g ′′( f(x) ) f ′ (x)f ′′ (x)+g ′( f(x))f ′′′ (x) = 0,... ... ,g ′′( f(x) )( f ′ (x) ) 2+g′ ( f(x) ) f ′′ (x) = 0,g ′′′( f(x) )( f ′ (x) ) 3+3g′′ ( f(x) ) f ′ (x)f ′′ (x)+g ′( f(x))f ′′′ (x) = 0,... ... .

466 4. Решение нелинейных уравнений и их системОтносительно неизвестных значений производных g ′( f(x) ) , g ′′( f(x) ) ,g ′′′( f(x) ) и т. д. эта система соотношений имеет треугольный вид, позволяющийнайти их последовательно одну за другой:g ′( f(x) ) = 1f ′ (x) ,g ′′( f(x) ) = − g( f(x) ) f ′′ (x)(f′ (x) ) 2= − f′′ (x)(f′ (x) ) 3 ,g ′′′( f(x) ) = − 3g′′( f(x) ) f ′ (x)f ′′ (x)+g ′( f(x))f ′′′ (x)(f′ (x) ) 3= −3(f ′′ (x) ) 2(f′ (x) ) 5 − f′′′ (x)(f′ (x) ) 4и так далее.Для p = 1 расчётные формулы метода Чебышёва имеют видx (k+1) ← x (k) − f(x(k) )f ′ (x (k) ) , k = 0,1,2,...,что совпадает с методом Ньютона.Для p = 2 расчётные формулы метода Чебышёва таковыx (k+1) ← x (k) − f(x(k) )f ′ (x (k) ) − f′′ (x (k) ) ( f(x (k) ) ) 22 ( f ′ (x (k) ) ) 3, k = 0,1,2,....Наиболее часто методом Чебышёва называют именно этот итерационныйпроцесс, так как методы более высокого порядка из этого семействана практике используются редко.4.5 Классические методырешения систем уравнений4.5а Метод простой итерацииСхема применения метода простой итерации для систем уравненийв принципе не отличается от случая одного уравнения. Исходная системауравнений F(x) = 0 должна быть каким-либо способом приведена

4.5. Классические методы решения систем уравнений 467к равносильному рекуррентному виду, например,x = x−ΛF(x),где Λ — неособенная матрица, и далее, после выбора некоторого начальногоприближения x (0) , запускается итерационный процессx (k+1) ← Φ(x (k) ), k = 0,1,2,...,где Φ(x) = x − ΛF(x). При благоприятных обстоятельствах последовательность{x (k) } сходится, и её пределом является искомое решениесистемы уравнений. Для обеспечения сходимости итераций к решениюстараются удовлетворить теореме Банаха о неподвижной точке или жееё аналогу — теореме Шрёдера.4.5б Метод Ньютона и его модификацииПусть для системы уравнений⎧F 1 (x 1 ,x 2 ,...,x n ) = 0,⎪⎨ F 2 (x 1 ,x 2 ,...,x n ) = 0,⎪⎩.. .. .F n (x 1 ,x 2 ,...,x n ) = 0,или, кратко, F(x) = 0, известно некоторое приближение ˜x к решениюx ∗ . Если F — плавно меняющаяся (гладкая функция), то естественноприблизить её в окрестности точки ˜x линейной функцией, т. е.F(x) ≈ F(˜x)+F ′ (˜x)(x− ˜x),гдеF ′ (˜x) — матрица Якоби отображенияF в точке ˜x. Далее для вычисленияследующего приближения к решению системы уравнений естественновзять решение системы линейных алгебраических уравненийF(˜x)+F ′ (˜x)(x− ˜x) = 0,которая получается из приближенияF. Следовательно, очередным приближениемк решению может бытьx = ˜x− ( F ′ (˜x) ) −1F(˜x).

468 4. Решение нелинейных уравнений и их системИтерационный процессx (k+1) ← x (k) − ( F ′ (x (k) ) ) −1F(x (k) ), k = 0,1,2,...,называют методом Ньютона.Метод Ньютона требует вычисления на каждом шаге матрицы производныхфункцииF и решения систем линейных алгебраических уравненийс изменяющейся матрицей. Нередко подобные трудозатраты могутстать излишне обременительными. Если зафиксировать точку ˇx, вкоторой вычисляется эта матрица производных, то получим упрощённыйстационарный итерационный процессx (k+1) ← x (k) − ( F(ˇx) ) −1F(x (k) ), k = 0,1,2,...,который часто называют модифицированным методом Ньютона. Здесьрешение систем линейных уравнений с одинаковыми матрицами F(ˇx)можно осуществлять по упрощённым алгоритмам, к примеру, найдяодин раз LU-разложение матрицы и далее используя его.Один из наиболее часто используемых результатов о сходимостиметода Ньютона — этоТеорема 4.5.1 (теорема Канторовича о методе Ньютона)Пусть отображение F определено в открытой области D и имеетнепрерывную вторую производную F ′′ в замыкании clD. Пусть, крометого, существует такой непрерывный линейный оператор Γ 0 =(F(x0 ) ) −1, что∥ ∥ Γ 0 F(x 0 ) ∥ ∥ ≤ η и ‖Γ 0 F ′′ (x)‖ < K для всех x ∈ clD инекоторых констант η и K. Еслииh = Kη ≤ 1 2r ≥ r 0 = 1−√ 1−2hη,hто уравнениеF(x) = 0 имеет решениеx ⋆ , к которому сходится методНьютона, как исходный, так и модифицированный. При этом‖x ⋆ −x 0 ‖ ≤ r 0 .Для исходного метода Ньютона сходимость описывается оценкой‖x ⋆ −x k ‖ ≤ η2 k h (2h)2k , k = 0,1,2,...,

4.6. Интервальные линейные системы уравнений 469а для модифицированного метода верна оценкапри условии h < 1 2 .‖x ⋆ −x k ‖ ≤ η h (1−√ 1−2h) k+1 , k = 0,1,2,...,Доказательство и дальнейшие результаты на эту тему можно найтив книге [17].4.6 Интервальные линейныесистемы уравненийПредметом рассмотрения настоящего пункта являются интервальныесистемы линейных алгебраических уравнений (ИСЛАУ) видаAx = b, (4.16)где A = (a ij ) — это интервальная m×n-матрица и b = (b i ) — интервальныйm-вектор.Для интервальных уравнений решения и множестварешений могут быть определены разнообразными способами (см. [37]),но ниже мы ограничимся так называемым объединённым множествомрешений для (4.16), которое образовано всевозможными решениями xточечных систем Ax = b, когда матрица A и вектор b независимо пробегаютA и b соответственно. Объединённое множество решений определяетсястрого какΞ(A,b) = {x ∈ R n | (∃A ∈ A)(∃b ∈ b)(Ax = b)}, (4.17)и ниже мы будем называть его просто множеством решений интервальнойлинейной системы (4.16), так как другие множества решенийнами не исследуются. Точное описание множества решений можетрасти экспоненциально с размерностью вектора неизвестных n, а потомуявляется практически невозможным уже при n, превосходящемнесколько десятков. С другой стороны, в большинстве реальных постановокзадач точное описание на самом деле и не нужно. На практикебывает вполне достаточно нахождения оценки для множества решений,т. е. приближенного описания, удовлетворяющего содержательномусмыслу рассматриваемой задачи.Приведём полезный технический результат, который часто используетсяв связи с исследованием и оцениванием множества решений интервальныхсистем линейных алгебраических уравнений.

470 4. Решение нелинейных уравнений и их системТеорема 4.6.1 (характеризация Бека) Если A ∈ IR m×n , b ∈ IR m ,тоΞ(A,b) = { x ∈ R n | Ax∩b ≠ ∅ }= { x ∈ R n | 0 ∈ Ax−b } .Доказательство. Если ˜x ∈ Ξ(A,b), то Øx = ˜b для некоторых˜b à ∈ A,∈ b. Следовательно, по крайней мере˜b ∈ A˜x∩b, так что действительноA˜x∩b ≠ ∅.Наоборот, если A˜x ∩ b ≠ ∅, то это пересечение A˜x ∩ b содержитвектор ˜b ∈ R m , для которого должно иметь место равенство ˜b = Øx снекоторой à ∈ A. Итак, ˜x ∈ Ξ(A,b).Второе равенство следует из того, что A˜x ∩b ≠ ∅ тогда и толькотогда, когда 0 ∈ A˜x−b.Теорема 4.6.2 (характеризация Оеттли-Прагера) Для объединённогомножества решений ИСЛАУ имеет местоx ∈ Ξ(A,b) ⇔ ∣ ∣ (mid A)x−mid b∣ ∣ ≤ rad A·|x|+rad b, (4.18)где неравенство между векторами понимается покомпонентным образом.Доказательство. Для любых интервальных векторов-брусов p и qвключение p ⊆ q равносильно покомпонентному неравенству|mid q −mid p| ≤ rad q −rad p.Следовательно, условие характеризации Бека, т. е. 0 ∈ A˜x−b, можетбыть переписано в следующем виде:|mid (A˜x−b) | ≤ rad (A˜x−b).С учётом правил преобразования середины и радиуса получаемmid (A˜x−b) = (mid A)˜x−mid b,rad (A˜x−b) = (rad A)·|˜x|+rad b,откуда вытекает требуемое.

4.7. Интервальные методы решения уравнений 4714.7 Интервальные методы решенияуравнений и систем уравненийИнтервальные методы позволяют придать конструктивный характернекоторым известным результатам математического анализа, которыераньше рассматривались как «чистые» теоремы существования.Самым первым из них являетсяТеорема 4.7.1 (теорема Брауэра о неподвижной точке) Пусть D —выпуклое компактное множество в R n . Если непрерывное отображениеg : R n → R n переводит D в себя, g(D) ⊆ D, то оно имеет на Dнеподвижную точку x ∗ , т.е. такую что x ∗ = g(x ∗ ).Если вместо произвольных выпуклых компактов ограничиться интервальнымивекторами-брусами в R n , а для оценивания области значенийприменять его внешнюю оценку в виде интервального расширения,то условия теоремы Брауэра могут быть конструктивно проверенына компьютере.С учётом сказанного выше во введении к главе (стр. 434) о равносильностирекуррентного вида систем уравнений (4.4) каноническойформе (4.1)–(4.2) чрезвычайно полезными для вычислительной математикиоказываются результаты анализа, утверждающие существованиенеподвижных точек отображений. Теорема Брауэра является именнотаким результатом.4.7а Основы интервальной техникиЗадача решения уравнений и систем уравнений является одной изклассических задач вычислительной математики, для решения которойразвито немало эффективных подходов — метод простой итерации,метод Ньютона, их модификации и т.п. Преимущества и недостаткиэтих классических методов мы обсудили выше в §§4.4–4.5 (см. также[5, 27, 31, 42]). Для дальнейшего нам важны два факта:• Для уравнений, в которых фигурируют функции, не обладающие«хорошими» глобальными свойствами, все традиционные методыимеют локальный характер, т. е. обеспечивают отысканиерешения, находящегося в некоторой (иногда достаточно малой)окрестности начального приближения. Задача нахождения всех

472 4. Решение нелинейных уравнений и их системрешений уравнения или системы уравнений, как правило, рассматриваетсялишь в специальных руководствах и методы её решенияоказываются очень сложными.• Гарантированные оценки погрешности найденного приближенияк решению в традиционных методах дать весьма непросто.Указание приближённого значения величины и его максимальнойпогрешности равносильно тому, что мы знаем левую и правую границывозможных значений этой величины, и поэтому можно переформулироватьнашу задачу в следующем усиленном виде —Для каждого решения системы уравненийF(x) = 0на данном множестве D ⊆ R n найтигарантированные двусторонние границы, (4.19)— который будем называть задачей доказательного глобального решениясистемы уравнений. Эпитет «доказательный» означает здесь, чтополучаемый нами ответ к задаче — границы решений и т.п. — имеетстатус математически строго доказанного утверждения о расположениирешений при условии, что ЭВМ работает корректно (см. §1.8).Задача (4.19) оказывается чрезвычайно сложной, а в классическомчисленном анализе почти полностью отсутствуют развитые методы дляеё решения. Из часто используемых подходов, имеющих ограниченныйуспех, следует упомянуть аналитическое исследование, мультистарт,методы продолжения [27].Итак, пусть к решению предъявлена система уравнений (4.2)F(x) = 0на брусе X ⊂ R n . Существование решения этой системы на X можнопереписать в виде равносильного условияran(F,X) ∋ 0,и потому техника интервального оценивания множеств значений функцийоказывается весьма полезной при решении рассматриваемой задачи.В частности, если нуль содержится во внутренней интервальнойоценке множества значений ran(F,X) отображения F, то на брусе

4.7. Интервальные методы решения уравнений 473X гарантированно находится решение системы (4.2). С другой стороны,если в нашем распоряжении имеется интервальное расширение Fфункции F на X, то F(X) ⊇ ran(F,X). Поэтому если 0 ∉ F(X), тона X нет решений рассматриваемой системы уравнений.Далее, перепишем исходную систему (4.2) в равносильной рекуррентнойформеx = T(x) (4.20)с некоторым отображением T : R n → R n . Оно может быть взято, кпримеру, в видеT(x) = x−F(x)либоT(x) = x−ΛF(x),с неособенной n × n-матрицей Λ, либо как-нибудь ещё. Пусть такжеT : IR n → IR n — интервальное расширение отображения T. Ясно, чторешения системы (4.20) могут лежать лишь в пересечении X ∩T(X).Поэтому еслиX ∩T(X) = ∅,то в X нет решений системы уравнений (4.20). Коль скоро искомое решениесодержится и в T(X), то для дальнейшего уточнения бруса, вкотором может присутствовать решение, мы можем организовать итерациис пересечениемX (0) ← X, (4.21)X (k+1) ← T(X (k) )∩X (k) , k = 0,1,2,.... (4.22)Следует особо отметить, что в получающихся при этом брусах наличиерешения, вообще говоря, не гарантируется. Они являются лишь«подозрительными» на существование решения.Но вот если для бруса X выполненоT(X) ⊆ X,то по теореме Брауэра о неподвижной точке (стр. 471) в X гарантированнонаходится решение системы (4.20). Для уточнения этого брусамы снова можем воспользоваться итерациями (4.21)–(4.22). Таким образом,наихудшим, с точки зрения уточнения информации о решениисистемы, является случайT(X) X. (4.23)

474 4. Решение нелинейных уравнений и их системПриведённую выше последовательность действий по обнаружениюрешения системы уравнений и уточнению его границ мы будем называтьдалее кратко тестом существования (решения). Условимся такжесчитать, что его результатом является брус пересечения (X∩T(X))либо предел последовательности (4.21)–(4.22). Если этот брус непуст,то он либо наверняка содержит решение системы уравнений, либо являетсяподозрительным на наличие в нём решения. Если же результаттеста существования пуст, то в исходном брусе решений системы уравненийнет.В действительности, каждый из изложенных выше приёмов уточнениярешения допускает далеко идущие модификации и улучшения.Например, это относится к итерациям вида (4.21)–(4.22), которые могутбыть последовательно применены не к целым брусам X (k) , а к отдельнымих компонентам в комбинации с различными способами приведенияисходной системы к рекуррентному виду (4.20). На этом путимы приходим к чрезвычайно эффективным алгоритмам, которые получилинаименование методов распространения ограничений (см., кпримеру, [30]).Как простейший тест существования, так и его более продвинутыеварианты без особых проблем реализуются на ЭВМ и работают темлучше, чем более качественно вычисляются интервальные расширенияфункций F в (4.2) и T в (4.20) и чем меньше ширина бруса X.Последнее связано с тем, что погрешность оценивания области значенийфункции посредством любого интервального расширения убываетс уменьшением размеров бруса, на котором производится это оценивание.(см. §1.5).4.7б Одномерный интервальный метод НьютонаВ этом параграфе мы рассмотрим простейший случай одного уравненияс одним неизвестным.Предположим, что f : R ⊇ x → R — непрерывно дифференцируемаяфункция, имеющая нуль x ⋆ на интервале x, т. е. f(x ⋆ ) = 0. Тогдадля любой точки ˜x ∈ x из этого же интервала в силу теоремы Лагранжао среднем значенииf(˜x)−f(x ⋆ ) = (˜x−x ⋆ )·f ′ (ξ),где ξ — некоторая точка между ˜x и x ⋆ . Но так как f(x ⋆ ) = 0, то отсюда

4.7. Интервальные методы решения уравнений 475следуетx ⋆ = ˜x− f(˜x)f ′ (ξ) .Если f ′ (x) является каким-либо интервальным расширением производнойфункции f(x) на x, то f ′ (ξ) ∈ f ′ (x) иx ⋆ ∈ ˜x− f(˜x)f ′ (x) .Интервальное выражение, фигурирующее в правой части этого включения,будет играть в дальнейшем важную роль и потому достойновыделения самостоятельным понятием.Определение 4.7.1 Для заданной функции f : R → R отображениедействующее по правилуN : IR×R → IR,N(x,˜x) := ˜x− f(˜x)f ′ (x)называется (одномерным) интервальным оператором Ньютона.x x ′ x ′ ˜x xy = f(x)Рис. 4.9. Иллюстрация работы одномерногоинтервального метода Ньютона. Ситуация 1.

476 4. Решение нелинейных уравнений и их системДопустим на время, что 0 ∉ f ′ (x), так что N(x,˜x) является вполнеопределённым конечным интервалом. Так как любой нуль функцииf(x) на x лежит также и в N(x,˜x), то разумно взять в качестве следующегоболее точного приближения к решению пересечениеx∩N(x,˜x),которое окажется, по крайней мере, не хуже x.y = f(x)xx ′x ′ ˜xxx ′′ x ′′Рис. 4.10. Иллюстрация работы одномерногоинтервального метода Ньютона. Ситуация 2.Далее, если 0 ∈ f ′ (x), мы можем придать смысл оператору Ньютона,воспользовавшись интервальной арифметикой Кахана. В действительности,эта модификация даже усилит интервальный метод Ньютона,так как мы получим возможность отделять решения друг от друга:в результате выполнения шага интервального метода Ньютона при0 ∈ int f ′ (x) получаются, как правило, два непересекающися интервала.В арифметике Кахана дополнительно определено деление интерваловa и b c 0 ∈ b, которое и приводит к бесконечным интервалам.Для удобства мы выпишем соответствующие результаты в развёрнутой

4.7. Интервальные методы решения уравнений 477форме:a/b =[a, a][b, b]⎧a·[1/b,1/b], если 0 ∉ b,=⎪⎨⎪⎩]−∞,+∞[, если 0 ∈ a и 0 ∈ b,[a/b,+∞[, если a < 0 и b < b = 0,]−∞,a/b]∪[a/b,+∞[, если a < 0 и b < 0 < b,]−∞,a/b], если a < 0 и 0 = b < b,]−∞,a/b], если 0 < a и b < b = 0,]−∞,a/b]∪[a/b,+∞[, если 0 < a и b < 0 < b,[a/b,+∞[, если 0 < a и 0 = b < b,∅, если 0 ∉ a и 0 = b.(4.24)Итак, перечислим основные свойства одномерного интервальногометода Ньютона:1. Всякий нуль функции f на исходном интервале x корректно выделяетсяметодом.2. Если на исходном интервалеxнет нулей функции f, то этот фактбудет установлен методом за конечное число итераций.3. Если 0 ∉ f ′ (x) для некоторого x, то на следующем шаге методабудет исключена по крайней мере половина x4. Если 0 ∉ f ′ (x), то асимптотический порядок сходимости методак нулю функции f на интервале x является квадратичным.4.7в Многомерный интервальныйметод НьютонаПереходя к решению систем нелинейных уравнений, следует отметить,что многомерные версии интервального метода Ньютона гораздо

478 4. Решение нелинейных уравнений и их системболее многочисленны, чем одномерные, и отличаются очень большимразнообразием. В многомерном случае мы можем варьировать не тольковыбор точки ˜x, вокруг которой осуществляется разложение, формуинтервального расширения производных или наклонов функции, какэто было в одномерном случае, но также и способ внешнего оцениваниямножества решений интервальной линейной системы, к которой приводитсяоценивание бруса решения. В оставшейся части этого параграфамы рассмотрим простейшую форму многомерного интервального методаНьютона, а его более специальным версиям, которые связываются сименами Кравчика и Хансена-Сенгупты, будут посвящены отдельныепараграфы.Определение 4.7.2 [46] Для отображения F : R n ⊇ D 0 → R mматрица A ∈ IR m×n называется интервальной матрицей наклоновна D ⊆ D 0 , если для любых x,y ∈ D равенствоF(y)−F(x) = A(y −x)имеет место с некоторой вещественной m×n-матрицей A ∈ A.Предположим, что на брусеxкрешению предъявлена система нелинейныхуравненийF(x) = 0. (4.25)Если S — интервальная матрица наклонов отображенияF на x, то длялюбых точек x,˜x ∈ x справедливо представлениеF(x) ∈ F(˜x)+S(x− ˜x).В частности, если x — решение системы уравнений (4.25), т. е.F(x) = 0,то0 ∈ F(˜x)+S(x− ˜x). (4.26)Вспомним характеризацию Бека для объединённого множества решенийИСЛАУ (Теорема 4.6.1): получается, что точка x удовлетворяетвключению (4.26) тогда и только тогда, когда она принадлежит объединённомумножеству решений интервальной линейной системыS(x− ˜x) = −F(˜x). (4.27)Далее, если Encl — процедура внешнего оценивания множества решенийИСЛАУ, то справедливо включениеx− ˜x ∈ Encl(S,−F(˜x)),

4.7. Интервальные методы решения уравнений 479так чтоx ∈ ˜x+Encl(S,−F(˜x)).Определение 4.7.3 Пусть для внешнего оценивания множеств решенийИСЛАУ зафиксирована процедура Encl, а для отображения F :R n ⊇ D → R n известна интервальная матрица наклонов S ∈ IR n×n .ОтображениеN : ID×R n → IR n ,задаваемое правиломN(x,˜x) = ˜x+Encl(S,−F(˜x)),называется интервальным оператором Ньютона на ID относительноточки ˜x.Как лучше выбирать центр разложения ˜x? Имеет смысл делатьэто так, чтобы величина ‖F(˜x)‖ была, по-возможности, меньшей. Чемменьше будет норма вектор-функции F(˜x), тем меньшим будет нормавекторов, образующих множество решений интервальной линейнойсистемыS(x− ˜x) = −F(˜x),которое мы должны пересекать с исходным брусом. Может быть, мыполучим при этом более узкую внешнюю оценку множества решенийисходной нелинейной системы и более точно определим статус исследуемогобруса. Численные эксперименты как будто подтверждают этотвывод.Процедуру для уточнения центра разложения можно организоватькак метод типа Ньютона, коль скоро нам известна интервальная матрицанаклонов.Наиболее неблагоприятной ситуацией при работе интервального методаНьютона является, конечно, появление включенияN(x,˜x) ⊇ x.Тогда все последующие шаги зацикливаются на брусеxине дают никакойдополнительной информации об искомых решениях системы. Какпоступать в этом случае? Ответ на этот вопрос рассматривается в следующем§4.8.

480 4. Решение нелинейных уравнений и их систем4.7г Метод КравчикаПусть на брусе x ∈ IR n задана система n нелинейных уравнений cn неизвестнымиF(x) = 0,для которой требуется уточнить двусторонние границы решений. Возьмёмкакую-нибудь точку ˜x ∈ x и организуем относительно неё разложениефункции F:F(x) ∈ F(˜x)+S(x− ˜x),где S ∈ R n×n — интервальная матрица наклонов отображения F набрусе x. Если x — это точка решения системы, то0 ∈ F(˜x)+S(x− ˜x). (4.26)Но далее, в отличие от интервального метода Ньютона, мы не будемпереходить к рассмотрению интервальной линейной системы (4.27), адомножим обе части этого включения слева на точечнуюn×n-матрицу,которую нам будет удобно обозначить как (−Λ):0 ∈ −ΛF(˜x)−ΛS(x− ˜x).Добавление к обеим частям получившегося соотношения по (x − ˜x)приводит кx− ˜x ∈ −ΛF(˜x)−ΛS(x− ˜x)+(x− ˜x),что равносильноx ∈ ˜x−ΛF(˜x)+(I −ΛS)(x− ˜x),так как для неинтервального общего множителя (x − ˜x) можно воспользоватьсядистрибутивным соотношением (1.16). Наконец, если решениеx системы уравнений предполагается принадлежащим брусу x,мы можем взять интервальное расширение по x ∈ x правой части полученноговключения, придя к соотношениюx ∈ ˜x−ΛF(˜x)+(I −ΛS)(x− ˜x),Определение 4.7.4 Пусть определены некоторые правила, сопоставляющиевсякому брусу x ∈ IR n точку ˜x ∈ x и вещественную n × n-матрицу Λ и пусть также S ∈ IR n×n — интервальная матрицанаклонов отображения F : R n ⊇ D → R n на D. ОтображениеK : ID ×R → IR n ,

4.8. Глобальное решение уравнений и систем 481задаваемое выражениемK(x,˜x) := ˜x−ΛF(˜x)+(I −ΛS)(x− ˜x),называется оператором Кравчика на ID относительно точки ˜x.Теорема 4.7.2 Пусть F : R n ⊇ D → R n — непрерывное по Липшицуотображение, S — его интервальная матрица наклонов и ˜x ∈ x ⊆ ID.Тогда(i) каждое решение системы F(x) = 0 на брусе x лежит также вK(x,˜x);(ii) если x∩K(x,˜x) = ∅, то в x нет решений системы F(x) = 0;(iii) если K(x,˜x) ⊆ x, то в x находится хотя бы одно решение системыF(x) = 0;(iv) если ˜x ∈ int x и ∅ ≠ K(x,˜x) ⊆ int x, то матрица S сильнонеособенна и в K(x,˜x) содержится в точности одно решениесистемы F(x) = 0.Оператор Кравчика — это не что иное, как центрированная формаинтервального расширения отображения Φ(x) = x−ΛF(x), возникающегов правой части системы уравнений после её приведения к рекуррентномувидуx = Φ(x).4.8 Глобальное решение уравненийи систем уравненийЕсли ширина бруса X велика, то на нём описанные в предшествующемпараграфе методики уточнения решения могут оказаться малоуспешнымив том смысле, что мы получим включение (4.23), из которогонельзя вывести никакого определённого заключения ни о существованиирешения на брусе X, ни о его отсутствии. Кроме того, самэтот брус, как область потенциально содержащая решение, нискольконе будет уточнён (уменьшен).

482 4. Решение нелинейных уравнений и их системXX ′′X ′X ′′X ′Рис. 4.11. Принудительное дробление бруса.Тогда практикуют принудительное дробление X на более мелкиеподбрусы. Наиболее популярна при этом бисекция — разбиение брусаX на две (равные или неравные) части вдоль какой-нибудь грани,например, на половинкиX ′ = ( X 1 ,...,[ X ι ,mid X ι ],...,X n),X ′′ = ( X 1 ,...,[ mid X ι ,X ι ],...,X n)для некоторого номераι ∈ {1,2,...,n}. При этом подбрусыX ′ иX ′′ называютсяпотомками бруса X. Далее эти потомки можно разбить ещёраз, и ещё . . . — столько, сколько необходимо для достижения желаемоймалости их размеров, при которой мы сможем успешно выполнятьна этих брусах рассмотренные выше тесты существования решений.Если мы не хотим упустить при этом ни одного решения системы, тодолжны хранить все возникающие в процессе такого дробления подбрусы,относительно которых тестом существования не доказано строго,что они не содержат решений. Организуем поэтому рабочий список Lиз всех потомков начального бруса X, подозрительных на содержаниерешений. Хотя мы называем эту структуру данных «списком», всмысле программной реализации это может быть не обязательно список,а любое хранилище брусов, организованное, к примеру, как стек

4.8. Глобальное решение уравнений и систем 483(магазин) или куча и т. п. (см. [4]) В целом же алгоритм глобальногодоказательного решения системы уравнений организуем в виде повторяющейсяпоследовательности следующих действий:• извлечение некоторого бруса из списка L,• дробление этого бруса на потомки,• проверка существования решений в каждомиз подбрусов-потомков, по результатам которой мы− либо выдаём этот подбрус в качестве ответак решаемой задаче,− либо заносим его в рабочий список Lдля последующей обработки,− либо исключаем из дальнейшего рассмотрения,как не содержащий решений рассматриваемой системы.Кроме того, чтобы обеспечить ограниченность времени работы алгоритма,на практике имеет смысл задаться некоторым порогом мелкости(малости размеров) брусов δ, при достижении которого дальшедробить брус уже не имеет смысла. В Табл. 4.2 приведён псевдокодполучающегося алгоритма, который называется методом ветвленийи отсечений: ветвления соответствуют разбиениям исходного бруса наподбрусы (фактически, разбиениям исходной задачи на подзадачи), аотсечения — это отбрасывание бесперспективных подбрусов исходнойобласти поиска. 2Отметим, что неизбежные ограничения на вычислительные ресурсыЭВМ могут воспрепятствовать решению этим алгоритмом задачи(4.19) «до конца», поскольку могут возникнуть ситуации, когда1) размеры обрабатываемого бруса уже меньше δ, нонам ещё не удаётся ни доказать существование в нёмрешений, ни показать их отсутствие;2) размеры обрабатываемого бруса всё ещё больше δ, новычислительные ресурсы уже не позволяют производитьего обработку дальше: исчерпались выделенное время,память и т. п.2 Стандартный английский термин для обозначения подобного типа алгоритмов— «branch-and-prune». С ними тесно связаны методы ветвей и границ, широкоприменяемые в вычислительной оптимизации.

484 4. Решение нелинейных уравнений и их системТаблица 4.2. Интервальный метод ветвлений и отсеченийдля глобального доказательного решения уравненийВходСистема уравнений F(x) = 0. Брус X ∈ IR n .Интервальное расширение F : IX → IR n функции F.Заданная точность δ > 0 локализации решений системы.ВыходСписок НавернякаРешения из брусов размера менее δ, которыегарантированно содержат решения системы уравнений в X.Список ВозможноРешения из брусов размера менее δ, которыемогут содержать решения системы уравнений в X.Список Недообработанные из брусов размера более δ, которыемогут содержать решения системы уравнений в X.Алгоритминициализируем рабочий список L исходным брусом X ;DO WHILE ( (L ≠ ∅) и (не исчерпаны ресурсы ЭВМ ) )извлекаем из рабочего списка L брус Y ;применяем к Y тест существования решения,его результат обозначаем также через Y ;IF ( в Y доказано отсутствие решений ) THENудаляем брус Y из рассмотренияELSEIF ( (размер бруса Y ) < δ ) THENзаносим Y в соответствующий из списковНавернякаРешения или ВозможноРешенияELSEрассекаем Y на потомки Y ′ и Y ′′и заносим их в рабочий список LEND IFEND IFEND DOвсе брусы из L перемещаем в список Недообработанные;

4.8. Глобальное решение уравнений и систем 485В реальных вычислениях остановка алгоритма Табл. 4.2 может происходитьпоэтому не только при достижении пустого рабочего списка L(когда исчерпана вся область поиска решений), но и, к примеру, придостижении определённого числа шагов или времени счёта и т. п. Тогдавсе брусы, оставшиеся в рабочем списке L, оказываются не до концаобработанными, и мы условимся так и называть их — «недообработанные».Итак, в общем случае результатом работы нашего алгоритмадолжны быть три списка брусов:список НавернякаРешения, состоящий из брусов ширинойменьше δ, которые гарантированно содержат решения,список ВозможноРешения, состоящий из брусов ширинойменьше δ, подозрительных на содержание решения, исписок Недообработанные, состоящий брусов, которыеалгоритму не удалось обработать «до конца» и которыеимеют ширину не меньше δ.При этом все решения рассматриваемой системы уравнений, не принадлежащиебрусам из списка НавернякаРешения, содержатся в брусахиз списков ВозможноРешения и Недообработанные.Практика эксплуатации интервальных методов для доказательногоглобального решения уравнений и систем уравнений выявила рядпроблем и трудностей. Во многих случаях (особенно при наличии такназываемых кратных корней) задачу не удаётся решить до конца ипредъявить все гарантированные решения уравнения. Список брусовответовс неопределённым статусом (ВозможноРешения в псевдокодеТабл. 4.2) часто никак не собираются исчезать ни при увеличении точностивычислений, ни при выделении дополнительного времени счета ит.п. Нередко он разрастается до огромных размеров, хотя большинствообразующих его брусов возможных решений являются «фантомами»немногих реальных решений. Но эти феномены могут быть успешнообъяснены на основе теории, изложенной в §4.3.Решения уравнений и систем уравнений — это особые точки соответствующихвекторных полей, которые, как мы могли видеть, отличаютсябольшим разнообразием. Насколько используемые нами при доказательномрешении систем уравнений инструменты приспособленыдля выявления особых точек различных типов? Нетрудно понять, чтоинтервальный метод Ньютона, методы Кравчика и Хансена-Сенгупты,

486 4. Решение нелинейных уравнений и их системтесты существования Мура и Куи, основывающиеся на теоремах Лерэ-Шаудера и Брауэра и наиболее часто используемые при практическихдоказательных вычислениях решений уравнений, охватывают толькослучаи индекса ±1 особой точки F. Если же решение системы являетсякритической точкой соответствующего отображения с индексом, неравным ±1, то доказать его существование с помощью вышеупомянутыхрезультатов принципиально не получится. Это объясняет, почемумногие существующие практические интервальные алгоритмы для доказательногоглобального решения систем уравнений не могут достичь«полного успеха» в общем случае.Помимо вышеназванной причины необходимо отметить, что списокВозможноРешения может соответствовать неустойчивым решениямсистемы уравнений, имеющим нулевой индекс. Эти решения разрушаютсяпри сколь угодно малых возмущениях уравнений и потому немогут быть идентифицированы никаким приближенным вычислительнымалгоритмом с конечной точностью представления данных. К примеру,таковым является кратный корень квадратного уравнения (4.5)–(4.6), и хорошо известно, что он плохо находится численно как традиционными,так и интервальными подходами.Алгоритмы ветвлений и отсечений, дополненные различными усовершенствованиямии приёмами, ускоряющими сходимость, получилибольшое развитие в интервальном анализе в последние десятилетия(см., например, книги [35, 41, 45, 46]), а реализованные на их основепрограммные комплексы существенно продвинули практику численногорешения уравнений и систем уравнений.Литература к главе 4Основная[1] Алефельд Г., Херцбергер Ю. Введение в интервальные вычисления. –Москва: Мир, 1987.[2] Акритас А. Основы компьютерной алгебры с приложениями. – Москва: Мир,1994.[3] Барахнин В.Б., Шапеев В.П. Введение в численный анализ. – Санкт-Петербург–Москва– Краснодар: Лань, 2005.[4] Бауэр Ф.Л., Гооз Г. Информатика. В 2-х ч. – Москва: Мир, 1990.[5] Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. –Москва: Бином, 2003, а также другие издания этой книги.

Литература к главе 4 487[6] Бахвалов Н.С., Корнев А.А., Чижонков Е.В. Численные методы. Решениязадач и упражнения. – Москва: Дрофа, 2008.[7] Березин И.С., Жидков Н.П. Методы вычислений. Т. 1–2. – Москва: Наука,1966.[8] Берже М. Геометрия. Т. 1, 2. – Москва: Наука, 1984.[9] Вержбицкий В.М. Численные методы. Части 1–2. – Москва: «Оникс 21 век»,2005.[10] Волков Е.А. Численные методы. – Москва: Наука, 1987.[11] Годунов С.К. Современные аспекты линейной алгебры. – Новосибирск: Научнаякнига, 1997.[12] Годунов С.К., Антонов А.Г., Кириллюк О.П., Костин В.И. Гарантированнаяточность решения систем линейных уравнений в евклидовых пространствах.– Новосибирск: Наука, 1992.[13] Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи.– Москва: Мир, 1982.[14] Демидович Б.П., Марон А.А. Основы вычислительной математики. –Москва: Наука, 1970.[15] Дэннис Дж., мл., Шнабель Р. Численные методы безусловной оптимизациии решения нелинейных уравнений. – Москва: Мир, 1988.[16] Калиткин Н.Н. Численные методы. – Москва: Наука, 1978.[17] Канторович Л.В., Акилов Г.П. Функциональный анализ. – Москва: Наука,1984.[18] Коллатц Л. Функциональный анализ и вычислительная математика. –Москва: Мир, 1969.[19] Крылов А.Н. Лекции о приближённых вычислениях. – Москва: ГИТТЛ, 1954,а также более ранние издания.[20] Крылов В.И., Бобков В.В., Монастырный П.И. Вычислительные методы.Т. 1–2. – Москва: Наука, 1976.[21] Кунц К.С. Численный анализ. – Киев: Техника, 1964.[22] Мацокин А.М. Численный анализ. Вычислительные методы линейной алгебры.Конспекты лекций для преподавания в III семестре ММФ НГУ. — Новосибирск:НГУ, 2009–2010.[23] Мацокин А.М., Сорокин С.Б. Численные методы. Часть 1. Численный анализ.— Новосибирск: НГУ, 2006.[24] Меньшиков Г.Г. Локализующие вычисления. Конспект лекций. – Санкт-Петербург: СПбГУ, Факультет прикладной математики–процессов управления,2003.[25] Миньков С.Л., Миньков Л.Л. Основы численных методов. – Томск: Издательствонаучно-технической литературы, 2005.[26] Мысовских И.П. Лекции по методам вычислений. – Санкт-Петербург: ИздательствоСанкт-Петербургского университета, 1998.

488 4. Решение нелинейных уравнений и их систем[27] Ортега Дж., Рейнболдт В. Итерационные методы решения нелинейных системуравнений со многими неизвестными. – Москва: Мир, 1975.[28] Островский А.М. Решение уравнений и систем уравнений.– Москва: Издательство иностранной литературы, 1963.[29] Самарский А.А., Гулин А.В. Численные методы. – Москва:Наука, 1989.[30] Семёнов А.Л., Важев И.В., Кашеварова Т.П. и др. Интервальные методыраспространения ограничений и их приложения // Системная информатика.– Новосибирск: Издательство СО РАН, 2004. – Вып. 9. — С. 245–358.[31] Трауб Дж. Итерационные методы решения уравнений. – Москва: Мир, 1985.[32] Тыртышников Е.Е. Методы численного анализа. – Москва: Академия, 2007.[33] Успенский В.А., Семёнов А.Л. Теория алгоритмов: основные открытия иприложения. – Москва: Наука, 1987.[34] Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления.Т. 1. — Москва: Наука, 1966.[35] Хансен Э., Уолстер Дж.У. Глобальная оптимизация с помощью методовинтервального анализа. – Москва-Ижевск: Издательство «РХД», 2012.[36] Холодниок М., Клич А., Кубичек М., Марек М. Методы анализа нелинейныхдинамических моделей. – Москва: Мир, 1991.[37] Шарый С.П. Конечномерный интервальный анализ. – Электронная книга,2010 (см. http://www.nsc.ru/interval/Library/InteBooks)[38] Шилов Г.Е. Математический анализ. Функции одного переменного. Ч. 1–2. –Москва: Наука, 1969.[39] Aberth O. Precise numerical methods using C++. – San Diego: Academic Press,1998.[40] Akyildiz Y., Al-Suwaiyel M.I. No pathologies for interval Newton’s method //Interval Computations. – 1993. – No. 1. – P. 60–72.[41] Kearfott R.B. Rigorous global search: Continuous problems. – Dordrecht:Kluwer, 1996.[42] Kelley C.T. Iterative methods for linear and nonlinear equations. – Philadelphia:SIAM, 1995.[43] Kreinovich V., Lakeyev A.V., Rohn J., Kahl P. Computational complexityand feasibility of data processing and interval computations. – Dordrecht: Kluwer,1997.[44] Miranda C. Un’ osservatione su un teorema di Brouwer // Bollet. Unione Mat.Ital. Serie II. – 1940. – Т. 3. – С. 5–7.[45] Moore R.E., Kearfott R.B., Cloud M. Introduction to interval analysis. –Philadelphia: SIAM, 2009.[46] Neumaier A. Interval methods for systems of equations. – Cambridge: CambridgeUniversity Press, 1990.

Литература к главе 4 489[47] Trefethen L.N. Pseudospectra of linear operators // SIAM Review. 1997. –Vol. 39, No. 3. – P. 383–406.[48] Trefethen L.N., Bau D. III Numerical linear algebra. – Philadelphia: SIAM,1997.Дополнительная[49] Абаффи Й., Спедикато Э. Математические методы для линейных и нелинейныхуравнений. Проекционные ABS-алгоритмы. – Москва: Мир, 1996.[50] Арнольд В.И. Обыкновенные дифференциальные уравнения. – Москва: Наука,1984.[51] Бабенко К.И. Основы численного анализа. – Москва: Наука, 1986.[52] Ганшин Г.С. Методы оптимизации и решение уравнений. – Москва: Наука,1987.[53] Загускин В.Л. Справочник по численным методам решения алгебраическихи трансцендентных уравнений. – Москва: Физматгиз, 1960.[54] Красносельский М.А., Забрейко П.П. Геометрические методы нелинейногоанализа. – Москва: Наука, 1975.[55] Красносельский М.А., Перов А.И., Поволоцкий А.И., Забрейко П.П.Векторные поля на плоскости. – Москва: Физматлит, 1963.[56] Ниренберг Л. Лекции по нелинейному функциональному анализу. – Москва:Мир, 1977.[57] Опойцев В.И. Нелинейная системостатика. – Москва: Наука, 1986.[58] The NIST reference on constants, units, and uncertainty. –http://physics.nist.gov/cuu/Constants[59] Pseudospectra gateway. –http://web.comlab.ox.ac.uk/projects/pseudospectra/[60] Scilab — The Free Platform for Numerical Computation. http://www.scilab.org

Обозначения⇒логическая импликация⇐⇒ логическая равносильность&логическая конъюнкция, связка «и»→отображение множеств или предельный переход↦→правило сопоставления элементов при отображении←оператор присваивания в алгоритмах◦ знак композиции отображений∅пустое множествоx ∈ X элемент x принадлежит множеству Xx ∉ X элемент x не принадлежит множеству XX ∪Y объединение множеств X и YX ∩Y пересечение множеств X и YX \Y разность множеств X и YX ⊆ Y множество X есть подмножество множества YX ×Y прямое декартово произведение множеств X и YNRR +CIRR nC nмножество натуральных чиселмножество вещественных (действительных) чиселмножество неотрицательных вещественных чиселмножество комплексных чиселмножество интервалов вещественной оси Rмножество вещественных n-мерных векторовмножество комплексных n-векторов490

Обозначения 491IR n множество n-мерных интервальных векторовR m×nC m×nIR m×n≈izsgn a[a,b]]a,b[множество вещественных m×n-матрицмножество комплексных m×n-матрицмножество интервальных m×n-матрицприблизительно равноприблизительно меньше или равномнимая единицакомплексно сопряжённое к числу z ∈ Cзнак числа a ∈ Rинтервал с нижним концом a и верхним bоткрытый интервал с концами a и ba, infa левый конец интервала aa, supa правый конец интервала amid a середина интервала awid a ширина интервала adist метрика (расстояние)Dist мультиметрика (векторнозначное расстояние)f(x) ∣ b aразность значений функции f между x = a и x = bdom f область определения функции fran(f,X) область значений функции f на Xf ∠ (·) разделённая разность от функции fmin, max операции взятия минимума и максимумаint X топологическая внутренность множества XclX топологическое замыкание множества X∂X граница множества Xδ ijI‖·‖символ Кронекера, 1 при i = j и 0 иначеединичная матрица соответствующих размероввекторная или матричная норма〈·, ·〉 скалярное произведение векторовA ⊤матрица, транспонированная к матрице A

492 ОбозначенияA ∗A −1ρ(A)λ(A), λ i (A)σ(A), σ i (A)cond(A)rankAdetAK i (A,r)матрица, эрмитово сопряжённая к матрице Aматрица, обратная к матрице Aспектральный радиус матрицы Aсобственные числа матрицы Aсингулярные числа матрицы Aчисло обусловленности матрицы Aранг матрицы Aопределитель матрицы Aподпространство Крылова матрицы Adiag{z 1 ,...,z n } диагональная n×n-матрицас элементами z 1 ,...,z n по главной диагоналиlin{v 1 ,...,v n } линейная оболочка векторов v 2 , . . . , v nC p [a,b] класс функций, непрерывно дифференцируемыхвплоть до p-го порядка на интервале [a,b]L 2 [a,b]∑∏класс функций, интегрируемых с квадратомна интервале [a,b]символ суммы нескольких слагаемыхсимвол произведения нескольких сомножителейИнтервалы и другие интервальные величины (векторы, матрицыи др.) всюду в тексте обозначаются жирным математическим шрифтом,например, A, B, C, . . . , x, y, z, тогда как неинтервальные (точечные)величины никак специально не выделяются. Арифметическиеоперации с интервальными величинами — это операции классическойинтервальной арифметики IR (см. §1.4).Если не оговорено противное, под векторами (точечными или интервальными)всюду понимаются вектор-столбцы.Конец доказательства теоремы или предложения и конец примеравыделяются в тексте стандартным знаком «».Значительная часть описываемых в книге алгоритмов снабжаетсяпсевдокодами на неформальном алгоритмическом языке, в которомоператорные скобкиDO FOR . . . END DO означают оператор цикла со счётчиком,который задаётся после FOR,

Обозначения 493DO WHILE . . . END DO означают оператор цикла с предусловием,стоящим после WHILE,IF . . . THEN . . . END IF или IF . . . THEN . . . ELSE . . . END IFозначают условные операторы с условием, стоящим после IF.В циклах DO FOR ключевое слово TO означает увеличение счётчикаитераций от начального значения до конечного (положительный шаг),а ключевое слово DOWNTO — уменьшение счётчика итераций (отрицательныйшаг).

Краткийбиографический словарьАбель, Нильс Хенрик (Niels Henrik Abel, 1802–1829)— норвежский математик.Адамар, Жак Саломон (Jacques Salomon Hadamard, 1865–1963)— французский математик.Андронов, Александр Александрович (1901–1952)— советский физик и механик.Бабенко, Константин Иванович (1919–1987)— советский математик и механик.Банах, Стефан (Stefan Bahach, 1892–1945)— польский математик.Бауэр, Фридрих Людвиг (Friedrich Ludwig Bauer, род. 1924)— немецкий математик.Бельтрами, Эудженио (Eugenio Beltrami, 1835–1900)— итальянский математик.Бернштейн, Сергей Натанович (1880–1968)— российский и советский математик.Больцано, Бернард (Bernard Bolzano, 1781–1848)— чешский теолог, философ и математик.Брадис, Владимир Модестович (1890–1975)— русский и советский математик и педагог.Брауэр, Лёйтзен Эгберт Ян (Luitzen Egbertus Jan Brouwer, 1881–1966)— голландский математик.494

Обозначения 495Бюффон, Жорж-Луи Леклерк де (Georges-Louis Leclerc de Buffon,1707–1788) — французский естествоиспытатель.Валлис, Джон (John Wallis, 1616–1703)— английский математик.Вандермонд, Александр Теофиль (Alexandre Theophill Vandermonde,1735–1796) — французский музыкант и математик.Вейерштрасс, Карл Теодор (Karl Theodor Weierstrass, 1815–1897)— немецкий математик.Вейль, Герман (Hermann Weyl, 1885–1955)— немецкий и американский математик.Виет, Франсуа (François Viète, 1540–1603)— французский математик.Виландт, Хельмут (Helmut Wielandt, 1910–2001)— немецкий математик.Гаусс, Карл Фридрих (Carl Friedrich Gauss, 1777–1855)— немецкий математик, внёсший также фундаментальный вклад вчисленные методы, астрономию и геодезию.Гельфанд, Израиль Моисеевич (1913–2009)— советский математик. С 1989 года жил и работал в США.Герон Александрийский (др.-греч. H̺ων o Aλεξανδ̺ευς, около 1 в. н.э.)— греческий математик и механик.Гершгорин, Семён Аронович (1901–1933)— советский математик, живший и работавший в Ленинграде.Гёльдер, Людвиг Отто (Ludwig Otto Hölder, 1859–1937)— немецкий математик.Гивенс, Джеймс Уоллес (James Wallace Givens, 1910–1993)— американский математик.Гильберт, Давид (David Hilbert, 1862–1943)— немецкий математик.Грам, Йорген Педерсен (Jorgen Pedersen Gram, 1850–1916)— датский математик.Евклид, или Эвклид (др.-греч. Eυκλειδης, около 300 г. до н. э.)— древнегреческий математик.

496 ОбозначенияЖордан, Мари Энмон Камилл (Marie Ennemond Camille Jordan,1838–1922) — французский математик.Зейдель, Филипп Людвиг (Philipp Ludwig Seidel, 1821–1896)— немецкий астроном и математик.Йордан, Вильгельм (Wilhelm Jordan, 1842–1899)— немецкий геодезист. 3Канторович, Леонид Витальевич (1912–1986)— советский математик и экономист, известный пионерским вкладомв линейное программирование.Кнут, Дональд Эрвин (Donald Ervin Knuth, род. 1938)— американский математик и специалист по информатике ипрограммированию.Колмогоров, Андрей Николаевич (1903–1987)— советский математик, внёсший большой вклад во многие разделысовременной математики, от топологии до теории вероятностей.Котес, Роджер (Roger Cotes, 1682–1716)— английский математик.Коши, Огюстен Луи (Augustin Louis Cauchy, 1789–1857)— французский математик и механик.Кравчик, Рудольф (Krawczyk, Rudolf)— немецкий математик.Крамер, Габриэль (Gabriel Cramer, 1704–1752)— швейцарский математик.Красносельский, Марк Александрович (1920–1997)— советский и российский математик.Крейн, Селим Григорьевич (1917–1999)— советский и российский математик.Кронекер, Леопольд (Leopold Kronecker, 1823–1891)— немецкий математик.Крылов, Алексей Николаевич (1863–1945)— русский и советский математик, механик и кораблестроитель.Кублановская, Вера Николаевна (род. 1920)— советский и российский математик.3 Не следует путать его с Паскуалем Йорданом (Pascual Jordan, 1902–1980),немецким физиком и математиком.

Обозначения 497Кузьмин, Родион Осиевич (1891–1949)— русский и советский математик.Курант, Рихард (Richard Courant, 1888–1972)— немецкий и американский математик.Лагранж, Жозеф Луи (Joseph Louis Lagrange, 1736–1813)— французский математик и механик.Ландау, Эдмунд (Edmund Landau, 1877–1938)— немецкий математик.Ланцош, Корнелий (Cornelius Lanczos, 1893–1974)— американский физик и математик венгерского происхождения.Пьер-Симон, Лаплас (Pierre-Simon Laplace, 1749–1827)— французский математик, механик, физик и астроном.Лебег, Анри Леон (Henri Léon Lebesgue, 1875–1941)— французский математик.Лежандр, Адриен Мари (Adrien Marie Legendre, 1752–1833)— французский математик и механик.Лейбниц, Готфрид Вильгельм (Gottfried Wilhelm Leibnitz, 1646–1716)— немецкий философ, математик и физик, один из создателейдифференциального и интегрального исчисления.Липшиц, Рудольф (Rudolf Lipschitz, 1832–1903)— немецкий математик.Лобачевский, Николай Иванович (1792–1856)— русский математик, создатель неевклидовой геометрии.Локуциевский, Олег Вячеславович (1922–1990)— советский математик.Ляпунов, Александр Михайлович (1857–1918)— русский математик и механик, основоположник математическойтеории устойчивости.Марков, Андрей Андреевич (1856–1922)— русский математик.Марцинкевич, Юзеф (Józef Marcinkiewicz, 1910–1941)— польский математик.Микеладзе, Шалва Ефимович (1895–1976)— советский математик.

498 ОбозначенияМинковский, Герман (Hermann Minkowski, 1864–1909)— немецкий математик.Миранда, Карло (Carlo Miranda, 1912–1982)— итальянский математик.Нейман, Карл Готфрид (Karl Gottfried Neumann, 1832–1925)— немецкий математик.фон Нейман, Джон (John von Neumann, 1903–1957)— американский математик венгерского происхождения. 4Ньютон, Исаак (Isaac Newton, 1643–1727)— английский физик и математик, заложивший основыдифференциального и интегрального исчисления и механики.Островский, Александр (Alexander M. Ostrowski, 1893–1986)немецкий и швейцарский математик русского происхождения.Перрон, Оскар (Oskar Perron, 1880–1975)— немецкий математик.Пикар, Шарль Эмиль (Picard, Charles Émile, 1856–1941)— французский математик.Пирсон, Карл (Чарльз) (Karl (Charles) Pearson, 1857–1936)— английский математик, биолог и философ.Пойа (Полиа), Дъёрдь (иногда Джордж) (György Polya, 1887–1985)— венгерский и американский математик.Риман, Бернхард (Georg-Friedrich-Bernhard Riemann, 1826–1866)— немецкий математик, механик и физик.Ричардсон, Льюис Фрай (Lewis Fry Richardson, 1881–1953)— английский математик, физик и метеоролог.Родриг, Бенжамен Оленд (Benjamin Olinde Rodrigues, 1795–1851)— французский математик и банкир.Рунге, Карл Давид (Karl David Runge, 1856–1927)— немецкий физик и математик.Руффини, Паоло (Paolo Ruffini, 1765–1822)— итальянский математик.4 Его именем, в частности, назван спектральный признак устойчивости разностныхсхем.

Обозначения 499Рэлей, Джон Уильям (John William Reyleigh, 1842–1919)— английский физик.Самарский, Александр Андреевич (1919–2008)— советский и российский математик.Симпсон, Томас (Thomas Simpson, 1710–1761)— английский математик.Сонин Николай Яковлевич (1849–1915)— русский математик.Стеклов, Владимир Андреевич (1863–1926)— русский математик и механик.Стирлинг, Джеймс (James Stirling, 1692–1770)— шотландский математик.Таусски, Ольга (Olga Tausski, 1906–1995)— американский математик.Тейлор, Брук (Brook Taylor, 1685–1731)— английский математик.Тихонов, Андрей Николаевич (1906–1993)— советский математик.Улам, Станислав (Stanislaw Marcin Ulam, 1909–1984)американский математик польского происхождения.Фабер, Георг (Georg Faber, 1877–1966)— немецкий математик.Фаддеев, Дмитрий Константинович (1907–1989)— советский математик.Фаддеева, Вера Николаевна (1906–1983)— советский математик.Файк, (С.Т. Fike, –)— американский математик.Фарадей, Майкл (Michael Faraday, 1791–1867)— английский физик и химик.Федоренко, Радий Петрович (1930–2009)— советский математик.Ферма, Пьер (Pierre Fermat, 1601–1665)— французский математик.

500 ОбозначенияФишер, Эрнст Сигизмунд (Ernst Sigismund Fischer, 1875–1954)— немецкий математик. 5Фробениус, Фердинанд Георг (Ferdinand Georg Frobenius, 1849–1917)— немецкий математик.Фрэнсис, Джон (John G.F. Francis, род. 1934)— английский математик и программист.Хаусдорф, Феликс (Felix Hausdorff, 1868–1942)— немецкий математик.Хаусхолдер, Элстон (Alston Scott Householder, 1904–1993)— американский математик.Хессенберг, Карл Адольф (Karl Adolf Hessenberg, 1904–1959)— немецкий математик и инженер.Хестенс, Магнус (Magnus R. Hestenes, 1906–1991)— американский математик.Холесский, Андре-Луи (André-Louis Cholesky, 1875–1918)— французский геодезист и математик. 6Хопф, Хайнц (Heinz Hopf, 1896–1971)— немецкий и швейцарский математик.Хоффман, Алан Джером (Alan Jerome Hoffman, род. 1924)— американский математик. 7Чебышёв, Пафнутий Львович (1821–1894)— русский математик и механик, внёсший основополагающий вклад,в частности, в теорию приближений и теорию вероятностей.Шёнберг, Исаак Якоб (Isaac Jacob Schönberg, 1903–1990)румынский и американский математик.Шмидт, Эрхард (Erhard Schmidt, 1876–1959)— немецкий математик.Шрёдер, Иоганн (Johann Schröder, 1925–2007)— немецкий математик.5 К этому же времени относится жизнь и деятельность Рональда Э. Фишера(1890–1962), английского статистика, с именем которого связаны важные результатыматематической статистики.6 В русской научной литературе его фамилия нередко транслитерируется как«Холецкий» или даже «Халецкий».7 Иногда его фамилию транслитерируют как «Гоффман».

Обозначения 501Штифель, Эдуард (Eduard L. Stiefel, 1909–1978)швейцарский математик.Шур, Исай (Issai Schur, 1875–1941)– немецкий и израильский математик.Эйлер, Леонард (Leonhard Euler, 1707–1783)— российский математик швейцарского происхождения, внёсшийфундаментальный вклад практически во все разделы математики.Эрмит, Шарль (Charles Hermite, 1822–1901)— французский математик.Як´оби, Карл Густав (Carl Gustav Jacobi, 1804–1851)— немецкий математик.Яненко, Николай Николаевич (1921–1984)— советский математик и механик.

Предметный указательε-решения, 441p-ранговое приближениематрицы, 257абсолютная погрешность, 11алгебраическая степень точности,145алгоритмическоедифференцирование, 99,118аналитическая функция, 82арифметика дифференциальная,118автоматическоедифференцирование, 99,118биортогональность, 210целевая функция, 359чебышёвская метрика, 43чебышёвская норма, 226чебышёвская сетка, 74чебышёвские узлы, 74численное дифференцирование,99число обусловленности, 262дефект сплайна, 86диагонализуемая матрица, 390диагональное преобладание, 222дифференциальная арифметика,118дифференцированиеалгоритмическое, 99,118дифференцированиеавтоматическое, 99, 118дифференцирование численное,99дифференцирование символьное,99длина вектора, 226доминирующее собственноезначение, 404доминирующий собственныйвектор, 404естественный сплайн, 95евклидова норма, 226экспоненциальная трудоёмкость,34экстраполяция, 67экстремум глобальный, 359экстремум локальный, 359эквивалентные нормы, 230, 243элементарная матрицаперестановок, 284энергетическая норма, 245энергии функционал, 357эрмитова интерполяция, 76формула Ньютона-Лейбница, 142формула Родрига, 135формула Симпсона, 152формула кубатурная, 144формула квадратурная, 144формула парабол, 152формула прямоугольников, 146формула трапеций, 149502

Предметный указатель 503формулы Гаусса, 166формулы Лобатто, 180формулы Маркова, 180формулы Ньютона-Котеса, 146формулы численногодифференцирования,101, 103функционал энергии, 357главный элемент, 283гёльдерова норма, 226характеристическое уравнениематрицы, 208характеризация Бека, 470характеризация Оеттли-Прагера,470хессенбергова форма, 402индуцированная норма, 240интегральная метрика, 43интерполирование, 44интерполяционная квадратурнаяформула, 157интерполяция эрмитова, 76интерполянт, 44интервальная арифметика, 23интервальное расширение, 27итерационные методы, 274каноническая форма СЛАУ, 272каноническая форма Самарского,374классическая интервальнаяарифметика, 24коэффициент чувствительности,20коэффициенты Фурье, 127коэффициенты перекоса, 394коллинеарные векторы, 202комплексификация, 249конечные методы, 274кратность узла, 75круги Гершгорина, 398квадратурная интерполяционнаяформула, 157линейная интерполяция, 49линейная оболочка, 202линейная задача о наименьшихквадратах, 385максимум-норма, 226машинная интервальнаяарифметика, 37матрица Гильберта, 131, 267матрица Грама, 127матрица Уилкинсона, 396матрица Вандермонда, 49, 268матрица диагонализуемая, 390матрица наклонов интервальная,478матрица недефектная, 390матрица неособенная, 204матрица неразложимая, 224матрица особенная, 204матрица отражения, 302матрица перестановок, 286матрица почти треугольная, 402матрица предобуславливающая,334матрица простой структуры, 390матрица разложимая, 224матрица регулярная, 204матрица скалярная, 336матрица строго нижняятреугольная, 341матрица строго регулярная, 288матрица строго верхняятреугольная, 341матрица транспозиции, 284матрица трёхдиагональная, 317матрица вращения, 310матричная норма, 235матричный ряд Неймана, 253мера диагональногопреобладания, 348метод Эйлера, 372метод Гаусса, 277метод Гаусса-Зейделя, 345

504 Предметный указательметод Герона, 463метод Хаусхолдера, 306метод Холесского, 296метод Шульца, 380метод Якоби, 340метод градиентного спуска, 359метод квадратного корня, 296метод минимальных невязок, 367метод наискорейшего спуска, 363метод отражений, 306метод прогонки, 320метод простой итерации, 336метод релаксации, 351метод сопряжённых градиентов,371метод установления, 372метод ветвлений и отсечений, 483метрика, 43, 119множитель Холесского, 290мультиметрика, 461насыщение численного метода, 95натуральный сплайн, 95недефектная матрица, 390нелинейная интерполяция, 49ненасыщаемый метод, 95, 180непрерывность по Липшицу, 21,84неравенство Коши-Буняковского,226неравенство Минковского, 226нестационарный итерационныйпроцесс, 324невязка, 324, 349норма, 225норма энергетическая, 245норма индуцированная, 240норма операторная, 240норма подчинённая, 240нормальная система уравнений,385обобщённая степень, 62обратные степенные итерации,413оператор Кравчика, 480оператор Ньютона интервальный,475операторная форма СЛАУ, 274операторная норма, 240ортогонализация Грама-Шмидта,133, 313основная теорема интервальнойарифметики, 28остаточный член квадратурнойформулы, 144относительная погрешность, 12отношение Рэлея, 399почти решения, 441подчинённая норма, 240подпространства Крылова, 315погрешность абсолютная, 11погрешность относительная, 12поле значений матрицы, 400полином интерполяционный, 48полином интерполяционныйЛагранжа, 52полином интерполяционныйНьютона, 61полиномы Чебышёва, 68полиномы Лежандра, 134полиномиальная трудоёмкость, 34порядок аппроксимации, 106порядок точности формулы, 106,181правило Рунге, 193предобуславливание, 334предобуславливатель, 334пример Бернштейна, 82пример Рунге, 82принцип релаксации, 349принцип вариационный, 355приведённые полиномыЧебышёва, 72признак Адамара, 223пространство строго

Предметный указатель 505нормированное, 123прямые методы, 274псевдометрика, 44псевдорасстояние, 44расстояние, 43, 119расщепление матрицы, 335равномерная метрика, 43разделённая разность, 52разложение Холесского, 290разложение Шура, 213разложение сингулярное, 220разностные уравнениятрёхточечные, 319разность назад, 101разность вперёд, 101рекуррентный вид системы, 326,434рекуррентный вид уравнения, 434ряд Фурье, 127сдвиг спектра, 414сетка, 44, 144схема единственного деления, 279сходимость по норме, 230, 243сходимость поэлементная, 244символьное дифференцирование,99сингулярные числа, 214сингулярные векторы, 214система трёхдиагональная, 317скалярные произведения, 202след матрицы, 419собственный вектор, 385собственное значение, 385спектр матрицы, 208спектральная норма, 242спектральный радиус, 247сплайн, 86среднеквадратичная метрика, 43стационарный итерационныйпроцесс, 324степенной метод, 407степень сплайна, 86строго нормированноепространство, 123строго регулярная матрица, 288субдистрибутивность, 25сжатие, 460сжимающее отображение, 460шаблон, 103теорема Абеля-Руффини, 388теорема Банаха о неподвижнойточке, 461теорема Бауэра-Файка, 390теорема Больцано-Коши, 456теорема Брауэра о неподвиднойточке, 471теорема Экарта-Янга, 258теорема Фабера, 84теорема Гершгорина, 398теорема Леви-Деспланка, 224теорема Марцинкевича, 85теорема Миранды, 457теорема Островского, 388теорема Островского-Райха, 353теорема Самарского, 376теорема Стеклова-Пойа, 185теорема Шрёдера о неподвижнойточке, 462теорема Таусски, 224теорема Вейерштрасса, 81теорема Вейля, 401теорема Виландта-Хофмана, 427теорема о сингулярномразложении, 220тест существования решения, 474треугольное разложение, 282тригонометрические полиномы,47трёхдиагональная матрица, 94узлы сплайна, 86ведущая подматрица, 203ведущий элемент, 282ведущий минор, 203векторная норма, 225

506 Предметный указательвырожденный интервал, 23задача некорректная, 19, 117задача о наименьших квадратахлинейная, 385задача приближения функции,121задача сглаживания, 121задача вычислительнокорректная, 437значащая цифра, 12P-сжатие, 4611-норма, 226LDL-разложение, 296LU-разложение, 282O-большое, 95QR-алгоритм, 423, 426QR-разложение, 300