Springer-Lehrbuch - tiera.ru

Vorwort zur fünften AuflageAuch diese Neuauflage wurde zum Anlaß genommen, den vorliegendenText zu verbessern und um neue Abschnitte zu ergänzen.Schon in den früheren Auflagen wurde die Mehrzielmethodeals eine der leistungsfähigsten Methoden zur Lösung von Randwertproblemenfür gewöhnliche Differentialgleichungen behandelt.In einem neuen Abschnitt 7.3.8 werden jetzt neuere fortgeschritteneTechniken beschrieben, die die Effizienz dieser Methodeweiter steigern, wenn man mit ihr Mehrpunktrandwertproblemebehandeln will, bei denen Unstetigkeiten der Lösung zugelassensind. Solche Probleme treten bei Differentialgleichungen auf, dieoptimale Steuerungen beschreiben, in denen sich die Steuerung inAbhängigkeit von Schaltfunktionen ändert.Krylovraum-Methoden gehören mittlerweile zu den wichtigsteniterativen Methoden zur Lösung sehr großer linearer Gleichungssysteme.Ihre Beschreibung in Abschnitt 8.7 wird um einenneuen Unterabschnitt 8.7.4 ergänzt, der sich mit dem Bi-CG Verfahrenbefaßt und dessen Stabilisierung, dem Bi-CGSTAB Verfahren,das speziell für die Lösung von Gleichungen mit einernichtsymmetrischen Matrix wichtig ist. Schließlich werden jetztalle Krylovraum-Methoden in einen detaillierteren Vergleich deriterativen Verfahren in Abschnitt 8.10 einbezogen.An der Erstellung der Neuauflage haben viele geholfen. Besondersdanken wir Herrn Dr. R. Callies für seine Hilfe beimZustandekommen des neuen Abschnitts 7.3.8, in den seine Ideenund Resultate eingeflossen sind. Die Herren Dr. M. Preiß undDr. M. Wenzel haben sich mit der kritischen Lektüre nicht nurder neuen Abschnitte verdient gemacht. Herrn Professor SadeghJokar von der Universität Teheran danken wir für Hinweise auf(gewissermaßen internationale) Druckfehler in den früheren deutschenwie englischen Auflagen.

VIVorwort zur fünften AuflageSchließlich danken wir den Mitarbeiterinnen und Mitarbeiterndes Springer-Verlages für die mittlerweile gewohnte gute Zusammenarbeit,die zum reibungslosen Entstehen auch dieser Neuauflageführte.Würzburg, MünchenJanuar 2005J. StoerR. Bulirsch

Inhaltsverzeichnis6 Eigenwertprobleme . . . . . . . . . . . . . 16.0 Einführung . . . . . . . . . . . . . . . . . 16.1 Elementare Eigenschaften von Eigenwerten . . . 36.2 Die Jordansche Normalform einer Matrix . . . . 66.3 Die Frobeniussche Normalform einer Matrix . . . 126.4 Die Schursche Normalform einer Matrix.Hermitesche und normale Matrizen, singuläre Wertevon Matrizen . . . . . . . . . . . . . . . . 176.5 Reduktion von Matrizen auf einfachere Gestalt . . 246.5.1 Reduktion einer Hermiteschen Matrix aufTridiagonalgestalt. Das Verfahren von Householder 266.5.2 Reduktion einer Hermiteschen Matrixauf Tridiagonalgestalt bzw. Diagonalgestalt:Die Verfahren von Givens und Jacobi . . . . . . 326.5.3 Reduktion einer Hermiteschen Matrix aufTridiagonalgestalt. Das Verfahren von Lanczos . . 376.5.4 Reduktion auf Hessenberg-Gestalt . . . . . . . 416.6 Methoden zur Bestimmung der Eigenwerteund Eigenvektoren . . . . . . . . . . . . . . 446.6.1 Berechnung der Eigenwerte einer HermiteschenTridiagonalmatrix . . . . . . . . . . . . . . 456.6.2 Berechnung der Eigenwerte einer Hessenbergmatrix.Die Methode von Hyman . . . . . . . . . . . 466.6.3 Die einfache Vektoriteration und die inverse Iterationvon Wielandt . . . . . . . . . . . . . . . . 486.6.4 Das LR- und das QR-Verfahren . . . . . . . . . 566.6.5 Die praktische Durchführung des QR-Verfahrens . 656.7 Berechnung der singulären Werte einer Matrix . . 786.8 Allgemeine Eigenwertprobleme . . . . . . . . . 826.9 Eigenwertabschätzungen . . . . . . . . . . . . 84

VIIIInhaltsverzeichnisÜbungsaufgaben zu Kapitel 6 . . . . . . . . . 98Literatur zu Kapitel 6 . . . . . . . . . . . . . 1057 Gewöhnliche Differentialgleichungen . . . . . 1097.0 Einleitung . . . . . . . . . . . . . . . . . . 1097.1 Einige Sätze aus der Theorie der gewöhnlichenDifferentialgleichungen . . . . . . . . . . . . 1117.2 Anfangswertprobleme . . . . . . . . . . . . . 1157.2.1 Einschrittverfahren. Grundbegriffe . . . . . . . 1157.2.2 Die Konvergenz von Einschrittverfahren . . . . . 1217.2.3 Asymptotische Entwicklungen für den globalenDiskretisierungsfehler bei Einschrittverfahren . . . 1257.2.4 Rundungsfehlereinfluß bei Einschrittverfahren . . 1287.2.5 Einschrittverfahren in der Praxis . . . . . . . . 1307.2.6 Beispiele für Mehrschrittverfahren . . . . . . . 1377.2.7 Allgemeine Mehrschrittverfahren . . . . . . . . 1417.2.8 Ein Beispiel . . . . . . . . . . . . . . . . . 1447.2.9 Lineare Differenzengleichungen . . . . . . . . 1477.2.10 Die Konvergenz von Mehrschrittverfahren . . . . 1497.2.11 Lineare Mehrschrittverfahren . . . . . . . . . . 1547.2.12 Asymptotische Entwicklungen des globalenDiskretisierungsfehlers für lineare Mehrschrittverfahren 1597.2.13 Mehrschrittverfahren in der Praxis . . . . . . . 1637.2.14 Extrapolationsverfahren zur Lösungdes Anfangswertproblems . . . . . . . . . . . 1687.2.15 Vergleich der Verfahren zur Lösungvon Anfangswertproblemen . . . . . . . . . . 1707.2.16 Steife Differentialgleichungen . . . . . . . . . 1727.2.17 Implizite Differentialgleichungen,Differential-Algebraische Gleichungen . . . . . . 1797.2.18 Behandlung von Unstetigkeitenin Differentialgleichungen . . . . . . . . . . . 1837.2.19 Sensitivitätsanalyse bei Anfangswertproblemen . . 1857.3 Randwertprobleme . . . . . . . . . . . . . . 1877.3.0 Einleitung . . . . . . . . . . . . . . . . . . 1877.3.1 Das einfache Schießverfahren . . . . . . . . . 1907.3.2 Das einfache Schießverfahrenbei linearen Randwertproblemen . . . . . . . . 1967.3.3 Ein Existenz- und Eindeutigkeitssatzfür die Lösung von Randwertproblemen . . . . . 198

InhaltsverzeichnisIX7.3.4 Schwierigkeiten bei der Durchführungdes einfachen Schießverfahrens . . . . . . . . . 2007.3.5 Die Mehrzielmethode . . . . . . . . . . . . . 2057.3.6 Hinweise zur praktischen Realisierungder Mehrzielmethode . . . . . . . . . . . . . 2097.3.7 Ein Beispiel: Optimales Bremsmanövereines Raumfahrzeugs in der Erdatmosphäre(Re-entry Problem) . . . . . . . . . . . . . . 2147.3.8 Zur Realisierung der Mehrzielmethode –fortgeschrittene Techniken . . . . . . . . . . . 2217.3.9 Der Grenzfall m →∞der Mehrzielmethode(Allgemeines Newton-Verfahren, Quasilinearisierung) 2267.4 Differenzenverfahren . . . . . . . . . . . . . 2317.5 Variationsmethoden . . . . . . . . . . . . . . 2367.6 Vergleich der Methoden zur Lösungvon Randwertproblemen für gewöhnlicheDifferentialgleichungen . . . . . . . . . . . . 2467.7 Variationsverfahren für partielleDifferentialgleichungen.Die „Finite-Element“-Methode . . . . . . . . . 250Übungsaufgaben zu Kapitel 7 . . . . . . . . . 257Literatur zu Kapitel 7 . . . . . . . . . . . . . 2648 Iterationsverfahren zur Lösung großer linearerGleichungssysteme, einige weitere Verfahren . . 2698.0 Einleitung . . . . . . . . . . . . . . . . . . 2698.1 Allgemeine Ansätze für die Gewinnungvon Iterationsverfahren . . . . . . . . . . . . 2718.2 Konvergenzsätze . . . . . . . . . . . . . . . 2748.3 Relaxationsverfahren . . . . . . . . . . . . . 2808.4 Anwendungen auf Differenzenverfahren –ein Beispiel . . . . . . . . . . . . . . . . . 2908.5 Block-Iterationsverfahren . . . . . . . . . . . 2968.6 Das ADI-Verfahren von Peaceman-Rachford . . . 2998.7 Krylovraum-Methoden zur Lösunglinearer Gleichungen . . . . . . . . . . . . . 3098.7.1 Das cg-Verfahren von Hestenes und Stiefel . . . 3118.7.2 Der GMRES-Algorithmus . . . . . . . . . . . 3208.7.3 Der Biorthogonalisierungsalgorithmus von Lanczosund das QMR-Verfahren . . . . . . . . . . . 334

XInhaltsverzeichnis8.7.4 Der Bi-CG und der Bi-CGSTAB Algorithmus . . 3398.8 Der Algorithmus von Buneman und Fouriermethodenzur Lösung der diskretisierten Poissongleichung . 3458.9 Mehrgitterverfahren . . . . . . . . . . . . . . 3568.10 Vergleich der Iterationsverfahren . . . . . . . . 367Übungsaufgaben zu Kapitel 8 . . . . . . . . . 375Literatur zu Kapitel 8 . . . . . . . . . . . . . 383Namen- und Sachverzeichnis . . . . . . . . . . . . 387

6 Eigenwertprobleme6.0 EinführungViele praktische Probleme in den Ingenieur- und Naturwissenschaften führenauf Eigenwertprobleme. Zu diesen Problemen gehört typischerweise einüberbestimmtes Gleichungssystem, etwa von n + 1 Gleichungen für n Unbekannte,ξ 1 ,...,ξ n , der Form⎡f 1 (ξ 1 ,...,ξ n ; λ)⎤(6.0.1) F(x; λ) :≡ ⎣.f n+1 (ξ 1 ,...,ξ n ; λ)⎦ = 0,in denen die Funktionen f i von einem weiteren Parameter λ abhängen.Gewöhnlich besitzt (6.0.1) nur für spezielle Werte λ = λ i , i = 1, 2,..., dieses Parameters Lösungen x = [ξ 1 ,...,ξ n ], die natürlich von λ iabhängen, x = x(λ i ). Diese Werte λ i heißen Eigenwerte des Eigenwertproblems(6.0.1), und eine zugehörige Lösung x(λ i ) Eigenlösung zum Eigenwertλ i .In dieser Allgemeinheit kommen Eigenwertprobleme z.B. bei Randwertproblemenfür Differentialgleichungen vor (s. Abschnitt 7.3.0). In diesemAbschnitt betrachten wir nur die speziellere Klasse der algebraischenEigenwertprobleme, bei denen die Funktionen f i , i = 1, ..., n, linear vonx und linear von λ abhängen und die die folgende Form besitzen: Zu zweireellen oder komplexen n × n-Matrizen A und B sind Zahlen λ ∈ C so zubestimmen, so daß das überbestimmte Gleichungssystem von n + 1 Gleichungen(6.0.2)(A − λB)x = 0,x H x = 1,eine Lösung x ∈ C n besitzt. Dies ist äquivalent damit, Zahlen λ ∈ C so zubestimmen, daß das homogene lineare Gleichungssystem

2 6 Eigenwertprobleme(6.0.3) Ax = λBxeine nichttriviale Lösung x ∈ C n , x ≠ 0, besitzt.Für beliebige Matrizen A und B ist dieses Problem noch sehr allgemeinund es wird nur kurz in Abschnitt 6.8 behandelt. Kapitel 6 beschäftigt sichhauptsächlich mit dem Sonderfall B := I von (6.0.3). Hier sind zu einern × n-Matrix A Zahlen λ ∈ C (die Eigenwerte von A) und nichttrivialeVektoren x ∈ C n , x ≠ 0 (die Eigenvektoren von A zum Eigenwert λ), zubestimmen, so daß(6.0.4) Ax = λx, x ≠ 0.In den Abschnitten 6.1–6.4 werden die wichtigsten theoretischen Ergebnisseüber das Eigenwertproblem (6.0.4) zu einer beliebigen n×n-Matrix Azusammengestellt. So beschreiben wir verschiedene Normalformen von A,die mit den Eigenwerten von A verknüpft sind, weitere Resultate über dasEigenwertproblem für wichtige spezielle Klassen von Matrizen A (z.B. fürHermitesche und normale Matrizen), sowie elementare Resultate über diesingulären Werte σ i einer allgemeinen m ×n-Matrix, die als die Eigenwerteσ 2ivon A H A bzw. AA H definiert sind.Fast alle Verfahren, um die Eigenwerte und Eigenvektoren einer MatrixA zu bestimmen, beginnen mit einem vorbereitenden Reduktionsschritt,in dem die Matrix A in eine zu A „ähnliche“, aber einfacher strukturierteMatrix B mit den gleichen Eigenwerten transformiert wird (B = (b i,k )ist entweder eine Tridiagonalmatrix, b i,k = 0für |i − k| > 1, oder eineHessenbergmatrix, b i,k = 0, für i ≥ k + 2), so daß die Standardverfahrenzur Berechnung der Eigenwerte und Eigenvektoren von B weniger Rechenoperationenerfordern als bei ihrer Anwendung auf A. Eine Reihe solcherReduktionsmethoden werden in Abschnitt 6.5 beschrieben.Die Hauptalgorithmen zur Berechnung von Eigenwerten und Eigenvektorenwerden in Abschnitt 6.6 dargestellt, darunter der LR-Algorithmus vonRutishauser (Abschnitt 6.6.4) und der leistungsfähige QR-Algorithmus vonFrancis (Abschnitte 6.6.4 und 6.6.5). Eng verwandt mit dem QR-Verfahrenist ein Verfahren von Golub und Reinsch zur Berechnung der singulärenWerte von Matrizen, es wird in Abschnitt 6.7 beschrieben. Nach einerkurzen Behandlung von allgemeinen Eigenwertproblemen (6.0.3) in Abschnitt6.8 schließt das Kapitel mit der Beschreibung einer Reihe nützlicherAbschätzungen für Eigenwerte (Abschnitt 6.9). Diese können dazu dienen,um die Sensitivität der Eigenwerte bei kleinen Änderungen der Matrix zustudieren.Eine detaillierte Beschreibung aller numerischen Aspekte von algebraischenEigenwertproblemen findet man in der ausgezeichneten Monographievon Wilkinson (1965), und bei Golub und Van Loan (1983); das

6.1 Elementare Eigenschaften von Eigenwerten 3Eigenwertproblem für symmetrische Matrizen wird bei Parlett (1980) behandelt.ALGOL-Programme für alle Verfahren dieses Kapitels findet manin Wilkinson und Reinsch (1971), FORTRAN-Programme im EISPACKGuide von Smith et al. (1976) und dessen Fortsetzungsband von Garbow etal. (1977). Diese Verfahren sind auch in die großen Programmsysteme wieMATLAB, MATHEMATICA und MAPLE eingegangen und stehen dort insehr benutzerfreundlicher Form zur Verfügung.6.1 Elementare Eigenschaften von EigenwertenIm folgenden studieren wir das Problem (6.0.4), d.h. das Problem, zu einergegebenen n × n-Matrix A eine Zahl λ ∈ C so zu bestimmen, daß dashomogene lineare Gleichungssystem(6.1.1) (A − λI)x = 0eine nichttriviale Lösung x ≠ 0 besitzt.(6.1.2) Def.: Eine Zahl λ ∈ C heißt Eigenwert der Matrix A, wenn eseinen Vektor x ≠ 0 gibt mit Ax = λx. Jeder solche Vektor heißt (Rechts-)Eigenvektor von A zum Eigenwert λ. Die Menge aller Eigenwerte heißt dasSpektrum von A.Die MengeL(λ) :={x|(A − λI)x = 0}bildet einen linearen Teilraum des C n der Dimensionρ(λ) = n − Rang (A − λI),und eine Zahl λ ∈ C ist genau dann Eigenwert von A, wenn L(λ) ≠ 0, d.h.wenn ρ(λ) > 0 gilt und deshalb A − λI singulär ist:det(A − λI) = 0.Man sieht leicht, daß ϕ(µ) := det(A − µI) ein Polynom n-ten Gradesfolgender Form istEs heißt dasϕ(µ) = (−1) n (µ n + α n−1 µ n−1 +···+α 0 ).(6.1.3) charakteristische Polynomder Matrix A. Seine Nullstellen sind genau die Eigenwerte von A. Sind λ 1 ,..., λ k die verschiedenen Nullstellen von ϕ(µ), soläßt sich ϕ in der Form

4 6 Eigenwertproblemeϕ(µ) = (−1) n (µ − λ 1 ) σ 1(µ − λ 2 ) σ2 ···(µ − λ k ) σ kdarstellen. Die Zahl σ i , die wir auch mit σ(λ i ) = σ i bezeichnen, heißt dieVielfachheit des Eigenwerts λ i , genauer, seine algebraische Vielfachheit.Die Eigenvektoren zum Eigenwert λ sind nicht eindeutig bestimmt, zusammenmit dem Nullvektor füllen sie gerade den linearen Teilraum L(λ)des C n aus. Es gilt also(6.1.4) Mit x und y ist auch jede Linearkombination αx + βy ≠ 0 wiederEigenvektor zum Eigenwert λ der Matrix A.Die Zahl ρ(λ) = dim L(λ) gibt die Maximalzahl linear unabhängigerEigenvektoren zum Eigenwert λ an. Sie heißt deshalb auch diegeometrische Vielfachheit des Eigenwertes λ.Man verwechsle sie nicht mit der algebraischen Vielfachheit σ(λ).Beispiele: Die n-reihige Diagonalmatrix D := λI besitzt das charakteristische Polynomϕ(µ) = det(D − µI) = (λ − µ) n . λ ist einziger Eigenwert und jeder Vektorx ∈ C n , x ≠ 0, ist Eigenvektor, L(λ) = C n , und es gilt σ(λ) = n = ρ(λ). Dien-reihige Matrix(6.1.5) C n (λ) :=⎢⎣⎡λ 1 0λ ·· ·· ·· 10 λbesitzt ebenfalls das charakteristische Polynom ϕ(µ) = (λ − µ) n und λ als einzigenEigenwert mit σ(λ) = n. Jedoch ist jetzt der Rang von C n (λ) − λI gleich n − 1,also ρ(λ) = n − (n − 1) = 1, sowieL(λ) ={αe 1 |α ∈ C},⎤⎥⎦e 1 = (1, 0,...,0) T = 1. Achsenvektor.An weiteren einfachen Eigenschaften von Eigenwerten notieren wir:(6.1.6) Ist p(µ) = γ 0 + γ 1 µ +···+γ m µ m ein beliebiges Polynom unddefiniert man für eine n × n-Matrix A die Matrix p(A) durchp(A) := γ 0 I + γ 1 A +···+γ m A m ,so besitzt die Matrix p(A) den Eigenvektor x zum Eigenwert p(λ), wennλ Eigenwert von A und x zugehöriger Eigenvektor ist. Insbesondere besitztα A den Eigenwert αλ, A + τ I den Eigenwert λ + τ. Ist A zusätzlich nichtsingulär, so besitzt A −1 den Eigenwert λ −1 zum Eigenvektor x.Beweis: Aus Ax = λx folgt sofort A 2 x = A(Ax) = λAx = λ 2 x undallgemein A i x = λ i x. Also gilt

6.1 Elementare Eigenschaften von Eigenwerten 5p(A)x = (γ 0 I + γ 1 A +···+γ m A m )x= (γ 0 + γ 1 λ +···+γ m λ m )x = p(λ)x.Schließlich ist Ax = λx für nicht singuläres A mit A −1 x = λ −1 x äquivalent.⊓⊔Ferner folgt ausdet(A − λI) = det((A − λI) T ) = det(A T − λI)det(A H − ¯λI) = det((A − λI) H ) = det ((A − λI) T ) = det(A − λI)die Aussage:(6.1.7) Wenn λ Eigenwert von A ist, so ist λ auch Eigenwert von A T und¯λ Eigenwert von A H .Zwischen den zugehörigen Eigenvektoren x, y, z,Ax = λx,A T y = λy,A H z = ¯λzgilt wegen A H = Ā T lediglich die triviale Beziehung ȳ = z. Insbesonderegibt es zwischen x und y bzw. x und z i.a. keine einfache Beziehung. Wegeny T = z H und z H A = λz H bezeichnet man z H bzw. y T auch als einen zumEigenwert λ von A gehörigen Linkseigenvektor.Ist ferner x ≠ 0 Eigenvektor zum Eigenwert λ, Ax = λx, T einenichtsinguläre n × n-Matrix, und definiert man y := T −1 x, so giltT −1 AT y = T −1 Ax = λT −1 x = λy, y ≠ 0,d.h. y ist Eigenvektor der transformierten MatrixB := T −1 ATzum selben Eigenwert λ. Solche Transformationen nennt manÄhnlichkeitstransformationen,und B heißt ähnlich zu A, A ∼ B. Man zeigt leicht, daß die Ähnlichkeitvon Matrizen eine Äquivalenzrelation ist, d.h. es giltA ∼ A,A ∼ B ⇒ B ∼ A,A ∼ B, B ∼ C ⇒ A ∼ C.Ähnliche Matrizen besitzen nicht nur dieselben Eigenwerte λ, sondern auchdasselbe charakteristische Polynom. Es ist nämlich

6 6 Eigenwertproblemedet(T −1 AT − µI) = det(T −1 (A − µI)T)= det(T −1 ) det(A − µI) det(T)= det(A − µI).Darüber hinaus bleiben die Zahlen ρ(λ), σ(λ) erhalten: Für σ(λ) folgt diesaus der Invarianz des charakteristischen Polynoms, für ρ(λ) daraus, daßwegen der Nichtsingularität von T die Vektoren x 1 , ..., x ρ genau dannlinear unabhängig sind, wenn die zugehörigen Vektoren y i := T −1 x i , i = 1,..., ρ, linear unabhängig sind.Bei den wichtigsten Verfahren zur Berechnung von Eigenwerten undEigenvektoren einer Matrix A werden zunächst eine Reihe von ÄhnlichkeitstransformationenvorgenommenA (0) := A,A (i) := T −1iA (i−1) T i , i = 1, 2,...,um die Matrix A schrittweise in eine Matrix einfacherer Gestalt zu transformieren,deren Eigenwerte und Eigenvektoren man leichter bestimmenkann.6.2 Die Jordansche Normalform einer MatrixEs wurde bereits im letzten Abschnitt bemerkt, daß für einen Eigenwert λeiner n × n-Matrix A die Vielfachheit σ(λ) von λ als Nullstelle des charakteristischenPolynoms nicht mit ρ(λ), der Maximalzahl linear unabhängigerzu λ gehöriger Eigenvektoren, übereinstimmen muß. Man kann jedoch folgendeUngleichung zeigen(6.2.1) 1 ≤ ρ(λ) ≤ σ(λ) ≤ n.Beweis: Wir zeigen nur den nichttrivialen Teil ρ(λ) ≤ σ(λ). Sei ρ := ρ(λ)und seien x 1 , ..., x ρ linear unabhängige zu λ gehörige Eigenvektoren,Ax i = λx i ,i = 1,...,ρ.Wir wählen n −ρ weitere linear unabhängige Vektoren x i ∈ C n , i = ρ + 1,..., n, so daß die x i , i = 1, ..., n, eine Basis des C n bilden. Dann ist diequadratische Matrix T := (x 1 ,...,x n ) mit den Spalten x i nichtsingulär. Füri = 1, ..., ρ gilt nun wegen Te i = x i , e i = T −1 x i ,T −1 AT besitzt daher die GestaltT −1 ATe i = T −1 Ax i = λT −1 x i = λe i .

6.2 Die Jordansche Normalform einer Matrix 7⎡⎤λ 0 ∗ ··· ∗. ... .. . ..0 λ ∗ ··· ∗[ ]T −1 AT =λI B= ,⎢∗ ··· ∗0 C⎥⎣0 . .⎦} {{ }∗ ··· ∗ρund es folgt für das charakteristische Polynom von A bzw. T −1 ATϕ(µ) = det(A − µI) = det(T −1 AT − µI) = (λ − µ) ρ · det(C − µI).ϕ(µ) ist durch (λ − µ) ρ teilbar, also λ mindestens eine ρ-fache Nullstellevon ϕ.⊓⊔Im Beispiel des letzten Abschnitts wurden bereits die ν × ν-Matrizen[s. (6.1.5)]⎡ ⎤λ 1 0· ·C ν (λ) = ⎢ · · ⎥⎣ ⎦· 10 λeingeführt und gezeigt, daß für den (einzigen) Eigenwert λ dieser Matrizengilt 1 = ρ(λ) < σ(λ) = ν (sofern ν>1). Einziger Eigenvektor (bis aufskalare Vielfache) ist e 1 und für die Achsenvektoren e i gilt allgemein(6.2.2)(C ν (λ) − λI)e i = e i−1 , i = ν,ν − 1,...,2,(C ν (λ) − λI)e 1 = 0.Setzt man formal e k := 0für k ≤ 0, so folgt sofort für alle i, j ≥ 1und daher(C ν (λ) − λI) i e j = e j−i(6.2.3) (C ν (λ) − λI) ν = 0, (C ν (λ) − λI) ν−1 ≠ 0.Die Bedeutung der Matrizen C ν (λ) liegt darin, daß aus ihnen die sog.Jordansche Normalform J einer Matrix aufgebaut ist. Es gilt nämlich derfolgende fundamentale Satz, den wir ohne Beweis bringen:(6.2.4) Satz: Sei A eine beliebige n×n-Matrix und λ 1 , ..., λ k ihre verschiedenenEigenwerte mit den geometrischen bzw. algebraischen Vielfachheiten

8 6 Eigenwertproblemeρ(λ i ), σ(λ i ), i = 1, ..., k. Zu jedem der Eigenwerte λ i , i = 1, ..., k, gibtes dann ρ(λ i ) natürliche Zahlen ν (i)j, j = 1,2, ..., ρ(λ i ) mitσ(λ i ) = ν (i)1+ ν (i)2+···+ν (i)ρ(λ i )und eine nichtsinguläre n × n-Matrix T ,sodaßJ := T −1 AT folgendeGestalt besitzt:⎡(6.2.5) J =⎢⎣0C ν(1)1⎤(λ 1 ) 0. . .C ν(1) (λ 1 )ρ(λ 1 ). . .C ν(k)(λ k )1⎥. . ⎦.(λ k )C ν(k)ρ(λ k )Die Zahlen ν (i)j, j = 1, ..., ρ(λ i ), (und damit die Matrix J) sind bisauf die Reihenfolge eindeutig bestimmt. J heißt die Jordansche Normalformder Matrix A.Die Matrix T ist i. allg. nicht eindeutig bestimmt.Partitioniert man die Matrix T spaltenweise entsprechend der JordanschenNormalform J (6.2.5),T = (T (1)1, ..., T (1) (k)ρ(λ 1 ), ..., T1, ..., T (k)ρ(λ k ) ),so folgen aus T −1 AT = J und damit AT = TJ sofort die Beziehungen(6.2.6) AT (i)j= T (i)jC ν(i)j(λ i ), i = 1, 2,...,k, j = 1, 2,...,ρ(λ i ).Bezeichnen wir die Spalten der n × ν (i)j-Matrix T (i)johne weitere Indizeskurz mit t m , m = 1, 2, ..., ν (i)j,T (i)j= (t 1 , t 2 ,...,t ν(i)),jso folgt aus (6.2.6) und der Definition von C ν(i)(λ i ) sofortj⎡ 0 1 0oder(A − λ i I)[t 1 ,...,t ν(i)j] = [t 1 ,...,t ν(i)j] ⎢⎣.0 ... .. 10 0⎤⎥⎦

(6.2.7)6.2 Die Jordansche Normalform einer Matrix 9(A − λ i I)t m = t m−1 , m = ν (i)j,ν (i)j− 1, ..., 2,(A − λ i I)t 1 = 0.Insbesondere ist t 1 , die erste Spalte von T (i)j, Eigenvektor zum Eigenwertλ i . Die übrigen t m , m = 2, 3, ..., ν (i) , heißen Hauptvektoren zu λ i ; mansieht, daß zu jedem Jordanblock C ν(i)jj(λ i ) je ein Eigenvektor und ein Satzvon Hauptvektoren gehört. Insgesamt kann man also zu einer n × n-MatrixA eine Basis des C n finden (nämlich gerade die Spalten von T ), die nur ausEigen- und Hauptvektoren von A besteht.Die charakteristischen Polynome(λ i − µ) ν(i) j= det(C ν(i)(λ i ) − µI)jder einzelnen Jordanblöcke C ν(i)(λ i ) heißen diej(6.2.8) Elementarteilervon A. A besitzt also genau dann nur lineare Elementarteiler, wenn ν (i)j= 1für alle i und j gilt, die Jordansche Normalform von A also eine Diagonalmatrixist. Man nennt dann A diagonalisierbar oder auch normalisierbar.Dieser Fall ist dadurch ausgezeichnet, daß es dann eine Basis des C n gibt,die nur aus Eigenvektoren von A besteht, Hauptvektoren treten nicht auf.Andernfalls sagt man, daß A „höhere“, nämlich nichtlineare, Elementarteilerbesitze.Aus Satz (6.2.4) folgt sofort der(6.2.9) Satz: Jede n × n-Matrix A mit n verschiedenen Eigenwerten istdiagonalisierbar.Weitere Klassen von diagonalisierbaren Matrizen werden wir in Abschnitt6.4 kennenlernen.Ein anderer Extremfall liegt vor, wenn zu jedem der verschiedenenEigenwerte λ i , i = 1, ..., k, von A nur ein Jordanblock in der JordanschenNormalform J (6.2.5) gehört. Dieser Fall liegt genau dann vor, wennDie Matrix A heißt dannρ(λ i ) = 1 für i = 1, 2,...,k.(6.2.10) nichtderogatorisch,andernfalls derogatorisch (eine n × n-Matrix mit n verschiedenen Eigenwertenist also sowohl diagonalisierbar als auch nichtderogatorisch!). Die

10 6 EigenwertproblemeKlasse der nichtderogatorischen Matrizen wird im nächsten Abschnitt näherstudiert.Ein weiterer wichtiger Begriff ist der des Minimalpolynoms einer MatrixA. Man versteht darunter dasjenige Polynomψ(µ) = γ 0 + γ 1 µ +···+γ m−1 µ m−1 + µ mkleinsten Grades mit der Eigenschaftψ(A) = 0.Es kann mit Hilfe der Jordanschen Normalform von A sofort angegebenwerden:(6.2.11) Satz: Sei A eine n × n-Matrix mit den (verschiedenen) Eigenwertenλ 1 , ..., λ k und der Jordanschen Normalform J (6.2.5) und seiτ i := max 1≤ j≤ρ(λi ) ν (i)j. Dann ist(6.2.12) ψ(µ) := (µ − λ 1 ) τ 1(µ − λ 2 ) τ 2...(µ− λ k ) τ kdas Minimalpolynom von A. ψ(µ) ist Teiler jedes Polynoms χ(µ) mitχ(A) = 0.Beweis: Wir zeigen zunächst, daß alle Nullstellen des Minimalpolynoms ψvon A, sofern es existiert, Eigenwerte von A sind. Ist etwa λ Nullstelle vonψ, so giltψ(µ) = (µ − λ) · g(µ)mit einem Polynom g(µ), das von kleinerem Grade als ψ ist. Es gilt dahernach Definition des Minimalpolynoms g(A) ≠ 0. Also gibt es einen Vektorz ≠ 0 mit x := g(A)z ≠ 0. Wegen ψ(A) = 0 folgt dann0 = ψ(A)z = (A − λI)g(A)z = (A − λI)x,d. h. λ ist Eigenwert von A. Sofern ein Minimalpolynom existiert, hat esalso die Gestalt ψ(µ) = (µ − λ 1 ) τ 1(µ − λ 2 ) τ2 ···(µ − λ k ) τ kmit gewissenτ i . Wir wollen nun zeigen, daß durch τ i := max j ν (i)jein Polynom mitψ(A) = 0 gegeben ist. Mit den Bezeichnungen von Satz (6.2.4) hat mannämlich A = TJT −1 und daher ψ(A) = Tψ(J)T −1 . Nun gilt aber wegender Diagonalstruktur von J,die BeziehungJ = diag(C ν(1)(λ 1 ),...,C1ν(k) (λ k )),ρ(λ k )ψ(J) = diag(ψ(C ν(1)(λ 1 )),...,ψ(C1ν(k) ))).ρ(λ k )

6.2 Die Jordansche Normalform einer Matrix 11Wegen ψ(µ) = (µ − λ i ) τ i· g(µ), g(µ) ein Polynom mit g(λ i ) ≠ 0, folgt(6.2.13) ψ(C ν(i)j(λ i )) = (C ν(i)jund daher wegen τ i ≥ ν (i)jund (6.2.3)ψ(C ν(i)(λ i )) = 0.j(λ i ) − λ i I) τ i· g(C ν(i)(λ i ))jAlso ist ψ(J) = 0 und damit auch ψ(A) = 0.Gleichzeitig sieht man, daß man keine der Zahlen τ i kleiner als max j ν (i)jwählen darf: Wäre etwa τ i

12 6 EigenwertproblemeBeispiel: Die Jordan-MatrixJ =⎡⎢⎣1 1 01 111 11-1 1-10 -1-1⎤⎥⎦besitzt die Eigenwerte λ 1 = 1, λ 2 =−1 mit den VielfachheitenElementarteiler:ρ(λ 1 ) = 2, ρ(λ 2 ) = 3,σ(λ 1 ) = 5, σ(λ 2 ) = 4.(1 − µ) 3 ,(1 − µ) 2 ,(−1 − µ) 2 ,(−1 − µ), (−1 − µ).Charakteristisches Polynom: ϕ(µ) = (−1) 9 (µ − 1) 5 (µ + 1) 4 .Minimalpolynom: ψ(µ) = (µ − 1) 3 (µ + 1) 2 .Zu λ 1 = 1 gehören die linear unabhängigen (Rechts-) Eigenvektoren e 1 , e 4 ,zuλ 2 =−1 die Eigenvektoren e 6 , e 8 , e 9 .6.3 Die Frobeniussche Normalform einer MatrixIm letzten Abschnitt studierten wir die Matrizen C ν (λ), die sich als Bausteineder Jordanschen Normalform einer Matrix herausstellten. Die FrobeniusscheNormalform, oder auch rationale Normalform, einer Matrix istanalog aus Frobeniusmatrizen F der Form⎡0 ··· ··· 0 −γ 0. 1 .. 0 −γ1(6.3.1) F =. .. . ... .. . ..,⎢⎣ . ⎥.. 0 −γm−2⎦0 1 −γ m−1⎤

6.3 Die Frobeniussche Normalform einer Matrix 13aufgebaut, mit deren Eigenschaften wir uns zunächst befassen wollen. Manstößt auf Matrizen dieses Typs beim Studium von Krylovsequenzen vonVektoren: Unter einer Krylovsequenz für die n×n-Matrix A zum Startvektort 0 ∈ C n versteht man eine Sequenz von Vektoren t i ∈ C n , i = 0, 1, ...,m − 1, mit der folgenden Eigenschaft:(6.3.2)a) t i = At i−1 , i ≥ 1.b) t 0 , t 1 ,...,t m−1 sind linear unabhängig.c) t m := At m−1 hängt linear von t 0 , t 1 ,...,t m−1 ab:Es gibt Konstanten γ i mitt m + γ m−1 t m−1 +···+γ 0 t 0 = 0.Die Länge m der Krylovsequenz hängt natürlich von t 0 ab. Es gilt m ≤ n,da mehr als n Vektoren im C n stets linear abhängig sind. Bildet man dien × m-Matrix T := [t 0 ,...,t m−1 ] und die Matrix F (6.3.1), so ist (6.3.2)äquivalent mit(6.3.3)Rang T = m,AT = A[t 0 ,...,t m−1 ] = [t 1 ,...,t m ] = [t 0 ,...,t m−1 ]F = TF.Jeder Eigenwert von F ist auch Eigenwert von A: Aus Fz = λz, z ≠ 0,folgt nämlich für x := Tz wegen (6.3.3)Darüber hinaus giltx ≠ 0 und Ax = AT z = TFz= λTz= λx.(6.3.4) Satz: Die Matrix F (6.3.1) ist nichtderogatorisch: Das Minimalpolynomvon F istψ(µ) = γ 0 + γ 1 µ +···+γ m−1 µ m−1 + µ m= (−1) m det (F − µI).Beweis: Entwickelt man ϕ(µ) := det (F − µI) nach der letzten Spalte, sofindet man als charakteristisches Polynom von F⎡⎤−µ 0 −γ 01 −µ −γ 1ϕ(µ) = det.⎢ .. . .. . ⎥⎣⎦1 −µ −γ m−20 1 −γ m−1 − µ= (−1) m (γ 0 + γ 1 µ +···+γ m−1 µ m−1 + µ m ).

14 6 EigenwertproblemeNach den Resultaten des letzten Abschnitts (6.2.12), (6.2.14) ist das Minimalpolynomψ(µ) von F Teiler von ϕ(µ). Wäre Grad ψ

(6.3.7) ν (i)1≥ ν (i)2≥···≥ν (i)ρ(λ i ) ,6.3 Die Frobeniussche Normalform einer Matrix 15i = 1, 2,...,k.Man definiere die Polynome ϕ j (µ), j = 1, ..., r, r := max i ρ(λ i ), durchϕ j (µ) = (λ 1 − µ) ν(1) j(λ 2 − µ) ν(2) j...(λ k − µ) ν(k) j(dabei sei ν (i)j:= 0für j >ρ(λ i )). Wegen (6.3.7) ist ϕ j (µ) Teiler vonϕ j−1 (µ) und ±ϕ 1 (µ) Minimalpolynom von A. Als Frobeniusmatrix F jnehme man gerade diejenige Frobeniusmatrix, deren charakteristisches Polynomϕ j (µ) ist. S i bezeichne diejenige Matrix, die F i in die zugehörigeJordansche Normalform J i transformiertS −1iF i S i = J i .Eine Jordansche Normalform von A (die Jordansche Normalform ist nur bisauf Permutationen der Jordanblöcke eindeutig) ist dann⎡ ⎤J 1 JJ ′ = ⎢ 2 ⎣ .⎥ .. ⎦J r=⎡ ⎤S 1 S⎢ 2 ⎣ .⎥ .. ⎦S r−1 ⎡⎢⎣⎤ ⎡ ⎤F 1 S 1F 2 S.⎥ ⎢ 2.. ⎦ ⎣ . ..F r S r⎥⎦ .Nach Satz (6.2.4) gibt es eine Matrix U mit U −1 AU = J ′ . Die MatrixT := US −1 mit⎡⎤S 1 SS = ⎢ 2 ⎣ .⎥ .. ⎦S rtransformiert A in die verlangte Form (6.3.6). Man überzeugt sich leichtvon der Eindeutigkeit der F i .⊓⊔Beispiel: Für die Matrix J des Beispiels in Abschnitt 6.2 istso daßϕ 1 (µ) = (1 − µ) 3 (−1 − µ) 2 =−(µ 5 − µ 4 − 2µ 3 + 2µ 2 + µ − 1),ϕ 2 (µ) = (1 − µ) 2 (−1 − µ) =−(µ 3 − µ 2 − µ + 1),ϕ 3 (µ) =−(µ + 1),

16 6 Eigenwertprobleme⎡ 0 0 0 0 1⎤1 0 0 0 −1F 1 = ⎢⎣ 0 1 0 0 −2 ⎥⎦ , F 2 =0 0 1 0 20 0 0 1 1[ 0 0] −11 0 1 , F 3 = [−1].0 1 1Die Frobeniussche Normalform hat hauptsächlich theoretische Bedeutung,ihr praktischer Nutzen für die Bestimmung von Eigenwerten ist gering:im einfachsten Fall einer nichtderogatorischen n × n-Matrix A läuft ihreBerechnung auf die Berechnung der Koeffizienten γ k des charakteristischenPolynomsϕ(µ) ≡ det(A − µI) = (−1) n (µ n + γ n−1 µ n−1 +···+γ 0 )hinaus, dessen Nullstellen die Eigenwerte von A sind. Es ist aber nicht zuempfehlen, zuerst die γ k und dann die Eigenwerte von A als Nullstellen desPolynoms ϕ zu berechnen, weil im allgemeinen die Nullstellen λ i von ϕ aufkleine Änderungen der Koeffizienten γ k von ϕ viel empfindlicher reagierenals auf kleine Änderungen der Matrix A [s. die Abschnitte 5.8 und 6.9].Beispiel: Satz (6.9.7) wird zeigen, daß das Eigenwertproblem für hermitesche MatrizenA = A H gut konditioniert in folgendem Sinne ist: Zu jedem Eigenwertλ i (A +△A) von A +△A gibt es einen Eigenwert λ j (A) von A mit|λ i (A +△A) − λ j (A)|≤lub 2 (△A).Hat die 20 × 20-Matrix A etwa die Eigenwerte λ j = j, j = 1, 2, ..., 20, so giltlub 2 (A) = 20 wegen A = A H (s. Übungsaufgabe 8). Versieht man alle Elementevon A mit einem relativen Fehler von höchstens eps, d.h. ersetzt man A durchA +△A mit |△A|≤eps |A|, so folgt (s. Übungsaufgabe 11)lub 2 (△A) ≤ lub 2 (|△A|) ≤ lub 2 (eps |A|)≤ eps √ 20 lub 2 (A)

6.4 Schursche Normalform, hermitesche und normale Matrizen 17T := [t 0 , t 1 ,...,t n−1 ] berechnet werden kann, wenn t 0 , ..., t n−1 eine Krylovsequenzder Länge n ist. Leider ist für großes n die Matrix T schlechtkonditioniert, cond(T) ≫ 1 [s. Abschnitt 4.4], so daß allein die Fehler beider Berechnung von T die Lösung c =−T −1 t n sehr stark verfälschen. Diesliegt daran, daß i.a. die Vektoren t i = A i t 0 bis auf einen Skalierungsfaktorσ i gegen einen Vektor t ≠ 0 konvergieren, lim i σ i t i = t, so daß dieSpalten von T immer „linear abhängiger“ werden [s. Abschnitt 6.6.3 undÜbungsaufgabe 12].6.4 Die Schursche Normalform einer Matrix.Hermitesche und normale Matrizen,singuläre Werte von MatrizenLäßt man zur Ähnlichkeitstransformation T −1 AT nicht mehr beliebigenichtsinguläre Matrizen T zu, so kann man A i. allg. nicht mehr auf dieJordansche Normalform transformieren. Für unitäre Matrizen T ,d.h.MatrizenT mit T H T = I , gilt jedoch das folgende Resultat von Schur:(6.4.1) Satz: Zu jeder n × n-Matrix A gibt es eine unitäre n × n-Matrix Umit⎡⎤λ 1 ∗ ··· ∗.U H λ ... ..AU = ⎢ 2 ⎣ .⎥ .. ∗⎦ .0 λ nDabei sind die λ i , i = 1, ..., n, die (nicht notwendig verschiedenen) Eigenwertevon A.Beweis: Durch vollständige Induktion bzgl. n. Für n = 1 ist der Satz trivial.Nehmen wir an, daß der Satz für (n − 1)-reihige Matrizen richtig ist undsei A eine n × n-Matrix. Sei λ 1 irgendein Eigenwert von A und x 1 ≠ 0 einzugehöriger Eigenvektor, Ax 1 = λ 1 x 1 , mit ‖x 1 ‖ 2 2 = x H 1 x 1 = 1. Dann kannman n − 1 weitere Vektoren x 2 , ..., x n finden, die zusammen mit x 1 eineorthonormale Basis des C n bilden, also die n × n-Matrix X := [x 1 ,...,x n ]mit den Spalten x i unitär ist, X H X = I . WegenX H AXe 1 = X H Ax 1 = λ 1 X H x 1 = λ 1 e 1besitzt die Matrix X H AX die Form[ ]λ1X H aAX = ,0 A 1

18 6 Eigenwertproblemewobei A 1 eine (n − 1)-reihige Matrix ist und a H ∈ C n−1 . Nach Induktionsvoraussetzunggibt es eine unitäre (n − 1)-reihige Matrix U 1 mit⎡⎤λ 2 ∗ · · ∗· · ·U1 H A 1U 1 = ⎢ · · · ⎥⎣⎦ .· ∗0 λ nDie MatrixU := Xist dann eine unitäre n × n-Matrix mit[U H 1 0AU =0 U1H[1 0=0 U1H⎡= ⎢⎣[ ]1 00 U 1] [ ]X H 1 0AX0 U 1][ ][ ]λ1 a 1 00 A 1 0 U 1⎤λ 1 ∗ · · ∗· · ·· · · ⎥⎦ .· ∗0 λ nDaß die Zahlen λ i , i = 1, ..., n, Nullstellen von det(U H AU − µI) unddamit Eigenwerte von A sind, ist trivial.⊓⊔Ist A = A H nun eine Hermitesche Matrix, so ist(U H AU) H = U H A H U HH = U H AUwieder eine Hermitesche Matrix. Es folgt daher sofort aus (6.4.1)(6.4.2) Satz: Zu jeder Hermiteschen n × n-Matrix A = A H gibt es eineunitäre Matrix U = [x 1 ,...,x n ] mit⎡ ⎤λ 1 0U −1 AU = U H AU = ⎣ . .. ⎦ .0 λ nDie Eigenwerte λ i , i = 1, ..., n, von A sind reell. A ist diagonalisierbar.Die i-te Spalte x i von U ist Eigenvektor zum Eigenwert λ i , Ax i = λ i x i . Abesitzt somit n linear unabhängige zueinander orthogonale Eigenvektoren.

6.4 Schursche Normalform, hermitesche und normale Matrizen 19Ordnet man die Eigenwerte λ i einer n-reihigen Hermiteschen MatrixA = A H der Größe nach an,λ 1 ≥ λ 2 ≥···≥λ n ,so kann man λ 1 und λ n auch auf folgende Weise kennzeichnen [s. (6.9.14)für eine Verallgemeinerung]x H Ax(6.4.3) λ 1 = max0≠x∈C n x H x ,λ x H Axn = min0≠x∈C n x H x .Beweis: Ist U H AU = Λ = diag(λ 1 ,...,λ n ), U unitär, so gilt für alle x ≠ 0x H Axx H x = (x H U)U H AU(U H x)= y H ∑Λy(x H U)(U H x) y H y= ∑ iλ i|η i | 2i |η i| 2∑i≤λ 1|η i | 2∑i |η = λi| 2 1 ,wobei y := U H x = [η 1 ,...,η n ] T ≠ 0. Nimmt man als x ≠ 0 spezielleinen Eigenvektor zu λ 1 , Ax = λ 1 x, erhält man x H Ax/x H x = λ 1 ,sodaßλ 1 = max 0≠x∈C n x H Ax/x H x. Die andere Aussage von (6.4.3) folgt aus demeben Bewiesenen, wenn man A durch −A ersetzt.Aus (6.4.3) und der Definition (s. (4.3.1)) einer positiv definiten (positivsemidefiniten) Matrix A erhält man sofort(6.4.4) Satz: Eine Hermitesche Matrix A ist positiv definit (positiv semidefinit)genau dann, wenn alle Eigenwerte von A positiv (nichtnegativ) sind.Eine Verallgemeinerung der Hermiteschen Matrizen sind die normalenMatrizen: Eine n × n-Matrix A heißt normal, wenn giltA H A = AA H ,d.h. A ist mit A H vertauschbar. Beispielsweise sind alle Hermiteschen,Diagonal-, schiefhermiteschen und unitären Matrizen normal.(6.4.5) Satz: Eine n × n-Matrix A ist genau dann normal, wenn es eineunitäre Matrix U gibt mit⎡ ⎤λ 1 0U −1 AU = U H AU = ⎣ . .. ⎦ .0 λ nNormale Matrizen sind diagonalisierbar und besitzen n linear unab hängigezueinander orthogonale Eigenvektoren x i , i = 1, ..., n, Ax i = λ i x i ,nämlich die Spalten der Matrix U = [x 1 ,...,x n ].

20 6 EigenwertproblemeBeweis: Nach dem Satz von Schur (6.4.1) gibt es eine unitäre MatrixU mit⎡⎤λ 1 ∗ · · ∗· · ·U H AU = ⎢ · · · ⎥⎣⎦ =: R = [r ik].· ∗0 λ nAus A H A = AA H folgt nunR H R = U H A H UU H AU = U H A H AU= U H AA H U = U H AUU H A H U= RR H .Daraus folgt für das (1, 1)-Element von R H R = RR H¯λ 1 · λ 1 =|λ 1 | 2 =|λ 1 | 2 +n∑|r 1k | 2 ,also r 1k = 0für k = 2, ..., n. Auf dieselbe Weise zeigt man, daß alleNichtdiagonalelemente von R verschwinden.Sei jetzt A unitär diagonalisierbar, U H AU = diag(λ 1 , ..., λ n ) =: D,U H U = I . Es ist dannA H A = UD H U H UDU H = U|D| 2 U H = UDU H UD H U H = AA H . ⊓⊔Für eine beliebige m × n-Matrix A ist die n × n-Matrix A H A positivsemidefinit, denn für x ∈ C n gilt x H (A H A)x =‖Ax‖ 2 2≥ 0. Ihre Eigenwerteλ 1 ≥ λ 2 ···≥λ n ≥ 0 sind nach (6.4.4) nichtnegativ und können deshalb inder Form λ k = σk2 mit σ k ≥ 0 geschrieben werden. Die Zahlen σ 1 ≥···≥σ n ≥ 0 heißenk=2(6.4.6) singuläre Werte von A.Ersetzt man in (6.4.3) die Matrix A durch A H A,soerhält man sofort(6.4.7) σ 1 = max0≠x∈C n ‖Ax‖ 2‖x‖ 2= lub 2 (A), σ n = min0≠x∈C n ‖Ax‖ 2‖x‖ 2:Ist insbesondere m = n und A nichtsingulär, so gilt(6.4.8)1/σ n = maxx≠0‖x‖ 2 ‖A −1 y‖ 2= max = lub 2 (A −1 ),‖Ax‖ 2 y≠0 ‖y‖ 2cond 2 (A) = lub 2 (A) lub 2 (A −1 ) = σ 1 /σ n .

6.4 Schursche Normalform, hermitesche und normale Matrizen 21Der kleinste singuläre Wert σ n einer quadratischen Matrix A gibt den Abstandvon A zur „nächsten“ singulären Matrix an:(6.4.9) Satz: A und E seien beliebige n × n-Matrizen und A habe diesingulären Werte σ 1 ≥ σ 2 ≥···≥σ n ≥ 0. Dann gilt1) lub 2 (E) ≥ σ n , falls A + E singulär ist.2) Es gibt eine Matrix E mit lub 2 (E) = σ n ,sodaßA + E singulär ist.Beweis: 1) Sei A + E singulär, also (A + E)x = 0für ein x ≠ 0. Dannergibt (6.4.7)σ n ‖x‖ 2 ≤‖Ax‖ 2 =‖−Ex‖ 2 ≤ lub 2 (E)‖x‖ 2 ,also σ n ≤ lub 2 (E).2) Für σ n = 0 ist nichts zu zeigen: denn wegen (6.4.7) ist 0 =‖Ax‖ 2für ein x ≠ 0, so daß bereits A singulär ist. Sei deshalb σ n > 0. Wegen(6.4.7) gibt es Vektoren u, v mit‖Au‖ 2 = σ n , ‖u‖ 2 = 1,v := 1 σ nAu, ‖v‖ 2 = 1.Für die spezielle n × n-Matrix E :=−σ n vu H gilt dann (A + E)u = 0, sodaß A + E singulär ist, sowie|u H x|lub 2 (E) = σ n max ‖v‖ 2 = σ n . ⊓⊔x≠0 ‖x‖ 2Eine beliebige m × n-Matrix A läßt sich unitär auf eine gewisse Normalformtransformieren, in der die singulären Werte von A erscheinen:(6.4.10) Satz: A sei eine beliebige (komplexe) m × n-Matrix.1) Dann gibt es eine unitäre m × m-Matrix U und eine unitäre n × n-Matrix V ,sodaßU H AV = Σ eine m×n-„Diagonal-Matrix“ der folgendenForm istΣ =[D 00 0], D := diag(σ 1 ,...,σ r ), σ 1 ≥ σ 2 ≥···≥σ r > 0.Dabei sind σ 1 , ..., σ r gerade die von 0 verschiedenen singulären Werteund r der Rang von A.2) Die von 0 verschiedenen singulären Werte der Matrix A H sind diegleichen Zahlen σ 1 , ..., σ r . Die Zerlegung A = UΣV H heißt(6.4.11) Singuläre-Werte-Zerlegung von A.

22 6 EigenwertproblemeBeweis: Wir zeigen 1) durch vollständige Induktion nach m und n. Fürm = 0 oder n = 0 ist nichts zu zeigen. Wir nehmen an, daß der Satz für(m − 1) × (n − 1)-Matrizen richtig ist und A eine m × n-Matrix mit m ≥ 1,n ≥ 1 ist. Sei σ 1 der größte singuläre Wert von A. Falls σ 1 = 0, ist wegen(6.4.7) auch A = 0, so daß nichts zu zeigen ist. Sei daher σ 1 > 0 und x 1 ≠ 0Eigenvektor von A H A zum Eigenwert σ 2 1 mit ‖x 1‖ 2 = 1:(6.4.12) A H Ax 1 = σ 2 1 x 1.Dann kann man n − 1 weitere Vektoren x 2 , ..., x n ∈ C n finden, derartdaß die n × n-Matrix X := [x 1 , x 2 ,...,x n ] mit den Spalten x i unitär wird,X H X = I n . Wegen ‖Ax 1 ‖ 2 2 = x 1 H AH Ax 1 = σ1 2x 1 H x 1 = σ12 > 0 ist derVektor y 1 := 1/σ 1 Ax 1 ∈ C m mit ‖y 1 ‖ 2 = 1 wohldefiniert und man kannm − 1 weitere Vektoren y 2 , ..., y m ∈ C m finden, so daß die m × m-MatrixY := [y 1 , y 2 ,...,y m ] ebenfalls unitär wird, Y H Y = I m . Nun folgt aus(6.4.12) und den Definitionen von y 1 , X und Y mitdie Beziehungsowiee 1 := (1, 0,...,0) T ∈ C n , ē 1 := (1, 0,...,0) T ∈ C mY H AXe 1 = Y H Ax 1 = σ 1 Y H y 1 = σ 1 ē 1 ∈ C m(Y H AX) H ē 1 = X H A H Y ē 1 = X H A H y 1 = 1 σ 1X H A H Ax 1= σ 1 X H x 1 = σ 1 e 1 ∈ C n ,so daß die Matrix Y H AX folgende Gestalt besitzt:[ ]Y H σ1 0AX = .0 ÃHier ist à eine (m − 1) × (n − 1)-Matrix.Nach Induktionsvoraussetzung gibt es eine unitäre (m − 1)-reihige MatrixŨ und eine unitäre (n − 1)-reihige Matrix Ṽ mitŨ H ÃṼ = ˜Σ =[ ˜D 00 0], ˜D := diag(σ 2 ,...,σ r ), σ 2 ≥···≥σ r > 0,mit einer (m − 1) × (n − 1)-„Diagonalmatrix“Die m-reihige Matrix [ ]1 0U := Y0 Ũist unitär, ebenso die n-reihige Matrix˜Σ der angegebenen Form.

6.4 Schursche Normalform, hermitesche und normale Matrizen 23V := X[ ]1 00 Ṽund es gilt[ ] [ ] [ ][ ][ ]U H 1 0AV =0 Ũ H Y H 1 0 1 0 σ1 0 1 0AX =0 Ṽ 0 Ũ H 0 Ã 0 Ṽ[ ] [ ]σ1 0 D 0= = = Σ, D := diag(σ0 ˜Σ 0 01 , ···,σ r ),und Σ ist eine m × n-reihige Diagonalmatrix mit σ 2 ≥ ··· ≥ σ r > 0,σ1 2 = λ max(A H A). Offensichtlich ist Rang A = r wegen Rang A = RangU H AV = Rang Σ.Wir müssen noch zeigen, daß σ 1 ≥ σ 2 gilt und die σ i die singulärenWerte von A sind: Nun folgt aus U H AV = Σ für die n×n-DiagonalmatrixΣ H ΣΣ H Σ = diag(σ 2 1 ,...,σ2 r , 0,...,0) = V H A H UU H AV = V H (A H A)V,so daß [s. Satz (6.4.2)] σ1 2, ..., σ r2 die von 0 verschiedenen Eigenwerte vonA H A sind, also σ 1 , ..., σ r die von 0 verschiedenen singulären Werte vonA. Wegen σ1 2 = λ max(A H A) gilt dann σ 1 ≥ σ 2 . ⊓⊔Die unitären Matrizen U, V in der Zerlegung U H AV = Σ haben folgendeBedeutung: Die Spalten von U geben m orthonormale Eigenvektorender Hermiteschen m×m-Matrix AA H an, die Spalten von VnorthonormaleEigenvektoren der Hermiteschen n × n-Matrix A H A. Dies folgt sofort ausU H AA H U = ΣΣ H , V H A H AV = Σ H Σ und Satz (6.4.2). Schließlich seinoch bemerkt, daß man die Pseudoinverse A + [s. (4.8.5)] der m × n-MatrixA mit Hilfe der Zerlegung U H AV = Σ sofort angeben kann. Ist[ ]D 0Σ = , D = diag(σ0 01 ,...,σ r ), σ 1 ≥···≥σ r > 0,dann ist die n × m-DiagonalmatrixΣ + :=[ ]D−10,0 0die Pseudoinverse von Σ und man verifiziert sofort, daß die n × m-Matrix(6.4.13) A + := VΣ + U Hdie Bedingungen von (4.8.5.1) für eine Pseudoinverse von A erfüllen. Wegender Eindeutigkeitsaussagen von Satz (4.8.5.2) muß daher A + die Pseudoinversevon A sein.

24 6 Eigenwertprobleme6.5 Reduktion von Matrizen auf einfachere GestaltDie Eigenwerte und Eigenvektoren einer dicht besetzten Matrix A werdenbei den gebräuchlichsten Verfahren folgendermaßen bestimmt. Man transformiertdie Matrix zunächst mit Hilfe von endlich vielen Ähnlichkeitstransformationenin eine einfacher gebaute Matrix B,A = A 0 → A 1 →···→ A m ,A i = T −1iA i−1 T i , i = 1, 2,...,m,B := A m = T −1 AT, T := T 1 T 2 ···T m ,und bestimmt anschließend die Eigenwerte λ und Eigenvektoren y von B,By = λy. Es gilt dann für x := Ty= T 1 ···T m y wegen B = T −1 ATAx = λx,d.h. zum Eigenwert λ von A gehört der Eigenvektor x. Die Matrix B wirddabei so gewählt, daß1. die anschließende Eigenwert- bzw. Eigenvektor-Bestimmung für Bmöglichst einfach ist (d.h. möglichst wenig Operationen erfordert) und2. die Rundungsfehler △B, die man bei der Berechnung von B aus Abegeht, die Eigenwerte von A nicht stärker verfälschen als relativ kleineÄnderungen △A der Matrix A.WegenB = T −1 AT,B +△B = T −1 (A +△A)T, △A := T △ BT −1 ,hat man für jede Vektornorm ‖·‖ und die zugehörige Matrixnorm lub(·)folgende Abschätzungenund daherlub(B) ≤ cond(T) lub(A)lub(△A) ≤ cond(T) lub(△B)lub(△A)lub(A)≤ ( cond(T) ) 2 lub(△B)lub(B) .Deshalb kann für großes cond(T) ≫ 1 selbst ein relativ kleiner Fehler △Bbei der Berechnung von B, lub(△B)/ lub(B) ≈ eps, den gleichen Effektauf die Eigenwerte haben wie ein relativer Fehler △A in der Matrix A, derfolgende Größe haben kann

lub(△A)lub(A)6.5 Reduktion von Matrizen auf einfachere Gestalt 25≈ cond(T) 2 lub(△B)lub(B)= cond(T) 2 · eps .Das Verfahren, die Eigenwerte von A als die Eigenwerte von B zu bestimmenwird dann nicht gutartig sein [s. Abschnitt 1.3]. Um Gutartigkeit zugarantieren, hat man wegencond(T) = cond(T 1 ···T m ) ≤ cond(T 1 ) ···cond(T m )die Matrizen T i so zu wählen, daß cond(T i ) nicht zu groß wird. Dies ist fürdie Maximumnorm ‖x‖ ∞ = max i |x i | insbesondere für Eliminationsmatrizen[s. Absschnitt 4.2]⎡⎤1 0. .. 1T i = G j =. l ..j+1, j , mit |l kj |≤1,⎢⎣. ⎥. .. ⎦0 l nj 0 1(6.5.0.1)⎡⎤1 0. .. 1G −1j=. −l ..j+1, j ,⎢⎣. ⎥. .. ⎦0 −l nj 0 1cond ∞ (T i ) ≤ 4,der Fall und für die euklidische Norm ‖x‖ 2 = √ x H x für unitäre MatrizenT i = U, z.B. für Householdermatrizen: für sie gilt cond 2 (T i ) = 1. Reduktionsalgorithmen,die nur unitäre Matrizen T i oder Eliminationsmatrizen T i(6.5.0.1) benutzen, werden in den folgenden Abschnitten beschrieben. Als„einfache“ Endmatrix B = A m kann man mit diesen Hilfsmitteln für allgemeineMatrizen eine obere Hessenberg-Matrix erreichen, die von folgenderGestalt ist:⎡⎤∗ · · · · ∗∗ · ·0 · · ·B =, b⎢ · · · · ·ik = 0, für k ≤ i − 2.⎥⎣⎦· · · · ·0 · · 0 ∗ ∗

26 6 EigenwertproblemeBei Hermiteschen Matrizen A = A H benutzt man zur Reduktion nur unitäreMatrizen T i , T −1i= TiH . Mit A i−1 ist dann auch A i = T −1iA i−1 T i Hermitesch,AiH = (TiH A i−1 T i ) H = TiH Ai−1 H T i = Ti H A i−1 T i = A i .Als Endmatrix B erhält man deshalb eine Hermitesche Hessenberg-Matrix,d.h. eine (Hermitesche) Tridiagonalmatrix oder Jacobimatrix:⎡⎤δ 1 ¯γ 2 0.B =γ 2 δ ..2 ⎢⎣. .. . ..⎥¯γn ⎦ , δ i = ¯δ i .0 γ n δ n6.5.1 Reduktion einer Hermiteschen Matrix auf Tridiagonalgestalt.Das Verfahren von HouseholderBei dem Verfahren von Householder zur Tridiagonalisierung einer Hermiteschenn × n-Matrix A H = A =: A 0 werden zur TransformationA i = T −1iA i−1 T igeeignete Householder-Matrizen [s. Abschnitt 4.7] benutzt:T Hi= T −1i= T i = I − β i u i u H i .Wir nehmen an, daß die Matrix A i−1 = (α jk ) bereits die folgende Gestaltbesitzt⎡⎤J i−1 c 0(6.5.1.1) A i−1 =⎢ c H δ i aiH⎥⎣⎦ = (α jk)0 a i à i−1mit[Ji−1 cc H δ i]=⎡⎤δ 1 ¯γ 2 0 0. γ 2 δ .. 2 . .⎡. .. . .. ¯γi−1 0, a i = ⎣⎢ 0 ··· γ i−1 δ i−1 ¯γ i⎥⎣⎦0 ··· 0 γ i δ iα i+1,i.α ni⎤⎦.

6.5 Reduktion von Matrizen auf einfachere Gestalt 27Nach Abschnitt 4.7 gibt es eine (n − i)-reihige Householdermatrix ˜T i mit(6.5.1.2) ˜T i a i = k · e 1 ∈ C n−i .˜T i hat die Gestalt ˜T i = I − βuu H , u ∈ C n−i , und ist gegeben durchσ :=‖a i ‖ 2 =n∑√ |α ji | 2⊕ j=i+1(6.5.1.3){ 1/(σ(σ +|αi+1,i |)) für σ ≠ 0β =0 sonstk :=−σ · e iϕ falls α i+1,i = e iϕ |α i+1,i |⎡⎤e iϕ (σ +|α i+1,i |)α i+2,i⎥u := ⎢⎣.α ni⎥⎦ .Für die unitäre n × n-Matrix T i , die wie (6.5.1.1) partitioniert ist,⎡ ⎤}I 0 0T i :=⎢ 0 1 0⎥⎣ ⎦0 0 ˜T ii−1gilt dann offensichtlich T Hi= T −1i= T i sowie wegen (6.5.1.2)T −1iA i−1 T i = T i A i−1 T i =⎡⎤J i−1 c 0c⎢H δ i aiH˜T i⎥⎣⎦0 ˜T i a i˜T i à i−1 ˜T i

28 6 Eigenwertprobleme⎡⎤δ 1 ¯γ 2 0 0. γ 2 δ .. . .. 2 0. .. . .. ¯γi−1 00 γ i−1 δ i−1 ¯γ i=0 ··· 0 γ i δ i ¯γ i+1 0 ... 0=: A iγ i+10⎢⎣0. ˜T i à i−1 ˜T i⎥⎦0mit γ i+1 := k.Wegen ˜T i = I−βuu H läßt sich ˜T i à i−1 ˜T i auf folgende Weise berechnen:˜T i à i−1 ˜T i = (I − βuu H )à i−1 (I − βuu H )= à i−1 − β à i−1 uu H − βuu H à i−1 + β 2 uu H à i−1 uu H .Führt man zur Abkürzung die Vektoren p, q ∈ C n−i ein,p := β à i−1 u,q := p − β 2 (pH u)u,so folgt wegen β ≥ 0, p H u = βu H à i−1 u = (p H u) H sofort(6.5.1.4)˜T i à i−1 ˜T i = à i−1 − pu H − up H + βup H uu H[= à i−1 − u p − β H [u)u]2 (pH − p − β ]2 (pH u)u u H= à i−1 − uq H − qu H .Mit den Formeln (6.5.1.1)-(6.5.1.4) ist die i-te TransformationA i = T −1iA i−1 T ibeschrieben. Offensichtlich ist⎡⎤δ 1 ¯γ 2 0.B = A n−2 =γ 2 δ ..2 ⎢⎣. .. . ..⎥¯γn ⎦ , δ i = ¯δ i ,0 γ n δ neine Hermitesche Tridiagonalmatrix.

6.5 Reduktion von Matrizen auf einfachere Gestalt 29Formale ALGOL-ähnliche Beschreibung der Householdertransformationfür eine reelle symmetrische Matrix A = A T = (a jk ) mit n ≥ 2:for i := 1 step 1 until n − 2 dobegin δ i := a ii ;n∑s := √ |α ji | 2 ; if a i+1,i < 0 then s :=−s;⊕ j=i+1γ i+1 :=−s; e := s + a i+1,i ;if s = 0 then begin a ii := 0; goto MM end;β := a ii := 1/(s × e);u i+1 := a i+1,i := e;for j := i + 2 step 1 until n do u j := a ji ;for j := i + 1 step 1 until n do( i∑n∑)p j := a jk × u k + a kj × u k × β;j=i+1j=i+1k= j+1( n∑ )sk := p j × u j × β/2;for j := i + 1 step 1 until n doq j := p j − sk × u j ;for j := i + 1 step 1 until n dofor k := i + 1 step 1 until j doa jk := a jk − q j × u k − u j × q k ;MM :end;δ n−1 := a n−1,n−1 ; δ n := a n,n ; γ n := a n,n−1 ;Bei diesem Programm wird die Symmetrie von A ausgenutzt: Es müssennur die Elemente a jk mit k ≤ j gegeben sein. Darüber hinaus wird die MatrixA mit den wesentlichen Elementen β i , u i der Transformationsmatrizen˜T i = I − β i u i u H i, i = 1, 2, ..., n − 2, überschrieben: Nach Verlassen desProgramms ist die i-te Spalte von A besetzt mit dem Vektor

30 6 Eigenwertprobleme⎡⎢⎣a iia i+1,i.a ni⎤[ ]⎥⎦ := βi, i = 1, 2,...,n − 2.u i(Die Matrizen T i benötigt man zur „Rücktransformation“ der Eigenvektoren:Ist y Eigenvektor von A n−2 zum Eigenwert λA n−2 y = λy,so ist x := T 1 T 2 ···T n−2 y Eigenvektor zum Eigenwert λ von A.)Ausgetestete ALGOL-Programme für die Householder-Reduktion unddie Rücktransformation der Eigenvektoren findet man bei Martin, Reinsch,Wilkinson (1971), FORTRAN-Programme in Smith et al. (1976).Wendet man die oben beschriebenen Transformationen auf eine beliebigenicht Hermitesche n-reihige Matrix A an, so erhält man mit Hilfe derFormeln (6.5.1.2), (6.5.1.3) eine Kette von Matrizen A i , i = 0, 1, ..., n−2,der FormA 0 = A,⎡⎤∗ · · · ∗ ∗ · · · ∗∗ · · · ·· · · · ·· · · · ··0 ∗ ∗ ∗ ∗ · · · ∗A i−1 =0 ∗ ∗ ∗ · · · ∗.∗ ∗ · · · ∗· · ·· · ·⎢⎥⎣· · · ⎦0} {{ }∗ ∗ · · · ∗i−1Die ersten i −1 Spalten von A i−1 haben bereits dieselbe Form wie bei einerHessenberg-Matrix. A n−2 ist eine Hessenberg-Matrix. Bei dem Übergangvon A i−1 nach A i bleiben die Elemente α jk von A i−1 mit j, k ≤ i unverändert.ALGOL-Programme für diesen Algorithmus findet man bei Martin,Wilkinson (1971), FORTRAN-Programme in Smith et al. (1976).

6.5 Reduktion von Matrizen auf einfachere Gestalt 31In Abschnitt 6.5.4 wird ein weiterer Algorithmus zur Reduktion einerallgemeinen Matrix A auf Hessenberg-Gestalt beschrieben, der nicht mitunitären Ähnlichkeitstransformationen arbeitet.Die Gutartigkeit des Algorithmus kann man auf folgende Weise zeigen:Mit Ā i und ¯T i bezeichne man die Matrizen, die man bei der Durchführungdes Algorithmus in Gleitpunktarithmetik der relativen Genauigkeit epserhält, mit U i diejenige Householdermatrix, die man nach den Regeln desAlgorithmus beim Übergang Ā i−1 → Ā i bei exakter Rechnung zur Transformationzu nehmen hätte. U i ist also eine exakt unitäre Matrix und ¯T iist diejenige näherungsweise unitäre Matrix, die man statt U i bei der Berechnungvon U i in Gleitpunktarithmetik erhält. Es gelten also folgendeBeziehungen¯T i = gl(U i ), Ā i = gl( ¯T i Ā i−1 ¯T i ).Mit den in Abschnitt 1.3 beschriebenen Methoden kann man nun zeigen(siehe z.B. Wilkinson (1965)), daß gilt(6.5.1.5)lub 2 ( ¯T i − U i ) ≤ f (n) eps,Ā i = gl( ¯T i Ā i−1 ¯T i ) = ¯T i Ā i−1 ¯T i + G i ,lub 2 (G i ) ≤ f (n) eps lub 2 (Ā i−1 ),mit einer gewissen Funktion f (n) [i. allg. gilt f (n) = O(n α ), α ≈ 1].Aus (6.5.1.5) folgt sofort wegen lub 2 (U i ) = 1, UiH = U −1i= U i (U i istHouseholdermatrix!)mitlub 2 (R i ) ≤ f (n) eps, R i := ¯T i − U i ,Ā i = U −1iĀ i−1 U i + R i Ā i−1 U i + U i Ā i−1 R i + R i Ā i−1 R i + G i=: U −1iĀ i−1 U i + F ilub 2 (F i ) ≤ eps f (n)[3 + eps f (n)] lub 2 (Ā i−1 ),oder wegen eps f (n) ≪ 3 in erster Näherung:(6.5.1.6)lub 2 (F i ) ˙≤ 3 eps f (n) lub 2 (Ā i−1 ),lub 2 (Ā i ) ˙≤ (1 + 3 eps f (n)) lub 2 (Ā i−1 )˙≤ (1 + 3 eps f (n)) i lub 2 (A).Für die Hessenberg-Matrix Ā n−2 folgt daher schließlich wegen A = Ā 0(6.5.1.7) Ā n−2 = U −1n−2 ···U−1 1(A + F)U 1 ···U n−2mit

32 6 EigenwertproblemeAus (6.5.1.6) folgt somit∑n−2F := U 1 U 2 ···U i F i U −1i···U −11.i=1∑n−2lub 2 (F) ˙≤ lub 2 (F i )oder in erster Näherungi=1∑n−2˙≤ 3 eps f (n) lub 2 (A) (1 + 3 eps f (n)) i−1i=1(6.5.1.8) lub 2 (F) ˙≤ 3(n − 2) f (n) eps lub 2 (A).Sofern nf(n) nicht zu groß ist, zeigen (6.5.1.7) und (6.5.1.8), daß die MatrixĀ n−2 zu einer nur leicht abgeänderten Matrix A + F exakt ähnlich ist, daßalso das Verfahren gutartig ist.6.5.2 Reduktion einer Hermiteschen Matrix auf Tridiagonalgestaltbzw. Diagonalgestalt: Die Verfahren von Givens und JacobiBei dem Verfahren von Givens (1954), einem Vorläufer des Verfahrens vonHouseholder, benutzt man zur Konstruktion der KetteA =: A 0 → A 1 →···→ A m ,unitäre Matrizen T i = Ω jk der Form (ϕ,ψ reell)⎡(6.5.2.1) Ω jk =⎢⎣A i = T −1iA i−1 T i ,1 0. ..1cos ϕ −e −iψ sin ϕe iψ sin ϕ1 ...1cos ϕ1...0 1⎤← j,← k⎥⎦

6.5 Reduktion von Matrizen auf einfachere Gestalt 33um eine Hermitesche Matrix A auf Tridiagonalgestalt B = A m zu bringen.Zur Beschreibung dieser Methode nehmen wir der Einfachheit halber an,daß A = A H reell ist; in diesem Fall kann ψ = 0 gewählt werden, Ω jk istdann orthogonal.Man beachte, daß sich bei einer Linksmultiplikation A → Ω −1jk A =Ωjk H A nur die Zeilen j und k von A ändern, bei einer RechtsmultiplikationA → AΩ jk nur die Spalten j und k. Wir beschreiben nur den ersten Transformationsschritt,der aus zwei Teilschritten besteht,A = A 0 → T −11A 0 =: A ′ 0 → A′ 0 T 1 = T −11A 0 T 1 =: A 1 .Im ersten Teilschritt A 0 → A ′ 0 wird die Matrix T 1 = Ω 23 , T −11= Ω23Hso gewählt [s. Abschnitt (4.9)], daß das Element in Position (3, 1) vonA ′ 0 = Ω 23 H A 0 annulliert wird; bei der anschließenden Rechtsmultiplikationmit Ω 23 , A ′ 0 → A 1 = A ′ 0 Ω 23, bleibt die Null in Position (3, 1) erhalten (s.Skizze für eine vierreihige Matrix, sich ändernde Elemente werden mit ∗bezeichnet)⎡ ⎤ ⎡ ⎤x x x x⎢ x x x xA 0 = ⎣x x x xx x x xx x x x⎥⎦ → Ω23 H A ⎢ ∗ ∗ ∗ ∗⎥0 = ⎣ ⎦ = A ′0 ∗ ∗ ∗0x x x x⎡ ⎤x ∗ 0 x→ A ′ 0 Ω ⎢ x ∗ ∗ x ⎥23 = ⎣ ⎦ =: A0 ∗ ∗ x 1 .x ∗ ∗ xDa mit A 0 auch A 1 Hermitesch ist, wird bei der Transformation A ′ 0 → A 1auch das Element in Position (1, 3) annulliert. Anschließend wird das Elementin Position (4, 1) mit einer Givensrotation T 2 = Ω 24 zu Null transformiertusw. Allgemein wählt man als T i der Reihe nach die MatrizenΩ 23 , Ω 24 , ..., Ω 2n ,Ω 34 , ..., Ω 3n ,.Ω n−1,n ,und zwar so, daß durch Ω jk , j = 2, 3, ..., n − 1, k = j + 1, j + 2,..., n, das Element in Position (k, j − 1) annulliert wird. Ein Vergleichmit dem Verfahren von Householder ergibt, daß diese Variante des Verfahrensvon Givens etwa doppelt so viele Operationen benötigt. Aus diesemGrunde wird das Householder-Verfahren meistens vorgezogen. Es gibt jedochmodernere Varianten („rationale Givenstransformationen“), die demHouseholder-Verfahren vergleichbar sind.

34 6 EigenwertproblemeAuch das Verfahren von Jacobi benutzt Ähnlichkeitstransformationenmit den speziellen unitären Matrizen Ω jk (6.5.2.1), doch wird jetzt nichtmehr eine endliche, mit einer Tridiagonalmatrix abbrechende Folge, sonderneine unendliche Folge von Matrizen A (i) , i = 0, 1, ..., erzeugt, die gegeneine Diagonalmatrix ⎡ ⎤λ 1 0D = ⎣ . .. ⎦0 λ nkonvergieren. Dabei sind die λ i gerade die Eigenwerte von A. Zur Erläuterungdes Verfahrens setzen wir wieder der Einfachheit halber voraus, daßA eine reelle symmetrische Matrix ist. Im TransformationsschrittA (i) → A (i+1) = Ω H jk A(i) Ω jkwerden jetzt die Größen c := cos ϕ, s := sin ϕ der Matrix Ω jk , j < k(6.5.2.1), so bestimmt, daß ajk ′ = 0 gilt (wir bezeichnen die Elemente vonA (i) mit a rs , die von A (i+1) mit a rs ′ ):⎡A (i+1) =⎢⎣a ′ 11... a ′ 1 j... a ′ 1k... a ′ 1n..a ′ j1... a ′ jj... 0 ... a ′ jn..a ′ k1... 0 ... a ′ kk... a ′ kn..a ′ n1... a ′ nj... a ′ nk... a ′ nn......⎤.⎥⎦Nur die eingerahmten Zeilen ändern sich nach den Formelnarj ′ = ajr ′ = ca rj + sa}rkark ′ = a′ kr =−sa für r ≠ j, k,rj + ca rk(6.5.2.2)a ′ jj= c 2 a jj + s 2 a kk + 2csa jk ,a ′ jk = a′ kj=−cs(a jj − a kk ) + (c 2 − s 2 )a jk!= 0,a ′ kk = s2 a jj + c 2 a kk − 2csa jk .

6.5 Reduktion von Matrizen auf einfachere Gestalt 35Daraus erhält man für den Winkel ϕ die Bestimmungsgleichungtg 2ϕ =2csc 2 − s = 2a jk, |ϕ|≤ π 2 a jj − a kk 4 .Mittels trigonometrischer Identitäten kann man daraus die Größen c und sund mit (6.5.2.2) die a ′ rs berechnen.Es ist jedoch ratsam, die folgenden numerisch stabileren Formeln zuverwenden [s. Rutishauser (1971), dort findet man auch ein ALGOL-Programm]. Man berechnet zunächst die Größe ϑ := ctg 2ϕ ausϑ := a jj − a kk2a jkund dann t := tg ϕ als die betragskleinste Wurzel der quadratischen Gleichungt 2 + 2tϑ − 1 = 0,{s(ϑ)1 falls ϑ ≥ 0,t =|ϑ|+ √ s(ϑ) :=1 + ϑ 2 −1 sonst,bzw. t := 1/2ϑ, falls |ϑ| so groß ist, daß bei der Berechnung von ϑ 2Überlauf auftritt. Die Größen c und s erhält man ausc :=1√1 + t2 ,s := tc.Schließlich berechnet man die Zahl τ := tg(ϕ/2) ausτ :=s(1 + c)und formt mit Hilfe von s, t und τ die Formeln (6.5.2.2) numerisch stabilum inarj ′ = ajr ′ := a rj + s · (a rk − τ a rj )}ark ′ = a′ kr := a für r ≠ j, k,rk − s · (a rj + τ a rk )a ′ jj := a jj + ta jk ,a ′ jk = a′ kj:= 0,a ′ kk := a kk − ta jk .Zum Beweis der Konvergenz betrachtet man die SummeS(A (i) ) := ∑ ∣ ∣∣a jk 2, S(A (i+1) ) = ∑ ∣ ∣∣a jk′j≠kj≠k∣ 2

36 6 Eigenwertproblemeder Quadrate der Nichtdiagonalelemente von A (i) bzw. A (i+1) .Für sie findetman wegen (6.5.2.2)0 ≤ S ( A (i+1)) = S ( A (i)) − 2 ∣ ∣a jk∣ ∣2< S(A(i) ) falls a jk ≠ 0.Die Folge der nichtnegativen Zahlen S(A (i) ) nimmt also monoton ab, istalso konvergent. Man kann lim i→∞ S(A (i) ) = 0 zeigen (d.h. die A (i) konvergierengegen eine Diagonalmatrix), wenn man die Transformationen Ω jkin geeigneter Reihenfolge ausführt, nämlich zeilenweise,Ω 12 , Ω 13 , ..., Ω 1n ,Ω 23 , ..., Ω 2n ,.Ω n−1,n ,und diese Reihenfolge zyklisch wiederholt. Unter diesen Bedingungen kannsogar die quadratische Konvergenz des Jacobi-Verfahrens bewiesen werden,wenn A nur einfache Eigenwerte besitzt:S ( A (i+N)) ≤ S( A (i)) 2n(n − 1)mit N := ,δ2∣δ := min ∣λ i (A) − λ j (A) ∣ > 0.i≠ j[Beweis s. Wilkinson (1962), weitere Literatur: Rutishauser (1971), Schwarz,Rutishauser, Stiefel (1972), Parlett(1980)].Trotz dieser schnellen Konvergenz und des weiteren Vorzugs, daß manaus den verwendeten Ω jk leicht zusätzlich ein orthogonales System von Eigenvektorenvon A erhält, ist es in praktischen Anwendungen, insbesonderefür großes n vorteilhafter, die Matrix A mit dem Householder-Verfahren[s. Abschnitt 6.5.1] auf eine Tridiagonalmatrix J zu reduzieren und derenEigenwerte und Eigenvektoren mit dem QR-Verfahren zu berechnen, weildieses Verfahren kubisch konvergent ist. Liegt A bereits als Bandmatrix vor,so gilt dies erst recht: Beim QR-Verfahren bleibt diese Gestalt erhalten, dasJacobi-Verfahren jedoch zerstört sie.Es sei noch erwähnt, daß P. Eberlein ein dem Jacobi-Verfahren ähnlichesVerfahren für nichthermitesche Matrizen entwickelt hat. Ein ALGOL-Programm für diese Methode und nähere Einzelheiten findet man in Eberlein(1971).

6.5 Reduktion von Matrizen auf einfachere Gestalt 376.5.3 Reduktion einer Hermiteschen Matrix auf Tridiagonalgestalt.Das Verfahren von LanczosSchon bei der Herleitung der Frobeniusschen Normalform einer allgemeinenn × n-Matrix A in 6.3 spielten bereits Krylovsequenzen q, Aq, A 2 q, ...zur Matrix A und einem Startvektor q ∈ C n eine Rolle. Zu ihnen gehörengewisse lineare Teilräume des C n , die sog. KrylovräumeK i (q, A) := span[q, Aq,...,A i−1 q], i ≥ 1, K 0 (q, A) :={0}.K i (q, A) besteht aus allen Vektoren, die von den ersten i Vektoren der Folge{A j q} j≥0 aufgespannt werden. Mit m (≤ n) bezeichnen wir wie in 6.3 dengrößten Index i, für den dim K i (q, A) = i gilt, also die Vektoren q, ...,A i−1 q noch linear unabhängig sind. Dann ist A m q von den m Vektoren q,Aq, ..., A m−1 q linear abhängig, die eine Basis von K m (q, A) bilden, so daßwegen A m q ∈ K m (q, A) auch gilt AK m (q, A) ⊂ K m (q, A): Der KrylovraumK m (q, A) ist A-invariant, und die lineare Abbildung x ↦→ Φ(x) := Axbildet K m (q, A) in sich ab.In Abschnitt 6.3 erhielten wir Frobeniusmatrizen (6.3.1), wenn mandie Abbildung Φ bezüglich der Basis q, Aq, ..., A m−1 q von K m (q, A)beschreibt. Die Idee des Lanczos-Verfahrens [s. Lanczos (1950)] zur Reduktioneiner Hermiteschen n × n-Matrix A auf Tridiagonalgestalt ist damiteng verwandt: Hier wird die lineare Abbildung Φ bezüglich einer speziellenorthonormalen Basis q 1 , q 2 , ..., q m von K m (q, A) beschrieben. Dieq i werden dazu so definiert, daß für alle i = 1, 2, ..., m die Vektorenq 1 , q 2 , ..., q i gerade eine orthonormale Basis von K i (q, A) bilden. Einesolche Basis kann man zu einer gegebenen Hermiteschen n × n-MatrixA = A H und einem Startvektor q leicht konstruieren. Um den trivialen Fallm = 0, K 0 (q, A) ={0}, auszuschließen, sei der Startvektor q ≠ 0 unddarüber hinaus normiert, ‖q‖ =1, wobei ‖.‖ die euklidische Norm in C nbezeichne. Dann genügen die q i einer dreigliedrigen Rekursionsformel [vgl.Satz (3.6.3)](6.5.3.1a)q 1 := q, γ 1 q 0 := 0,Aq i = γ i q i−1 + δ i q i + γ i+1 q i+1 für i ≥ 1,wobei(6.5.3.1b)δ i := q Hi Aq i ,γ i+1 :=‖r i ‖ mit r i := Aq i − δ i q i − γ i q i−1 ,q i+1 := r i /γ i+1 , falls γ i+1 ≠ 0.

38 6 EigenwertproblemeAlle Koeffizienten γ i , δ i sind reell. Das Verfahren bricht mit dem erstenIndex i =: i 0 mit γ i+1 = 0 ab, und es gilt danni 0 = m = max dim K i (q, A).iBeweis: Wir zeigen (6.5.3.1) durch Induktion nach i. Für i = 1 istq 1 := q wegen ‖q‖=1 eine orthonormale Basis von K 1 (q, A). Seien nunfür ein j ≥ 1 orthonormale Vektoren q 1 , ..., q j gegeben, derart daß füralle i ≤ j die Formeln (6.5.3.1) undspan[q 1 ,...,q i ] = K i (q, A)gelten und darüber hinaus für i < j die Vektoren r i ≠ 0 in (6.5.3.1b) nichtverschwinden. Wir zeigen zunächst, daß dann die gleichen Behauptungenauch für j + 1 richtig sind, falls zusätzlich r j ≠ 0 gilt. In der Tat sind dannγ j+1 ≠ 0, δ j und q j+1 durch (6.5.3.1b) wohlbestimmt und es ist ‖q j+1 ‖=1.Der Vektor q j+1 ist orthogonal zu allen q i mit i ≤ j: Für i = j folgt diesaus γ j+1 ≠ 0,Aq j = γ j q j−1 + δ j q j + γ j+1 q j+1 ,der Definition von δ j und der Induktionsvoraussetzungγ j+1 q H j q j+1 = q H j Aq j − δ j q H j q j = 0.Für i = j − 1 gilt zunächst aus dem gleichen Grund und weil A = A Hγ j+1 q H j−1 q j+1 = q H j−1 Aq j − γ j q H j−1 q j−1 = (Aq j−1 ) H q j − γ j .Wegen Aq j−1 = γ j−1 q j−2 +δ j−1 q j−1 +γ j q j , folgt aus der Orthogonalität derq i für i ≤ j sofort (Aq j−1 ) H q j =¯γ j = γ j und damit q T j−1 q j+1 = 0. Ähnlichschließt man für i < j − 1 mit Hilfe von Aq i = γ i q i−1 + δ i q i + γ i+1 q i+1 :γ j+1 qiH q j+1 = qi H Aq j = (Aq i ) H q j = 0.Schließlich ist wegen span[q 1 ,...,q i ] = K i (q, A) ⊂ K j (q, A) für i ≤ jauchAq j ∈ K j+1 (q, A),sodaß wegen (6.5.3.1b)q j+1 ∈ span[q j−1 , q j , Aq j ] ⊂ K j+1 (q, A),und damit span[q 1 ,...,q j+1 ] ⊂ K j+1 (q, A) gilt. Da die q 1 , ..., q j+1 alsorthonormale Vektoren linear unabhängig sind und dim K j+1 (q, A) ≤ j +1,folgt sofortK j+1 (q, A) = span[q 1 ,...,q j+1 ].

6.5 Reduktion von Matrizen auf einfachere Gestalt 39Dies zeigt auch j + 1 ≤ m = max i dim K i (q, A), und damit i 0 ≤ m für denAbbruchindex i 0 von (6.5.3.1). Andererseits ist nach Definition i 0WegenAq i0∈ span[q i0 −1, q i0 ] ⊂ span[q 1 ,...,q i0 ] = K i0 (q, A).Aq i ∈ span[q 1 ,...,q i+1 ] = K i+1 (q, A) ⊂ K i0 (q, A) für i < i 0folgt daher AK i0 (q, A) ⊂ K i0 (q, A). Also ist K i0 (q, A) ein A-invarianterUnterraum und es gilt i 0 ≥ m, weil K m (q, A) der erste A-invarianteTeilraum unter den K i (q, A) ist. Damit ist i 0 = m gezeigt und (6.5.3.1)vollständig bewiesen.⊓⊔Mit Hilfe der Matrizen⎡δ 1 γ 2 0. γQ i := [q 1 ,...,q i ], J i := ⎢ 2 δ ..2 ⎣ . .. .⎥ .. ⎦ , 1 ≤ i ≤ m,γi0 γ i δ i⎤kann man die Rekursionen (6.5.3.1) als Matrixgleichung schreiben(6.5.3.2)AQ i = Q i J i + [0,...,0,γ i+1 q i+1 ]= Q i J i + γ i+1 q i+1 e T i , i = 1, 2,...,m,wobei e i ∈ R i der i-te Achsenvektor e i := [0,...,0, 1] T des R i ist. Manbestätigt diese Matrixgleichung sofort durch Vergleich der j-ten Spalten,j = 1, ..., i, auf beiden Seiten der Gleichung. Man beachte, daß dien × i-Matrizen Q i orthonormale Spalten besitzen, QiH Q i = I i (:= i-reihigeEinheitsmatrix), und J i relle symmetrische Tridiagonalmatrizen sind. Fürden Abbruchindex i = m ist J m irreduzibel (d. h. γ i ≠ 0für i ≤ m) undwegen γ m+1 = 0 reduziert sich (6.5.3.2) auf die Gleichung (vgl.(6.3.3))AQ m = Q m J mmit einer Matrix Q m mit Q H m Q m = I m . Jeder Eigenwert von J m ist auchEigenwert von A, denn aus J m z = λz, z ≠ 0 folgt für x := Q m z sofortx ≠ 0 undAx = AQ m z = Q m J m z = λQ m z = λx.Falls m = n, also das Verfahren nicht vorzeitig mit einem Index m < nabbricht, ist Q n eine n-reihige unitäre Matrix und die TridiagonalmatrixQn H AQ n ist irreduzibel und unitär ähnlich zu A.Das Verfahren von Lanczos besteht nun darin, zu einem gegebenenStartvektor q := q 1 mit ‖q‖ = 1 die Zahlen γ i , δ i , i = 1, 2,..., m,

40 6 Eigenwertprobleme(γ 1 := 0) mittels der Rekursionen (6.5.3.1) und damit die Matrix J m zubestimmen. Anschließend kann man mit den Methoden von Abschnitt 6.6die Eigenwerte und -vektoren von J m (und damit von A) bestimmen.Zur Praxis des Verfahrens ist folgendes zu bemerken:1. Man kann den Rechenaufwand pro Schritt reduzieren, wenn man dieHilfsvektorenu i := Aq i − γ i q i−1einführt und berücksichtigt, daß r i = u i − δ i q i gilt und daß sichδ i = q HiAq i = qiH u iwegen qiH q i−1 = 0 auch mit Hilfe von u i berechnen läßt.2. Es ist i. allg. nicht nötig, alle Vektoren q i zu speichern. Zur Durchführungvon (6.5.3.1) benötigt man lediglich zwei Vektoren v, w ∈ C n ,wobei zu Beginn des Verfahrens v := q der gegebene Startvektor q mit‖q‖ =1 ist. Im folgenden Programm [s. Golub und Van Loan (1983)],das den Lanczos-Algorithmus für eine Hermitesche n × n-Matrix A = A Hrealisiert, bedeuten v k , w k , k = 1, ..., n, die Komponenten dieser Vektoren.w := 0; γ 1 := 1; i := 1;1: if γ i ≠ 0 thenbegin if i ≠ 1 thenend;for k := 1 step 1 until n dobegin t := v k ; v k := w k /γ i ; w k :=−γ i t end;w := Av + w; δ i := v H w; w := w − δ i v;m := i; i := i + 1; γ i := √ w H w ;goto 1;Pro Schritt i → i + 1 hat man lediglich ca. 5n Multiplikaktionen durchzuführenund einmal die Matrix A mit einem Vektor zu multiplizieren. DerAufwand ist deshalb besonders gering, wenn A eine dünn besetzte Matrixist, so daß das Verfahren mit Vorliebe zur Lösung des Eigenwertproblemsfür sehr große dünn besetzte Matrizen A = A H benutzt wird.3. Theoretisch bricht das Verfahren mit einem Index i = m ≤ n ab,wenn erstmals γ i+1 = 0 ist, doch wird man wegen des Einflusses der Rundungsfehlerin der Rechenpraxis kaum jemals ein γ i+1 = 0 finden. Es istaber i.a. nicht nötig, das Verfahren solange fortzusetzen bis γ i+1 verschwindet,oder auch nur genügend klein wird. Man kann nämlich unter wenigeinschränkenden Bedingungen zeigen, daß für i →∞die größten bzw.

6.5 Reduktion von Matrizen auf einfachere Gestalt 41kleinsten Eigenwerte sehr rasch gegen den größten bzw. kleinsten Eigenwertvon A konvergieren [Kaniel-Paige-Theorie: s. Kaniel (1966), Paige(1971), Saad (1980)]. Wenn man nur an den extremen Eigenwerten von Ainteressiert ist (dies kommt in den Anwendungen sehr oft vor), genügendeshalb relativ wenige Iterationen des Verfahrens, um die extremen Eigenwertevon A mit ausreichender Genauigkeit durch die extremen Eigenwerteeiner Matrix J i mit i ≪ n zu approximieren.4. Bei exakter Rechnung würde das Lanczos-Verfahren (6.5.3.1) orthogonaleVektoren q i liefern. Unter dem Einfluß von Rundungsfehlern verlierendie tatsächlich berechneten Vektoren ˜q i aber rasch ihre Orthogonalität.Diesen Defekt kann man im Prinzip dadurch beheben, daß man in jedemSchritt den neu berechneten Vektor ˆq i+1 an allen Vektoren ˜q i , i ≤ j, reorthogonalisiert,d. h. daß man ˆq i+1 durchi∑H˜q i+1 :=ˆq i+1 −(˜q jj=1ˆq i+1)˜qjersetzt. Leider ist dies sehr aufwendig, man muß jetzt alle Vektoren ˜q i speichernund statt O(n) benötigt man O(i · n) Operationen im i-ten Lanczos-Schritt. Es gibt jedoch verschiedene Vorschläge und Untersuchungen inder Literatur [s. etwa Paige (1971), Parlett und Scott (1979), Cullum undWilloughby (1985) (hier findet man auch Programme)], wie man diesenAufwand verringern und trotz der beschriebenen Schwierigkeiten sehr guteApproximationen für die Eigenwerte von A mittels des Lanczos-Verfahrensbestimmen kann.6.5.4 Reduktion auf Hessenberg-GestaltEs wurde bereits in Abschnitt 6.5.1 bemerkt, daß man eine gegebene n × n-Matrix A mittels n − 2 Householdermatrizen T i ähnlich auf HessenberggestaltB transformieren kannA := A 0 → A 1 →···→ A n−2 = B,A i = T −1iA i−1 T i .Wir wollen nun einen zweiten Algorithmus dieser Art beschreiben, bei demals Transformationsmatrizen T i Produkte von PermutationsmatrizenP rs := [e 1 ,...,e r−1 , e s , e r+1 ,...,e s−1 , e r , e s+1 ,...,e n ],(hier ist e j der j-te Achsenvektor des R n ) mit P Trs = P rs = P −1rs und vonEliminationsmatrizen der Form

42 6 Eigenwertprobleme⎡1G j =⎢⎣. .. 1l j+1, j 1, mit |l ij |≤1,.⎥. .. ⎦l nj 1benutzt werden, die ebenfalls eine einfache Inverse besitzen [s. (6.5.0.1)].Eine Linksmultiplikation Prs−1 A von A mit Prs −1 = P rs bewirkt eineVertauschung der Zeilen r und s von A, eine Rechtsmultiplikation AP rseine Vertauschung der Spalten r und s von A. Eine LinksmultiplikationG −1jA von A mit G −1jbewirkt, daß für r = j + 1, j + 2, ..., n das l rj -fache der Zeile j von Zeile r der Matrix A abgezogen wird, während eineRechtsmultiplikation AG j bewirkt, daß für r = j + 1, ..., n das l rj -facheder Spalte r zur Spalte j von A addiert wird.Das Verfahren geht ähnlich wie bei der Gaußelimination (s. Abschnitt4.1) und dem Verfahren von Householder (s. 6.5.1) vor: D. h. man erzeugtausgehend von A =: A 0 eine Reihe von weiteren Matrizen A i , i = 1,2,..., n − 2, deren erste i Spalten bereits Hessenberggestalt haben. Im i-tenSchritt des Verfahrens, A i−1 → A i := T −1iA i−1 T i , verwendet man als T i einProdukt der Form T i = P i+1,s G i+1 mit einem geeignet gewählten s ≥ i + 1.Er zerfällt in zwei TeilschritteA i−1 −→ A ′ := P i+1,s A i−1 P i+1,s −→ A i := G −1i+1 A′ G i+1 ,wobei der erste einer Spaltenpivotsuche und der zweite einer Gaußeliminationmit Pivotelement ai+1,i ′ entspricht, der zur Annullierung der störendenElemente unterhalb der Subdiagonalen von Spalte i führt.Da das Verfahren im Prinzip wie in 6.5.1 verläuft, skizzieren wir nur den erstenSchritt A = A 0 → A 1 = T1 −1 AT 1 , T 1 = P 2,s G 2 für n = 4 (hier bedeuten ∗ wiederElemente, die sich geändert haben):Man bestimmt zunächst (Spaltenpivotsuche) das betragsgrößte Element a s,1 derersten Spalte von A unterhalb der Diagonalen, s ≥ 2 (in der Skizze ○∗ ) und bringtes mittels der Permutation P 2,s an die Position (2,1):⎡ ⎤ ⎡ ⎤x x x xx x x x⎢ x x x x⎥⎢ ○∗ ∗ ∗ ∗⎥A = A 0 = ⎣x x x x⎦ −→ P 24 A 0 = ⎣x x x x⎦○∗ x x x∗ ∗ ∗ ∗⎡ ⎤x ∗ x ∗−→ A ′ ⎢ ○∗ ∗ x ∗ ⎥= (P 24 A 0 )P 24 = ⎣x ∗ x ∗⎦x ∗ x ∗⎤

6.5 Reduktion von Matrizen auf einfachere Gestalt 43Anschließend subtrahiert man geeignete Vielfache der Zeile 2 von den Zeilen j > 2,um die Elemente unterhalb des Pivotelements zu annullieren, A ′ → A ′′ := G −12 A′ ,und berechnet schließlich A 1 := A ′′ G 2 :⎡ ⎤ ⎡ ⎤x x x xx ∗ x xA ′ −→ A ′′ ⎢ ○∗ x x x⎥⎢ ○∗ ∗ x x⎥= ⎣0 ∗ ∗ ∗⎦ −→ A 1 = ⎣0 ∗ x x⎦ .0 ∗ ∗ ∗0 ∗ x xNach n−2 Schritten dieser Art erhält man als Resultat eine Hessenberg-Matrix B = A n−2 .ALGOL-Programme für diesen Algorithmus findet man in Martin,Wilkinson (1971), FORTRAN-Programme in Smith et al. (1976).Die Gutartigkeit dieser Methode kann man auf folgende Weise untersuchen:Seien Ā i und ¯T −1idiejenigen Matrizen, die man bei Gleitpunktrechnungim Laufe des Algorithmus statt der A i , T i tatsächlich erhält. Wegen(6.5.0.1) tritt bei der Berechnung von ¯T −1iaus ¯T i kein zusätzlicher Rundungsfehlerauf,¯T −1iund es ist nach Definition von Ā i(6.5.4.1) Ā i = gl ( ¯T −1i= gl ( ¯T −1i))Ā i−1 ¯T i = ¯T −1iĀ i−1 ¯T i + R i .Mit den Methoden von Abschnitt 1.3 kann man Schranken für die FehlermatrixR i der folgenden Form herleiten(6.5.4.2) lub ∞(Ri)≤ f(n)eps lub∞(Āi−1),wobei f (n) eine gewisse Funktion von n mit f (n) = O(n α ), α ≈ 1, ist[vgl. Übungsaufgabe 13]. Aus (6.5.4.1) folgt schließlich wegen A = Ā 0(6.5.4.3) Ā n−2 = ¯T −1n−2 ··· ¯T −11(A + F) ¯T 1 ··· ¯T n−2mit(6.5.4.4) F =∑n−2i=1¯T 1 ¯T 2 ··· ¯T i R i ¯T −1i··· ¯T −12¯T −11.Dies zeigt, daß Ā n−2 exakt ähnlich ist zu einer abgeänderten AusgangsmatrixA+ F. Je kleiner F gegenüber A ist, desto gutartiger ist das Verfahren. Nungilt für die Matrizen ¯T i wegen (6.5.0.1)so daß in Strenge giltlub ∞( ¯T i)≤ 2,lub∞( ¯T −1i(6.5.4.5) lub ∞( ¯T 1 ··· ¯T i)≤ 2 i .)≤ 2,

44 6 EigenwertproblemeAls Konsequenz hätte man wegen Ā i ≈ ¯T −1iund (6.5.4.4) die Abschätzungen(6.5.4.6)lub ∞(Āi) ˙≤ C i lub ∞(A), Ci := 2 2i ,lub ∞(F)≤ Kf(n)eps lub∞(A),··· ¯T −11A ¯T 1 ··· ¯T i , (6.5.4.2)∑n−2K := 2 4i−2 ,mit einem Faktor K = K(n), der mit n rasch anwächst. Glücklicherweiseist die Schranke (6.5.4.5) in den meisten praktischen Fällen viel zu pessimistisch.Es ist bereits recht unwahrscheinlich, daß giltlub ∞( ¯T 1 ··· ¯T i)≥ 2i für i ≥ 2.In allen diesen Fällen kann man die Konstanten C i und K in (6.5.4.6) durchwesentlich kleinere Konstanten ersetzen, was bedeutet, daß in den meistenFällen F klein gegenüber A und das Verfahren gutartig ist.Für nichthermitesche Matrizen benötigt die Householdersche Reduktionsmethode(s. Abschnitt 6.5.1) etwa doppelt so viele Operationen alsdas hier beschriebene Verfahren. Da in den meisten Fällen die Gutartigkeitdieses Verfahrens nicht wesentlich schlechter ist als die des Householder-Verfahrens, wird es in der Praxis vorgezogen (Tests ergeben sogar, daß dasHouseholder-Verfahren wegen der größeren Zahl der Rechenoperationenhäufig etwas ungenauere Resultate liefert).i=16.6 Methoden zur Bestimmung der Eigenwerteund EigenvektorenIn diesem Abschnitt soll zunächst beschrieben werden, wie man einige anund für sich klassische Verfahren der Nullstellenbestimmung von Polynomen[s. Abschnitte 5.5, 5.6] benutzen kann, um die Eigenwerte von HermiteschenTridiagonalmatrizen bzw. von Hessenbergmatrizen zu berechnen.Darüber hinaus werden einige Iterationsverfahren zur Lösung des Eigenwertproblemsangegeben. Prototyp dieser Verfahren ist die einfacheVektoriteration, bei der ein bestimmter Eigenwert und ein zugehöriger Eigenvektoreiner Matrix iterativ berechnet wird. Eine Verfeinerung dieserMethode ist das Verfahren der inversen Iteration von Wielandt, mit dessenHilfe man alle Eigenwerte und Eigenvektoren bestimmen kann, soferngenügend gute Näherungswerte für die Eigenwerte bekannt sind. Schließlichgehören zu diesen iterativen Methoden auch das LR- und das QR-Verfahren

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 45zur Berechnung aller Eigenwerte. Die beiden letzten Verfahren, insbesonderedas QR-Verfahren, sind die besten bekannten Methoden zur Lösungdes Eigenwertproblems.6.6.1 Berechnung der Eigenwerte einer HermiteschenTridiagonalmatrixUm die Eigenwerte einer Hermiteschen Tridiagonalmatrix⎡δ 1 ¯γ 2 0. γ(6.6.1.1) J = ⎢ 2 δ ..2 ⎣ . .. .⎥ .. ⎦ , δ i = ¯δ i ,¯γn0 γ n δ n⎤zu bestimmen, gibt es neben dem wichtigsten Verfahren, dem QR-Verfahren,das in Abschnitt 6.6.6 beschrieben wird, zwei naheliegende Methoden, dienun besprochen werden sollen. Sei o.B.d.A. J eine unzerlegbare (irreduzible)Tridiagonalmatrix, d.h. γ i ≠ 0für alle i. Andernfalls zerfällt J inunzerlegbare Tridiagonalmatrizen J (i) , i = 1, ..., k,J =⎡⎢⎣J (1) ⎤0J (2) . ..0 J (k)⎥⎦ ;die Eigenwerte von J sind dann die Eigenwerte der J (i) , i = 1, ..., k. Esgenügt also, unzerlegbare Matrizen J zu betrachten. Das charakteristischePolynom ϕ(µ) von J kann leicht rekursiv berechnet werden: Mit⎡⎤δ 1 ¯γ 2 0. γp i (µ) := det(J i − µI), J i := ⎢ 2 δ ..2 ⎣ . .. .⎥ .. ⎦ ,¯γi0 γ i δ ifindet man nämlich durch Entwicklung von det(J i − µI) nach der letztenSpalte die Rekursionsformel(6.6.1.2)p 0 (µ) := 1,p 1 (µ) = δ 1 − µ,p i (µ) = (δ i − µ)p i−1 (µ) −|γ i | 2 p i−2 (µ),ϕ(µ) ≡ p n (µ).i = 2, 3,...,n,

46 6 EigenwertproblemeDa δ i und |γ i | 2 reell sind, bilden die Polynome p i (µ) eine Sturmsche Kette[s. Satz (5.6.5)], falls |γ i | 2 ≠ 0für i = 2, ..., n.Deshalb kann man mit dem in Abschnitt 5.6 beschriebenen Bisektionsverfahrendie Eigenwerte von J bestimmen. Dieses Verfahren ist insbesonderedann zu empfehlen, wenn man nicht alle, sondern nur bestimmteEigenwerte von J berechnen will. Darüber hinaus ist es wegen seiner Gutartigkeitzu empfehlen, wenn einige Eigenwerte von J sehr dicht beieinanderliegen [s. Barth, Martin und Wilkinson (1971) für ein ALGOL-Programm].Da J nur reelle einfache Eigenwerte besitzt, kann man auch mit demNewton-Verfahren, etwa in der Variante von Maehly [s. (5.5.13)], die Eigenwertevon J bestimmen, jedenfalls dann, wenn die Eigenwerte nicht zu engbenachbart sind. Die für das Newton-Verfahren benötigten Werte p n (λ ( j) ),p ′ n (λ( j) ) des charakteristischen Polynoms und seiner Ableitung können rekursivberechnet werden: p n (λ ( j) ) mittels (6.6.1.2) und p ′ n (λ( j) ) mittels derfolgenden Formeln, die man durch Differentiation von (6.6.1.2) erhält:p 0 ′ (µ) = 0,p 1 ′ (µ) =−1,p i ′ (µ) =−p i−1(µ) + (δ i − µ)p i−1 ′ (µ) −|γ i| 2 p i−2 ′ (µ),i = 2,...,n.Einen Startwert λ (0) ≥ max i λ i für das Newtonverfahren erhält man aus dem(6.6.1.3) Satz: Für die Eigenwerte λ j der Matrix J (6.6.1.1) gilt∣ ∣ {∣λ j ≤ max |γi |+|δ i |+|γ i+1 | } , γ 1 := γ n+1 := 0.1≤i≤nFür die Maximumnorm ‖x‖ ∞ = max |x i | ist nämlich{lub ∞ (J) = max |γi |+|δ i |+γ i+1 | } ,1≤i≤nund aus Jx = λ j x, x ≠ 0 folgt sofort|λ j |‖x‖ ∞ =‖Jx‖ ∞ ≤ lub ∞ (J) ·‖x‖ ∞ , ‖x‖ ∞ ≠ 0,und daher |λ j |≤lub ∞ (J).6.6.2 Berechnung der Eigenwerte einer Hessenbergmatrix.Die Methode von HymanNeben dem in der Praxis am meisten verwandten QR-Verfahren (s. 6.6.4)kann man im Prinzip alle Methoden von Kapitel 5 verwenden, um die Nullstellendes charakteristischen Polynoms p(µ) = det(B − µI) einer HessenbergmatrixB = (b ik ) zu bestimmen. Dazu muß man, etwa für die Anwendungdes Newton-Verfahrens, die Werte p(µ) und p ′ (µ) für gegebenes µausrechnen. Hyman hat dazu folgende Methode vorgeschlagen:

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 47Wir setzen voraus, daß B unzerlegbar (irreduzibel) ist, d. h., daßb i,i−1 ≠ 0für i = 2, ..., n gilt. Dann kann man für festes µ Zahlen α, x 1 ,..., x n−1 , so bestimmen, daß x = (x 1 ,...,x n−1 , x n ), x n := 1, Lösung desGleichungssystems(B − µI)x = αe 1ist, oder ausgeschrieben(6.6.2.1)(b 11 − µ)x 1 + b 12 x 2 +···+b 1n x n = α,b 21 x 1 + (b 22 − µ)x 2 +···+b 2n x n = 0,b n,n−1 x n−1 + (b nn − µ)x n = 0.Ausgehend von x n = 1 kann man nämlich aus der letzten Gleichung x n−1bestimmen, aus der vorletzten x n−2 , ..., aus der 2. Gleichung x 1 und ausder 1. Gleichung schließlich α. Natürlich hängen die Zahlen x i und α vonµ ab. Faßt man (6.6.2.1) als Gleichung für x bei gegebenem α auf, so folgtaus der Cramerschen Regeloder1 = x n = α(−1)n−1 b 21 b 32 ...b n,n−1,det(B − µI)(−1) n−1(6.6.2.2) α= α(µ) =det(B − µI).b 21 b 32 ...b n,n−1Bis auf eine multiplikative Konstante ist also α = α(µ) mit dem charakteristischenPolynom von B identisch. Durch Differentiation nach µ erhältman aus (6.6.2.1) wegen x n ≡ 1, x n ′ ≡ 0für x′ i:= xi ′ (µ) die Formeln(b 11 − µ)x ′ 1 − x 1 + b 12 x ′ 2 +···+b 1,n−1x ′ n−1 = α′ ,b 21 x ′ 1 + (b 22 − µ)x ′ 2 − x 2 +···+b 2,n−1 x ′ n−1 = 0,b n,n−1 x ′ n−1 − x n = 0,die man zusammen mit (6.6.2.1) ausgehend von der letzten Gleichung rekursivnach den x i , x ′ i , α und schließlich α′ auflösen kann. Man kann soα = α(µ) und α ′ (µ) für jedes µ ausrechnen, und so das Newton-Verfahrenanwenden, um die Nullstellen von α(µ), d.h. wegen (6.6.2.2) die Eigenwertevon B zu berechnen...

48 6 Eigenwertprobleme6.6.3 Die einfache Vektoriteration und die inverse Iterationvon WielandtVorläuferaller iterativen Methoden zur Eigenwert- und Eigenvektorbestimmungfür eine Matrix A ist die einfache Vektoriteration: Ausgehend voneinem beliebigen Startvektor t 0 ∈ C n bildet man die Folge von Vektoren{t i } mitt i = At i−1 , i = 1, 2,... .Es ist dannt i = A i t 0 .Um die Konvergenz dieser Folge zu untersuchen, nehmen wir zunächst an,daß A eine diagonalisierbare n × n-Matrix mit den Eigenwerten λ i ist,|λ 1 |≥|λ 2 |≥···≥|λ n |.Wir nehmen zusätzlich an, daß es keinen von λ 1 verschiedenen Eigenwertλ j gibt mit |λ j |=|λ 1 |, d.h. es gibt eine Zahl r > 0 mit(6.6.3.1)λ 1 = λ 2 =···=λ r|λ 1 |=···=|λ r | > |λ r+1 |≥···≥|λ n |.Als diagonalisierbare Matrix besitzt Anlinear unabhängige Eigenvektorenx i , Ax i = λ i x i , die eine Basis des C n bilden. t 0 läßt sich daher in der Form(6.6.3.2) t 0 = ρ 1 x 1 +···+ρ n x nschreiben. Es folgt für t i die Darstellung(6.6.3.3) t i = A i t o = ρ 1 λ i 1 x 1 +···+ρ n λ i n x n.Nehmen wir nun weiter an, daß für t 0 giltρ 1 x 1 +···+ρ r x r ≠ 0– dies präzisiert die Forderung, daß t 0 „genügend allgemein“ gewählt sei –so folgt aus (6.6.3.3) und (6.6.3.1)(6.6.3.4)1λ i 1t i = ρ 1 x 1 +···+ρ r x r +ρ r+1(λr+1λ 1) ix r+1 +···+ρ n(λnλ 1) ix nund daher wegen ∣ ∣λ j /λ 1∣ ∣ < 1für j ≥ r + 11(6.6.3.5) limi→∞ λ i t i = ρ 1 x 1 +···+ρ r x r .1

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 49Normiert man die t i =: ( τ (i) ) T1 ,...,τ(i) n auf irgend eine Weise, setzt manetwaz i := t i∣τ (i) , ∣τ (i) ∣ ∣ ∣j i= max ∣τ s(i) ∣,sj iso folgt aus (6.6.3.5)(6.6.3.6) limτ (i+1)j ii→∞ τ (i)= λ 1 , lim z i = α(ρ 1 x 1 +···+ρ r x r ),i→∞j iwobei α ≠ 0 eine Normierungskonstante ist. Unter den angegenbenen Voraussetzungenliefert das Verfahren also sowohl den betragsgrößten Eigenwertλ 1 von A als auch einen zu λ 1 gehörigen Eigenvektor, nämlich denVektor z = α(ρ 1 x 1 +···+ρ r x r ), und wir sagen „die Vektoriteration konvergiertgegen λ 1 und einen zugehörigen Eigenvektor“.Man beachte, daß für r = 1(λ 1 ist einfacher Eigenwert), der Grenzvektorz unabhängig von der Wahl von t 0 ist (sofern nur ρ 1 ≠ 0 ist). Ist λ 1ein mehrfacher dominanter Eigenwert, r > 1, so hängt der gefundene Eigenvektorz von den Verhältnissen ρ 1 : ρ 2 : ...: ρ r , und damit vom Startvektort 0 ab. Darüber hinaus sieht man aus (6.6.3.4), daß lineare Konvergenz mitdem Konvergenzfaktor |λ r+1 /λ 1 | vorliegt: Das Verfahren konvergiert umsobesser, je kleiner |λ r+1 /λ 1 | ist. Gleichzeitig zeigt der Konvergenzbeweis,daß allgemein das Verfahren nicht gegen λ 1 und einen zu λ 1 gehörigenEigenvektor, sondern gegen λ k und einen Eigenvektor zu λ k konvergiert,sofern in der Zerlegung (6.6.3.2) von t 0 giltρ 1 =···=ρ k−1 = 0, ρ k ≠ 0(und es keinen von λ k verschiedenen Eigenwert gleichen Betrages wie λ kgibt). Diese Aussage hat jedoch i.a. nur theoretische Bedeutung, denn selbstwenn anfangs für t 0 exakt ρ 1 = 0 gilt, wird infolge des Einflusses vonRundungsfehlern für das berechnete ¯t 1 = gl(At 0 ) i.a. gelten¯t 1 = ελ 1 x 1 +¯ρ 2 λ 2 x 2 +···+ ¯ρ n λ n x nmit einem kleinen ε ≠ 0, ¯ρ i ≈ ρ i , i = 2, ..., n, so daß das Verfahrenschließlich doch gegen λ 1 konvergiert.Sei nun A eine nicht diagonalisierbare Matrix mit eindeutig bestimmtenbetragsgrößtem Eigenwert λ 1 (d.h. aus |λ 1 |=|λ i | folgt λ 1 = λ i ). Ersetztman (6.6.3.2) durch eine Darstellung von t 0 als Linearkombination vonEigen- und Hauptvektoren von A, so kann man auf dieselbe Weise zeigen,daß für „genügend allgemeines“ t 0 die Vektoriteration gegen λ 1 und einenzugehörigen Eigenvektor konvergiert.

50 6 EigenwertproblemeFür die praktische Rechnung ist die einfache Vektoriteration nur bedingtbrauchbar, weil sie schlecht konvergiert, wenn die Beträge der Eigenwertenicht genügend gut getrennt sind, und weil sie darüber hinaus nur einen Eigenwertund einen zugehörigen Eigenvektor liefert. Diese Nachteile werdenbei der inversen Iteration (auch gebrochene Iteration) von Wielandt vermieden.Hier wird vorausgesetzt, daß man bereits einen guten Näherungswertλ für einen der Eigenwerte λ 1 , ..., λ n , etwa λ j , von A kennt: m. a. W. essoll gelten(6.6.3.7) |λ j − λ|≪|λ k − λ| für alle λ k ≠ λ j .Man bildet dann ausgehend von einem „genügend allgemeinen“ Startvektort 0 ∈ C n die Vektoren t i , i = 1, 2, ..., gemäß(6.6.3.8) (A − λI)t i = t i−1 .Falls λ ≠ λ k , k = 1, ..., n, existiert (A−λI) −1 und (6.6.3.8) ist äquivalentmitt i = (A − λI) −1 t i−1 ,d. h. mit der gewöhnlichen Vektoriteration mit der Matrix (A − λI) −1 , diedie Eigenwerte 1/(λ k − λ), k = 1, 2, ..., n, besitzt. Wegen (6.6.3.7) gilt∣ 1∣∣∣ ∣λ j − λ∣ ≫ 1λ k − λ∣ für λ k ≠ λ j .Setzen wir A wieder als diagonalisierbar voraus mit den Eigenvektoren x i ,so folgt aus t 0 = ρ 1 x 1 +···+ρ n x n (wenn λ j einfacher Eigenwert ist)(6.6.3.9)n∑t i = (A − λI) −1 ρ kt 0 =k=1(λ k − λ) x k,i(λ j − λ) i t i = ρ j x j + ∑ ( )λj − λ iρ k x k ,λk≠ j k − λlim (λ j − λ) i t i = ρ j x j .i→∞Die Konvergenz wird umso besser sein, je kleiner |λ j − λ|/|λ k − λ| fürλ k ≠ λ j ist, d.h. je besser der Näherungswert λ ist.Die Beziehungen (6.6.3.9) könnten den Eindruck erwecken, daß einStartvektor t 0 umso besser für die inverse Iteration geeignet ist, je genauerer mit dem Eigenvektor x j übereinstimmt, zu dessen Eigenwert λ j ein guterNäherungswert λ gegeben ist. Außerdem scheinen sie nahezulegen, daß beider Wahl t 0 ≈ x j die „Genauigkeit“ der t i mit wachsendem i gleichmäßigzunimmt. Dieser Eindruck ist trügerisch und im allgemeinen nur für die

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 51gut konditionierten Eigenwerte λ j einer Matrix A richtig (s. Abschnitt 6.9),d.h. die Eigenwerte λ j , die sich bei einer kleinen Störung der Matrix A nurwenig ändern:λ j (A +△A) − λ j (A) = O(eps),fallslub(△A)lub(A)= O(eps).Nach Abschnitt 6.9 sind alle Eigenwerte von symmetrischen MatrizenA gut konditioniert. Eine schlechte Kondition für λ j ist dann zu erwarten,wenn λ j mehrfache Nullstelle des charakteristischen Polynoms von A ist undzu A nichtlineare Elementarteiler gehören, oder, was in der Praxis häufigvorkommt, wenn λ j zu einem kleinen Haufen („cluster“) nur wenig voneinanderverschiedener Eigenwerte gehört, deren Eigenvektoren fast linearabhängig sind.Bevor wir die für schlecht konditioniertes λ j möglichen Komplikationenfür die inverse Iteration an einem Beispiel studieren, wollen wir präzisieren,was wir unter einem (im Rahmen der benutzten Maschinengenauigkeit eps)numerisch akzeptablen Eigenwert λ und einem zugehörigen Eigenvektorx λ ≠ 0 einer Matrix A verstehen:Die Zahl λ heißt numerisch akzeptabler Eigenwert von A, falls es einekleine Matrix △A mitlub(△A)/ lub(A) = O(eps)gibt, so daß λ exakter Eigenwert von A +△A ist.Solche numerisch akzeptable Eigenwerte λ werden durch jedes numerischstabile Verfahren zur Eigenwertbestimmung geliefert.Der Vektor x λ ≠ 0 heißt numerisch akzeptabler Eigenvektor zu einemgegebenen Näherungswert λ für einen Eigenwert der Matrix A, falls es einekleine Matrix △ 1 A gibt mit(6.6.3.10) (A +△ 1 A − λI)x λ = 0,Beispiel 1: Für die MatrixA =[ ] 1 10 1lub(△ 1 A)lub(A)= O(eps).ist die Zahl λ := 1 + √ eps numerisch akzeptabler Eigenwert, denn λ ist exakterEigenwert von[ ] 0 0A +△A mit △ A := .eps 0Obwohl

52 6 Eigenwertprobleme[ ] 1x λ :=0exakter Eigenvektor von A ist, ist jedoch im Sinne der obigen Definition x λ keinnumerisch akzeptabler Eigenvektor zur Näherung λ = 1 + √ eps, denn jede Matrix[ ] α β△ 1 A =γ δmithat die Gestalt△ 1 A =(A +△ 1 A − λI)x λ = 0[ √ ]eps β, β,δ beliebig.0 δFür alle diese Matrizen gilt lub ∞ (△ 1 A) ≥ √ eps ≫ O(eps · lub(A)).Folgende paradoxe Situation ist also möglich: Sei λ 0 exakter Eigenwerteiner Matrix, x 0 zugehöriger exakter Eigenvektor und λ eine numerischakzeptable Näherung von λ 0 . Dann muß x 0 nicht unbedingt numerisch akzeptablerEigenvektor zur Näherung λ für λ 0 sein.Hat man einen solchen numerisch akzeptablen Eigenwert λ von A, soversucht man mittels der inversen Iteration lediglich einen zugehörigen numerischakzeptablen Eigenvektor x λ zu finden. Ein Vektor t j , j ≥ 1, denman zu einem Startvektor t 0 mittels inverser Iteration gefunden hat, kannals ein solches x λ akzeptiert werden, falls(6.6.3.11)‖t j−1 ‖‖t j ‖Denn dann gilt wegen (A − λI)t j = t j−1mit= O(eps) · lub(A).(A +△A − λI)t j = 0△A : =− t j−1tjHt Hjt jlub 2 (△A) = ‖t j−1‖ 2‖t j ‖ 2= O(eps lub 2 (A)).Es ist nun überraschend, daß es bei schlecht konditionierten EigenwertenIterierte t j geben kann, die numerisch akzeptabel sind, während ihr Nachfolgert j+1 nicht mehr akzeptabel ist:Beispiel 2: Die Matrix[ ] η 1A = ,η ηη= O(eps), lub ∞ (A) = 1 +|η|,

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 53besitzt die Eigenwerte λ 1 = η+ √ η, λ 2 = η− √ η mit den zugehörigen Eigenvektoren[ ] [ ]1x 1 = √η1, x 2 =− √ .ηA ist wegen der Kleinheit von η sehr schlecht konditioniert, λ 1 , λ 2 bilden einenHaufen von Eigenwerten, deren zugehörige Eigenvektoren x 1 , x 2 fast linear abhängigsind [z. B. besitzt die leicht abgeänderte Matrixà :=[ ] 0 1= A +△A,0 0lub ∞ (△A)lub ∞ (A)= |2η|1 +|η| = O(eps),den Eigenwert λ(Ã) = 0 mit min |λ(Ã) − λ i |≥ √ |η|−|η| ≫O(eps)]. Die Zahlλ = 0 ist numerisch akzeptabler Eigenwert von A zum Eigenvektor[ ] 1x λ = .0Es ist nämlich[ ] −η 0(A +△A − 0 · I)x λ = 0 für △ A := ,−η 0lub ∞ (△A)/ lub ∞ (A) =|η|1 +|η| ≈ O(eps).Nimmt man diesen numerisch akzeptablen Eigenvektor x λ als Startvektor t 0 für dieinverse Iteration und λ = 0 als näherungsweisen Eigenwert von A, soerhält mannach dem ersten Schrittt 1 := −1 [ ] 1.1 − η −1Der Vektor t 1 ist aber nicht mehr wie t 0 numerisch akzeptabler Eigenvektor zuλ = 0, denn jede Matrix △A mithat die Gestalt△A =[ ] α βγ δ(A +△A − 0 · I)t 1 = 0mit α = 1 + β − η, γ = δ.Für alle diese Matrizen △A ist lub ∞ (△A) ≥ 1−|η|, es gibt unter ihnen keine kleineMatrix mit lub ∞ (△A) ≈ O(eps).Dagegen liefert jeder Startvektor t 0 der Form[ ] τt 0 =1mit nicht zu großem |τ| als t 1 einen numerisch akzeptablen Eigenvektor zu λ = 0.Z. B. ist für[ ] 1t 0 =1der Vektort 1 = 1 η[ 10]numerisch akzeptabel, wie eben gezeigt wurde.

54 6 EigenwertproblemeÄhnliche Verhältnisse wie in diesem Beispiel liegen im allgemeinen vor,wenn zu dem betrachteten Eigenwert nichtlineare Elementarteiler gehören.Sei etwa λ j ein Eigenwert von A, zu dem es Elementarteiler von höchstens k-tem Grade [k = τ j , s. (6.2.11)] gibt. Durch ein numerisch stabiles Verfahrenkann man dann im allgemeinen [s. (6.9.11)] nur einen Näherungswert λ mitdem Fehler |λ − λ j |=O(eps 1/k ) erhalten [wir setzen hier der Einfachheithalber lub(A) = 1 voraus].Sei nun x 0 , x 1 , ..., x k−1 eine Kette von Hauptvektoren (s. Abschnitte6.2, 6.3) zum Eigenwert λ j ,(A − λ j I)x i = x i−1 für i = k − 1,...,0, (x −1 := 0).Für λ ≠ λ i , i = 1, ..., n, folgt dann sofort(A − λI) −1[ A − λI + (λ − λ j )I ] x i = (A − λI) −1 x i−1 ,(A − λI) −1 x i = 1λ j − λ x i + 1λ − λ j(A − λI) −1 x i−1 ,und daraus durch Induktion(A − λI) −1 x k−1 = 1λ j − λ x k−1 −i = k − 1,...,0,1(λ j − λ) 2 x k−2 +···±Für den Startvektor t 0 := x k−1 folgt somit für das zugehörige t 1∥∥t 1∥ ∥ ≈ O ( (λ j − λ) −k) = O(1/ eps)1(λ j − λ) k x 0.und daher ‖t 0 ‖/‖t 1 ‖=O(eps), sodaßt 1 als Eigenvektor von A akzeptabelist. Hätte man dagegen als Startvektor t 0 := x 0 den exakten Eigenvektorvon A genommen, so wäreund damitt 1 = 1λ j − λ t 0‖t 0 ‖‖t 1 ‖ = O( eps 1/k) .Wegen eps 1/k ≫ eps ist t 1 nicht numerisch akzeptabler Eigenvektor für denvorgelegten Näherungswert λ (vgl. Beispiel 1).Aus diesem Grunde führt man in der Praxis die inverse Iteration nurnoch in sehr rudimentärer Form durch: Nachdem man (numerisch akzeptable)Näherungswerte λ für die exakten Eigenwerte von A mittels eines numerischstabilen Verfahrens berechnet hat, bestimmt man probeweise für einige

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 55verschiedene Startvektoren t 0 die zugehörigen t 1 und akzeptiert denjenigenVektor t 1 als Eigenvektor, für den ‖t 0 ‖/‖t 1 ‖ am besten die GrößenordnungO(eps lub(A)) besitzt.Da man für den Schritt t 0 → t 1 ein lineares Gleichungssystem (6.6.3.8)zu lösen hat, wendet man in der Praxis die inverse Iteration nur fürTridiagonal- oder Hessenbergmatrizen A an. Um das Gleichungssystem(6.6.3.8) numerisch stabil zu lösen (A − λI ist fast singulär!), muß mandie Gauß-Elimination unbedingt mit Spaltenpivotsuche durchführen (s. Abschnitt4.1), d.h. man bestimmt eine Permutationsmatrix P, eine untere DreiecksmatrixL mit l ii = 1, |l ik |≤1für k < i, und eine obere DreiecksmatrixR, so dass⎡ ⎤ ⎡ ⎤1 0x ... xP(A − λI) = LR, L = ⎣.. .. ⎦ , R = ⎣ . ... .. ⎦ .x ... 10 xDann erhält man die Lösung t 1 von (6.6.3.8) aus den beiden gestaffeltenGleichungssystemen(6.6.3.12)Lz = Pt 0 ,Rt 1 = z.Für Tridiagonal- und Hessenbergmatrizen A ist L sehr dünn besetzt: In jederSpalte von L sind höchstens 2 Elemente von 0 verschieden. Für HessenbergmatrizenA ist R eine obere Dreiecksmatrix und für Tridiagonalmatrizen Aeine Matrix der Form⎡R =⎢⎣∗ ∗ ∗ 0· · ·· · ·· · ∗· ∗0 ∗⎤,⎥⎦so daß in jedem Fall die Auflösung von (6.6.3.12) nur wenige Operationenerfordert. Überdies ist wegen (6.6.3.12) ‖z‖≈‖t 0 ‖. Man kann sich daher dieArbeit noch weiter vereinfachen, indem man ausgehend von einem Vektorz nur noch t 1 aus Rt 1 = z bestimmt und versucht, z durch Probieren so zuwählen, daß ‖z‖/‖t 1 ‖ möglichst klein wird.Ein ALGOL-Programm für die Berechnung der Eigenvektoren einersymmetrischen Tridiagonalmatrix durch inverse Iteration findet sich beiPeters, Wilkinson (1971a), FORTRAN-Programme in Smith et al. (1976).

56 6 Eigenwertprobleme6.6.4 Das LR- und das QR-VerfahrenDas LR-Verfahren von Rutishauser (1958) und das QR-Verfahren vonFrancis (1961/62) und Kublanovskaja (1961) sind ebenfalls Iterationsverfahrenzur Bestimmung der Eigenwerte einer n × n-Matrix A. Es soll zunächstdas historische frühere LR-Verfahren erklärt werden. Hier bildet man ausgehendvon A 1 := A eine Folge von Matrizen A i nach folgender Vorschrift:Man stellt mit Hilfe des Gaußschen Eliminationsverfahrens (s. Abschnitt4.1) die Matrix A i als Produkt einer unteren Dreiecksmatrix L i = (l jk ) mitl jj = 1 und einer oberen Dreiecksmatrix R i dar:⎡ ⎤ ⎡ ⎤1 0 ∗ ··· ∗(6.6.4.1) A i =: L i R i , L i = ⎣.. .. ⎦ , R i = ⎣ . .. .⎦ .∗ ··· 10 ∗Anschließend bildet manA i+1 := R i L i =: L i+1 R i+1 , i = 1, 2,... .Aus Abschnitt 4.1 wissen wir, daß für eine beliebige Matrix A i eine solcheZerlegung A i = L i R i nicht immer möglich ist, was die Voraussetzung desfolgenden Satzes erklärt:(6.6.4.2) Satz: Sofern alle Zerlegungen A i = L i R i existieren, gilt(a) A i+1 ist ähnlich zu A i :A i+1 = L −1iA i L i , i = 1, 2,...(b) A i+1 = (L 1 L 2 ···L i ) −1 A 1 (L 1 L 2 ···L i ), i = 1, 2, ...(c) Die untere Dreiecksmatrix T i := L 1 ···L i und die obere DreiecksmatrixU i := R i ···R 1 liefern die LR-Zerlegung von A i ,A i = A i 1 = T iU i , i = 1, 2,... .Beweis: (a) Wegen A i = L i R i hat manL −1iA i L i = R i L i =: A i+1 .(b) folgt sofort aus (a). Um (c) zu zeigen, gehen wir aus vonL 1 ···L i A i+1 = A 1 L 1 ···L i , i = 1, 2,... ,einer Folge von (b). Es ist also für i = 1, 2, ...

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 57Damit ist der Satz bewiesen.T i U i = L 1 ···L i−1 (L i R i )R i−1 ···R 1= L 1 ···L i−1 A i R i−1 ···R 1= A 1 L 1 ···L i−1 R i−1 ···R 1= A 1 T i−1 U i−1 .Man kann zeigen, daß die Matrizen A i unter bestimmten Bedingungengegen eine obere Dreiecksmatrix A ∞ konvergieren, deren Diagonalelemente(A ∞ ) jj = λ j gerade die Eigenwerte von A sind, daß man also mit dem LR-Verfahren die Eigenwerte von A iterativ bestimmen kann. Wir wollen dieKonvergenz jedoch nur für das eng mit dem LR-Verfahren verwandte QR-Verfahren untersuchen, weil das LR-Verfahren einige Nachteile besitzt: Esbricht zusammen, wenn eine der Matrizen A i keine Dreieckszerlegung besitzt,und, selbst wenn die Zerlegung A i = L i R i existiert, kann das ProblemL i und R i aus A i zu berechnen schlecht konditioniert sein.Um diese Schwierigkeiten zu vermeiden (und um das Verfahren numerischstabil zu halten, s. Abschnitt 4.5), könnte man daran denken, das Verfahren durchEinführung einer Dreieckszerlegung mit Pivotsuche zu modifizieren:P i A i =: L i R i ,A i+1 : = R i P TiP i Permutationsmatrix, P −1iL i = Li−1 (P i A i Pi T )L i .= P Ti ,Es gibt jedoch Beispiele, bei denen der so modifizierte Prozeß nicht mehr konvergiert:[ 1 3A 1 =2 0[ 0 1P 1 =1 0A 2 = R 1 P T 1 L 1 =P 2 =], λ 1 = 3, λ 2 =−2,], P 1 A 1 =[ ] 1 2,3 0[ ] 0 1, P1 02 A 2 =A 3 = R 2 P T 2 L 2 =[ ] 1 3≡ A2 0 1 .[ ] 2 0=1 3[ ] 3 0=1 2[ 1 01/2 1[ 1 01/3 1Das LR-Verfahren ohne Pivotsuche konvergiert hier nach wie vor.][ ] 2 0= L0 3 1 R 1 ,][ ] 3 0= L0 2 2 R 2 ,Diese Schwierigkeiten des LR-Verfahrens werden weitgehend im QR-Algorithmus von Francis (1961/62) vermieden, der eine Weiterentwicklungdes LR-Verfahrens ist. Formal erhält man dieses Verfahren, wenn man (in⊓⊔

58 6 Eigenwertprobleme6.6.4.1) die LR-Zerlegungen durch QR-Zerlegungen (s. 4.7) ersetzt. Im QR-Verfahren werden so ausgehend von der n × n-Matrix A 1 := A MatrizenQ i , R i , A i nach folgender Vorschrift gebildet:⎡ ⎤∗ ··· ∗A i =: Q i R i , Qi H Q i = I, R i = ⎣ . ... .. ⎦ ,(6.6.4.3)0 ∗A i+1 : = R i Q i .Die Matrizen A i werden also in das Produkt einer unitären Matrix Q i und eineroberen Dreiecksmatrix R i zerlegt. Man beachte, daß eine QR-Zerlegungfür A i stets existiert und etwa mit den Methoden von Abschnitt 4.7 numerischstabil berechnet werden kann: Man kann n − 1 HouseholdermatrizenH (i)j, j = 1, ..., n − 1, bestimmen, so daßH (i)n−1 ···H(i) 1A i = R iobere Dreiecksgestalt besitzt. Dann ist wegen ( H (i)jund A i+1 ergibt sich zuQ i := H (i)1···H (i)n−1 ,A i+1 = R i H (i)1···H (i)n−1 .) H=(H(i)j) −1= H(i)jMan beachte ferner, daß die QR-Zerlegung einer Matrix nicht eindeutig ist:Ist S eine beliebige unitäre Diagonalmatix, d. h. eine Phasenmatrix der FormS = diag(e iφ 1, e iφ 2,...,e iφ n),so sind Q i S unitär und S H R i eine obere Dreiecksmatrix und es gilt(Q i S)(S H R i ) = Q i R i . Analog zu Satz (6.6.4.2) gilt nun(6.6.4.4) Satz: Die Matrizen A i , Q i , R i (6.6.4.3) sowieP i := Q 1 Q 2 ···Q i , U i := R i R i−1 ···R 1 ,haben folgende Eigenschaften:(a) A i+1 ist unitär ähnlich zu A i , A i+1 = Q H iA i Q i .(b) A i+1 = (Q 1 ···Q i ) H A 1 (Q 1 ···Q i ) = P HiA 1 P i .(c) A i = P i U i .Der Beweis wird wie bei Satz (6.6.4.2) geführt und wird dem Leserüberlassen.⊓⊔Um die Konvergenzeigenschaften des QR-Verfahrens (s. (6.6.4.12))plausibel zu machen, wollen wir zeigen, daß sich dieses Verfahren als eine

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 59natürliche Verallgemeinerung der Vektoriteration und der inversen Iteration(s. 6.6.3) auffassen läßt: Aus (6.6.4.4) erhält man nämlich wie im Beweisvon (6.6.4.2) die Beziehung (P 0 := I )(6.6.4.5) P i R i = AP i−1 , i ≥ 1.Partitioniert man die Matrizen P i und R i in der folgenden Weise[ R(r)i∗wobei P (r)i(6.6.4.5)P i = ( Pi r , ˆP (r) )i , Ri =eine n × r-Matrix und R (r)i0 ˆR (r)i],eine r × r-Matrix ist, so folgt aus(6.6.4.6) AP (r)i−1 = P(r) iR (r)ifür i ≥ 1, 1 ≤ r ≤ n.Für die linearen Teilräume P (r)i:= R ( P (r) ) {i = P(r)iz | z ∈ C r} , die vonden (orthonormalen) Spalten von P (r)iaufgespannt werden, gilt daherP (r)i⊃ AP (r)i−1 = R( P (r) )für i ≥ 1, 1 ≤ r ≤ n,iR (r)iwobei Gleichheit herrscht, falls A und damit auch alle R i , R (r)inichtsingulärsind. Es liegt hier also eine Iteration von Unterräumen vor.Als Spezialfall r = 1 von (6.6.4.6) erhält man die normale Vektoriteration(s. 6.6.3) mit dem Startvektor p 0 := e 1 = P (1)0.Für die Vektorenp i := P (1)igilt nämlich wegen R (1)i= r (i)11und (6.6.4.6) die Rekursion(6.6.4.7) r (i)11 p i = Ap i−1 , ‖p i ‖=1, i ≥ 1.Die Konvergenz der p i kann man wie in Abschnitt 6.6.3 untersuchen. Wirnehmen dazu der Einfachheit halber an, daß A diagonalisierbar ist, für dieEigenwerte λ i|λ 1 | > |λ 2 |≥···|λ n |gilt und daß X = (x 1 ,...,x n ) = (x ik ), Y := X −1 = (y 1 ,...,y n ) T = (y ik )Matrizen mit⎡ ⎤λ 1 0(6.6.4.8a) A = XDY, D = ⎣ . .. ⎦0 λ nsind: x i ist Rechtseigenvektor, yi T Linkseigenvektor zu λ i ,{(6.6.4.8b) Ax i = λ i x i , yi T A = λ i yi T , yi T 1 für i = k,x k =0 sonst.Falls in der Zerlegung von e 1

60 6 Eigenwertproblemee 1 = ρ 1 x 1 +···ρ n x n , ρ i = y T i e 1 = y i1 ,ρ 1 = y 11 ≠ 0 gilt, konvergiert die Vektoriteration t k := A k e 1 :(6.6.4.9) limk→∞Andererseits gilt wegen (6.6.4.7)1t k = ρ 1 x 1 .λ k 1A i e 1 = r (1)11 r(2) 11 ···r(i) 11 p i.Wegen ‖p i ‖=1 gibt es Phasenfaktoren σ k = e iφ k, |σ k |=1, mitlim σ i p i =ˆx 1 , lim r (i) σ i−111= λ 1 , mit ˆx 1 := x 1 /‖x 1 ‖.i σ iDie r (i)11 , p i konvergieren also „im wesentlichen“ (d. h. bis auf einen Phasenfaktor)gegen λ 1 bzw. ˆx 1 . Nach Abschnitt 6.6.3 wird die Konvergenzgeschwindigkeitdurch den Faktor |λ 2 /λ 1 | < 1 bestimmt,∣∥ ∥ ∣∣∣(6.6.4.10) ∥σ i p i −ˆx 1 λ 2 ∣∣∣ i)= O(∣.λ 1Mit Hilfe von (6.6.4.10) überlegt man sich leicht, daß aus A i+1 = PiH AP i(Satz (6.6.4.4), (a)) und der wesentlichen Konvergenz der ersten Spalte vonP i gegen einen Eigenvektor ˆx 1 von A zum Eigenwert λ 1 auch die Konvergenzder ersten Spalte A i e 1 von A i gegen den Vektor λ 1 e 1 = (λ 1 , 0....,0) Tfolgt, wobei der Fehler ‖A i e 1 − λ 1 e 1 ‖=O((|λ 2 |/|λ 1 ) i ) umso schneller gegen0 konvergiert, je kleiner |λ 2 /λ 1 | ist. Zum Nachweis der Konvergenzhaben wir die Bedingung ρ 1 = y 11 ≠ 0 verwandt. Für das folgende notierenwir, daß diese Bedingung insbesondere dann erfüllt ist, wenn die Matrix Yeine Dreieckszerlegung Y = L Y R Y mit einer unteren Dreiecksmatrix L Ymit (L Y ) jj = 1 und einer oberen Dreiecksmatrix R Y besitzt.Es wird sich später als besonders wichtig herausstellen, daß das QR-Verfahren für nichtsinguläres A auch mit der inversen Vektoriteration(s. 6.6.3) verwandt ist. Aus (6.6.4.5) folgt nämlich wegen PiH P i = I sofortPi−1 H A−1 = R −1 oderiP HiA −H P i−1 = P i R −Hi.Bezeichnet man jetzt mit ˆP (r)idie n×(n−r+1)-Matrix, die aus den n−r+1letzten Spalten von P i und mit ˆR (r)idie Dreiecksmatrix, die aus den letztenn − r + 1 Zeilen und Spalten von R i besteht, sowie mit P ˆ (r)i= R( ˆP (r)i)den Teilraum, der von den Spalten von ˆP (r)iaufgespannt wird, so folgt wieoben

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 61A −H ˆP (r)i−1 = ˆP (r) (i ˆR (r)iA −H P ˆ (r)i−1 = P ˆ (r)i) −Hfür i ≥ 1, 1 ≤ r ≤ n,also eine Vektorraumiteration mit der Matrix A −H = (A −1 ) H .Im Spezialfall r = n hat man wieder eine gewöhnliche inverse Iterationfür die letzten Spalten ˆp i := ˆP (n)ider Matrizen P i vor sichA −H ˆp i−1 =ˆp i ·¯ρ (i)nn ,ρ(i) nn := (R−1i) nn , ‖ˆp i ‖ 2 = 1,mit dem Startvektor ˆp 0 = e n . Ihre Konvergenz man wie eben und wiein 6.6.3 untersuchen. Wir nehmen dazu wieder an, daß A diagonalisierbarist und A −H genau einen betragsgrößten Eigenwert besitzt, d. h. daß|λ 1 |≥|λ 2 |≥···≥|λ n−1 | > |λ n | > 0für die Eigenwerte λ j von Agilt (man beachte, daß die Matrix A −H die Eigenwerte ¯λ −1jhat). Mit x jbzw. yjT bezeichnen wir wieder die Rechts- bzw. Linkseigenvektoren vonA zum Eigenwert λ j mit (6.6.4.8). Wenn nun der Startvektor ˆp 0 = e ngenügend allgemein ist, werden die Vektoren ˆp i „im wesentlichen“ gegeneinen normierten Eigenvektor u von A −H zum Eigenwert ¯λ n−1 konvergieren,A −H u = ¯λ n−1u,so daß wegen u H A = λ n u H der Vektor u H normierterLinkseigenvektor von A zum Eigenwert λ n ist. Es folgt, daß die letztenZeilen en T A i der Matrizen A i gegen [0,...,0,λ n ] konvergieren. Dabei wirddie Konvergenzgeschwindigkeit jetzt durch den Quotienten |λ n /λ n−1 | < 1bestimmt,(∣ ∣ ∣∣∣(6.6.4.11) ‖en T A λ n ∣∣∣ i)i − [0,...,0,λ n ]‖=O ,λ n−1da A −H die Eigenwerte ¯λ −1jbesitzt und nach Voraussetzung|λn−1 | > |λ−1 n−1 |≥···≥|λ−1 1 |gilt. Für die formale Konvergenzuntersuchung hat man wegen (6.6.4.8) undA −H = Y H D −H X H den Startvektor ˆp 0 = e ne n = ρ 1 ȳ 1 +···+ρ n ȳ nals Linearkombination der Spalten ȳ j von Y H , also der Rechtseigenvektorenȳ j von A −H zu den Eigenwerten ¯λ −1jzu schreiben, A −H ȳ j = ¯λ −1jȳ j . DieKonvergenz ist sichergestellt, falls ρ n ≠ 0.Aus I = X H Y H = [x 1 ,...,x n ] H [ȳ 1 ,...ȳ n ] folgt ρ n = xn H e n,sodaßρ n ≠ 0 ist, falls das Element x nn = en T x n = ¯ρ n der Matrix X nichtverschwindet. Letzteres ist der Fall, falls die Matrix Y = L Y R Y eineLR-Zerlegung mit (L Y ) ii = 1 besitzt; denn wegen X = Y −1 gilt dannX = R −1YL−1 Y,sodaßx nn = en T R−1 YL−1 Ye n ≠ 0, weil L −1Yeine untere und R −1Y

62 6 Eigenwertproblemeeine obere Dreiecksmatrix ist. Diese Überlegungen motivieren einen Teilder Aussagen des folgenden Satzes, der die Konvergenz des QR-Verfahrensbeschreibt, falls alle Eigenwerte verschiedene Beträge haben.(6.6.4.12) Satz: Die n×n-Matrix A =: A 1 erfülle folgende Voraussetzungen:(1) Die Eigenwerte λ i von A seien betragsgemäß verschieden|λ 1 | > |λ 2 | > ···> |λ n |.(2) Die Matrix Y mit A = XDY, X = Y −1 , D = diag(λ 1 ,...,λ n ) =Jordansche Normalform von A, besitze eine Dreieckszerlegung⎡ ⎤ ⎡ ⎤1 0x ··· xY = L Y R Y , L Y = ⎣ .. .. ⎦ , R Y = ⎣ . .. .⎦ .x ··· 10 xDann haben die Matrizen A i , Q i , R i des QR-Verfahrens (6.6.4.3) folgendeKonvergenzeigenschaften: Es gibt PhasenmatrizenS i = diag(σ (i)1 ,...,σ(i) (i)n ), |σk|=1,so daß gilt lim i S Hi−1 Q i S i = I sowielim S iHi→∞R i S i−1 = limi→∞S Hi−1 A i S i−1 =⎡⎢⎣⎤λ 1 x ··· x.λ ... ..2 .⎥ .. x⎦ .0 λ nInsbesondere gilt lim i→∞ a (i)jj= λ j , j = 1, ..., n, für A i = ( a (i) )jk .Beweis (nach Wilkinson (1965)): Wir führen den Beweis unter derzusätzlichen Annahme λ n ≠ 0 also der Existenz von D −1 . Wegen X −1 = Yfolgt dann aus den Voraussetzungen des Satzes(6.6.4.13)A i = XD i Y= Q X R X D i L Y R Y= Q X R X (D i L Y D −i )D i R Y ,wenn Q X R X = X die QR-Zerlegung der nichtsingulären Matrix X in eineunitäre Matrix Q X und eine (nichtsinguläre) obere Dreiecksmatrix R X ist.Nun ist D i L Y D −i =: ( l (i) )jk eine untere Dreiecksmatrix mitl (i)jk= (λjλ k) il jk, L Y =: (l jk ), l jk =Wegen |λ j | < |λ k | für j > k folgt lim i l (i)jk{ 1 für j = k,0 für j < k.= 0für j > k und daher

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 63D i L Y D −i = I + E i ,lim E i = 0.i→∞Dabei ist die Konvergenz umso schneller, je besser die Eigenwerte von Abetragsmäßig getrennt sind.Weiter erhält man aus (6.6.4.13)(6.6.4.14)A i = Q X R X (I + E i )D i R Y= Q X (I + R X E i R −1X )R X D i R Y= Q X (I + F i )R X D i R Ymit F i := R X E i R −1X , lim i F i = 0. Wir betrachten die positiv definite Matrix(I + F i ) H (I + F i ) = I + H i , H i := F Hi+ F i + FiH F imit lim i H i = 0, und nutzen aus, daß I + H i als positiv definite Matrix eineeindeutig bestimmte Choleskyzerlegung (Satz (4.3.3))I + H i = ˜R Hibesitzt, wobei ˜R i eine obere Dreiecksmatrix mit positiven Diagonalelementenist. Dabei hängt der Choleskyfaktor ˜R i stetig von der Matrix I + H i ab,wie das Cholesky-Verfahren zeigt. Es folgt daher aus lim i H i = 0 sofortlim i˜R i = I . Ferner ist die Matrixunitär wegen˜Q H i˜R i˜Q i := (I + F i ) ˜R −1i˜Q i = ˜R −Hi(I + F i ) H (I + F i ) ˜R −1i= ˜R −Hi( ˜R iH˜R i ) ˜R −1i= I.= ˜R −Hi(I + H i ) ˜R −1iDie Matrix I + F i besitzt daher die QR-Zerlegung I + F i = ˜Q i˜R i , und esgilt lim i˜Q i = lim i (I + F i ) ˜R −1i= I , lim i˜R i = I. Damit folgt aus (6.6.4.14)A i = (Q X ˜Q i )( ˜R i R X D i R Y )mit einer unitären Matrix Q X ˜Q i und einer oberen Dreiecksmatrix˜R i R X D i R Y .Andererseits besitzt wegen Satz (6.6.4.4) (c) die Matrix A i auch dieQR-ZerlegungA i = P i U i , P i := Q 1 ···Q i , U i := R i ···R 1 .Da die QR-Zerlegung von Matrizen nur bis auf eine Umskalierung der Spalten(Zeilen) von Q (bzw. von R) durch Phasenfaktoren σ = e iφ eindeutigist, gibt es Phasenmatrizen

64 6 Eigenwertproblememitund es folgtS i = diag(σ (i)1 ,...,σ(i) (i)n ), |σk|=1,P i = Q X ˜Q i S Hi , U i = S i˜R i R X D i R Y , i ≥ 1,limiP i S i = limiQ X ˜Q i = Q X ,Q i = P −1i−1 P i = S i−1 ˜Q H i−1 ˜Q i S Hi ,limiS Hi−1 Q i S i = I,R i = U i U −1i−1 = S i˜R i R X D i R Y · R −1= S i˜R i R X DR −1XSiH R i S i−1 = ˜R i R X DR −1 −1X ˜Ri−1 ,und schließlich wegen A i = Q i R iY−1 ˜Ri−1 S i−1 H ,limiD−i+1 R −1X−1 ˜Ri−1 S i−1HSiH R i S i−1 = R X DR −1X ,limiS Hi−1 A i S i−1 = limiS Hi−1 Q i S i S HiR i S i−1 = R X DR −1X .Die Matrix R X DR −1Xist eine obere Dreiecksmatrix mit Diagonale D,⎡⎤λ 1 ∗ ··· ∗.R X DR −1X= λ ... ..⎢ 2 ⎣ .⎥ .. ∗⎦ .0 λ nDamit ist Satz (6.6.4.12) bewiesen.⊓⊔Aus dem Beweis folgt, daß unter den Voraussetzungen des Satzes die(wesentliche) Konvergenz der Q i , R i und A i linear und umso besser ist,je kleiner die „Konvergenzfaktoren“ |λ j /λ k |, j > k, sind, d.h. je besserdie Eigenwerte von A betragsmäßig getrennt sind. Die Voraussetzungenlassen sich aber abschwächen. So zeigen bereits die Überlegungen, die zuden Abschätzungen (6.6.4.10) und (6.6.4.11) führten, daß die ersten Spaltenbzw. letzten Zeilen der A i auch unter schwächeren Voraussetzugen als derbetragsmäßigen Trennung aller Eigenwerte konvergieren. Diese Bedingungist insbesondere in dem praktischen wichtigen Fall verletzt, wenn A einereelle Matrix mit einem Paar λ r , λ r+1 = ¯λ r konjugiert komplexer Eigenwerteist. Nehmen wir etwa an, daß|λ 1 | > ···> |λ r |=|λ r+1 | > ···> |λ n |

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 65gilt und die übrigen Voraussetzungen von Satz (6.6.4.12) erfüllt sind, sokann man für die Matrizen A i = ( a (i) )jk noch zeigen(6.6.4.15) (a) lim i a (i)jk(b) lim i a (i)jj= λ j für j ≠ r, r + 1.(c) Obwohl die 2 × 2-Matrizen[ a(i)rr= 0 für alle ( j, k) ≠ (r + 1, r) mit j > k.a (i)r+1,ra (i)r,r+1a (i)r+1,r+1i. a. für i →∞divergieren, konvergieren ihre Eigenwerte gegen λ r undλ r+1 .Es liegt also Konvergenz der Matrizen A i an den mit λ j und 0 bezeichnetenStellen der folgenden Figur vor, während die Eigenwerte der mit ∗bezeichneten 2 × 2-Matrix gegen λ r und λ r+1 konvergieren⎡⎤λ 1 x ··· x x x x ··· x. 0 λ .. 2 .. .. . .. x .0 λ r−1 x x .A i −→i→∞ 0 ∗ ∗ ..∗ ∗ x .. 0 λ .. r+2 .⎢.⎣.. . ..⎥x ⎦0 0 λ nEbenso kann man die Voraussetzung (2) von Satz (6.6.4.12) abschwächen:Wenn z. B. A zwar diagonalisierbar ist, A = XDY, Y = X −1 , D =diag(λ 1 ,...,λ n ), aber die Matrix Y keine Dreieckszerlegung Y = L Y R Ybesitzt, so konvergiert das QR-Verfahren nach wie vor, nur erscheinen dieEigenwerte von A in der Diagonale der Grenzmatrix nicht mehr notwendigdem Betrag nach geordnet.Für eine eingehende Untersuchung der Konvergenz des QR-Verfahrenssei auf folgende Literatur verwiesen: Parlett (1967), Parlett und Poole(1973), Golub und Van Loan (1983).6.6.5 Die praktische Durchführung des QR-VerfahrensDas QR-Verfahren besitzt in seiner ursprünglichen Form (6.6.4.3) noch folgendeNachteile, die es zunächst als wenig attraktiv erscheinen lassen.]

66 6 Eigenwertproblemea) Das Verfahren ist sehr aufwendig. Pro Schritt A i → A i+1 benötigtman bei vollbesetzten n × n-Matrizen O(n 3 ) Operationen.b) Die Konvergenz ist sehr langsam, wenn einige Eigenwerte λ j , mit|λ 1 | > ···> |λ n |, von A betragsmäßig nur schlecht getrennt sind, |λ j /λ k |≈1für j > k.Beide Nachteile lassen sich jedoch beheben.a) Um den Aufwand des Verfahrens zu vermindern, wendet man dasQR-Verfahren nur auf reduzierte Matrizen A an, nämlich Matrizen vonHessenbergform oder bei Hermiteschen Matrizen A, auf Hermitesche Tridiagonalmatrizen(d. h. Hermitesche Hessenberg-Matrizen). Eine allgemeineMatrix A hat man daher zunächst mit den in 6.5 beschriebenen Methodenauf eine dieser Formen zu reduzieren. Dies ist nicht sinnlos, weil diese speziellenMatrixformen gegenüber der QR-Transformation invariant sind: IstA i eine (ggf. Hermitesche) Hessenbergmatrix, so auch A i+1 . Wegen Satz(6.6.4.4) (a) ist nämlich A i+1 = Qi H A i Q i unitär zu A i ähnlich, so daßfür eine Hermitesche Matrix A i auch A i+1 wieder Hermitesch ist. Für einen × n-Hessenberg-Matrix A i kann man A i+1 auf die folgende Weise berechnen.Man reduziert zunächst die Subdiagonalelemente von A i mittelsgeeigneter Givensrotationen vom Typ Ω 12 ,...,Ω n−1,n der Reihe nach zu 0(s. 4.9)⎡ ⎤∗ ··· ∗Ω n−1,n ···Ω 23 Ω 12 A i = R i = ⎣ . .. .⎦ ,0 ∗und berechnet A i+1 ausA i = Q i R i , Q i := Ω H 12 Ω H 23 ···Ω H n−1,n ,A i+1 = R i Q i = R i Ω H 12 Ω H 23 ···Ω H n−1,n .Wegen der Struktur der Ω j, j+1 sieht man sofort, daß bei der Rechtsmultiplikationmit den Ωj, H j+1 die obere Dreiecksmatrix R i in eine Hessenberg-Matrix A i+1 transformiert wird. Im übrigen kann man A i+1 aus A i „in einemZug“ berechnen, wenn man die einzelnen Matrixmultiplikationen in der folgendendurch die Klammerung angedeuteten Reihenfolge ausführtA i+1 =(Ω n−1,n ···( (Ω 23 (Ω12 A i )Ω12H ) ) ···)Ω23 H Ωn−1,n H .Man bestätigt leicht, daß man so für eine n × n-Hessenbergmatrix A i dieMatrix A i+1 mittels O(n 2 ) Operationen berechnen kann. Im HermiteschenFall, A i eine Hermitesche Tridiagonalmatrix, benötigt man für den QR-Schritt A i → A i+1 sogar nur O(n) Operationen.

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 67Wir nehmen deshalb für das folgende an, daß A und damit alle A i (ggf.Hermitesche) Hessenbergmatrizen sind. Wir können weiter annehmen, daßdie Hessenbergmatrizen A i unzerlegbar sind, d. h., daß ihre Subdiagonalelementea (i) , j = 2, ..., n, von Null verschieden sind: denn sonst hatj, j−1die Hessenbergmatrix A i die FormA i =[ A′i∗0 A ′′iwobei Ai ′, A′′ iHessenbergmatrizen kleinerer Reihenzahl als n sind. Da dieEigenwerte von A i gerade die Eigenwerte von Ai ′ und die von Ai′′ sind,genügt es die Eigenwerte der kleineren Matrizen Ai ′, A′′ izu bestimmen. DasEigenwertproblem für A i ist damit auf kleinere Probleme der gleichen Artreduziert.Im Prinzip läuft das QR-Verfahren für Hessenbergmatrizen A dann soab, daß man nacheinander die A i nach (6.6.4.3) berechnet und die Elementea (i)n,n−1und a(i)n−1,n−2 der letzten beiden Zeilen von A i beobachtet, die i.a. (s.(6.6.4.12), (6.6.4.15)) für i →∞gegen 0 konvergieren. Sobald eines vonihnen genügend klein ist,],min { |a (i)n,n−1|, |a(i)n−1,n−2 |} ≤ eps ( |a nn (i) |+|a(i) n−1,n−1 |) ,wobei eps etwa die relative Maschinengenauigkeit ist, kann man sofort numerischakzeptable Näherungen für einige Eigenwerte von A i angeben.Ist z. B. |a (i)n,n−1| klein, dann ist a(i) nn eine solche Näherung, denn diesesElement ist exakter Eigenwert der zerfallenden Hessenbergmatrix à i , dieman aus A i erhält, wenn man dort a (i)n,n−1 durch 0 ersetzt: à i stimmt mitA i im Rahmen der Rechengenauigkeit überein, ‖à i − A i ‖≤eps ‖A i ‖. Mansetzt dann das QR-Verfahren mit der (n − 1)-reihigen Hessenbergmatrix Ai′fort, die man durch Streichen der letzten Zeile und Spalte von A i bzw. à ierhält.Ist dagegen |a (i)n−1,n−2| klein, so sind die beiden leicht berechenbarenEigenwerte der 2 × 2-Matrix[ ]a(i)n−1,n−1a (i)n,n−1a (i)n−1,nnumerisch akzeptable Näherungen für zwei Eigenwerte von A i , denn dieseNäherungen sind ebenfalls exakte Eigenwerte einer zerfallenden Hessenbergmatirxà i nahe bei A i : Man erhält à i , indem man jetzt in A i daskleine Element a (i)n−1,n−2durch 0 ersetzt. Das QR-Verfahren wird nun mitder (n − 2)-reihigen Hessenbergmatrix Ai ′ fortgesetzt, die man durch Streichender beiden letzten Zeilen und Spalten aus A i erhält.a (i)nn

68 6 EigenwertproblemeNach (6.6.4.4) erzeugt das QR-Verfahren Matrizen, die untereinanderunitär ähnlich sind. Für unitär ähnliche „fast“ unzerlegbare Hessenbergmatrizengilt der folgende interessante Satz, der später für die sog. implizitenShifttechniken wichtig sein wird:(6.6.5.1) Satz: Seien Q = [q 1 ,...,q n ] und U = [u 1 ,...,u n ] zwei unitäreMatrizen mit den Spalten q i bzw. u i derart, daß die Matrizen H = (h i, j ) :=Q H AQ und K := U H AU beide Hessenbergmatrizen sind, die vermöge Qund U einer gemeinsamen Matrix A unitär ähnlich sind. Sei ferner h i,i−1 ≠0 für i ≤ n − 1, u 1 = σ 1 q 1 , |σ 1 |=1. Dann gibt es eine PhasenmatrixS = diag(σ 1 ,...,σ n ), |σ k |=1, sodaßU = QS, K = S H HS.Mit anderen Worten, wenn Q und U „im wesentlichen“ die gleiche ersteSpalte haben und H fast irreduzibel ist, sind auch die beiden HessenbergmatrizenK und H „im wesentlichen“, d.h. bis auf Phasenfaktoren, gleich,K = S H HS. Insbesondere ist dann auch K fast irreduzibel.Beweis: Für die unitäre Matrix V = [v 1 ,...,v n ]:= U H Q gilt wegenH = V H KVKV = VH.Ein Vergleich der (i − 1)-ten Spalten ergibt∑i−1h i,i−1 v i = Kv i−1 − h j,i−1 v j , 2 ≤ i ≤ n.j=1Dies erlaubt die rekursive Berechnung der v i , i ≤ n − 1 aus v 1 = U H q 1 =σ 1 U H u 1 = σ 1 e 1 (man beachte h i,i−1 ≠ 0für 2 ≤ i ≤ n − 1)) und man siehtwegen v 1 = σ 1 e 1 sofort, daß V = (v 1 ,...,v n ) eine obere Dreiecksmatrixist. Wegen der Unitarität von V , VV H = I muß V H = S eine PhasenmatrixS sein, und der Satz ist wegen V = U H Q, K = VHV H bewiesen. ⊓⊔b) Die langsame Konvergenz des QR-Verfahrens läßt sich entscheidenddurch sogenannte Shift-Techniken verbessern. Wir wissen aufgrund der engenBeziehung des QR-Verfahrens zur inversen Iteration (s. (6.6.4.11)), daßfür nichtsinguläres A die letzten Zeilen en T A i der Matrizen A i unter sehrallgemeinen Voraussetzungen für i →∞gegen λ n enT konvergieren, wennA Eigenwerte λ i mit|λ 1 |≥|λ 2 |≥···≥|λ n−1 | > |λ n | > 0besitzt, wobei der Fehler ‖e T n A i − λ n e T n ‖=O(|λ n/λ n−1 | i ) umso schnellergegen 0 konvergiert, je kleiner |λ n /λ n−1 | ist. Es liegt deshalb nahe, die Konvergenzähnlich wie bei der gebrochenen Iteration von Wielandt (s. 6.6.3)

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 69dadurch zu beschleunigen, daß man das QR-Verfahren nicht auf die MatrixA sondern auf die Matrixà := A − kIanwendet. Den Verschiebungsparameter (Shiftparameter) k wählt man alseinen guten Näherungswert für einen der Eigenwerte von A, so daß nacheiner eventuellen Umordnung der Eigenwerte λ j gilt|λ 1 − k|≥|λ 2 − k|≥···≥|λ n−1 − k|≫|λ n − k| > 0.Dann wird das Element ã (i)n,n−1 der Matrixrascher gegen 0 konvergieren, nämlich wieà i für i →∞sehr vielλ n − ki∣λ n−1 − k ∣ ≪ 1.Man beachte, daß mit A auch à = A − kI und alle à i Hessenbergmatrizensind, deren letzte Zeilen die Forme T nÃi = [0,...,0, ã (i)n,n−1 , ã(i) nn ]besitzen. Wählt man allgemeiner in jedem Iterationsschritt einen neuenShiftparameter, so erhält man das QR-Verfahren mit Shifts(6.6.5.2)A 1 : = A,Die Matrizen A i sind wegenA i − k i I =: Q i R i (QR-Zerlegung),A i+1 : = R i Q I + k i I.A i+1 = Q H i (A i − k i I)Q i + k i I = Q H i A i Q i ,nach wie vor untereinander unitär ähnlich. Darüber hinaus zeigt man wie inSatz (6.6.4.4) (s. Aufgabe 19)(6.6.5.3)A i+1 = P Hi AP i ,(A − k 1 I) ···(A − k i I) = P i U i ,wobei wieder P i := Q 1 Q 2 ···Q i und U i := R i R i−1 ···R 1 gesetzt ist. Fallsdarüber hinaus die R i nichtsingulär sind, gilt auch(6.6.5.4)A i+1 = R i A i R −1i= U i AU −1i.

70 6 EigenwertproblemeEbenso ist A i+1 mit A i wieder eine Hesssenbergmatrix. Dieser Sachverhaltläßt sich aber verschärfen(6.6.5.5) Satz: Sei A i eine unzerlegbare n × n-Hessenbergmatrix. Wenn derShiftparameter k i kein Eigenwert von A i ist, ist auch A i+1 eine unzerlegbareHessenbergmatrix. Andernfalls besitzt A i+1 die Form[ ]Ãi+1 ∗A i+1 = ,0 k iwobei à i+1 eine (n − 1)-reihige Hessenbergmatrix ist.Mit anderen Worten, wenn A i irreduzibel ist, dann ist A i+1 mindestensfast irreduzibel (vgl. Satz (6.6.5.1)) in der Regel sogar irreduzibel.Beweis: Aus (6.6.5.2) folgt(6.6.5.6) R i = Q H i (A i − k i I).Falls k i kein Eigenwert von A i ist, muß R i nichtsingulär sein, und es folgtaus (6.6.5.4)a (i+1)j+1, j= e T j+1 A i+1e j = e T j+1 R i A i R −1 e j = r (i) (j+1, j+1 a(i) j+1, j r(i)) −1jj ≠ 0,so daß auch A i+1 nicht zerfällt.Sei nun k i Eigenwert von A i , es ist dann R i singulär. Nun sind die erstenn − 1 Spalten von A i − k i I linear unabhängig, weil A i eine unzerlegbareHessenbergmatrix ist, also sind wegen (6.6.5.6) auch die ersten n−1 Spaltenvon R i linear unabhängig. Wegen der Singularität von R i muß daher dieletzte Zeile von[ ] ˜RR i = i ∗,0 0verschwinden und ˜R i eine nichtsinguläre (n − 1)-reihige obere Dreiecksmatrixsein. Da wegen[ ] ˜RA i − k i I = Q i R i = Q i ∗i0 0mit A i auch Q i eine unzerlegbare Hessenbergmatrix ist, hat[ ] [ ]˜RA i+1 = i ∗Ãi+1 ∗Q0 0 i + k i I =0 k imit einer (n−1)-reihigen unzerlegbaren Hessenbergmatrix à i+1 die im Satzbehauptete Struktur.⊓⊔i

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 71Wir wenden uns nun dem Problem zu, wie man die Shiftparameterwählen soll. Der Einfachheit halber betrachten wir nur den Fall reeller Matrizen,der für die Praxis am wichtigsten ist, überdies sei A eine unzerlegbareHessenbergmatrix. Nach den obigen Überlegungen sollte man als Shiftparametermöglichst gute Näherungswerte für einen Eigenwert von A wählen,und es stellt sich die Frage, wie man diese findet. Hier geben die Sätze(6.6.4.12) und (6.6.4.15) Antwort: Existiert z. B. nur ein betragskleinster Eigenwertλ n von A, so gilt unter schwachen Voraussetzungen lim i a nn (i) = λ n.Das letzte Diagonalelement a nn (i) von A i wird also für genügend großes i einguter Näherungswert für λ n sein. Es empfiehlt sich daher(6.6.5.7a)k i := a (i)nnzu wählen, sobald die Konvergenz der a n,n (i) fortgeschritten ist, also etwa∣ 1 − a(i−1)n,n∣ ≤ η

72 6 EigenwertproblemeEine allgemeinere Shiftstrategie, die (6.6.4.12) und (6.6.4.15) berücksichtigt,ist die folgende:(6.6.5.7b) Wähle k i als denjenigen Eigenwert λ der 2 × 2-Matrix[ a(i)n−1,n−1a (i) ]n−1,na (i)n,n−1für den |a n,n (i) − λ| am kleinsten ist.a (i)n,nMan beachte, daß diese Strategie die Möglichkeit berücksichtigt, daßA i mehrere betragsgleiche Eigenwerte besitzen kann. Es kann aber k i auchfür reelles A i komplex sein, wenn A i nichtsymmetrisch ist. Wir betrachtenden nichtsymmetrischen Fall später. Für relle symmetrische Matrizen konnteWilkinson (1968) für diese Shiftstrategie sogar die globale Konvergenz zeigen:(6.6.5.8) Satz: Sei A =: A 1 eine reelle, unzerlegbare und symmetrischen × n-Tridiagonalmatrix A. Wendet man die Strategie (6.6.5.7b) in jedemIterationsschritt des QR-Verfahrens an, so findet man Matrizen A i ,für diedie Elemente a (i)n,n−1und a(i) n,n für i →∞mindestens quadratisch gegen 0bzw. gegen einen Eigenwert von A konvergieren. Von Ausnahmen abgesehen,ist die Konvergenzrate sogar kubisch.⊓⊔Numerisches Beispiel: Das Spektrum der Matrix(6.6.5.9) A = ⎢⎣⎡12 11 9 11 6 1,1 3 11 0liegt symmetrisch zu 6, insbesondere ist also 6 Eigenwert von A. Wir geben imfolgenden für das QR-Verfahren mit Shiftstrategie (6.6.5.7b) die Elemente a (i)n,n−1 ,a (i)n,n sowie die Shiftparameter k i an.⎤⎥⎦ia (i)5,4 a (i)5,5 k i1 1 0 −.302 775 637 732 10 02 −.454 544 295 102 10 − 2 −.316 869 782 391 10 0 −.316 875 874 226 10 03 +.106 774 452 090 10 − 9 −.316 875 952 616 10 0 −.316 875 952 619 10 04 +.918 983 519 419 10 − 22 −.316 875 952 617 10 0 = λ 5

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 73Weiterbehandlung der 4 × 4-Matrix:ia (i)4,3 a (i)4,4 k i4 +.143 723 850 633 10 0 +.299 069 135 875 10 1 +.298 389 967 722 10 15 −.171 156 231 712 10 − 5 +.298 386 369 683 10 1 +.298 386 369 682 10 16 −.111 277 687 663 10 − 17 +.298 386 369 682 10 1 = λ 4Weiterbehandlung der 3 × 3-Matrix:ia (i)3,2 a (i)3,3 k i6 +.780 088 052 879 10 − 1 +.600 201 597 254 10 1 +.600 000 324 468 10 17 −.838 854 980 961 10 − 7 +.599 999 999 996 10 1 +.599 999 999 995 10 18 +.127 181 135 623 10 − 19 +.599 999 999 995 10 1 = λ 3Die verbleibende 2 × 2-Matrix hat die Eigenwerte+.901 613 630 314 10 1 = λ 2+.123 168 759 526 10 2 = λ 1Man vergleiche damit das Resultat von 11 QR-Schritten ohne Shift:k a (12)k,k−1 a (12)k,k1 +.123 165 309 125 10 22 +.337 457 586 637 10 − 1 +.901 643 819 611 10 13 +.114 079 951 421 10 − 1 +.600 004 307 566 10 14 +.463 086 759 853 10 − 3 +.298 386 376 789 10 15 −.202 188 244 733 10 − 10 −.316 875 952 617 10 0Dieses Konvergenzverhalten ist zu erwarten, daa (i)5,4 = O ((λ 5 /λ 4 ) i) , |λ 5 /λ 4 |≈0.1.Bei der Weiterbehandlung der 4 × 4-Matrix sind sogar 23 Iterationen erforderlich,uma (35)4,3 =+.487 637 464 425 10 − 10zu erreichen!

74 6 EigenwertproblemeDaß die Eigenwerte in dem Beispiel der Größe nach geordnet erscheinen,ist Zufall: Bei Verwendung von Shifts ist dies i.a. nicht zu erwarten.Bei der praktischen Realisierung des QR-Schritts (6.6.5.2) mit Shifts fürsymmetrische Tridiagonalmatrizen A i besteht für großes |k i | die Gefahr desGenauigkeitsverlusts bei der Subtraktion bzw. Addition von k i I in (6.6.5.2).Man kann jedoch mit Hilfe von Satz (6.6.5.1) A i+1 direkt aus A i berechnen,ohne in jedem Schritt die Matrix k i I explizit zu subtrahieren und zuaddieren. Dazu wird ausgenutzt, daß man bei gegebenem A i und k i die ersteSpalte q 1 der Matrix Q i := [q 1 ,...,q n ] allein aus der ersten Spalte vonA i − k i I berechnen kann: Wir sahen zu Beginn dieses Abschnitts, daß sichQ i = Ω H 1,2 Ω H 2,3 ···Ω H n−1,nals Produkt von Givensmatrizen Ω j, j+1 schreiben läßt: Aufgrund der Strukturder Ω j, j+1 gilt Ω j, j+1 e 1 = e 1 für j > 1, so daß q 1 wegen q 1 = Q i e 1 =Ω H 1,2 e 1 auch gleich der ersten Spalte von Ω H 1,2 ist. Dabei ist Ω 1,2 geradedie Givensmatrix, die das erste Subdiagonalelement von A i −k i I annulliert,zur Bestimmung von Ω 1,2 genügt daher die Kenntnis der ersten Spalte vonA i − k i I . Man berechnet dann die Matrix B = Ω H 1,2 A iΩ 1,2 mit der Struktur⎡ x x x 0 ⎤x x xx x x xB =.⎢ x x ...⎥⎣ . .. . .. ⎦ x0 x xDie Matrix B, die symmetrisch und bis auf die Elemente b 1,3 = b 3,1 fasteine Tridiagonalmatrix ist, transformiert man wie in Abschnitt 6.5.1 miteiner Serie von geeigneten Givensmatrizen des Typs ˜Ω 2,3 , ˜Ω 3,4 , ..., ˜Ω n,n−1in eine symmetrische Tridiagonalmatrix C, die zu B unitär ähnlich ist:B → ˜Ω H 2,3 B ˜Ω 2,3 →···→ ˜Ω H n−1,n ··· ˜Ω H 2,3 B ˜Ω 2,3 ··· ˜Ω n−1,n = C.˜Ω 2,3 wird dabei so gewählt, daß das Element b 3,1 von B annulliert wird,wobei i.a. in ˜Ω H 2,3 B ˜Ω 2,3 ein Element ≠ 0 an der Position (4, 2) (und (2,4))erzeugt wird, dieses wird durch passende Wahl von ˜Ω 3,4 annulliert usw.Für n = 5 haben die Matrizen B →···→C folgende Struktur, wobei 0 frischannullierte Elemente und ∗ neue Elemente ≠ 0 bezeichnen:

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 75⎡ x x x ⎤ ⎡ x x 0 ⎤x x x˜Ω 2,3x x x ∗B = ⎢⎣ x x x x ⎥⎦−−−→⎢⎣ 0 x x x ⎥⎦x x x ∗ x x xx xx x⎡ x x ⎤ ⎡ x x ⎤˜Ω 3,4x x x 0˜Ω 4,5x x x−−−→ ⎢⎣ x x x ∗ ⎥⎦ −−−→ ⎢⎣ x x x 0 ⎥⎦ = C.0 x x xx x x∗ x x0 x xSetzt man U := Ω 1,2 ˜Ω 2,3 ··· ˜Ω n−1,n , so gilt C = U H A i U wegen B =Ω1,2 H A iΩ 1,2 . Die unitäre Matrix U besitzt die gleiche erste Spalte wie dieunitäre Matrix Q i (nämlich q 1 = Ω 1,2 e 1 ), die die Matrix A i entsprechend(6.6.5.2) in A i+1 = Qi H A i Q i transformiert. Falls A i irreduzibel ist, ist nachSatz (6.6.5.5) A i+1 fast irreduzibel, also müssen nach Satz (6.6.5.1) dieMatrizen C und A i+1 im wesentlichen gleich sein, A i+1 = SCS H , S :=diag(±1,...,±1), U = QS. Da auch im expliziten QR-Schritt (6.6.5.2)die Matrix Q i nur bis auf eine Umnormierung Q i → Q i S durch einebeliebige Phasenmatrix S eindeutig ist, haben wir einen neuen Algorithmuszur Berechnung von A i+1 mittels C gefunden. Man nennt diese Technik dieimplizite Shifttechnik zur Bestimmung von A i+1 .Ist A eine reelle nichtsymmetrische Matrix, so kann A auch konjugiertkomplexe Eigenwerte besitzen. Bei der Shiftstrategie (6.6.5.7b) erhält manso u.U. komplexe Shiftparameter k i , wenn die 2 × 2-Matrix in (6.6.5.7b)zwei konjugiert komplexe Eigenwerte k i und ¯k i besitzt. Man kann jedochdie komplexe Rechnung vermeiden, wenn man je zwei QR-SchritteA i → A i+1 → A i+2 zusammenfaßt, wobei man im ersten Teilschritt denShiftparameter k i nach (6.6.5.7b) bestimmt und im nächsten Schritt denShift k i+1 := ¯k i wählt. Wie man leicht bestätigt, ist dann für reelles A i auchA i+2 wieder reell, selbst wenn A i+1 komplex ist. Francis (1961/62) hat eineelegante Methode angegeben (implizite Shifttechnik), wie man ohne komplexeRechnung die reelle Matrix A i+2 direkt aus A i bestimmt, wenn A i einereelle unzerlegbare Hessenbergmatrix ist: Sein Verfahren liefert deshalb fürsolche Matrizen A =: A 1 unmittelbar die TeilfolgeA = A 1 → A 3 → A 5 →···der Matrizen des QR-Verfahrens mit Shifts.Wir wollen hier nur die Grundidee der Techniken von Francis beschreiben,explizite Formeln findet man z. B. in Wilkinson (1965). Wir lassender Einfachheit halber den Iterationsindex fort und schreiben A = (a j,k ) fürdie reelle unzerlegbare Hessenbergmatrix A i , k für k i sowie à für A i+2 .

76 6 EigenwertproblemeNach (6.6.5.2), (6.6.5.3) gibt es eine unitäre Matrix Q und eine obere DreiecksmatrixR, sodaßà = Q H AQ, (A − kI)(A − ¯kI) = QR, wobei Ãwieder eine reelle Hessenbergmatrix ist. Wir versuchen nun, eine reelleunitäre Matrix U, die im wesentlichen die gleiche erste Spalte wie Q besitzt(Qe 1 =±Ue 1 ), so zu bestimmen, daß U H AU = K ebenfalls eineHessenbergmatrix ist. Falls k kein Eigenwert von A ist, zeigen die Sätze(6.6.5.1) und (6.6.5.5) wieder, daß die Matrix K im wesentlichen gleich Ãist, K = S H ÃS für eine Phasenmatrix S.Man geht dazu folgendermaßen vor: Die MatrixB := (A − kI)(A − ¯kI) = A 2 − (k + ¯k)A + k ¯kIist reell, und ihre erste Spalte b = Be 1 , die sich leicht aus A und k explizitberechnen läßt, hat die Form b = [x, x, x, 0,...,0] T , weil A eineHessenbergmatrix ist. Man bestimmt nun eine (reelle) HouseholdermatrixP (s. 4.7), die b in ein Vielfaches von e 1 transformiert, Pb = µ 1 e 1 . Dabeihat die erste Spalte von P wegen P 2 b = b = µ 1 Pe 1 die gleiche Strukturwie b, Pe 1 = [x, x, x, 0,...,0] T . Andererseits besitzt P wegen B = QR,B = P 2 B = P[µ 1 e 1 , ∗,...,∗] bis auf einen Faktor ±1 die gleiche ersteSpalte wie Q. Als nächstes berechnet man die Matrix P H AP = PAP, diewegen der Struktur von P (es ist Pe k = e k für k ≥ 4) und A eine reelleMatrix folgender Form⎡⎤x · · · · · xx x ·∗ x x ·PAP =∗ ∗ x x ·x x ·⎢⎣ . .. . ⎥ .. ·⎦x xist und bis auf wenige zusätzliche Subdiagonalelemente in den Positionen(3, 1), (4, 1), (4, 2) wieder eine Hessenbergmatrix ist. Hit Hilfe desHouseholder-Verfahrens, das am Ende von Abschnitt 6.5.4 beschriebenwurde, reduziert man anschließend PAP wieder in eine zu PAP unitärähnliche Hessenbergmatrix K :PAP → T 1 PAPT 1 →···→ T n−2 ···T 1 PAPT 1 ···T n−2 =: K.Zur Transformation benutzt man Householdermatrizen T k , k = 1, ..., n−2,die nach Abschnitt 6.5.1 nur in wenigen Spalten von der Einheitsmatrixverschieden sind, T k e i = e i für i ∉{k + 1, k + 2, k + 3}.Für n = 6 erhält man so eine Folge von Matrizen der Form (0 bedeuten wiederfrisch annullierte Elemente, ∗ neue Elemente ≠ 0):

6.6 Methoden zur Bestimmung der Eigenwerte und Eigenvektoren 77⎡x · · · ·⎤x⎡x · · · ·⎤xx x ·x x ·x x x ·T 10 x x ·T 2PAP =−−→−−→⎢ x x x x · ⎥ ⎢ 0 x x x · ⎥⎣ x x · ⎦ ⎣ ∗ ∗ x x · ⎦x xx x⎡x · · · ·⎤x⎡x · · · ·⎤xx x ·x x ·T 2x x ·T 3x x ·T 4−−→−−→−−→⎢ 0 x x · ⎥ ⎢ x x · ⎥⎣ 0 x x x · ⎦ ⎣ 0 x x · ⎦∗ ∗ x x0 x x x⎡x · · · ·⎤xx x ·T 4x x ·−−→= K.⎢ x x · ⎥⎣ x x · ⎦0 x xDie unitäre Matrix U := PT 1 ...T n−2 mit U H AU = K besitzt wegenT k e 1 = e 1 für alle k die gleiche erste Spalte wie P, Ue 1 = PT 1 ···T n−2 e 1 =Pe 1 , so daß nach Satz (6.6.5.1) K (im wesentlichen) gleich à ist.Für die praktische Durchführung des QR-Verfahrens bemerken wir weiter,daß es nicht nötig ist, die Produktmatrix P i := Q 1 ...Q i zu berechnenund zu speichern, wenn man nur die Eigenwerte der Matrix A bestimmenwill. Dies gilt nicht im Hermiteschen Fall, wenn man an orthogonalen Vektorenals Näherungen für die Eigenvektoren interessiert ist. Es gilt dannnämlichlim Pi H AP i = D = diag(λ 1 ,...,λ n ),iso daß für großes i die j-te Spalte p (i)j= P i e j , j = 1, ..., n, eine sehrgute Näherung an einen Eigenvektor von A zum Eigenwert λ j ist: DieseNäherungsvektoren sind orthogonal zueinander, weil sie Spalten der unitärenMatrix P i sind. Im nichthermiteschen Fall bestimmt man die Eigenvektorenbesser mit Hilfe der inversen Iteration von Wielandt (s. 6.6.3), wobei mandie exzellenten Näherungen für die Eigenwerte benutzt, die man mittels desQR-Verfahrens gefunden hat.Das QR-Verfahren konvergiert außerordentlich schnell, wie auch dasobige Beispiel zeigt: Für symmetrische Matrizen ist es erfahrungsgemäßungefähr 4 mal so schnell wie das verbreitete Jacobi-Verfahren, wenn Eigenwerteund Eigenvektoren zu berechnen sind, und meist 10 mal so schnell,wenn man nur die Eigenwerte bestimmen will.

78 6 EigenwertproblemeEs gibt zahlreiche Programme für das QR-Verfahren: ALGOL-Programmefindet man in Wilkinson und Reinsch (1971) (insbesondere dieBeiträge von Bowdler, Martin, Peters, Reinsch und Wilkinson), FORTRAN-Programme in Smith et al. (1976).6.7 Berechnung der singulären Werte einer MatrixDie singulären Werte (6.4.6) und die singuläre-Werte-Zerlegung (6.4.11)einer m × n-Matrix A können schnell und numerisch stabil mit einem Verfahrenberechnet werden, das von Golub und Reinsch (1971) stammt undeng mit dem QR-Verfahren verwandt ist. Wir nehmen o.B.d.A. m ≥ n an(andernfalls ersetze man A durch A H ), die Zerlegung (6.4.11) läßt sich dannin der Form(6.7.1) [ ]DA = U V H , D := diag(σ01 ,...,σ n ), σ 1 ≥ σ 2 ≥···≥σ n ≥ 0,schreiben, wobei U eine unitäre m × m-Matrix, V eine unitäre n × n-Matrixund σ 1 , ..., σ n die singulären Werte von A, d.h. die Eigenwerte von A H Asind. Im Prinzip könnte man deshalb die singulären Werte durch Lösendes Eigenwertproblems für die Hermitesche Matrix A H A bestimmen, aberdieses Vorgehen kann mit einem Verlust an Genauigkeit verbunden sein:z.B. ist für die Matrix[ ] 1 1A := ε 0 , |ε| < √ eps, eps = Maschinengenauigkeit,0 εdie Matrix A H A gegeben durchA H A =[ 1 + ε2]11 1+ ε 2und A besitzt die singulären Werte σ 1 (A) = √ 2 + ε 2 , σ 2 (A) =|ε|. BeiGleitpunktrechnung der Genauigkeit eps erhält man statt A H A die Matrix[ ]gl(A H 1 1A) =: B =1 1mit den Eigenwerten ˜λ 1 = 2 und ˜λ 2 = 0; σ 2 (A) =|ε| stimmt nicht bis aufMaschinengenauigkeit mit √˜λ 2 = 0 überein!Bei dem Verfahren von Golub und Reinsch reduziert man als erstesin einem Vorbereitungsschritt A unitär auf Bidiagonalform: Mit Hilfe des

6.7 Berechnung der singulären Werte einer Matrix 79Householderverfahrens (s. Abschnitt 4.7) bestimmt man zunächst eine m ×m-Householder-Matrix P 1 , die die Subdiagonalelemente der ersten Spaltevon A annulliert: Man erhält so eine Matrix A ′ = P 1 A der Form (Skizzefür m = 5, n = 4, sich ändernde Elemente werden mit ∗ bezeichnet):⎡ ⎤⎡ ⎤x x x x∗ ∗ ∗ ∗x x x x0 ∗ ∗ ∗A = ⎢ x x x x⎥⎢ 0 ∗ ∗ ∗⎥⎢⎣x x x xx x x x⎥⎦ → P 1 A = A ′ = ⎢⎣0 ∗ ∗ ∗0 ∗ ∗ ∗⎥⎦ .Dann bestimmt man wie in 4.7 eine n×n-Househouldermatrix Q 1 der Form[ ]1 0Q 1 =0 ˜Q 1so, daß die Elemente auf den Positionen (1, 3), ..., (1, n) der ersten Zeilevon A ′′ := A ′ Q 1 verschwinden⎡ ⎤⎡ ⎤x x x xx ∗ 0 00 x x xA ′ =⎢ 0 x x x⎥⎣ 0 x x x⎦ → 0 ∗ ∗ ∗A′ Q 1 = A ′′ =⎢ 0 ∗ ∗ ∗⎥⎣ 0 ∗ ∗ ∗⎦ .0 x x x0 ∗ ∗ ∗Allgemein erhält man im ersten Schritt eine Matrix A ′′ der Form[ ]q1 aA ′′ 1= , a 1 := [e 2 , 0,...,0] ∈ C n−1 ,0 Ãmit einer (m − 1)×(n − 1)-Matrix Ã. Man behandelt nun die Matrix à aufdie gleiche Weise wie A usw. und erhält auf diese Weise nach n Reduktionsschritteneine m × n-Bidiagonalmatrix J (0) der FormJ (0) =], J 0 =0 ⎢⎣[J0⎡q (0)1e (0)20q (0)2. ... .. e(0)n0 q (0)n⎤,⎥⎦wobei J (0) = P n ···P 2 P 1 AQ 1 Q 2 ···Q n−2 und P i , Q i gewisse Householdermatrizensind.Da Q := Q 1 Q 2 ···Q n−2 unitär ist und J (0)H J (0) = J0 H J 0 = Q H A H AQgilt, besitzen J 0 und A die gleichen singulären Werte; ebenso ist mit P :=P 1 P 2 ···P n die Zerlegung

80 6 EigenwertproblemeA =( [ ]) [ ]G 0 D (HP ·H Q H)0 I n−m 0die singuläre-Werte-Zerlegung (6.7.1) von A, falls J 0 = GDH H die singuläre-Werte-Zerlegungvon J 0 ist. Es genügt also das Problem für n × n-Bidiagonalmatrizen J zu behandeln.Im ersten Schritt wird J von rechts mit einer gewissen Givensreflexiondes Typs T 1,2 multipliziert, deren Wahl wir im Augenblick noch offen lassen.Dabei geht J in eine Matrix J (1) = JT 1,2 der folgenden Form über (Skizzefür n = 4):⎡ ⎤ ⎡ ⎤x x∗ ∗J = ⎢ x x⎥⎣ x x⎦ → JT 1,2 = ⎢ ○∗ ∗ x⎥⎣ x x⎦ = J (1) .xxDas dabei erzeugte Subdiagonalelement in Position (2, 1) von J (1) wirddurch Multiplikaktion von links mittels einer passenden Givensreflexiondes Typs S 1,2 wieder annulliert. Man erhält so die Matrix J (2) = S 1,2 J (1) :⎡ ⎤ ⎡ ⎤xJ (1) = ⎢⎣xx x xx⎥x⎦ → S 1,2 J (1) =x∗ ∗ ○∗⎢ 0 ∗ ∗⎣ x⎥x⎦ = J (2) .xDas Element in Position (1, 3) von J (2) wird annulliert durch Multiplikationvon rechts mit einer Givensreflektion des Typs T 2,3 ,⎡ ⎤ ⎡ ⎤x x xx ∗ 0J (2) = ⎢ x x⎥⎣ x x⎦ → J (2) T 2,3 = ⎢ ∗ ∗⎥⎣ ○∗ ∗ x ⎦ = J (3) .xxDas Subdiagonalelement in Position (3, 2) annulliert man durch Linksmultiplikationmit einer Givensreflektion S 2,3 , wodurch jetzt ein Element inPosition (2, 4) erzeugt wird usw. Alles in allem kann man so zu jeder GivensreflektionT 1,2 eine Folge von weiteren Givensreflektionen S i,i+1 , T i,i+1 ,i = 1, 2, ..., n − 1, angeben so daß die MatrixĴ := S n−1,n S n−2,n−1 ···S 1,2 JT 1,2 T 2,3 ···T n−1,nwieder bidiagonal wird. Die Matrizen S := S 1,2 S 2,3 ···S n−1,n und T :=T 1,2 T 2,3 ···T n−1,n sind unitär, so daß wegen Ĵ = S H JT die Matrix ˆM :=Ĵ H Ĵ = T H J H SS H JT = T H MT eine Tridiagonalmatrix ist, die unitärähnlich zur Tridiagonalmatrix M := J H J ist.

6.7 Berechnung der singulären Werte einer Matrix 81Die Wahl von T 1,2 war bislang offen. Wir zeigen, daß man T 1,2 sowählen kann, daß ˆM gerade die Matrix wird, die das QR-Verfahren mitShift k aus der Tridiagonalmatrix M erzeugt. Wir nehmen o.B.d.A. an, daßM = J H J unzerlegbar ist, denn sonst kann man das Eigenwertproblemfür M auf das Eigenproblem für kleinere unzerlegbare Tridiagonalmatrizenreduzieren. Mit einer unitären von k abhängigen Matrix ˜T = ˜T(k) gilt fürdas QR-Verfahren (s. (6.6.5.2))(6.7.2) M − kI =: ˜TR, ˜M := R ˜T + kI, R obere Dreiecksmatrix,so daß sowohl ˜M = ˜T H M ˜T wie ˆM = T H MT zu M unitär ähnliche Tridiagonalmatrizensind. Damit liegt wieder die Situation der Sätze (6.6.5.5) und(6.6.5.1) vor, und es wird ˜M „im wesentlichen“ gleich ˆM sein, wenn dieMatrizen T und ˜T = ˜T(k) die gleiche erste Spalte besitzen. Bei passenderWahl von T 1,2 kann man dies aber erreichen:Wegen T i,i+1 e 1 = e 1 für i > 1, e 1 := [1, 0,...,] T ∈ C n , ist die ersteSpalte t 1 = Te 1 von T = T 1,2 T 2,3 ···T n−1,n auch die erste Spalte T 1,2 e 1 vonT 1,2t 1 = Te 1 = T 1,2 ···T n−1,n e 1 = T 1,2 ···T n−2,n−1 e 1 =···= T 1,2 e 1und hat die Form t 1 = [c, s, 0,...,0] T ∈ R n , c 2 + s 2 = 1. Andererseits hatdie Tridiagonalmatrix M − kI wegen M = J H J die Form⎡⎤δ 1 ¯γ 2 0.(6.7.3) M − kI =γ 2 δ ..2 ⎢⎣. .. . ..⎥¯γn ⎦ , δ 1 =|q 1 | 2 − k, γ 2 =ē 2 q 1 ,0 γ n δ nfalls⎡⎤q 1 e 2 0.J =q ..2 ⎢⎣. ..⎥en ⎦ .0 q nEine unitäre Matrix ˜T mit (6.7.2), ˜T H (M − kI) = R = obere Dreiecksmatrix,läßt sich als Produkt von n − 1 Givensreflexionen des Typs ˜T i,i+1(s. 4.9) angeben, die die n − 1 Subdiagonalelemente von M − kI der Reihenach annullieren, ˜T = ˜T 1,2 ˜T 2,3 ··· ˜T n−1,n . Dabei besitzt insbesondere ˜T 1,2folgende Form

82 6 Eigenwertprobleme(6.7.4)⎡⎤˜c ˜s 0˜s −˜c˜T 1,2 =1,⎢ .⎣ .. ⎥⎦0 1[ ] [ ] [ ]δ1 |q1 |:= α = α˜c˜s 2 − k, ˜c 2 +˜s 2 = 1,γ 2 ē 2 q 1wobei ˜s ≠ 0 gilt, wenn M nicht zerfällt.Die erste Spalte ˜t 1 von ˜T stimmt mit der ersten Spalte von ˜T 1,2 überein,die durch ˜c, ˜s (6.7.4) gegeben ist. Da ˜M = ˜T H M ˜T eine Tridiagonalmatrixist, folgt aus dem Francis’schen Resultat, daß ˆM mit ˜M im wesentlichen(bis auf Skalierungsfaktoren) übereinstimmt, falls als erste Spalte t 1 von T 1,2(dadurch ist T 1,2 bestimmt) gerade die erste Spalte von ˜T 1,2 gewählt wird(sofern die Tridiagonalmatrix M unzerlegbar ist).Dementsprechend besteht ein typischer Schritt J → Ĵ des Verfahrensvon Golub und Reinsch darin, daß man zunächst einen reellen Shiftparameterk bestimmt, etwa mittels einer der Strategien aus Abschnitt (6.6.5), dannT 1,2 := ˜T 1,2 mit Hilfe der Formeln (6.7.4) wählt, und wie oben beschrieben,weitere Givensmatrizen T i,i+1 , S i,i+1 so bestimmt, daßĴ = S n−1,n ···S 2,3 S 1,2 JT 1,2 T 2,3 ···T n−1,nwieder eine Bidiagonalmatrix wird. Durch diese implizite Berücksichtigungder Shifts wird insbesondere der Genauigkeitsverlust vermieden, der in(6.7.2) bei einer expliziten Ausführung der Subtraktion M → M − kI undder Addition R ˜T → R ˜T + kI für großes k auftreten würde. Die Konvergenzeigenschaftendes Verfahrens sind natürlich die gleichen wie bei demQR-Verfahren: insbesondere liegt bei Verwendung geeigneter Shiftstrategien(s. Satz (6.6.5.8)) in der Regel kubische Konvergenz vor.Ein ALGOL-Programm für dieses Verfahren findet man bei Golub undReinsch (1971), FORTRAN-Programme in Garbow et al. (1977).6.8 Allgemeine EigenwertproblemeIn den Anwendungen treten häufig Eigenwertprobleme der folgenden Formauf: Für gegebene n × n-Matrizen A, B bestimme man Zahlen λ, so daß eseinen Vektor x ≠ 0 gibt mit(6.8.1) Ax = λBx.

6.8 Allgemeine Eigenwertprobleme 83Für nichtsinguläre Matrizen B ist dies mit dem klassischen Eigenwertproblem(6.8.2) B −1 Ax = λxfür die Matrix B −1 A äquivalent (ähnliches gilt, falls A −1 existiert). Gewöhnlichsind nun in den Anwendungen die Matrizen A und B reell symmetrischund B darüber hinaus positiv definit. Obwohl dann i. a. B −1 A nicht symmetrischist, kann man trotzdem (6.8.1) auf ein klassisches Eigenwertproblemfür symmetrische Matrizen reduzieren: Ist etwaB = LL Tdie Cholesky-Zerlegung der positiv definiten Matrix B,soistL nichtsingulärund B −1 A ähnlich zu der Matrix G := L −1 A(L −1 ) TL T (B −1 A)(L T ) −1 = L T (L T ) −1 L −1 A(L −1 ) T = L −1 A(L −1 ) T = G.Nun ist aber mit A auch die Matrix G symmetrisch. Die Eigenwerte λ von(6.8.1) sind also die Eigenwerte der symmetrischen Matrix G.Die Berechnung von G kann man auf folgende Weise vereinfachen:Man berechnet zunächstF := A(L −1 ) Tdurch Auflösung von FL T = A, und danachG = L −1 Faus der Gleichung LG = F. Wegen der Symmetrie von G genügt es,die Elemente unterhalb der Diagonale von G zu bestimmen. Dazu ist dieKenntnis des unteren Dreiecks von F ( f i,k mit k ≤ i) ausreichend. Deshalbgenügt es, nur diese Elemente von F aus der Gleichung FL T = A zuberechnen.Zusammen mit der Cholesky-Zerlegung B = LL T , die etwa16 n3 wesentliche Operationen erfordert, kostet die Berechnung vonG = L −1 A(L −1 ) T aus A, B also etwa 2 3 n3 wesentliche Operationen (Multiplikationen).Für weitere Methoden siehe Martin, Wilkinson (1971) und Peters, Wilkinson(1970). Ein Analogon des QR-Verfahrens zur Lösung des allgemeinenEigenwertproblems (6.8.1) für beliebige Matrizen A und B ist dasQZ-Verfahren von Moler und Stewart (1973), ALGOL-Programme findetman in Martin, Wilkinson (1971), FORTRAN-Programme in Garbow et al.(1977).

84 6 Eigenwertprobleme6.9 EigenwertabschätzungenMit Hilfe der in Abschnitt 4.4 entwickelten Begriffe der Vektor- und Matrixnormenwollen wir nun einige einfache Abschätzungen für die Eigenwerteeiner Matrix geben. Dazu sei im folgenden ‖x‖ eine für x ∈ C ngegebene Vektornorm undlub(A) = maxx≠0‖Ax‖‖x‖die zugehörige Matrixnorm. Insbesondere verwenden wir die Maximumnorm∑‖x‖ ∞ = max |x i |, lub ∞ (A) = max |a i,k |.i iWir unterscheiden zwei Typen von Eigenwertabschätzungen:(1) Ausschließungssätze,(2) Einschließungssätze.Bei Ausschließungssätzen werden Gebiete der komplexen Ebene angegeben,in denen kein Eigenwert liegt (bzw. in deren Komplement alle Eigenwerteliegen); bei Einschließungssätzen werden Gebiete angegeben, in denen mindestensein Eigenwert liegt.Ein Ausschließungssatz vom einfachsten Typ ist der(6.9.1) Satz (Hirsch): Für alle Eigenwerte λ von A gilt|λ|≤lub(A).Beweis: Ist x Eigenvektor zum Eigenwert λ, so folgt ausdie BeziehungAx = λx, x ≠ 0,‖λx‖=|λ|·‖x‖≤lub(A) ·‖x‖,|λ| ≤ lub(A).Sind λ i die Eigenwerte von A, so nennt manρ(A) := max |λ i |1≤i≤nden Spektralradius von A. Nach (6.9.1) gilt ρ(A) ≤ lub(A) für jede Vektornorm.(6.9.2) Satz: (a) Zu jeder Matrix A und jedem ε>0 existiert eine Vektornormmitk⊓⊔

lub(A) ≤ ρ(A) + ε.6.9 Eigenwertabschätzungen 85(b) Gehören zu jedem Eigenwert λ von A mit |λ| =ρ(A) nur lineareElementarteiler, so existiert sogar eine Vektornorm mitlub(A) = ρ(A).Beweis: (a) Zu A existiert eine nichtsinguläre Matrix T ,sodaßTAT −1 = Jdie Jordansche Normalform von A ist (s. (6.2.5)), d.h. J besteht aus Diagonalblöckender Gestalt⎡⎤λ i 1 0.C ν (λ i ) =λ ..i ⎢ .⎣ ..⎥1 ⎦ .0 λ iDurch die Transformation J → Dε−1 JD ε mit der DiagonalmatrixD ε := diag(1,ε,ε 2 ,...,ε n−1 ), ε > 0,erreicht man, daß die C ν (λ i ) übergehen in⎡⎤λ i ε 0. λ ..i ⎢ .⎣ ..⎥ε ⎦ .0 λ iDaraus folgt sofortlub ∞ (Dε−1 JD ε ) = lub ∞ (Dε −1 TAT −1 D ε ) ≤ ρ(A) + ε.Nun gilt allgemein: Ist S eine nichtsinguläre Matrix, ‖·‖ eine Vektornorm, soist auch p(x) :=‖Sx‖ eine Vektornorm und es ist lub p (A) = lub(SAS −1 ).Für die Norm p(x) :=‖D −1ε Tx‖ ∞ folgt darauslub p (A) = lub ∞ (D −1ε TAT −1 D ε ) ≤ ρ(A) + ε.(b) Die Eigenwerte λ i von A seien wie folgt geordnetρ(A) =|λ 1 |=···=|λ s | > |λ s+1 |≥···≥|λ n |.Dann hat nach Voraussetzung für 1 ≤ i ≤ s jedes Jordankästchen C ν (λ i ) inJ die Dimension 1, d.h. C ν (λ i ) = [λ i ]. Wählt man

86 6 Eigenwertproblemeso gilt deshalbε = ρ(A) −|λ s+1 |,lub ∞ (D −1ε TAT −1 D ε ) = ρ(A).Für die Norm p(x) :=‖D −1ε Tx‖ ∞ folgt wie in (a)lub p (A) = ρ(A).Eine bessere Abschätzung als (6.9.1) wird durch folgenden Satz gegeben[s. Bauer, Fike (1960)]:(6.9.3) Satz: Ist B eine beliebige n × n-Matrix, so gilt für alle Eigenwerteλ von A1 ≤ lub((λI − B) −1 (A − B)) ≤ lub((λI − B) −1 ) · lub(A − B),es sei denn, daß λ auch Eigenwert von B ist.Beweis: Ist x Eigenvektor zum Eigenwert λ von A, so folgt aus derIdentität(A − B)x = (λI − B)x,wenn λ kein Eigenwert von B ist, sofortund daraus(λI − B) −1 (A − B)x = xlub [ (λI − B) −1 (A − B) ] ≥ 1.Wählt man insbesondere⎡a 1,1 0⎤B = A D := ⎣ . .. ⎦ ,0 a n,ndie Diagonale von A, und nimmt man die Maximumnorm, so folgt[lub ∞ (λI − AD ) −1 (A − A D ) ] 1n∑= max |a i,k |.1≤i≤n |λ − a i,i |Aus Satz (6.9.3) folgt nun(6.9.4) Satz (Gerschgorin): Die Vereinigung aller Kreisscheiben{K i := µ ∈ C ∣ n∑}|µ − a i,i |≤ |a i,k |k=1k≠ienthält alle Eigenwerte der n × n-Matrix A = (a i,k ).k=1k≠i⊓⊔⊓⊔

6.9 Eigenwertabschätzungen 87Da der Kreis K i den Mittelpunkt a i,i und den Radius ∑ nk=1,k≠i |a i,k|besitzt, ist diese Abschätzung umso schärfer, je weniger sich A von einerDiagonalmatrix unterscheidet.Beispiel:⎡1 0.1⎤−0.1A = ⎣ 0 2 0.4 ⎦,−0.2 0 3K 1 ={µ ||µ − 1|≤0.2}K 2 ={µ ||µ − 2|≤0.4}K 3 ={µ ||µ − 3|≤0.2}K 1K 2K 340 1 2 3Fig. 1. GerschgorinkreiseInsbesondere kann man den letzten Satz verschärfen:(6.9.5) Korollar: Ist die Vereinigung M 1 = ⋃ kj=1 K i jvon k Kreisen K ij ,j = 1, ..., k, disjunkt von der Vereinigung M 2 der übrigen n − k Kreise,so enthält M 1 genau k und M 2 genau n − k Eigenwerte von A.Beweis: Ist A = A D + R, so setze man für t ∈ [0, 1]Dann istA t := A D + tR.A 0 = A D , A 1 = A.Die Eigenwerte von A t sind stetige Funktionen von t. Wendet man denGerschgorinschen Satz auf A t an, so findet man, daß für t = 0 genau kEigenwerte von A 0 in M 1 liegen und n − k in M 2 (mehrfache Eigenwerteentsprechend ihrer algebraischen Vielfachheit gezählt). Da für 0 ≤ t ≤ 1alle Eigenwerte von A t ebenfalls in diesen Kreisen liegen müssen, folgt ausStetigkeitsgründen, daß auch k Eigenwerte von A 1 = A in M 1 liegen unddie restlichen n − k in M 2 .⊓⊔Da die Eigenwerte der Matrizen A und A T identisch sind, kann man(6.9.4), (6.9.5) auf A und auf A T anwenden und damit u.U. mehr Informationüber die Lage der Eigenwerte erhalten.

88 6 EigenwertproblemeHäufig kann man die Abschätzungen des Gerschgorinschen Satzes verbessern,wenn man die Matrix A vorher mit Hilfe einer DiagonalmatrixD = diag(d 1 ,...,d n ) ähnlich transformiert, A → D −1 AD. Man erhält sofür die Eigenwerte von D −1 AD und damit von A die KreiseK i ={µ ∣ ∣ |µ − a i,i |≤n∑∣k=1k≠ia i,k d kd i∣ ∣∣∣=: ρ i}Durch geeignete Wahl von D kann man oft den Radius ρ i eines Kreiseserheblich verkleinern (wodurch in der Regel die restlichen Kreise größerwerden), und zwar so, daß der betreffende Kreis K i disjunkt zu den übrigenKreisen K j , j ≠ i, bleibt. K i enthält dann genau einen Eigenwert von A.Beispiel:⎡1 ε⎤εA = ⎣ ε 2 ε ⎦,ε ε 2K 1 ={µ ||µ − 1|≤2ε},K 2 = K 3 ={µ ||µ − 2|≤2ε},0 0, ergibt⎡A ′ = D −1 AD = ⎣ 1 kε2 kε 2 ⎤1/k 2 ε ⎦ .1/k ε 2Für A ′ istρ 1 = 2kε 2 , ρ 2 = ρ 3 = 1 k + ε.Die Kreise K 1 und K 2 = K 3 sind für A ′ disjunkt, wennρ 1 + ρ 2 = 2kε 2 + 1 k + ε 1 sein. Der optimale Wert ˜k, für den sich K 1 und K 2berühren, ergibt sich aus ρ 1 + ρ 2 = 1. Man erhältund damit˜k =21 − ε + √ (1 − ε) 2 − 8ε 2 = 1 + ε + O(ε2 )ρ 1 = 2˜kε 2 = 2ε 2 + O(ε 3 ).Durch die Transformation A → A ′ kann also der Radius ρ 1 von K 1 von anfangs 2εbis auf etwa 2ε 2 verkleinert werden.Die Abschätzung von Satz (6.9.3) läßt sich auch als Störungssatz auffassen,der angibt, wie weit sich die Eigenwerte von A von den Eigenwerten

6.9 Eigenwertabschätzungen 89von B entfernen können. Um das zu zeigen, nehmen wir an, daß B normalisierbarist:B = PΛ B P −1 ,Dann folgt, wenn λ kein Eigenwert von B ist,Λ B = diag(λ 1 (B),...,λ n (B)).lub ( (λI − B) −1) = lub ( (P(λI − Λ B ) −1 P −1)≤ lub ( (λI − Λ B ) −1) lub ( P ) lub ( P −1)= max1≤i≤n1∣ λ − λi (B) ∣ cond(P)1=min ∣ λ − λi (B) ∣ cond(P).1≤i≤nDiese Abschätzung ist für alle Normen ‖·‖ richtig, für die wie bei derMaximumnorm und der euklidischen Norm für alle Diagonalmatrizen D =diag(d 1 ,...,d n ) giltlub(D) = max |d i |.1≤i≤nSolche Normen heißen absolut, sie sind auch dadurch gekennzeichnet, daßfür sie ‖|x|‖=‖x‖ für alle x ∈ C n gilt [s. Bauer, Stoer, Witzgall (1961)].Aus (6.9.3) folgt damit [vgl. Bauer, Fike (1960), Householder (1964)](6.9.6) Satz: Ist B eine diagonalisierbare n × n-Matrix, B = PΛ B P −1 ,Λ B = diag(λ 1 (B),...,λ n (B)), und A eine beliebige n × n-Matrix, so gibtes zu jedem Eigenwert λ(A) einen Eigenwert λ i (B), so daß gilt|λ(A) − λ i (B)|≤cond(P) lub(A − B).Dabei beziehen sich cond, lub auf eine absolute Norm ‖·‖.Diese Abschätzung besagt, daß für die Störempfindlichkeit der Eigenwerteeiner Matrix B die Konditioncond(P)der Matrix P und nicht die der Matrix B maßgeblich ist. Die Spalten vonP sind aber gerade die (Rechts-) Eigenvektoren von B. Für HermitescheMatrizen B, allgemeiner für normale Matrizen B, kann P als eine unitäreMatrix gewählt werden (Satz (6.4.5)). Bezüglich der euklidischen Norm‖x‖ 2 gilt daher cond 2 (P) = 1 und damit der(6.9.7) Satz: Ist B eine normale n×n-Matrix, A eine beliebige n×n-Matrix,so gibt es zu jedem Eigenwert λ(A) von A einen Eigenwert λ(B) von B mit

90 6 Eigenwertprobleme|λ(A) − λ(B)|≤lub 2 (A − B).Das Eigenwertproblem für Hermitesche Matrizen ist also in jedem Fallgut konditioniert.Die Abschätzungen von (6.9.6), (6.9.7) sind globaler Natur. Wir wollennun die Störempfindlichkeit eines bestimmten Eigenwertes λ von A beikleinen Störungen A → A + εC, ε → 0, in erster Näherung untersuchen.Wir beschränken uns auf den Fall, daß der Eigenwert λ einfache Nullstelledes charakteristischen Polynoms von A ist. Zu λ gehören dann bis aufVielfache eindeutig bestimmte Rechts- und Linkseigenvektoren x bzw. y H :Ax = λx, y H A = λy H , x ≠ 0, y ≠ 0.Für sie gilt y H x ≠ 0, wie man mit Hilfe der Jordanschen Normalform vonA, die nur einen Jordanblock zum Eigenwert λ enthält, der zudem 1-reihigist, leicht zeigen kann.(6.9.8) Satz: Sei λ eine einfache Nullstelle des charakteristischen Polynomsder n×n-Matrix A, x und y H ein zugehöriger Rechts- bzw. Linkseigenvektorvon AAx = λx, y H A = λy H , x, y ≠ 0,und C eine beliebige n × n-Matrix. Dann gibt es eine für genügend kleinesε, |ε|≤ε 0 , ε 0 > 0, analytische Funktion λ(ε), sodaßλ(0) = λ,λ ′ (0) = y H Cxy H xgilt und λ(ε) einfache Nullstelle des charakteristischen Polynoms von A+εCist. In erster Näherung hat man alsoλ(ε) . = λ + ε y H Cxy H x .Beweis: Das charakteristische Polynom der Matrix A + εCϕ ε (µ) = det(A + εC − µI)ist eine analytische Funktion von ε und µ. Sei K eine KreisscheibeK = { µ ∣ ∣ |µ − λ|≤r } , r > 0,die außer λ keinen weiteren Eigenwert von A enthält. Es ist dann∣∣ϕ 0 (µ) ∣ =: m > 0, mit S :={µ ||µ − λ|=r}.infµ∈SDa ϕ ε (µ) stetig von ε abhängt, gibt es ein ε 0 > 0, so daß auch∣(6.9.9) inf∣ϕ ε (µ) ∣ > 0 für alle |ε|≤ε 0µ∈S

6.9 Eigenwertabschätzungen 91gilt. Nach einem bekannten Satz der Funktionentheorie gibtν(ε) := 1 ∮ϕ ε ′(µ)2πi ϕ ε (µ) dµdie Zahl der Nullstellen von ϕ ε (µ) in K an. Wegen (6.9.9) ist ν(ε) für |ε|≤ε 0 stetig, also ist 1 = ν(0) = ν(ε) für |ε| ≤ε 0 wegen der Ganzzahligkeitvon ν. Für diese einfache Nullstelle λ(ε) von ϕ ε (µ) in K gilt nach einemweiteren funktionentheoretischen Satz die Darstellung(6.9.10) λ(ε) = 12πi∮SSµϕ ′ ε (µ)ϕ ε (µ) dµ.Für |ε|≤ε 0 ist der Integrand von (6.9.10) eine analytische Funktion von ε,also auch λ(ε) nach einem bekannten Satz über die Vertauschbarkeit vonDifferentiation und Integration. Zum einfachen Eigenwert λ(ε) von A +εCkönnen Rechts- und Linkseigenvektoren x(ε) und y(ε) H(A + εC)x(ε) = λ(ε)x(ε), y(ε) H (A + εC) = λ(ε)y(ε) Hso gewählt werden, daß x(ε) und y(ε) H für |ε|≤ε 0 analytische Funktionenvon ε sind. Man setze etwa x(ε) = (ξ 1 (ε),...,ξ n (ε)) T mitξ i (ε) = (−1) i det(B 1,i ),wobei B 1,i diejenige (n−1)-reihige Matrix ist, die man durch Streichen vonZeile 1 und Spalte i aus der Matrix A + εC − λ(ε)I erhält. Aus(A + εC − λ(ε) I)x(ε) = 0erhält man durch Differentiation nach ε für ε = 0(C − λ ′ (0) I ) x(0) + ( A − λ(0) I ) x ′ (0) = 0und daraus, wegen y(0) H (A − λ(0) I ) = 0,also wegen y(0) H x(0) ≠ 0y(0) H( C − λ ′ (0) I ) x(0) = 0,λ ′ (0) = y H Cx, y = y(0), x = x(0),y H xwas zu zeigen war.Bezeichnet man für die euklidische Norm ‖·‖ 2 mity H xcos(x, y) :=‖x‖ 2 ‖y‖ 2⊓⊔

92 6 Eigenwertproblemeden Kosinus des Winkels zwischen x und y, so folgt aus dem letzten Resultatdie Abschätzung∣∣λ ′ (0) ∣ ∣ =|y H Cx|‖y‖ 2 ‖x‖ 2 | cos(x, y)| ≤lub 2(C)| cos(x, y)| .Die Empfindlichkeit von λ wird also umso größer sein, je kleiner | cos(x, y)|ist. Für Hermitesche Matrizen ist (bis auf Vielfache) stets x = y, und daher| cos(x, y)| =1: Dies steht im Einklang mit Satz (6.9.7), nach dem dieEigenwerte Hermitescher Matrizen relativ störunempfindlich sind.Dieser Satz besagt, daß ein Eigenwert λ von A, der nur einfache Nullstelledes charakteristischen Polynoms ist, in dem Sinne unempfindlich gegenStörungen A → A + εC ist, als es für den entsprechenden Eigenwertλ(ε) von A + εC eine Konstante K und ein ε 0 > 0 gibt mit∣∣λ(ε) − λ ∣ ∣ ≤ K |ε| für |ε|≤ε 0 .Für schlecht konditionierte Eigenwerte λ, d.h. falls die zugehörigen LinksundRechseigenvektoren fast orthogonal sind, ist K jedoch sehr groß.Diese Aussage bleibt noch richtig, falls der Eigenwert λ zwar mehrfacheNullstelle des charakteristischen Polynoms von A ist, aber nur lineare Elementarteilerzu λ gehören. Falls jedoch nichtlineare Elementarteiler zu λgehören, wird diese Aussage falsch. Man kann für diesen Fall folgendeszeigen [vgl. Aufgabe 29]:Seien (µ − λ) ν 1, (µ − λ) ν 2, ..., (µ − λ) ν ρ, ν 1 ≥ ν 2 ≥ ··· ≥ ν ρ ,die zum Eigenwert λ von A gehörigen Elementarteiler. Dann besitzt dieMatrix A + εC für genügend kleines ε Eigenwerte λ i (ε), i = 1, ..., σ ,σ := ν 1 +···+ν ρ ,für die mit einer Konstanten K gilt∣(6.9.11) ∣λ i (ε) − λ ∣ ≤ K |ε| 1/ν 1für i = 1,...,σ, |ε|≤ε 0 .Dies hat folgende numerische Konsequenz: Wendet man für die praktischeBerechnung der Eigenwerte einer Matrix A (mit lub(A) = 1) ein gutartigesVerfahren an, so lassen sich die verfahrensbedingten Rundungsfehlerso interpretieren, als habe man statt mit A mit einer abgeänderten AusgangsmatrixA +△A, lub(△A) = O(eps), exakt gerechnet. Gehören zumEigenwert λ i von A nur lineare Elementarteiler, so stimmt der berechneteNäherungswert ˜λ i für λ i bis auf einen Fehler der Ordnung eps mit λ i überein.Gehören dagegen zu λ i Elementarteiler höchstens ν-ten Grades, muß manmit einem Fehler der Größenordnung eps 1/ν für ˜λ i rechnen.Zur Herleitung eines typischen Einschließungssatzes beschränken wiruns auf den Fall der euklidischen Norm‖x‖ 2 = √ √ ∑x H x =i|x i | 2

6.9 Eigenwertabschätzungen 93und beweisen zunächst für eine Diagonalmatrix D = diag(d 1 ,...,d n ) dieFormel‖Dx‖ 2min = min |d i |.x≠0 ‖x‖ 2 iIn der Tat ist für alle x ≠ 0‖Dx‖ 2 2‖x‖ 2 2=∑i |x i| 2 |d i | 2∑i |x i| 2 ≥ min |d i | 2 .Ist |d j |=min i |d i |, so wird diese untere Schranke erreicht für x = e j ( = j-ter Einheitsvektor). Ist weiter A eine normale Matrix, d.h. eine Matrix, diesich mit einer unitären Matrix U auf Diagonalform transformieren läßt,A = U H DU, D = diag(d 1 ,...,d n ), d i = λ i (A),und ist f (λ) ein beliebiges Polynom, so istf (A) = U H f (D)Uund aus der unitären Invarianz von ‖x‖ 2 =‖Ux‖ 2 folgt sofort für alle x ≠ 0‖ f (A)x‖ 2= ‖U H f (D)Ux‖ 2= ‖ f (D)Ux‖ 2‖x‖ 2 ‖x‖ 2 ‖Ux‖ 2∣= min1≤i≤n∣ f ( λ i (A) )∣ ∣ .Es folgt somit [vgl. z. B. Householder (1964)]≥ min ∣ f (d i ) ∣ 1≤i≤n(6.9.12) Satz: Sei A eine normale Matrix, f (λ) ein beliebiges Polynom undx ≠ 0 ein beliebiger Vektor. Dann gibt es einen Eigenwert λ(A) von A mitwobei∣ f ( λ(A) )∣ ∣ ≤ ‖ f (A)x‖ 2‖x‖ 2.Wählt man insbesondere für f das lineare Polynomso folgt wegensofortf (λ) ≡ λ − x H Axx H x ≡ λ − µ 0,1µ 0,0,µ i,k := x H( A H) iA k x, i, k = 0, 1, 2,...,µ i,k =¯µ k,i

94 6 EigenwertproblemeAlso gilt der(‖ f (A)x‖ 2 2 = x H A H − ¯µ )(0,1I A − µ )0,1I xµ 0,0 µ 0,0= µ 1,1 − µ 1,0µ 0,1− µ 1,0µ 0,1+ µ 0,1µ 1,0µ 0,0 µ 0,0 µ 2 · µ 0,00,0= µ 1,1 − µ 0,1µ 1,0µ 0,0.(6.9.13) Satz (Weinstein): Ist A normal und x ≠ 0 ein beliebiger Vektor,so liegt in dem Kreis⎧⎨⎩ y ∣ ∣∣∣ ∣ ∣∣λ −µ 0,1mindestens ein Eigenwert von A.√⎫∣ ∣∣ µ 1,1 − µ 1,0 µ 0,1 /µ ⎬ 0,0≤µ 0,0 µ 0,0 ⎭Der Quotient µ 0,1 /µ 0,0 = x H Ax/x H x heißt übrigens der zu x gehörigeRayleigh-Quotientvon A. Der letzte Satz wird insbesondere im Zusammenhang mit derVektoriteration benutzt: Ist x näherungsweise gleich x 1 , einem Eigenvektorzum Eigenwert λ 1 ,x ≈ x 1 , Ax 1 = λ 1 x 1 ,so ist der zu x gehörige Rayleigh-Quotient x H Ax/x H x i.a. ein sehr guterNäherungswert für λ 1 . Satz (6.9.13) gibt dann an, wie weit dieserNäherungswert x H Ax/x H x von einem Eigenwert von A höchstens entferntist.Die MengeG[A] ={ x H Axx H x}∣ x ≠ 0aller Rayleigh-Quotienten heißt der Wertebereich der Matrix A. Wählt manx als Eigenvektor von A, so folgt sofort, daß G[A] die Eigenwerte von Aenthält. Hausdorff hat darüber hinaus gezeigt, daß G[A] stets konvex ist.Für normale Matrizengilt sogarA = U H ΛU, Λ=⎡λ 1 0⎢ .⎣ ..⎤⎥⎦ , U H U = I,0 λ n

G[A] =={x H U H ΛUxx H U H Ux{µ ∣ n∑µ =i=1} ∣ x ≠ 0 =6.9 Eigenwertabschätzungen 95τ i λ i , τ i ≥ 0,{y H Λyy H y}∣ y ≠ 0}n∑τ i = 1 .Das heißt, für normale Matrizen ist G[A] gleich der konvexen Hülle derEigenwerte von A.i=1λ 1λ 2λ 5λ 7λ 6G[A]0λ 3λ 4Fig. 2. Wertebereich einer normalen MatrixFür eine Hermitesche Matrix H = H H = U H ΛU mit den Eigenwertenλ 1 ≥ λ 2 ≥ ··· ≥ λ n erhalten wir so das Resultat (6.4.3) zurück, das λ 1und λ n durch Extremaleigenschaften charakterisiert. Eine ähnliche Charakterisierungauch der übrigen Eigenwerte von H wird durch folgenden Satzgegeben:(6.9.14) Satz (Courant, Weyl): Für die Eigenwerte λ 1 ≥ λ 2 ≥ ··· ≥ λ neiner n-reihigen Hermiteschen Matrix H gilt für i = 0, 1, ..., n − 1λ i+1 = miny 1 ,...,y i ∈C nx H Hxmax0≠x∈C n : x H [y 1 ,...,y i ]=0 x H x .Beweis: Für beliebige y 1 , ..., y i ∈ C n definiere man µ(y 1 ,...,y i )durchµ(y 1 ,...,y i ) := max{x H Hx | x ∈ C n : x H y j = 0für j ≤ i, x H x = 1}

96 6 EigenwertproblemeSei ferner x 1 , ..., x n ein Satz von n orthonormalen Eigenvektoren von Hzu den Eigenwerten λ j [s. Satz (6.4.2)]: Hx j = λ j x j , x H jx k = δ j,k für j,k = 1, 2, ..., n. Für y j := x j , j = 1, ..., i lassen sich dann alle x ∈ C nmit x H y j = 0, j = 1, ..., i, x H x = 1, in der Formx = ρ i+1 x i+1 +···+ρ n x n ,∑|ρ k | 2 = 1darstellen, so daß für diese x wegen λ k ≤ λ i+1 für k ≥ i + 1 giltx H Hx = (ρ i+1 x i+1 +···+ρ n x n ) H H(ρ i+1 x i+1 +···+ρ n x n )=|ρ i+1 | 2 λ i+1 +···+|ρ n | 2 λ nk>i≤ λ i+1 (|ρ i+1 | 2 +···+|ρ n | 2 ) = λ i+1 ,wobei für x := x i+1 Gleichheit herrscht. Also istµ(x 1 ,...,x i ) = λ i+1 .Andererseits besitzen für beliebige y 1 , ..., y i ∈ C n die TeilräumeE :={x ∈ C n | x H y j = 0für j ≤ i},F :={ ∑ j≤i+1 ρ j x j | ρ j ∈ C},die Dimensionen dim E ≥ n − i, dim F = i + 1, so daß dim F ∩ E ≥ 1ist und es einen Vektor x 0 ∈ F ∩ E mit x H 0 x 0 = 1 gibt. Also ist wegenx 0 = ρ 1 x 1 +···+ρ i+1 x i+1 ∈ Fµ(y 1 ,...,y i ) ≥ x H 0 Hx 0 =|ρ 1 | 2 λ 1 +···+|ρ i+1 | 2 λ i+1≥ (|ρ 1 | 2 +···+|ρ i+1 | 2 )λ i+1 = λ i+1 .⊓⊔Definiert man für eine beliebige Matrix AH 1 := 1 2 (A + AH ), H 2 := 1 2i (A − AH ),so sind H 1 , H 2 Hermitesch und es giltA = H 1 + iH 2 .(H 1 , H 2 werden auch mit Re A bzw. Im A bezeichnet; man beachte aber,daß die Elemente von Re A i. a. nicht reell sind.)

6.9 Eigenwertabschätzungen 97Für jeden Eigenwert λ von A gilt wegen λ ∈ G[A] und (6.4.3)Re λ ≤ max Re x H Axx≠0 x H x= maxx≠0x H H 1 xx H x= maxx≠01x H x= λ max (H 1 ),Im λ ≤ max Im x H Axx≠0 x H x = λ max(H 2 ).x H Ax + x H A H x2Schätzt man Re λ, Imλ analog nach unten ab, so folgt der(6.9.15) Satz (Bendixson): Zerlegt man eine beliebige Matrix A in A =H 1 + iH 2 ,woH 1 und H 2 Hermitesch sind, so gilt für jeden Eigenwert λvon Aλ min (H 1 ) ≤ Re λ ≤ λ max (H 1 ),λ min (H 2 ) ≤ Im λ ≤ λ max (H 2 ).Alle diese Abschätzungen führen sofort zu Abschätzungen für die Nullstelleneines Polynomsp(λ) = a n λ n +···+a 0 , a n ≠ 0.Zu p gehört ja die Frobeniusmatrix⎡⎤0 −γ 01 0 −γ 1F = ⎢⎣. .. . ... ..⎥⎦ ,0 1 −γ n−1 mit γ i = a i,a ndie (1/a n )(−1) n p(λ) als charakteristisches Polynom besitzt. Insbesondereerhält man aus dem Satz (6.9.1) von Hirsch mit lub ∞ (A) = max i∑k |a i,k|angewandt auf F bzw. F T die folgenden Abschätzungen für alle Nullstellenλ k von p(λ):{∣ ∣ (∣)}∣∣∣ a 0 ∣∣∣ (a) |λ k |≤max , max 1 +a i ∣∣∣a ∣ ,n 1≤i≤n−1 a n{(b) |λ k |≤max 1,∑n−1i=0∣ }a i ∣∣∣∣ .a n

98 6 EigenwertproblemeBeispiel: Für p(λ) = λ 3 − 2λ 2 + λ − 1 erhält man(a) |λ i |≤max{1, 2, 3}=3,(b) |λ i |≤max{1, 1 + 1 + 2}=4.In diesem Fall ergibt (a) eine bessere Abschätzung.Übungsaufgaben zu Kapitel 61. Man gebe für die Matrix⎡A =⎢⎣2 1 02 122 1210 0⎤⎥⎦das char. Polynom, das Minimalpolynom, ein System von Eigen- und Hauptvektorenund die Frobeniussche Normalform an.2. Wie viele paarweise nicht ähnliche 6 × 6-Matrizen mit dem folgenden char.Polynom gibt es:p(λ) = (3 − λ) 4 (1 − λ) 33. Welche Eigenschaften haben die Eigenwerte vonpositiv definiten/semidefiniten,orthogonalen/unitären,reell schiefsymmetrischen (A T =−A)Matrizen? Man gebe das Minimalpolynom einer Projektionsmatrix A = A 2 an.4. Man bestimme für die Matrizena) A = uv T , u,v∈ R n ,b) H = I − 2ww H , w H w = 1, w∈ C n ,⎡ ⎤0 0 0 1⎢ 1 0 0 0⎥c) P = ⎣0 1 0 0⎦0 0 1 0die Eigenwerte λ i , die Vielfachheiten σ i und ρ i , das char. Polynom ϕ(µ), dasMinimalpolynom ψ(µ), ein System von Eigen- bzw. Hauptvektoren und eineJordansche Normalform J.

Übungsaufgaben zu Kapitel 6 995. Für u,v,w,z ∈ R n , n > 2, seiA := uv T + wz T .a) λ 1 , λ 2 seien die Eigenwerte von[ ]v T u v T wà :=z T u z T .wMan zeige: A hat die Eigenwerte λ 1 , λ 2 und 0.b) Wie viele (linear unabhängige) Eigen- und Hauptvektoren kann A haben?Welche Typen der Jordanschen Normalform J von A sind möglich? Mangebe J speziell für à = 0 an!6. a) Man zeige: λ ist Eigenwert von A genau dann wenn −λ Eigenwert von Bist, wenn⎡⎤ ⎡⎤δ 1 γ 2 0 −δ 1 γ 2 0.A :=β 2 δ 2 ... , B :=β 2 −δ 2 ...⎢ .⎣ .. . .. ⎥ ⎢ . γn ⎦ ⎣ .. . .. ⎥ γn ⎦0 β n δ n 0 β n −δ nb) Für die relle symmetrische Tridiagonalmatrix⎡⎤δ 1 γ 2 0. A =γ 2 δ 2 ..⎢ .⎣ .. . ..⎥ γn ⎦0 γ n δ ngelteδ i =−δ n+1−i ,γ i = γ n+2−i ,i = 1,...,n,i = 2,...,n.Man zeige: Mit λ ist auch −λ Eigenwert von A. Was folgt daraus für dieEigenwerte von Matrix (6.6.5.9))?c) Man zeige, daß die Eigenwerte der Matrix⎡⎤0 ¯γ 2 0.A =γ 2 0 ..⎢⎥⎣ . .. . .. ¯γn⎦0 γ n 0symmetrisch zu 0 liegen und daß{(−1)det(A) =k |γ 2 | 2 |γ 4 | 2 ... |γ n | 2 falls n gerade, n = 2k,0 sonst.

100 6 Eigenwertprobleme7. C sei eine reelle n × n-Matrix undf (x) := x T Cxx T xfür x ∈ R n , x ≠ 0.Man zeige: f ist stationär an der Stelle ˜x ≠ 0 genau dann, wenn ˜x Eigenvektorvon 1 2 (C + C T ) mit f (˜x) als zugehörigem Eigenwert ist.8. Man zeige:a) Ist A normal mit den Eigenwerten λ i , |λ 1 |≥···≥|λ n |, und den singulärenWerten σ i so giltσ i =|λ i |,lub 2 (A) =|λ 1 |=ρ(A),i = 1,...,n,cond 2 (A) = |λ 1||λ n | = ρ(A)ρ(A−1 ) (falls A −1 existiert).b) Für jede n × n-Matrix A gilt(lub 2 (A)) 2= lub2 (A H A).9. Man zeige: Ist A eine normale n × n-Matrix mit den Eigenwerten λ i ,|λ 1 |≥···≥|λ n |,und sind U, V unitär, so gilt für die Eigenwerte µ i von UAV|λ 1 |≥|µ i |≥|λ n |.10. B sei eine n × m-Matrix. Man beweise:[ ]In BM =positiv definit ⇐⇒ ρ(B H B)

Übungsaufgaben zu Kapitel 6 10113. Abschätzung der Funktion f (n) in Formel (6.5.4.4) für Gleitpunktarithmetik derrelativen Genauigkeit eps: A sei eine n × n- Matrix in Gleitpunktdarstellung,G j eine Eliminationsmatrix vom Typ (6.5.4.1) mit den wesentlichen Elementenl i, j . Die l i, j entstehen durch Division von Elementen aus A, sind also mit einemrelativen Fehler von maximal eps behaftet. Man leite mit den Methoden vonAbschnitt 1.3 die folgenden Abschätzugen her (höhere Potenzen eps i , i ≥ 2,sind zu vernachlässigen):a) lub ∞ [gl(G −1j A) − G −1j A] ˙≤ 4 eps lub ∞ (A),b) lub ∞ [gl(AG j ) − AG j ] ˙≤ (n − j + 2) eps lub ∞ (A),c) lub ∞ [gl(G −1jAG j ) − G −1j AG j ] ˙≤ 2(n − j + 6) eps lub ∞ (A).14. Konvergenzverhalten der Vektoriteration: A sei eine reelle symmetrische n ×n-Matrix mit den Eigenwerten λ i mit |λ 1 | > |λ 2 |≥···≥|λ n | und denzugehörigen Eigenvektoren x 1 , ..., x n mit xi T x k = δ i,k . Ausgehend von einemStartvektor y 0 mit x1 T y 0 ≠ 0 werde berechnety k+1 :=Ay k, für k = 0, 1, 2,...‖Ay k ‖mit einer beliebigen Vektornorm ‖·‖, parallel dazu die Größenund der Rayleigh-QuotientMan beweise:a) q k,i = λ 1[1 + Ob) r k = λ 1[1 + O15. In der reellen Matrixq k,i := (Ay k) i(y k ) i, 1 ≤ i ≤ n, falls (y k ) i ≠ 0,((λ 2λ 1) k )]((λ 2λ 1) 2k )].r k := yT k Ay kyk T y .kfür alle i mit (x 1 ) i ≠ 0,⎡⎤−9 ∗ ∗ ∗ ∗∗ 0 ∗ ∗ ∗A = A T = ⎢ ∗ ∗ 1 ∗ ∗ ⎥⎣∗ ∗ ∗ 4 ∗⎦∗ ∗ ∗ ∗ 21stellen die Sterne Elemente vom Betrag ≤ 1/4 dar. Die Vektoriteration werdemit A und dem Startvektor y 0 = e 5 durchgeführt.a) Man zeige, daß e 5 als Startvektor „geeignet“ ist, d.h. daß die Folge y k inAufg. 14 tatsächlich gegen den Eigenvektor zum betragsgrößten Eigenwertvon A konvergiert.

102 6 Eigenwertproblemeb) Man schätze ab, wieviel richtige Dezimalstellen r k+5 gegenüber r k gewinnt.16. Man beweise: lub ∞ (F)

Übungsaufgaben zu Kapitel 6 103[ ] 2 ε22. Man führe einen QR-Schritt mit der Matrix A = aus,ε 1a) ohne Shift,b) mit Shift k = 1, d.h. nach Strategie (6.6.5.7a).23. Effekt eines QR-Schrittes mit Shift bei Tridiagonalmatrizen:⎡⎤δ 1 γ 2 0. A =γ 2 δ 2 ..⎢⎣ . .. . ⎥ .. γn ⎦0 γ n δ nγ i ≠ 0,⎡⎤0= B.⎢γ n⎥⎣⎦0 ··· γ n δ ni = 2,...,n.Mit A werde ein QR-Schritt mit dem Shiftparameter k = δ n ausgeführt,⎡δ 1 ′ γ ′ ⎤2 0A − δ n I = QR → RQ+ δ n I =: A ′ γ= 2 ′ δ ′ . ..2.⎢ .⎣ .. . .. γ ′ ⎥ n ⎦0 γ n ′ δ n′Man zeige: Wenn d := min i |λ i (B) − δ n | > 0 ist, gilt|γ ′ n |≤|γ n| 3d 2 , |δ′ n − δ n|≤ |γ n| 2d .Hinweis: Q = Produkt geeigneter Givens-Rotationen, Anwendung von Aufg.21.Beispiel: Was erhält man für⎡⎤5 1A = ⎢⎣1 5 11 5 11 5 0.10.1 1⎥⎦ ?24. Ist die Shiftstrategie (6.6.5.7a) beim QR-Verfahren für reelle Tridiagonalmatrizendes Typs ⎡⎤δ γ 2 0. γ 2 δ ..⎢⎣ . .. . ⎥ .. γn ⎦0 γ n δsinnvoll? Man beantworte diese Frage mit Hilfe von Aufg. 6.c) und der folgendenTatsache: Ist A reell symmetrisch, tridiagonal und sind alle Diagonalelemente0, so gilt dies auch nach einem QR-Schritt.

104 6 Eigenwertprobleme25. Man berechne durch Abschätzung (Gerschgorin) der Eigenwerte für die Matrix⎡ ⎤5.2 0.6 2.2A = ⎣ 0.6 6.4 0.5 ⎦2.2 0.5 4.7eine obere Schranke für cond 2 (A).26. Man schätze die Eigenwerte folgender Matrizen möglichst genau ab:a) die Matrix A in Aufg. 15.⎡b)⎣ 1 10−3 10 −4 ⎤10 −3 2 10 −3 ⎦ .10 −4 10 −3 3Hinweis: Satz von Gerschgorin in Verbindung mit der Transformation A →D −1 AD, D eine geeignete Diagonalmatrix.27. a) A, B seien quadratische Hermitesche Matrizen und[ A] CH =C H B.Man zeige: Zu jedem Eigenwert λ(B) von B gibt es einen Eigenwert λ(H)von H mit ∣ ∣∣λ(H) − λ(B)∣ ∣∣ ≤√lub2 (C H C).b) Man wende a) auf den praktisch wichtigen Fall an, daß H eine Hermitesche,„fast zerfallende“ Tridiagonalmatrix der Gestalt⎡⎤∗ ∗ 0. ∗ ∗ ... .. . .. ∗∗ ∗ εH =, |ε| klein,ε ∗ ∗. ∗ ∗ ..⎢⎣. .. .⎥ .. ∗ ⎦0 ∗ ∗ist . Wie lassen sich die Eigenwerte von H durch die von A und Babschätzen?28. Man zeige: Ist A = (a i,k ) Hermitesch, so gibt es zu jedem Diagonalelementa i,i einen Eigenwert λ(A) von A mit∣ √∣ ∣∣ ∑∣λ(A) − a i,i ≤ |a i, j | 2 .j≠i

29. a) Man beweise für die ν × ν-Matrix⎡ ⎤λ 1 0λ . . C ν (λ) =.⎢⎣ .⎥ .. 1 ⎦0 λLiteratur zu Kapitel 6 105mit Hilfe des Satzes von Gerschgorin und geeigneter Skalierung mit Diagonalmatrizen:Für die Eigenwerte λ i (ε) der abgeänderten Matrix C ν (λ)+εFund genügend kleines ε gilt∣∣∣λ i (ε) − λ∣ ≤ K∣ε 1/ν∣ ∣ mit einer Konstanten K . Man zeige durch spezielle Wahl der Matrix F,daß der Fall λ i (ε) − λ = O(ε 1/ν ) möglich ist.b) Man beweise das Resultat (6.9.11) (Transformation von A auf Jordannormalform).30. Man gebe den Wertebereich G[A] ={x H Ax | x H x = 1} an für⎡⎤1 1 0 0⎢ 1 1 0 0⎥A := ⎣0 0 −1 1⎦ .0 0 −1 −131. Man zerlege die MatrizenA :=[ ] 2 0, B :=2 2[ ] i i, C :=−i iin H 1 + iH 2 mit Hermiteschem H 1 , H 2 (i 2 =−1).[ 2 5+ i] 1 − 2i5 + i 1 + 4i 31 + 2i 1 −i32. Man bestimme mit den Sätzen von Gerschgorin und Bendixson möglichst kleineEinschließungsgebiete für die Eigenwerte von⎡⎤3. 1.1 −0.1A = ⎣ 0.9 15.0 −2.1 ⎦ .0.1 −1.9 19.5Literatur zu Kapitel 6Barth, W., Martin, R. S., Wilkinson, J. H. (1971): Calculation of the eigenvalues ofa symmetric tridiagonal matrix by the method of bisection. Contribution II/5 inWilkinson and Reinsch (1971).Bauer, F. L., Fike, C. T. (1960): Norms and exclusion theorems. Numer. Math. 2,137–141.

106 6 Eigenwertprobleme, Stoer, J., Witzgall, C. (1961): Absolute and monotonic norms. Numer.Math. 3, 257–264.Bowdler, H., Martin, R. S., Wilkinson, J. H. (1971): The QR and QL algorithmsfor symmetric matrices. Contribution II/3 in: Wilkinson and Reinsch (1971).Bunse, W., Bunse-Gerstner, A. (1985): Numerische Lineare Algebra. Stuttgart: Teubner.Cullum, J., Willoughby, R. A. (1985): Lanczos Algorithms for Large SymmetricEigenvalue Computations. Vol. I: Theory, Vol. II: Programs. Progress in ScientificComputing, Vol. 3, 4. Basel: Birkhäuser.Eberlein, P. J. (1971): Solution to the complex eigenproblem by a norm reducingJacobi type method. Contribution II/17 in: Wilkinson and Reinsch (1971).Francis, J. F. G. (1961/62): The QR transformation. A unitary analogue to theLR transformation. I. Computer J. 4, 265–271. The QR transformation. II. ibid.,332–345.Garbow, B. S., et al. (1977): Matrix Eigensystem Computer Routines – EISPACKGuide Extension. Lecture Notes in Computer Science 51. Berlin, Heidelberg, NewYork: Springer-Verlag.Givens, J. W. (1954): Numerical computation of the characteristic values of a realsymmetric matrix. Oak Ridge National Laboratory Report ORNL-1574.Golub, G. H., Reinsch, C. (1971): Singular value decomposition and least squaressolution. Contribution I/10 in: Wilkinson and Reinsch (1971)., Van Loan, C. F. (1983): Matrix Computations. Baltimore: The Johns-Hopkins University Press., Wilkinson, J. H. (1976): Ill-conditioned eigensystems and the computationof the Jordan canonical form. SIAM Review 18, 578–619.Householder, A. S. (1964): The Theory of Matrices in Numerical Analysis. NewYork: Blaisdell.Kaniel, S. (1966): Estimates for some computational techniques in linear algebra.Math. Comp. 20, 369–378.Kie lbasinski, A., Schwetlick, H. (1988): Numerische Lineare Algebra. Thun, Frankfurt/M.:Deutsch.Kublanovskaya, V. N. (1961): On some algorithms for the solution of the completeeigenvalue problem. Ž. Vyčisl. Mat. i Mat. Fiz. 1, 555–570.Lanczos, C. (1950): An iteration method for the solution of the eigenvalue problemof linear differential and integral operators. J. Res. Nat. Bur. Stand. 45, 255–282.Martin, R. S., Peters, G., Wilkinson, J. H. (1971): The QR algorithm for real Hessenbergmatrices. Contribution II/14 in: Wilkinson and Reinsch (1971)., Reinsch, C., Wilkinson. J. H. (1971): Householder’s tridiagonalization ofa symmetric matrix. Contribution II/2 in: Wilkinson and Reinsch (1971)., Wilkinson, J. H. (1971): Reduction of the symmetric eigenproblem Ax =λBx and related problems to standard form. Contribution II/10 in: Wilkinson andReinsch (1971)., Wilkinson, J. H. (1971): Similarity reduction of a general matrix to Hessenbergform. Contribution II/13 in: Wilkinson and Reinsch (1971).Moler, C. B., Stewart, G. W. (1973): An algorithm for generalized matrix eigenvalueproblems. SIAM J. Numer. Anal. 10, 241–256.Paige, C. C. (1971): The computation of eigenvalues and eigenvectors of very largesparse matrices. Ph.D. thesis, London University.

Literatur zu Kapitel 6 107Parlett, B. N. (1965): Convergence of the QR algorithm. Numer. Math. 7, 187–193(korr. in 10, 163–164 (1967)).Parlett, B. N. (1980): The Symmetric Eigenvalue Problem. Englewood Cliffs, N.J.:Prentice-Hall., Poole, W. G. (1973): A geometric theory for the QR, LU and poweriterations. SIAM J. Numer. Anal. 10, 389–412., Scott, D. S. (1979): The Lanczos algorithm with selective orthogonalization.Math Comp. 33, 217–238.Peters, G., Wilkinson J. H. (1970): Ax = λBx and the generalized eigenproblem.SIAM J. Numer. Anal. 7, 479–492., (1971): Eigenvectors of real and complex matrices by LR and QRtriangularizations. Contribution II/15 in: Wilkinson and Reinsch (1971)., (1971): The calculation of specified eigenvectors by inverse iteration.Contribution II/18 in: Wilkinson and Reinsch (1971).Rutishauser, H. (1958): Solution of eigenvalue problems with the LR-transformation.Nat. Bur. Standards Appl. Math. Ser. 49, 47–81.(1971): The Jacobi method for real symmetric matrices. Contribution II/1in: Wilkinson and Reinsch (1971).Saad, Y. (1980): On the rates of convergence of the Lanczos and the block Lanczosmethods. SIAM J. Num. Anal. 17, 687–706.Schwarz, H. R., Rutishauser, H., Stiefel, E. (1972): Numerik symmetrischer Matrizen.2d ed. Stuttgart: Teubner. (Englische Übersetzung: Englewood Cliffs, N.J.:Prentice-Hall (1973).)Smith, B. T., et al. (1976): Matrix eigensystems routines – EISPACK Guide. LectureNotes in Computer Science 6, 2d ed. Berlin, Heidelberg, New York: Springer-Verlag.Stewart, G. W. (1973): Introduction to Matrix Computations. New York, London:Academic Press.Wilkinson, J. H. (1962): Note on the quadratic convergence of the cyclic Jacobiprocess. Numer. Math. 4, 296–300.(1965): The Algebraic Eigenvalue Problem. Oxford: Clarendon Press.(1968): Global convergence of tridiagonal QR algorithm with origin shifts.Linear Algebra and Appl. 1, 409–420., Reinsch, C. (1971): Linear Algebra, Handbook for Automatic Computation,Vol. II. Berlin, Heidelberg, New York: Springer-Verlag.

7 Gewöhnliche Differentialgleichungen7.0 EinleitungSehr viele Probleme aus den Anwendungsgebieten der Mathematik führenauf gewöhnliche Differentialgleichungen. Im einfachsten Fall ist dabei einedifferenzierbare Funktion y = y(x) einer reellen Veränderlichen x gesucht,deren Ableitung y ′ (x) einer Gleichung der Form y ′ (x) = f (x, y(x)) oderkürzer(7.0.1) y ′ = f (x, y)genügt; man spricht dann von einer gewöhnlichen Differentialgleichung. Imallg. besitzt (7.0.1) unendlich viele verschiedene Funktionen y als Lösungen.Durch zusätzliche Forderungen kann man einzelne Lösungen auszeichnen.So sucht man bei einem Anfangswertproblem eine Lösung y von (7.0.1),die für gegebenes x 0 , y 0 eine Anfangsbedingung der Form(7.0.2) y(x 0 ) = y 0erfüllt.Allgemeiner betrachtet man auch Systeme von n gewöhnlichen Differentialgleichungeny ′ 1 (x) = f 1(x, y 1 (x),...,y n (x)),y 2 ′ (x) = f 2(x, y 1 (x),...,y n (x)),.y ′ n (x) = f n(x, y 1 (x),...,y n (x)),für n gesuchte reelle Funktionen y i (x), i = 1,...,n, einer reellen Variablen.Solche Systeme schreibt man analog zu (7.0.1) vektoriell in der Form(7.0.3)⎡y ′ = f (x, y), y ′ := ⎣y ′ 1. .y ′ n⎤ ⎡⎤f 1 (x, y 1 ,...,y n )⎦ , f (x, y) := ⎣.f n (x, y 1 ,...,y n )⎦ .

110 7 Gewöhnliche DifferentialgleichungenDer Anfangsbedingung (7.0.2) entspricht dabei eine Bedingung der Form⎡ ⎤y 10(7.0.4) y(x 0 ) = y 0 = ⎣ ⎦. .y n0Neben gewöhnlichen Differentialgleichungen erster Ordnung (7.0.1), (7.0.3),in denen nur Ableitungen erster Ordnung der unbekannten Funktion y(x)vorkommen, gibt es gewöhnliche Differentialgleichugen m-ter Ordnung derForm(7.0.5) y (m) (x) = f (x, y(x), y (1) (x),...,y (m−1) (x)).Man kann diese jedoch stets durch Einführung von Hilfsfunktionenz 1 (x) : = y(x),z 2 (x) : = y (1) (x),.z m (x) : = y (m−1) (x),in ein äquivalentes System von Differentialgleichungen erster Ordnungtransformieren:⎡z ′ ⎤ ⎡⎤1z 2(7.0.6) z ′ = ⎢ . ⎥⎣zm−1′ ⎦ = ⎢ . ⎥⎣z⎦ .mz m′ f (x, z 1 , z 2 ,...,z m )Unter einem Anfangswertproblem für die Differentialgleichung m-ter Ordnung(7.0.5) versteht man die Aufgabe, eine m-mal differenzierbare Funktiony(x) zu finden, die (7.0.5) und Anfangsbedingungen der Formy (i) (x 0 ) = y i0 , i = 0, 1,...,m − 1.erfüllt.Anfangswertprobleme werden in 7.2 behandelt.Neben Anfangswertproblemen für Systeme von gewöhnlichen Differentialgleichungenkommen in der Praxis häufig auch Randwertprobleme vor.Hier soll die gesuchte Lösung y(x) der Differentialgleichung (7.0.3) eineRandbedingung der Form(7.0.7) r(y(a), y(b)) = 0erfüllen, wobei a ≠ b zwei verschiedene Zahlen sind und

7.1 Anfangswertprobleme, Theorie 111⎡⎤r 1 (u 1 ,...,u n ,v 1 ,...,v n )r(u,v):= ⎣.r n (u 1 ,...,u n ,v 1 ,...,v n )⎦ein Vektor von n gegebenen Funktionen r i von 2n Variablen u 1 , ..., u n ,v 1 , ..., v n ist. In den Abschnitten 7.3, 7.4, 7.5 werden Probleme dieser Artbetrachtet.Bei den Verfahren, die wir im folgenden beschreiben, wird nicht einformelmäßiger Ausdruck für die gesuchte Lösung y(x) konstruiert – dies isti. allg. gar nicht möglich – sondern es werden an gewissen ausgezeichnetenAbszissen x i , i = 0, 1, ...,Näherungswerte η i := η(x i ) für die exaktenWerte y i := y(x i ) bestimmt. Häufig sind diese Abszissen äquidistant, x i =x 0 +ih.Für die Näherungswerte η i schreiben wir dann auch präziser η(x i ; h),da die η i wie die x i von der benutzten Schrittweite h abhängen. Ein wichtigesProblem wird es sein, zu prüfen, ob und wie schnell bei einem Verfahrenη(x; h n )/n) für die Nullfolge h n := (x − x 0 )/n, n →∞, gegen y(x)konvergiert.Für eine detaillierte Behandlung von numerischen Methoden zur Lösungvon Anfangs- und Randwertproblemen wird auf die Spezialliteratur verwiesen:Neben dem klassischen grundlegenden Buch von Henrici (1963)seien die Bücher von Butcher (1987), Gear (1971), Grigorieff (1972, 1977),Keller (1968), Shampine und Gordon (1975) und Stetter (1973) genannt.Eine umfassende Darstellung auch der neueren Resultate findet man in derzweibändigen Monographie von Hairer et al. (1993, 1991).7.1 Einige Sätze aus der Theorie der gewöhnlichenDifferentialgleichungenFür später seien einige Resultate aus der Theorie der gewöhnlichen Differentialgleichungen– zum Teil ohne Beweis – zusammengestellt. Sei dazuim folgenden [s. (7.0.3)]y ′ = f (x, y)stets ein System von n gewöhnlichen Differentialgleichungen, ‖·‖ eine Normauf dem R n und ‖A‖ eine damit verträgliche multiplikative Matrixnormmit ‖I‖ = 1 [s. (4.4.8)]. Es läßt sich dann zeigen [s. z. B. Coddingtonund Levinson (1955)], daß das Anfangswertproblem (7.0.3), (7.0.4) – unddamit speziell (7.0.1), (7.0.2) – genau eine Lösung besitzt, falls f einigeneinfachen Regularitätsbedingungen genügt:(7.1.1) Satz: Die Funktion f sei auf dem Streifen S := {(x, y)|a ≤ x ≤b, y ∈ R n }, a, b endlich, stetig und es gebe eine Konstante L, sodaß

112 7 Gewöhnliche Differentialgleichungen(7.1.2) ‖ f (x, y 1 ) − f (x, y 2 )‖≤L‖y 1 − y 2 ‖für alle x ∈ [a, b] und alle y 1 , y 2 ∈ R n („Lipschitzbedingung“). Dannexistiert zu jedem x 0 ∈ [a, b] und jedem y 0 ∈ R n genau eine für x ∈ [a, b]definierte Funktion y(x) mit:1) y(x) ist stetig und stetig differenzierbar für x ∈ [a, b];2) y ′ (x) = f (x, y(x)) für x ∈ [a, b];3) y(x 0 ) = y 0 .Aus dem Mittelwertsatz folgt leicht, daß die Lipschitzbedingung insbesonderedann erfüllt ist, wenn die partiellen Ableitungen ∂ f i /∂y j , i, j = 1,..., n, auf dem Streifen S stetig und beschränkt sind. Für später bezeichnenwir mit(7.1.3) F N (a, b)die Menge der Funktionen f ,für die die partiellen Ableitungen bis zurOrdnung N auf dem Streifen S existieren und dort stetig und beschränktsind. Die Funktionen f ∈ F 1 (a, b) erfüllen somit die Voraussetzung von(7.1.1).In den Anwendungen ist f meistens auf S stetig differenzierbar, aberhäufig sind die Ableitungen ∂ f i /∂y j auf S unbeschränkt. Dann besitzt dasAnfangswertproblem (7.0.3), (7.0.4) zwar noch eine Lösung, doch brauchtdiese nur noch in einer gewissen Umgebung U(x 0 ) des Startpunktes x 0 , dievon den Startwerten (x 0 , y 0 ) abhängen kann, definiert zu sein und nicht aufganz [a, b] [s. Coddington, Levinson (1962)].Beispiel: Das Anfangswertproblemy ′ = y 2 , y(0) = y 0 > 0besitzt die Lösung y(x) = y 0 /(1 − y 0 x), die nur für x < 1/y 0 erklärt ist.Satz (7.1.1) ist der grundlegende Existenz- und Eindeutigkeitssatz fürdas Anfangswertproblem (7.0.3), (7.0.4). Wir wollen nun zeigen, daß dieLösung eines Anfangswertproblems stetig von dem Anfangswert abhängt:(7.1.4) Satz: Auf dem Streifen S ={(x, y)|a ≤ x ≤ b, y ∈ R n } sei dieFunktion f : S → R n stetig und genüge dort der Lipschitzbedingung‖ f (x, y 1 ) − f (x, y 2 )‖≤L‖y 1 − y 2 ‖für alle (x, y i ) ∈ S, i = 1, 2. Ferner sei a ≤ x 0 ≤ b. Dann gilt für dieLösung y(x; s) des Anfangswertproblemsy ′ = f (x, y),für a ≤ x ≤ b die Abschätzungy(x 0 ; s) = s‖y(x; s 1 ) − y(x; s 2 )‖≤e L|x−x 0| ‖s 1 − s 2 ‖.

Beweis: Nach Definition von y(x; s) isty(x; s) = s +Es folgt daher für a ≤ x ≤ by(x; s 1 ) − y(x; s 2 ) = s 1 − s 2 +7.1 Anfangswertprobleme, Theorie 113∫ xx 0∫ xund damit(7.1.5) ‖y(x; s 1 ) − y(x; s 2 )‖≤‖s 1 − s 2 ‖+L∣Für die FunktionΦ(x) :=∫ xx 0f (t, y(t; s))dt.x 0[ f (t, y(t; s 1 )) − f (t, y(t; s 2 ))]dt∫ xx 0‖y(t; s 1 ) − y(t; s 2 )‖dt∣‖y(t; s 1 ) − y(t; s 2 )‖dt∣.gilt Φ ′ (x) =‖y(x; s 1 ) − y(x; s 2 )‖ und daher wegen (7.1.5) für x ≥ x 0α(x) ≤‖s 1 − s 2 ‖ mit α(x) := Φ ′ (x) − LΦ(x).Das Anfangswertproblem(7.1.6) Φ ′ (x) = α(x) + LΦ(x), Φ(x 0 ) = 0,hat für x ≥ x 0 die Lösung(7.1.7) Φ(x) = e L(x−x 0)∫ xx 0α(t)e −L(t−x 0) dt.Wegen α(x) ≤‖s 1 − s 2 ‖ folgt so die Abschätzung0 ≤ Φ(x) ≤ e L(x−x 0) ‖s 1 − s 2 ‖∫ xx 0e −L(t−x 0) dt= 1 L ‖s 1 − s 2 ‖[e L(x−x 0) − 1] für x ≥ x 0und damit das verlangte Resultat für x ≥ x 0 ,‖y(x; s 1 ) − y(x; s 2 )‖=Φ ′ (x) = α(x) + LΦ(x) ≤‖s 1 − s 2 ‖e L|x−x 0| .Ähnlich geht man für x < x 0 vor.⊓⊔Den letzten Satz kann man verschärfen: Die Lösung des Anfangswertproblemshängt unter zusätzlichen Voraussetzungen sogar stetig differenzierbarvon dem Anfangswert ab. Es gilt

114 7 Gewöhnliche Differentialgleichungen(7.1.8) Satz: Falls zusätzlich zu den Voraussetzungen von Satz (7.1.4) dieFunktionalmatrix D y f (x, y) = [∂ f i /∂y j ] auf S existiert und dort stetig undbeschränkt ist,‖D y f (x, y)‖≤L für (x, y) ∈ S,dann ist die Lösung y(x; s) von y ′ = f (x, y), y(x 0 ; s) = s, für alle x ∈[a, b] und alle s ∈ R n stetig differenzierbar. Die Ableitung[ ]∂y(x; s) ∂y(x; s)Z(x; s) := D s y(x; s) = ,..., , s = [σ 1 ,...,σ n ] T ,∂σ 1 ∂σ nist Lösung des Anfangswertproblems (Z ′ = D x Z)(7.1.9) Z ′ = D y f (x, y(x; s))Z, Z(x 0 ; s) = I.Man beachte, daß Z ′ , Z und D y f (x, y(x; s)) n×n-Matrizen sind. (7.1.9)beschreibt somit ein Anfangswertproblem für ein System von n 2 Differentialgleichungen,die linear in Z sind. Formal kann man (7.1.9) durch Differentiationder Identitäteny ′ (x; s) ≡ f (x, y(x; s)), y(x 0 ; s) ≡ s,nach s erhalten.Einen Beweis von Satz (7.1.8) findet man z. B. in Coddington, Levinson(1955).Für manche Zwecke ist es wichtig, das Wachstum der Lösung Z(x) von(7.1.9) mit x abzuschätzen. Sei dazu allgemeiner T(x) eine n × n-Matrixund die n×n-Matrix Y(x) Lösung des linearen (in Y ) Anfangswertproblems(7.1.10) Y ′ = T(x)Y, Y(a) = I.Dann kann man zeigen:(7.1.11) Satz: Falls T(x) stetig auf [a, b] ist, so gilt mit k(x) := ‖T(x)‖für die Lösung Y(x) von (7.1.10)(∫ x)‖Y(x) − I‖≤exp k(t)dt − 1, x ≥ a.Beweis: Nach Definition von Y(x) giltMitY(x) = I +a∫ xaT(t)Y(t)dt.φ(x) :=‖Y(x) − I‖folgt wegen ‖Y(x)‖≤φ(x) +‖I‖=φ(x) + 1für x ≥ a die Abschätzung

(7.1.12) φ(x) ≤∫ xa7.2 Anfangswertprobleme 115k(t)(φ(t) + 1)dt.Wir definieren nun eine Funktion c(x) durch die Forderung∫ x(∫ x)(7.1.13) k(t)(φ(t) + 1)dt = c(x) exp k(t)dt − 1, c(a) = 1.aDurch Differentiation von (7.1.13) erhält man [c(x) ist offensichtlich differenzierbar](∫ x) (∫ x)k(x)(φ(x) + 1) = c ′ (x) exp k(t)dt + k(x)c(x) exp k(t)dtaa(∫ x) [ ∫ x]= c ′ (x) exp k(t)dt + k(x) 1 + k(t)(φ(t) + 1)dt ,aaworaus wegen k(x) ≥ 0 und (7.1.12) folgt(∫ x) ∫ xc ′ (x) exp k(t)dt + k(x) k(t)(φ(t) + 1)dt = k(x)φ(x)a≤ k(x)a∫ xMan erhält so schließlich c ′ (x) ≤ 0 und daheraak(t)(φ(t) + 1)dt.(7.1.14) c(x) ≤ c(a) = 1 für x ≥ a.Die Behauptung des Satzes folgt nun sofort aus (7.1.12)–(7.1.14).⊓⊔7.2 Anfangswertprobleme7.2.1 Einschrittverfahren. GrundbegriffeWie schon 7.1 vermuten läßt, sind die Methoden und Resultate für Anfangswertproblemefür Systeme von gewöhnlichen Differentialgleichungen ersterOrdnung im wesentlichen von der Zahl n der unbekannten Funktionen unabhängig.Wir beschränken uns daher im folgenden auf den Fall nur einergewöhnlichen Differentialgleichung erster Ordnung für nur eine unbekannteFunktion (d. h. n=1). In der Regel gelten die ergebnisse jedoch auch fürSysteme (n > 1), sofern man Größen wie y, f (x, y) als Vektoren und |·|als Norm ||·|| interpretiert. Für das folgende setzen wir voraus, daß dasbetrachtete Anfangswertproblem stets eindeutig lösbar ist.

116 7 Gewöhnliche DifferentialgleichungenEine erste numerische Methode zur Lösung des Anfangwertproblems(7.2.1.1) y ′ = f (x, y), y(x 0 ) = y 0 ,erhält man durch eine einfache Überlegung: Da f (x, y(x)) gerade dieSteigung y ′ (x) der gesuchten exakten Lösung y(x) von (7.2.1.1) ist, giltnäherungsweise für h ≠ 0odery(x + h) − y(x)h≈ f (x, y(x))(7.2.1.2) y(x + h) ≈ y(x) + hf(x, y(x)).Nach Wahl einer Schrittweite h ≠ 0 erhält man so ausgehend von dengegebenen Anfangswerten x 0 , y 0 = y(x 0 ) an den äquidistanten Stellen x i =x 0 + ih, i = 1, 2, ...,Näherungswerte η i für die Werte y i := y(x) derexakten Lösung y(x i ):(7.2.1.3)η 0 := y 0 ,für i = 0, 1, 2,...,η i+1 := η i + hf(x i ,η i ),x i+1 := x i + h.Dies ist das Polygonzug-Verfahren von Euler [s. Fig. 3].Ý ºº º¯º¯´Ü¼ ¼ µ ¯´Ü½½ µ ¯´Ü¾¾ µ ´Ü¿¿ µºººººº ºÜ ¼ Ü ½ Ü ¾ Ü ¿ ÜFig. 3. Polygonzug-Verfahren von Euler

7.2 Anfangswertprobleme 117Offensichtlich hängen die Näherungswerte η i von der Schrittweite h ab:Wir schreiben deshalb auch präziser η(x i ; h) statt η i . Die Funktion η(x; h)ist also nur fürbzw. fürx ∈ R h :={x 0 + ih | i = 0, 1, 2,...}{ }x − x0h ∈ H x :=n ∣ n = 1, 2,...definiert und zwar rekursiv durch [vgl. (7.2.1.3)]η(x 0 ; h) := y 0 ,η(x + h; h) := η(x; h) + hf(x,η(x; h)).Das Eulersche Verfahren ist ein typisches Einschrittverfahren. Allgemeinsind solche Verfahren durch eine FunktionΦ(x, y; h; f )gegeben und sie erzeugen ausgehend von den Startwerten x 0 , y 0 Näherungenη i für die Werte y i := y(x i ) der exakten Lösung y(x) auf analoge Weise[vgl. (7.2.1.3)]:(7.2.1.4)η 0 := y 0 ,für i = 0, 1, 2,...,η i+1 := η i + hΦ(x i ,η i ; h; f ),x i+1 := x i + h.Bei dem Verfahren von Euler ist beispielsweise Φ(x, y; h; f ) := f (x, y);hier ist Φ von h unabhängig.Im weiteren wollen wir der Einfachheit halber bei der Funktion Φdas Argument f fortlassen. Wie bei dem Eulerschen Verfahren (s. oben)schreiben wir auch präziser η(x i ; h) statt η i , um die Abhängigkeit derNäherungswerte von der Schrittweite h anzudeuten.Seien nun x und y beliebig aber fest gewählt und sei z(t) die exakteLösung des Anfangswertproblems(7.2.1.5) z ′ (t) = f (t, z(t)), z(x) = y,mit den Anfangswerten x, y.Dann gibt die Funktion⎧⎨ z(x + h) − yfür h ≠ 0,(7.2.1.6) ∆(x, y; h; f ) := h⎩f (x, y) für h = 0,

118 7 Gewöhnliche Differentialgleichungenden Differenzenquotienten der exakten Lösung z(t) von (7.2.1.5) zur Schrittweiteh an, währendΦ(x, y; h) =η(x + h; h) − η(x; h)hder Differenzenquotient der durch Φ gelieferten Näherungslösung η(x; h)von (7.2.1.5) ist. Wie bei Φ wollen wir auch bei ∆ im folgenden das Argumentf fortlassen.Die Größe der Differenz τ(x, y; h) := ∆(x, y; h) − Φ(x, y; h) gibtan, wie gut die exakte Lösung der Differentialgleichung (7.2.1.5) die Gleichungdes Einschrittverfahrens erfüllt: Sie ist ein Maß für die Güte desNäherungsverfahrens. τ(x, y; h) wird lokaler Diskretisierungsfehler an derStelle (x, y) des betreffenden Verfahrens genannt. Für eine vernünftige Einschrittmethodewird manlim τ(x, y; h) = 0h→0verlangen. Wegen lim h→0 ∆(x, y; h) = f (x, y) ist dies äquivalent mit(7.2.1.7) lim Φ(x, y; h) = f (x, y),h→0Man nennt Φ bzw. das zugehörige Einschrittverfahren konsistent, wenn(7.2.1.7) für alle x ∈ [a, b], y ∈ R und alle f ∈ F 1 (a, b) [s. (7.1.3)]erfüllt ist.Beispiel: Das Eulersche Verfahren, Φ(x, y; h) := f (x, y), ist offensichtlichkonsistent. Dieses Resultat läßt sich verschärfen: Wenn f genügend oft stetig partielldifferenzierbar ist, läßt sich abschätzen, wie schnell τ(x, y; h) mit h gegen 0 geht.Dazu entwickle man die Lösung z(t) von (7.2.1.5) in eine Taylorreihe um den Punktt = x:z(x + h) = z(x) + hz ′ (x) + h22 z′′ (x) +···+ h pp! z(p) (x + θh), 0

7.2 Anfangswertprobleme 119Für das Eulersche Verfahren, Φ(x, y; h) := f (x, y), folgtτ(x, y; h) = ∆(x, y; h) − Φ(x, y; h) = h 2 [ f x(x, y) + f y (x, y) f (x, y)] +···= O(h).Allgemein spricht man von einem Verfahren der Ordnung p, falls(7.2.1.9) τ(x, y; h) = O(h p )für alle x ∈ [a, b], y ∈ R und alle f ∈ F p (a, b) gilt.Das Eulersche Verfahren ist also ein Verfahren erster Ordnung.Das letzte Beispiel zeigt, wie man einfach Verfahren höherer Ordnunggewinnen kann: Man nehme dazu als Φ(x, y; h) Abschnitte der Taylorreihe(7.2.1.8) von ∆(x, y; h). Z. B. wird durch7.2.1.10 Φ(x, y; h) := f (x, y) + h 2 [ f x(x, y) + f y (x, y) f (x, y)]ein Verfahren zweiter Ordnung geliefert. Die so gewonnenen Methodenhöherer Ordnung sind aber kaum brauchbar, da man in jedem Schritt(x i ,η i ) → (x i+1 ,η i+1 ) zusätzlich zu f auch noch partielle Ableitungenf x , f y etc. von f berechnen muß.Einfachere Verfahren höherer Ordnung erhält man z. B. mit Hilfe desAnsatzes(7.2.1.11) Φ(x, y; h) := a 1 f (x, y) + a 2 f (x + p 1 h, y + p 2 hf(x, y)),wenn man die Konstanten a 1 , a 2 , p 1 , p 2 so bestimmt, daß die Taylorentwicklungvon ∆(x, y; h) − Φ(x, y; h) nach h mit einer möglichst hohen Potenzanfängt. Für Φ(x, y; h) (7.2.1.11) hat man folgende TaylorentwicklungΦ(x, y; h) = (a 1 + a 2 ) f (x, y) + a 2 h[p 1 f x (x, y)+ p 2 f y (x, y) f (x, y)] + O(h 2 ).Ein Vergleich mit (7.2.1.8) ergibt die Bedingungena 1 + a 2 = 1, a 2 p 1 = 1 2 , a 2 p 2 = 1 2für Verfahren zweiter Ordnung. Eine Lösung dieser Gleichungen ista 1 = 1 2 , a 2 = 1 2 , p 1 = 1, p 2 = 1und man erhält das Verfahren von Heun (1900),(7.2.1.12) Φ(x, y; h) = 1 [ f (x, y) + f (x + h, y + hf(x, y))],2

120 7 Gewöhnliche Differentialgleichungendas pro Schritt lediglich die zweimalige Auswertung von f erfordert. Eineandere Lösung ista 1 = 0, a 2 = 1, p 1 = 1 2 , p 2 = 1 2 ,die auf ein modifiziertes Euler-Verfahren (Collatz (1969)) führt(7.2.1.13) Φ(x, y; h) := f ( x + h 2 , y + h 2 f (x, y)) ,das wiederum von zweiter Ordnung ist und pro Schritt zwei Auswertungenvon f erfordert.Das klassische Verfahren von Runge-Kutta (1895) erhält man aus einemetwas allgemeineren Ansatz für Φ als (7.2.1.11). Es hat die Form(7.2.1.14) Φ(x, y; h) := 1 6 [k 1 + 2k 2 + 2k 3 + k 4 ]mitk 1 := f (x, y),k 2 := f ( x + 1 2 h, y + 1 2 hk 1),k 3 := f ( x + 1 2 h, y + 1 2 hk 2),k 4 := f (x + h, y + hk 3 ).Durch (mühsame) Taylorentwicklung nach h findet man für f ∈ F 4 (a, b)Φ(x, y; h) − ∆(x, y; h) = O(h 4 ).Damit ist das Verfahren von Runge-Kutta ein Verfahren vierter Ordnung.Pro Schritt sind bei ihm vier Auswertungen von f erforderlich.Hängt f (x, y) nicht von y ab, so ist die Lösung des Anfangwertproblemsy ′ = f (x), y(x 0 ) = y 0gerade das Integral y(x) = y 0 + ∫ xx 0f (t)dt. Das Verfahren von Heunentspricht dann der Approximation von y(x) mittels Trapezsummen, dasmodifizierte Euler-Verfahren der midpoint-rule und das Verfahren vonRunge-Kutta der Simpson-Regel [s. 3.1].Alle Verfahren dieses Abschnitts sind Beispiele von mehrstufigenRunge-Kutta-Verfahren:(7.2.1.15) Definition: Ein s-stufiges (explizites) Runge-Kutta-Verfahren istein Einschrittverfahren, dessen erzeugende Funktion Φ(x, y; h; f ) durchendlich viele reelle Zahlen β i, j mit 2 ≤ i ≤ s und 1 ≤ j ≤ i − 1, sowie c 1 ,c 2 , ..., c s , α 2 , α 3 , ..., α s folgendermaßen definiert ist:wobeiΦ(x, y; h; f ) := c 1 k 1 +···+c s k s ,

k 1 := f (x, y),k 2 := f (x + α 2 h, y + hβ 21 k 1 ),k 3 := f (x + α 3 h, y + h(β 31 k 1 + β 32 k 2 )),.7.2 Anfangswertprobleme 121k s := f (x + α s h, y + h(β s1 k 1 +···+β s,s−1 k s−1 )).Man symbolisiert diese Verfahren mit Butcher (1964) anhand des Tableaus(7.2.1.16)0α 2 β 21α 3 β 31 β 32. .. ..α s β s1 β 2s ... β s,s−1c 1 c 2 ... c s−1 c sIn Abschnitt 7.2.5 werden weitere solche Verfahren beschrieben.Butcher (1964) hat diese Verfahren systematisch analysiert; von ihm,Fehlberg (1964, 1966, 1969), Shanks (1966) und vielen anderen sind Verfahrenvon höherer als vierter Ordnung angegeben worden; zusammenfassendeDarstellungen findet man bei Grigorieff (1972) und Stetter (1973),insbesondere aber bei Hairer, Nørsett und Wanner (1993).7.2.2 Die Konvergenz von EinschrittverfahrenIn diesem Abschnitt wollen wir das Konvergenzverhalten der von einemEinschrittverfahren gelieferten Näherungslösung η(x; h) für h → 0 untersuchen.Dazu sei f ∈ F 1 (a, b), y(x) die exakte Lösung des Anfangswertproblems(7.2.1.1), y ′ = f (x, y), y(x 0 ) = y 0 , und das Einschrittverfahrendurch die Funktion Φ(x, y; h) gegeben,η 0 := y 0 ,für i = 0, 1,...:η i+1 := η i + hΦ(x i ,η i ; h),x i+1 := x i + h.Für x ∈ R h :={x 0 + ih | i = 0, 1, 2,...} liefert es die Näherungslösungη(x; h), η(x; h) := η i , falls x = x 0 + ih. Wir interessieren uns für dasVerhalten des globalen Diskretisierungsfehlerse(x; h) := η(x; h) − y(x)

122 7 Gewöhnliche Differentialgleichungenbei festem x für h → 0, h ∈ H x :={(x − x 0 )/n | n = 1, 2,...}. Dae(x; h)wie η(x; h) nur für h ∈ H x definiert ist, bedeutet dies die Untersuchungder Konvergenz von e(x; h n ) für die spezielle Schrittweitenfolge h n :=(x − x 0 )/n, n = 1, 2, ... . Wir nennen das Einschrittverfahren konvergent,falls(7.2.2.1) limn→∞ e(x; h n) = 0für alle x ∈ [a, b] und für alle f ∈ F 1 (a, b).Wir werden sehen, daß für f ∈ F p (a, b) Verfahren der Ordnung p > 0(7.2.1.9) konvergent sind und für sie sogar gilte(x; h n ) = O(h p n ).Die Ordnung des globalen Diskretisierungsfehlers ist also gleich der Ordnungdes lokalen Diskretisierungsfehlers.Wir zeigen zunächst den(7.2.2.2) Hilfssatz: Genügen die Zahlen ξ i einer Abschätzung der Formso gilt|ξ i+1 |≤(1 + δ)|ξ i |+B, δ> 0, B ≥ 0, i = 0, 1, 2,...,|ξ n |≤e nδ |ξ 0 |+ enδ − 1B.δBeweis: Aus den Voraussetzungen folgt sofort|ξ 1 |≤(1 + δ)|ξ 0 |+B,|ξ 2 |≤(1 + δ) 2 |ξ 0 |+B(1 + δ) + B,.|ξ n |≤(1 + δ) n |ξ 0 |+B[1 + (1 + δ) + (1 + δ) 2 +···+(1 + δ) n−1 ]= (1 + δ) n |ξ 0 |+B (1 + δ)n − 1δ≤ e nδ |ξ 0 |+B enδ − 1δwegen 0 < 1 + δ ≤ e δ für δ>−1.Damit können wir folgenden Hauptsatz beweisen:(7.2.2.3) Satz: Gegeben sei für x 0 ∈ [a, b], y 0 ∈ R das Anfangswertproblemy ′ = f (x, y), y(x 0 ) = y 0 ,mit der exakten Lösung y(x). Die Funktion Φ sei stetig auf⊓⊔

7.2 Anfangswertprobleme 123G :={(x, y, h) | a ≤ x ≤ b, |y − y(x)|≤γ, 0 ≤|h|≤h 0 },wobei h 0 ,γ >0, und es gebe positive Konstanten M, N und p, sodaß(7.2.2.4) |Φ(x, y 1 ; h) − Φ(x, y 2 ; h)|≤M|y 1 − y 2 |für alle (x, y i , h) ∈ G, i = 1, 2, und(7.2.2.5) |τ(x, y(x); h)|=|∆(x, y(x); h) − Φ(x, y(x); h)|≤N|h| pfür alle x ∈ [a, b], |h| ≤h 0 . Dann gibt es ein ¯h, 0 < ¯h ≤ h 0 , so daß fürden globalen Diskretisierungsfehler e(x; h) = η(x; h) − y(x) gilt|e(x; h n )|≤|h n | p N eM|x−x 0| − 1Mfür alle x ∈ [a, b] und alle h n = (x − x 0 )/n, n = 1, 2, ..., mit |h n |≤¯h.Für γ =∞ist ¯h = h 0 .Beweis: Die Funktion⎧Φ(x, y; h) für (x, y, h) ∈ G,⎪⎨ Φ(x, y(x) + γ;h) für x ∈ [a, b], |h|≤h 0 ,˜Φ(x, y; h) :=y ≥ y(x) + γ ,⎪⎩ Φ(x, y(x) − γ;h) für x ∈ [a, b], |h|≤h 0 ,y ≤ y(x) − γ ,ist offensichtlich auf ˜G :={(x, y, h)|x ∈ [a, b], y ∈ R, |h|≥h 0 } stetig undgenügt der Bedingung(7.2.2.6) | ˜Φ(x, y 1 ; h) − ˜Φ(x, y 2 ; h)|≤M|y 1 − y 2 |für alle (x, y i , h) ∈ ˜G, i = 1, 2, und wegen ˜Φ(x, y(x); h) = Φ(x, y(x); h)auch der Bedingung(7.2.2.7)|∆(x, y(x); h) − ˜Φ(x, y(x); h)|≤N|h| p für x ∈ [a, b], |h|≤h 0 .Das durch ˜Φ erzeugte Einschrittverfahren liefere die Näherungswerte ˜η i :=˜η(x i ; h) für y i := y(x i ), x i := x 0 + ih:Wegen˜η i+1 =˜η i + h ˜Φ(x i , ˜η i ; h).y i+1 = y i + h∆(x i , y i ; h)erhält man durch Subtraktion für den Fehler ẽ i :=˜η i − y i die Rekursionsformel(7.2.2.8)ẽ i+1 =ẽ i + h[ ˜Φ(x i , ˜η i ; h) − ˜Φ(x i , y i ; h)] + h[ ˜Φ(x i , y i ; h) − ∆(x i , y i ; h)].

124 7 Gewöhnliche DifferentialgleichungenNun folgt aus (7.2.2.6), (7.2.2.7)| ˜Φ(x i , ˜η i ; h) − ˜Φ(x i , y i ; h)|≤M|˜η i − y i |=M|ẽ i |,|∆(x i , y i ; h) − ˜Φ(x i , y i ; h)|≤N|h| p ,und damit aus (7.2.2.8) die rekursive Abschätzung|ẽ i+1 |≤(1 +|h|M)|ẽ i |+N|h| p+1 .Hilfssatz (7.2.2.2) ergibt wegen ẽ 0 =˜η 0 − y 0 = 0(7.2.2.9) |ẽ k |≤N|h| p ek|h|M − 1.MSei nun x ∈ [a, b], x ≠ x 0 , fest gewählt und h := h n = (x − x 0 )/n, n > 0ganz. Dann ist x n = x 0 + nh = x und es folgt aus (7.2.2.9) für k = n wegenẽ(x; h n ) =ẽ n sofort(7.2.2.10) |ẽ(x; h n )|≤N|h n | p eM|x−x 0| − 1Mfür alle x ∈ [a, b] und h n mit |h n |≤h 0 . Wegen |x−x 0 |≤|b−a| und γ>0gibt es daher ein ¯h, 0< ¯h ≤ h 0 , mit |ẽ(x; h n )|≤γ für alle x ∈ [a, b],|h n |≤¯h, d.h. es ist für |h|≤¯h nach Definition von ˜Φ˜Φ(x i , ˜η i ; h) = Φ(x i ,η i ; h),so daß das von Φ erzeugte Einschrittverfahrenη 0 = y 0 ,η i+1 = η i + Φ(x i ,η i ; h),die gleichen Näherungen liefert wie ˜Φ, ˜η i = η i , ẽ i = e i . So folgt aus(7.2.2.10) die Behauptung des Satzes|e(x; h n )|≤N|h n | p eM|x−x 0| − 1Mfür alle x ∈ [a, b] und alle h n = (x − x 0 )/n mit |h n |≤¯h. ⊓⊔Aus dem letzten Satz folgt insbesondere, daß Verfahren der Ordnungp > 0, die in einer Umgebung der exakten Lösung eine Lipschitzbedingungder Form (7.2.2.4) erfüllen, konvergent (7.2.2.1) sind. Man beachte, daß(7.2.2.4) erfüllt ist, wenn z. B. ∂Φ(x, y; h)/∂y in einem Gebiet G der imSatz angegebenen Form existiert und stetig ist.Der Satz liefert auch eine obere Schranke für den Diskretisierungsfehler,die man im Prinzip ausrechnen kann, wenn man M und N kennt. Man könntesie z. B. dazu benutzen, um zu gegebenem x und ε>0 die Schrittweite h

7.2 Anfangswertprobleme 125zu ermitteln, die man verwenden müßte, um y(x) bis auf einen Fehler ε zuberechnen. Leider scheitert dies in der Praxis daran, daß die Konstanten Mund N nur schwer zugänglich sind, da ihre Abschätzung die Abschätzunghöherer Ableitungen von f erfordert. Schon im einfachen Euler-Verfahren,Φ(x, y; h) := f (x, y), ist z. B. [s. (7.2.1.8) f.]N ≈ 1 2 | f x(x, y(x)) + f y (x, y(x)) f (x, y(x))|,M ≈|∂Φ/∂y|=|f y (x, y)|.Für das Verfahren von Runge und Kutta müßte man bereits Ableitungenvierter Ordnung von f abschätzen!7.2.3 Asymptotische Entwicklungen für den globalenDiskretisierungsfehler bei EinschrittverfahrenSatz (7.2.2.3) legt die Vermutung nahe, daß die Näherungslösung η(x; h),die von einem Verfahren p-ter Ordnung geliefert wird, eine asymptotischeEntwicklung nach Potenzen von h der Form(7.2.3.1) η(x; h) = y(x) + e p (x)h p + e p+1 (x)h p+1 +···für alle h = h n = (x − x 0 )/n, n = 1, 2, ..., mit gewissen von h unabhängigenKoeffizientenfunktionen e k (x), k = p, p + 1, ..., besitzt. Diesist in der Tat für allgemeine Einschrittverfahren p-ter Ordnung richtig, wennnur Φ(x, y; h) und f gewisse zusätzliche Regularitätsbedingungen erfüllen.Es gilt folgendes wichtige Resultat von Gragg (1963):(7.2.3.2) Satz: Es sei f ∈ F N+1 (a, b) [s. (7.1.3)] und η(x; h) die von einemEinschrittverfahren der Ordnung p, p ≤ N, gelieferte Näherung für dieLösung y(x) des Anfangwertproblemsy ′ = f (x, y), y(x 0 ) = y 0 , x 0 ∈ [a, b].Dann besitzt η(x; h) eine asymptotische Entwicklung der Form(7.2.3.3)η(x; h) =y(x) + e p (x)h p + e p+1 (x)h p+1 +···+e N (x)h N+ E N+1 (x; h)h N+1 mit e k (x 0 ) = 0für k ≥ p,die für alle x ∈ [a, b] und alle h = h n = (x − x 0 )/n, n = 1, 2, ..., gilt.Dabei sind die Funktionen e k (x) von h unabhängig und differenzierbar unddas Restglied E N+1 (x; h) ist für festes x in h = h n = (x−x 0 )/n beschränkt,sup n |E N+1 (x; h n )| < ∞.

126 7 Gewöhnliche DifferentialgleichungenZ. B. gehört zum Euler-Verfahren (7.1.2.3) wegen p = 1 eine Entwicklungdie sämtliche h-Potenzen enthält.η(x; h) . = y(x) + e 1 (x)h + e 2 (x)h 2 +···,Der folgende elegante Beweis stammt von Hairer und Lubich (1984).Das Einschrittverfahren sei durch die Funktion Φ(x, y; h) gegeben. Da esdie Ordnung p besitzt und f ∈ F N+1 (a, b) gilt, hat man [s. 7.2.1]y(x + h) − y(x) − hΦ(x, y; h)Wir nutzen zunächst nur= d p+1 (x)h p+1 +···+d N+1 (x)h N+1 + O(h N+2 ).y(x + h) − y(x) − hΦ(x, y; h) = d p+1 (x)h p+1 + O(h p+2 )aus und zeigen, daß es eine differenzierbare Funktion e p (x) gibt mitη(x; h) − y(x) = e p (x)h p + O(h p+1 ), e p (x 0 ) = 0.Wir betrachten dazu die Funktionˆη(x; h) := η(x; h) − e p (x)h p ,wobei die Wahl von e p noch offen ist. Man zeigt leicht, daß ˆη als Resultateines anderen Einschrittverfahrens aufgefaßt werden kann,wenn man ˆΦ durchˆη(x + h; h) =ˆη(x; h) + h ˆΦ(x, ˆη(x; h); h),ˆΦ(x, y; h) := Φ(x, y + e p (x)h p ; h) − (e p (x + h) − e p (x))h p−1definiert. Durch Taylorentwicklung nach h findet many(x + h) − y(x) − h ˆΦ(x, y; h)= [d p+1 (x) − f y (x, y(x))e p (x) − e ′ p (x)]h p+1 + O(h p+2 ).Das zu ˆΦ gehörige Einschrittverfahren besitzt also die Ordnung p+1, wennman e p als Lösung des Anfangswertproblemse ′ p (x) = d p+1(x) − f y (x, y(x))e p (x), e p (x 0 ) = 0,wählt. Bei dieser Wahl von e p liefert Satz (7.2.2.3) angewandt auf ˆφ sofortˆη(x; h) − y(x) = η(x; h) − y(x) − e p (x)h p = O(h p+1 ).Eine Wiederholung der Argumentation mit ˆφ statt φ usw. liefert schließlichdie Behauptung des Satzes.⊓⊔

7.2 Anfangswertprobleme 127Asymptotische Entwicklungen der Form (7.2.3.3) sind aus zwei Gründenwichtig. Man kann sie einmal dazu benutzen, den globalen Diskretisierungsfehlere(x; h) abzuschätzen: Das Verfahren p-ter Ordnung habe z. B. dieEntwicklung (7.2.3.3). Es gilt danne(x; h) = η(x; h) − y(x) = e p (x)h p + O(h p+1 ).Hat man zur Schrittweite h den Näherungswert η(x; h) gefunden, so berechneman anschließend mit einer anderen Schrittweite, etwa mit h/2,für dasselbe x den neuen Näherungswert η(x; h/2). Für kleines h [unde p (x) ≠ 0] ist dann in erster Näherung(7.2.3.4) η(x; h) − y(x) . = e p (x)h p ,((7.2.3.5) η x; h )− y(x) . ( h) p.= e p (x)22Die Subtraktion dieser Gleichungen ergibt(η(x; h) − η x; h ( .= h) p(2ep (x)2) p − 1),2( h) p. η(x; h) − η(x; h/2)e p (x) = ,22 p − 1und man erhält durch Einsetzen in (7.2.3.5)((7.2.3.6) η x; h )− y(x) . η(x; h) − η(x; h/2)= .22 p − 1Für das klassische Runge-Kutta-Verfahren (7.2.1.14) ist z. B. p = 4,man bekommt so die häufig benutzte Formel(η x; h )− y(x) . η(x; h) − η(x; h/2)= .215Die andere, wichtigere Bedeutung asymptotischer Entwicklungen liegtdarin, daß sie die Anwendung von Extrapolationsverfahren [s. 3.4] rechtfertigen.Wir werden später [s.(7.2.12.7) f.] ein Verfahren kennenlernen,dessen asymptotische Entwicklung für η(x; h) nur gerade Potenzen von henthält, das daher für Extrapolationsalgorithmen besser geeignet ist [s. 3.4]als das Euler-Verfahren. Wir verschieben deshalb die Beschreibung vonExtrapolationsverfahren bis zum Abschnitt 7.2.14.

128 7 Gewöhnliche Differentialgleichungen7.2.4 Rundungsfehlereinfluß bei EinschrittverfahrenBei der praktischen Durchführung eines Einschrittverfahrens(7.2.4.1)η 0 := y 0 ,für i = 0, 1,...:η i+1 := η i + hΦ(x i ,η i ; h),x i+1 := x i + h,erhält man bei der Benutzung von Gleitpunktarithmetik (t Dezimalstellen)der relativen Genauigkeit eps = 5 · 10 −t statt der η i andere Zahlen ˜η i , dieeiner Rekursionsformel der Form(7.2.4.2)˜η 0 := y 0 ,für i = 0, 1,...:c i := gl(Φ(x i , ˜η i ; h)),d i := gl(h · c i ),˜η i+1 := gl(˜η i + d i ) =˜η i + hΦ(x i , ˜η i ; h) + ε i+1 ,genügen, wobei sich der gesamte Rundungsfehler ε i+1 in erster Näherungaus drei Anteilen zusammensetztDabei istε i+1. = hΦ(xi , ˜η i ; h)(α i+1 + µ i+1 ) +˜η i+1 σ i+1 .α i+1 = [gl(Φ(x i , ˜η i ; h)) − Φ(x i , ˜η i ; h)]/Φ(x i , ˜η i ; h)der relative Rundungsfehler, der bei der Berechnung von Φ in Gleitpunktarithmetikentsteht, µ i+1 der Fehler bei der Berechnung des Produktesh · c i und σ i+1 der Fehler bei der Addition ˜η i + d i . Gewöhnlich ist inder Praxis h eine kleine Schrittweite mit |hΦ(x i , ˜η i ; h) ≪|˜η i |: es ist dann.ε i+1 =˜ηi+1 σ i+1 (sofern |α i+1 |≤eps und |µ i+1 |≤eps), d. h. der Rundungsfehlereinflußwird in erster Linie durch die Additionsfehler σ i+1 bestimmt.Anmerkung: Es liegt daher nahe, die Addition mit doppelter Genauigkeit (2tDezimalstellen) auszuführen. Bezeichnet gl 2 (a + b) die doppelt genaue Addition, ˜η ieine doppelt genaue Zahl (2t Dezimalstellen) und ¯η i := rd 1 (˜η i ) die auf t Dezimalstellengerundete Zahl, so lautet der Algorithmus statt (7.2.4.2) nun(7.2.4.3)˜η 0 := y 0 ,für i = 0, 1,...:¯η i := rd 1 (˜η i ),c i = gl(Φ(x i , ¯η i ; h)),d i = gl(h · c i ),˜η i+1 := gl 2 (˜η i + d i ).

7.2 Anfangswertprobleme 129Wir wollen nun den gesamten Einfluß aller Rundungsfehler ε i abschätzen.Dazu seien y i = y(x i ) die Werte der exakten Lösung des Anfangswertproblems,η i = η(x i ; h) die bei exakter Rechnung von dem Einschrittverfahren(7.2.4.1) gelieferte diskretisierte Lösung und schließlich ˜η i die beit-stelliger Gleitpunktarithmetik tatsächlich berechneten Näherungswerte fürdie ˜η i , die einer Beziehung der Form(7.2.4.4)˜η 0 := y 0 ,für i = 0, 1,...:˜η i+1 =˜η i + hΦ(x i , ˜η i ; h) + ε i+1 ,genügen. Der Einfachheit halber setzen wir außerdem|ε i+1 |≤ε für alle i ≥ 0voraus. Für Φ gelte weiter eine Lipschitzbedingung der Form (7.2.2.4)|Φ(x, y 1 ; h) − Φ(x, y 2 ; h)|≤M|y 1 − y 2 |.Dann folgt für den Fehler r(x i ; h) := r i :=˜η i − η i durch Subtraktion von(7.2.4.1) und (7.2.4.4)und daherr i+1 = r i + h(Φ(x i , ˜η i ; h) − Φ(x i ,η i ; h)) + ε i+1(7.2.4.5) |r i+1 |≤(1 +|h|M)|r i |+ε.Hilfssatz (7.2.2.2) ergibt wegen r 0 = 0|r(x; h)|≤ ε|h| · eM|x−x0| − 1Mfür alle x ∈ [a, b] und h = h n = (x−x 0 )/n, n = 1, 2, ... . Der Gesamtfehlerv(x i ; h) := v i :=˜η i − y i = (˜η i − η i ) + (η i − y i ) = r(x i ; h) + e(x i ; h)eines Verfahrens der Ordnung p läßt sich deshalb unter den Voraussetzungendes Satzes (7.2.2.3) so abschätzen:[(7.2.4.6) |v(x; h)|≤ N|h| p + ε ] eM|x−x 0 | − 1|h| Mfür alle x ∈ [a, b] und alle hinreichend kleinen h := h n = (x − x 0 )/n.Diese Formel zeigt, daß der Gesamtfehler v(x; h) für großes |h| zunächstmit |h| kleiner wird, dann aber wegen der größeren Zahl der Rundungsfehlerwieder anwächst, wenn man |h| zu klein wählt.

130 7 Gewöhnliche DifferentialgleichungenDie folgende Tabelle illustriert dieses Verhalten anhand des Anfangswertproblemsy ′ =−200x y 2 , y(−1) = 1101 , exakte Lösung: y(x) = 11 + 100x 2 .Das Runge-Kutta-Verfahren (7.2.1.14) liefert bei 12-stelliger Rechnung Näherungswerteη(0; h) für y(0) = 1 mit folgenden Fehlern:h 10 −2 0.5 · 10 −2 10 −3 0.5 · 10 −3v(0; h) −0.276 · 10 −4 −0.178 · 10 −5 −0.229 · 10 −7 −0.192 · 10 −7h 10 −4 0.5 · 10 −4 10 −5v(0; h) −0.478 · 10 −6 −0.711 · 10 −6 −0.227 · 10 −5Der Term ε/|h| in (7.2.4.6) wird plausibel, wenn man bedenkt, daßman (x − x 0 )/h Einzelschritte der Schrittweite h benötigt, um von x 0 nachx zu gelangen, und daß alle an und für sich unabhängigen Rundungsfehlerε i durch ε abgeschätzt wurden. Die Abschätzung ist deshalb i. allg. viel zugrob, um praktisch bedeutsam zu sein.7.2.5 Einschrittverfahren in der PraxisIn der Praxis stellen sich Anfangswertprobleme meist in folgender Form:Gesucht ist der Wert, den die exakte Lösung y(x) für ein bestimmtesx ≠ x 0 annimmt. Es liegt nahe, diese Lösung näherungsweise mittels einesEinschrittverfahrens in einem Schritt, d. h. durch Wahl der Schrittweite¯h = x − x 0 , zu berechnen. Für großes x − x 0 führt dies natürlich zu einemgroßen Diskretisierungsfehler e(x; ¯h), so daß diese Wahl von ¯h i. allg. völligunzureichend ist. Gewöhnlich wird man daher passende Zwischenpunkte x i ,i = 1, ..., k − 1, x 0 < x 1 < ···< x k = x, einführen und ausgehend vonx 0 , y 0 = y(x 0 ) die Werte y(x i ) näherungsweise berechnen. Nachdem maneinen Näherungswert ȳ(x i ) für y(x i ) bestimmt hat, berechne man ȳ(x i+1 )durch einen Schritt des Verfahrens mit der Schrittweite h i := x i+1 − x i ,ȳ(x i+1 ) =ȳ(x i ) + h i Φ(x i , ȳ(x i ); h i ), x i+1 = x i + h i .Damit stellt sich jedoch wieder das Problem, wie die Schrittweiten h igewählt werden sollen. Da der Rechenaufwand des Verfahrens proportionalder Zahl der Einzelschritte ist, wird man versuchen, die Schrittweitenh i möglichst groß zu wählen, aber nicht zu groß, um den Diskretisierungsfehlerklein zu halten. Im Prinzip läuft dies auf folgendes Problemder Schrittweitensteuerung hinaus: Bestimme zu gegebenen x 0 , y 0 einemöglichst große Schrittweite h, so daß der Diskretisierungsfehler e(x 0 +h; h)

7.2 Anfangswertprobleme 131nach einem Schritt mit dieser Schrittweite noch unterhalb einer Schranke εbleibt. Diese Schranke ε sollte man nicht kleiner als K eps wählen, wobeieps die relative Maschinengenauigkeit und K eine Schranke für die Lösungy(x) in dem interessierenden Bereich istK ≈ max{|y(x)||x ∈ [x 0 , x 0 + h]}.Eine ε = K eps entsprechende Wahl von h garantiert dann, daß die gefundeneNäherungslösung η(x 0 + h; h) im Rahmen der Maschinengenauigkeitmit der exakten Lösung y(x 0 +h) übereinstimmt. Eine Schrittweite h = h(ε)mit|e(x 0 + h; h)|≈ε, ε ≥ K eps,kann man näherungsweise mit den Methoden von Abschnitt 7.2.3 bestimmen:Bei einem Verfahren der Ordnung p gilt in erster Näherung(7.2.5.1) e(x; h) . = e p (x)h p .Nun ist e p (x) differenzierbar und e p (x 0 ) = 0 [Satz (7.2.3.2)], also in ersterNäherung(7.2.5.2) e p (x) . = (x − x 0 )e ′ p (x 0).Es ist damit |e(x 0 + h; h)| . = ε falls(7.2.5.3) ε . =|e p (x 0 + h)h p | . =|h p+1 e ′ p (x 0)|.Daraus kann man h berechnen, wenn man e ′ p (x 0) kennt. Einen Näherungswertfür e ′ p (x 0) kann man aber mittels (7.2.3.6) bestimmen. Benutzt manzunächst die Schrittweite H um η(x 0 + H; H) und η(x 0 + H; H/2) zuberechnen, so gilt nach (7.2.3.6)(7.2.5.4) e(x 0 + H; H/2) = . η(x 0 + H; H) − η(x 0 + H; H/2).2 p − 1Andererseits ist wegen (7.2.5.1), (7.2.5.2)e(x 0 + H; H/2) = . ( ) H p ( ).=e p (x 0 + H) e′ H p2 p (x 0 )H .2Also folgt aus (7.2.5.4) der Schätzwerte ′ p (x 0) . = 1H p+12 p2 p − 1[η(x 0 + H; H) − η(x 0 + H; H )]2und (7.2.5.3) liefert so für h die Formel(H . 2p)|η(x 0 + H; H) − η(x 0 + H; H/2)| 1/(p+1)(7.2.5.5) =,h 2 p − 1ε

132 7 Gewöhnliche Differentialgleichungendie man folgendermaßen benutzen kann: Man wähle eine Schrittweite H,berechne η(x 0 + H; H), η(x 0 + H; H/2) und h aus (7.2.5.5). Falls H/h ≫ 2ist wegen (7.2.5.4) der Fehler e(x 0 + H; H/2) viel größer als das vorgeschriebeneε. Man sollte daher H reduzieren. Dazu ersetzt man H durch2h, berechnet mit dem neuen H wieder η(x 0 + H; H), η(x 0 + H; H/2)und aus (7.2.5.5) das zugehörige h, bis schließlich H/h ≤ 2 wird. Sobalddies der Fall ist, akzeptiert man η(x 0 + H; H/2) als Näherungslösung füry(x 0 + H) und geht zu dem nächsten Integrationsschritt über, indem manx 0 , y 0 und H durch die neuen Startwerte x 0 + H, η(x 0 + H; H/2) und 2hersetzt [s. Fig. 4].Beispiel: Betrachtet wurde das Anfangswertproblemy ′ =−200xy 2 , y(−3) = 1901 ,mit der exakten Lösung y(x) = 1/(1 + 100x 2 ). Das Runge-Kutta-Verfahren liefertdann bei 12-stelliger Rechnung mit der angegebenen Schrittweitensteuerung folgendenNäherungswert η für y(0) = 1. Dabei wurde in (7.2.5.6) das Kriterium H/h ≫ 2durch die Abfrage H/h ≥ 3 ersetzt:Anzahlkleinsteη − y(0) Runge-Kutta-Schritte Schrittweite H−0.13585 × 10 −6 1476 0.1226 ···×10 −2Für konstante Schrittweiten h liefert das Verfahren folgende Ergebnisse:Anzahlh η(0; h) − y(0) Runge-Kutta-Schritte31476 = 0.2032 ···×10−2 −0.5594 × 10 −6 14760.1226 ···×10 −2 −0.4052 × 10 −6 30.1226···×10 −2 = 2446Eine feste Schrittweitenwahl führt bei gleichem bzw. größeren Rechenaufwand zuschlechteren Resultaten! Im ersten Fall dürfte die Schrittweite h = 0.2032 ···×10 −2in dem „kritischen“ Bereich nahe 0 zu groß sein; der Diskretisierungsfehler wird zugroß. Die Schrittweite h = 0.1226 ···×10 −2 wird dagegen in dem „harmlosen“Bereich von −3 bis nahe 0 zu klein sein; man macht unnötig viele Schritte, so daßzu viele Rundungsfehler anfallen.Diese Methode der Schrittweitensteuerung erfordert die Berechnung derbeiden Näherungswerte η(x 0 + H; H) und η(x 0 + H; H/2) für y(x 0 + H),also drei Schritte des Grundverfahrens, um eine optimale Schrittweite in x 0zu bestimmen. Effizienter sind Methoden, die auf einer Idee von Fehlbergberuhen (Runge-Kutta-Fehlberg-Methoden): Anstatt zwei Näherungen ausdemselben Einschrittverfahren zu vergleichen, werden hier zwei Näherungen

7.2 Anfangswertprobleme 133ºº ººÒÜ ¼ Ý ¼ À ººººººÓÑÔÙØ´Ü ¼ · À Àµ´Ü ¼ · À À¾µÀ ¾ºº ºÀ ¾ºººÝ׺ ººÒÓÜ ¼ Ü ¼ · ÀÝ ¼ ´Ü ¼ · À À¾µÀ ¾ºº ººÓÙØFig. 4. Schrittweitensteuerungfür y(x 0 + H) genommen, die von einem Paar verschiedener EinschrittverfahrenΦ I , Φ II vom Runge-Kutta-Typus (7.2.1.15) der Ordnungen p undp + 1 stammen,(7.2.5.6)ŷ i+1 =ȳ i + hΦ I (x i , ȳ i ; h),ȳ i+1 =ȳ i + hΦ II (x i , ȳ i ; h),mit

134 7 Gewöhnliche Differentialgleichungen(7.2.5.7)Φ I (x, y; h) =wobei für k = 0, 1, ..., p + 1p∑c k f k (x, y; h)k=0p+1∑Φ II (x, y; h) = ĉ k f k (x, y; h),k=0((7.2.5.8) f k := f k (x, y; h) = f x + α k h, y + h∑k−1β kl f l).Man beachte, daß beide Verfahren Φ I , Φ II die gleichen Funktionswerte f 0 ,f 1 , ..., f p verwenden, so daß für Φ II nur eine zusätzliche Auswertungvon f (.) zur Berechnung von f p+1 nötig ist. Man nennt Φ I , Φ II deshalbauch eingebettete Verfahren. Die Koeffizienten α k , β kl , c k und ĉ k sind sozu wählen, daß die Verfahren die Ordnung p bzw. p + 1 besitzen,(7.2.5.9)l=0∆(x, y(x); h) − Φ I (x, y(x); h) = O(h p ),∆(x, y(x); h) − Φ II (x, y(x); h) = O(h p+1 ).Geeignete Koeffizienten kann man im Prinzip wie bei (7.2.1.11) bestimmen.Dies führt i. allg. auf ein kompliziertes nichtlineares Gleichungssystem. Wir wollendeshalb nur für den einfachen Fall von eingebetteten Verfahren der Ordnungen 2 und3, p = 2, erläutern, wie man solche Verfahren bestimmt. Unter den zusätzlichenBedingungen α k = ∑ k−1j=0 β kj, k = 1, 2, 3, liefert (7.2.5.9) für den Fall p = 2folgende Gleichungen2∑c k − 1 = 0,k=03∑ĉ k − 1 = 0,k=03∑αk 2 ĉk − 1 3 = 0,k=12∑α k c k − 1 2 = 0,k=13∑α k ĉ k − 1 2 = 0,k=13∑P k1 ĉ k − 1 6 = 0,k=2P 21 := α 1 β 21 , P 31 := α 1 β 31 + α 2 β 32 .Dieses System besitzt noch unendlich viele Lösungen. Man kann deshalb zusätzlicheForderungen stellen und erfüllen, um die Effizienz der Methode zu steigern,etwa daß der Wert von f 3 aus dem i-ten Schritt als neues f 0 im (i + 1)-ten Schrittverwendet wird. Wegenf 3 = f (x + α 3 h, y + h(β 30 f 0 + β 31 f 1 + β 32 f 2 ))

underhält man so„neues“f 0 = f (x + h, y + hΦ I (x, y; h))α 3 = 1, β 30 = c 0 , β 31 = c 1 , β 32 = c 2 .7.2 Anfangswertprobleme 135Weitere Forderungen lassen sich an die Größe der Koeffizienten der Fehlerterme∆ − Φ I , ∆ − Φ II stellen. Wir wollen dies aber nicht mehr ausführen und stattdessenauf die Arbeiten von Fehlberg (1964, 1966, 1969) verweisen.Man findet auf diese Weise schließlich folgenden Koeffizientensatzk α k β k0 β k1 β k2 c k ĉ k0 0 — — —214891533210611414 — —133 022740 − 800189 729800 —6508918001053214 1 6503 1 891 33 891 — − 781Für die Anwendungen sind jedoch Verfahren höherer Ordnung interessanter.Von Dormand und Prince (1980) wurden folgende Koeffizienten für eingebetteteVerfahren der Ordnungen 4 und 5 (DOPRI 5(4)) angegeben:k α k β k0 β k1 β k2 β k3 β k4 β k5 c k ĉ k0 011 532 1043 584 95 16 13538451795760015 0 03 9500 757140 401113 166954445 − 1556 329125192393640193726561 − 253602187644486561 − 212729 − 6784 2187 − 3392009209790173168 − 3553346732524749176 − 1865651031184187210035384 05001113125192 − 218767841184 0140Der Koeffizentsatz ist so gebaut, daß die Fehlerterme des Verfahrens 5. Ordnungminimal sind.Wir wollen nun zeigen, wie man mit Hilfe eines Paars von eingebettetenVerfahren der Ordungen p und p + 1, (7.2.5.7)–(7.2.5.9), die Schrittweitensteuern kann. Man betrachte dazu die Differenz ŷ i+1 −ȳ i+1 der Werte, diediese Verfahren liefern. Aus (7.2.5.6) folgt(7.2.5.10) ŷ i+1 −ȳ i+1 = h[Φ I (x i , ȳ i ; h) − Φ II (x i , ȳ i ; h)].Wegen (7.2.5.9) gilt in erster Näherung(7.2.5.11)Φ I (x, y(x); h) − ∆(x, y(x); h) . = h p C I (x),Φ II (x, y(x); h) − ∆(x, y(x); h) . = h p+1 C II (x).

136 7 Gewöhnliche DifferentialgleichungenDaraus ergibt sich(7.2.5.12) ŷ i+1 −ȳ i+1. = h p+1 C I (x i ).Die Integration von x i → x i+1 sei erfolgreich gewesen, d.h. zu vorgegebenerFehlerschranke ε>0 sei|ŷ i+1 −ȳ i+1 |≤εerreicht worden. In erster Näherung ist dann auch|C I (x i )h p+1 |≤ε.Soll die „neue“ Schrittweite h neu = x i+2 − x i+1 erfolgreich sein, muß gelten|C I (x i+1 )h p+1neu |≤ε.Nun ist in erster Näherung C I (x i ) . = C I (x i+1 ) und für C I (x i ) hat man wegen(7.2.5.12) die Approximation|C I (x i )| . = |ŷ i+1 −ȳ i+1 ||h| p+1 .Dies liefert die Forderung|ŷ i+1 −ȳ i+1 | ∣ h neu∣ p+1 ≤ εhan die neue Schrittweite h neu , die zu folgendem Rezept führt:(ε) 1/(p+1).(7.2.5.13) h neu := h|ŷ i+1 −ȳ i+1 |Die Schrittweitensteuerung wird so sehr einfach: Die Berechnung von ŷ i+1und ȳ i+1 erfordert nur p + 1 Auswertungen der rechten Seite f (x, y) derDifferentialgleichung: Ein Vergleich mit (7.2.5.5) zeigt, daß dort die Berechnungvon η(x 0 + h; H/2) zusätzliche Auswertungen von f erfordert(insgesamt drei mal so viele), so daß die Schrittweitensteuerung mittels(7.2.5.13) effizienter ist als die mit (7.2.5.5).Manche Autoren empfehlen aufgrund ausgedehnter numerischer Experimenteeine Modifikation von (7.2.5.13), nämlich(. ε|h|) 1/p,(7.2.5.14) h neu = αh|ŷ i+1 −ȳ i+1 |wobei α ein geeigneter Anpassungsfaktor ist, α ≈ 0.9.Im Zusammenhang mit der graphischen Ausgabe und der Beurteilungder Lösung eines Anfangswertproblems steht man häufig vor folgendemProblem: Zunächst liefert ein Runge-Kutta Verfahren Näherungswerte y i für

7.2 Anfangswertprobleme 137die Löung nur an den diskreten Stellen x i , i = 0, 1, ..., deren Lage durchdie Schrittweitensteuerung festgelegt wird. Für die graphische Ausgabe oderfür die Bestimmung von Irregularitäten im Lösungsverlauf ist die Lage derx i zu grob. Eine Einschränkung der Schrittweitensteuerung |h|≤h max wärezu ineffizient. Als Ausweg bietet sich an, aus den Näherungswerten derLösung y i an den x i eine „dichte Ausgabe“ für alle Zwischenpunkte ˆx(ϑ) :=x i +ϑh, 0≤ ϑ ≤ 1, zwischen x i und x i+1 , zu konstruieren. Hier ist natürlichh := x i+1 − x i . Man spricht dann von einem kontinuierlichen Runge-KuttaVerfahren. .Für das oben eingeführte DOPRI 5(4)-Verfahren leistet dies die Darstellung(wir benutzen die Abkürzungen x := x i , y := y i )y(x + ϑh) := y + h5∑c k (ϑ) f k ,wobei die f k wie in DOPRI 5(4) bestimmt werden. Folgende ϑ-abhängige Gewichtec k (ϑ) garantieren ein Verfahren 4. Ordnung:c 0 (ϑ) := ϑ(1 + ϑ(−1337/480 + ϑ(1039/360 + ϑ(−1163/1152)))),c 1 (ϑ) := 0,c 2 (ϑ) := 100 ϑ 2 (1054/9275 + ϑ(−4682/27825 + ϑ(379/5565)))/3,k=0c 3 (ϑ) :=−5 ϑ 2 (27/40 + ϑ(−9/5 + ϑ(83/96)))/2,c 4 (ϑ) := 18225 ϑ 2 (−3/250 + ϑ(22/375 + ϑ(−37/600)))/848,c 5 (ϑ) :=−22 ϑ 2 (−3/10 + ϑ(29/30 + ϑ(−17/24)))/7.Natürlich stimmen die c k (ϑ) für ϑ = 1 mit den Konstanten c k von DOPRI 5(4)überein.7.2.6 Beispiele für MehrschrittverfahrenIn einem Mehrschrittverfahren zur Lösung des Anfangswertproblemsy ′ = f (x, y), y(x 0 ) = y 0 ,genauer einem r-Schrittverfahren mit r > 1, benötigt man für die Berechnungeines Näherungswerts η j+r für y(x j+r ) nicht nur η j+r−1 sondern rNäherungswerte η k ≈ y(x k ) für die Lösung an den r Stellen x k , k = j,j + 1, ..., j + r − 1 (wobei in der Regel diese Stellen äquidistant gewähltsind, x k := x 0 + kh):(7.2.6.1)für j = 0, 1, 2,...:η j ,η j+r ,...,η j+r−1 ⇒ η j+r .

138 7 Gewöhnliche DifferentialgleichungenDer Start solcher Verfahren erfordert r Startwerte η 0 , η 1 , ..., η r−1 , dieman sich für r > 1 auf andere Weise beschaffen muß, z. B. mit Hilfe einesEinschrittverfahrens .Wir wollen zunächst einige Beispiele klassischer Mehrschrittverfahrenkennenlernen. Dazu gehen wir von der Formel(7.2.6.2) y(x p+k ) − y(x p− j ) =∫ xp+kx p− jf (t, y(t))dtaus, die man durch Integration von y ′ (x) = f (x, y(x)) erhält, und ersetzenähnlich wie bei den Newton-Cotes-Formeln [s. 3.1] in (7.2.6.2) denIntegranden durch ein interpolierendes Polynom P q (x) mit1) Grad P q (x) ≤ q,2) P q (x k ) = f (x k , y(x k )), k = p, p − 1,...,p − q, x k := x 0 + kh.Mit Hilfe der Lagrangeschen Interpolationsformel (2.1.1.3) und mit denAbkürzungen y k := y(x k )P q (x) =q∑f (x p−i , y p−i )L i (x), L i (x) :=i=0q∏l=0l≠ix − x p−lx p−i − x p−l,erhält man die Näherungsformelq∑∫ xp+ky p+k − y p− j ≈ f (x p−i , y p−i ) L i (x)dxi=0x p− j(7.2.6.3)q∑= h β qi f (x p−i , y p−i )mit(7.2.6.4) β qi := 1 h∫ xp+ki=0x p− jL i (x)dx =∫ k− jq∏l=0l≠is + lds, i = 0, 1,...,q.−i + lErsetzt man in (7.2.6.3) die y i durch Näherungswerte η i und ≈ durch dasGleichheitszeichen, so erhält man den Ansatzq∑η p+k = η p− j + h β qi f p−i , mit f l := f (x l ,η l ), x l := x 0 + lh.i=0Je nach Wahl von k, j und q bekommt man verschiedene Mehrschrittverfahren.

7.2 Anfangswertprobleme 139Für k = 1, j = 0 und q = 0, 1, 2, ...erhält man die Verfahren vonAdams-Bashforth:(7.2.6.5)η p+1 = η p + h[β q0 f p + β q1 f p−1 +···+β qq f p−q ]∫ 1 q∏ s + lmit β qi :=ds, i = 0, 1,...,q.−i + l0l=0l≠iEin Vergleich mit (7.2.6.1) zeigt, daß hier r = q+1 ist. Einige Zahlenwerte:β qi i = 0 1 2 3 4β 0i 12β 1i 3 −112β 2i 23 −16 524β 3i 55 −59 37 −9720β 4i 1901 −2774 2616 −1274 251Für k = 0, j = 1 und q = 0, 1, 2, ..., erhält man die Formeln vonAdams-Moulton:η p = η p−1 + h[β q0 f p + β q1 f p−1 +···+β qq f p−q ],oder, wenn man p durch p + 1 ersetzt,(7.2.6.6)η p+1 = η p + h[β q0 f (x p+1 ,η p+1 ) + β q1 f p +···+β qq f p+1−q ]∫ 0 q∏ s + lmit β qi :=−i + l ds.−1l=0l≠iAuf den ersten Blick scheint es, daß (7.2.6.6) nicht die Form (7.2.6.1) besitzt,weil η p+1 auf beiden Seiten der Gleichung in (7.2.6.6) vorkommt: (7.2.6.6)stellt bei gegebenen η p , η p−1 , ..., η p+1−q eine i.a. nichtlineare Gleichungfür η p+1 dar, das Verfahren von Adams-Moulton ist ein implizites Verfahren.Folgendes Iterationsverfahren zur Bestimmung von η p+1 liegt nahe:(7.2.6.7) η (i+1)p+1= η p + h[β q0 f (x p+1 ,η (i)p+1 ) + β q1 f p +···+β qq f p+1−q ],i = 0, 1, 2,...Die Iteration hat die Form η (i+1)p+1= Ψ(η (i)p+1) einer Fixpunktiteration: Mitden Methoden von Abschnitt 5.2 kann man leicht zeigen, daß für genügendkleines |h| die Abbildung z → Ψ(z) kontrahierend ist [s. Übungsaufgabe10] und daher einen Fixpunkt η p+1 = Ψ(η p+1 ) besitzt, der (7.2.6.6) löst.Diese Lösung η p+1 hängt natürlich von x p , η p , η p−1 , ...η p+1−q und h ab und

140 7 Gewöhnliche Differentialgleichungendamit ist auch das Verfahren von Adams-Moulton ein Mehrschrittverfahrendes Typs (7.2.6.1) (hier mit r = q).Zu gegebenen η p , η p−1 , ..., η p+1−q kann man sich einen guten Startwertη (0)p+1für die Iteration (7.2.6.7) z. B. mit Hilfe des Verfahrens vonAdams-Bashforth (7.2.6.5) verschaffen. Aus diesem Grunde bezeichnet manVerfahren wie das Verfahren von Adams-Bashforth auch als Prädiktor-Verfahren (explizite Verfahren) und Verfahren wie das von Adams-Moultonals implizite Verfahren oder Korrektor-Verfahren (η (i)p+1wird durch die Iteration(7.2.6.7) „korrigiert“).Einige Zahlenwerte für die in (7.2.6.6) auftretenden Koeffizienten:β qi i = 0 1 2 3 4β 0i 12β 1i 1 112β 2i 5 8 −124β 3i 9 19 −5 1720β 4i 251 646 −264 106 −19Bei dem Verfahren von Nyström wählt man in (7.2.6.2) k = 1, j = 1 underhält so(7.2.6.8)η p+1 = η p−1 + h[β q0 f p + β q1 f p−1 +···+β qq f p−q ]∫ 1 q∏ s + 1mit β qi :=−i + l ds, i = 0, 1,...,q.−1l=0l≠iMan hat es wieder mit einem Prädiktor-Verfahren zu tun, das offensichtlichdie Gestalt (7.2.6.1) mit r = q + 1 hat.Bemerkenswert ist der Spezialfall q = 0. Hier ist β 00 = ∫ 1−1 1ds = 2und aus (7.2.6.8) wird(7.2.6.9) η p+1 = η p−1 + 2hf p .Dies ist die sog. Mittelpunktsregel (midpoint-rule), die der Approximationeines Integrals durch „Rechtecks-Summen“ entspricht.Die Verfahren von Milne sind wieder Korrektor-Verfahren. Man erhältsie für k = 0, j = 2 aus (7.2.6.2), wenn man p durch p + 1 ersetzt:η p+1 = η p−1 + h[β q0 f (x p+1 ,η p+1 ) + β q1 f p +···+β qq f p+1−q ](7.2.6.10)mit β qi :=∫ 0−2q∏l=0l≠is + l−i + l ds,Wie (7.2.6.7) löst man auch (7.2.6.10) iterativ.i = 0, 1,...,q.

7.2 Anfangswertprobleme 1417.2.7 Allgemeine MehrschrittverfahrenAlle in 7.2.6 besprochenen Mehrschrittverfahren und alle Einschrittverfahrenaus Abschnitt 7.2.1 haben die folgende Form:(7.2.7.1)η j+r + a r−1 η j+r−1 +···+a 0 η j = hF(x j ; η j+r ,η j+r−1 ,...,η j ; h; f ).Allgemein nennt man solche Verfahren r-Schrittverfahren. Bei den in 7.2.6betrachteten Methoden hängt die Funktion F darüber hinaus linear von fin der folgenden Weise ab:F(x j ; η j+r ,η j+r−1 ,...,η j ; h; f ) ≡ b r f (x j+r ,η j+r ) +···+b 0 f (x j ,η j ).Dabei sind die b i , i = 0, ..., r, gewisse Konstanten. Man spricht dannvon linearen r-Schrittverfahren; diese Verfahren werden in 7.2.11 weiterbehandelt.Beim Verfahren von Adams-Bashforth (7.2.6.5) (r = q + 1) ist z. B.a r−1 ≡ a q =−1, a q−1 =···=a 0 = 0, b r ≡ b q+1 = 0,∫ 1 q∏ s + lb q−i = β qi =0 −i + l ds, i = 0, 1,...,q.l=0l≠iZu je r Startwerten η 0 , ..., η r−1 wird durch (7.2.7.1) eine Folge η j ,j ≥ 0, definiert. Als Startwerte η i wählt man möglichst gute Näherungswertefür die exakte Lösung y i = y(x i ) von (7.2.1.1) an den Stellen x i = x 0 + ih,i = 0, 1, ..., r − 1. Solche Näherungswerte erhält man z. B. mittels guterEinschrittverfahren. Mitε i := η i − y(x i ), i = 0, 1,...,r − 1,wollen wir die Fehler in den Startwerten bezeichnen. Weitere Fehler,z. B. Rundungsfehler bei der Berechnung von F, treten bei der Auswertungvon (7.2.7.1) auf. Wir wollen den Einfluß auch dieser Fehler studieren undbetrachten deshalb allgemeiner als (7.2.7.1) folgende Rekursionsformeln:η 0 := y 0 + ε 0 ,(7.2.7.2).η r−1 := y r−1 + ε r−1 ;für j = 0, 1, 2, ...:η j+r + a r−1 η j+r−1 +···+a 0 η j :=hF(x j ; η j+r ,η j+r−1 ,...,η j ; h; f ) + hε j+r .

142 7 Gewöhnliche DifferentialgleichungenDie Lösungen η i von (7.2.7.2) hängen von h und den ε j ab und definiereneine Funktionη(x; ε; h),die wie die Fehlerfunktion ε = ε(x; h) nur für x ∈ R h ={x 0 + ih | i =0, 1,...} bzw. für h ∈ H x ={(x − x 0 )/n | n = 1, 2,...} erklärt ist durchη(x i ; ε; h) := η i , ε(x i ; h) := ε i , x i := x 0 + ih.Wie bei Einzelschrittverfahren kann man den lokalen Diskretisierungsfehlerτ(x, y; h) eines Mehrschrittverfahrens (7.2.7.1) an der Stelle x, ydefinieren. Dazu sei f ∈ F 1 (a, b), x ∈ [a, b], y ∈ R und z(t) die Lösungdes Anfangswertproblemsz ′ (t) = f (t, z(t)), z(x) = y.Als lokalen Diskretisierungsfehler bezeichnet man dann die Größe(7.2.7.3)τ(x, y; h) := 1 [ ∑r−1z(x + rh) + a i z(x + ih)hi=0]− hF(x; z(x + rh), z(x + (r − 1)h),...,z(x); h; f ) .Sie gibt an, wie gut die exakte Lösung einer Differentialgleichung die Rekursionsformel(7.2.7.1) erfüllt. Von einem vernünftigen Verfahren wird manerwarten, daß dieser Fehler für kleines |h| klein wird. In Verallgemeinerungvon (7.2.1.7) definiert man daher die Konsistenz von Mehrschrittverfahrendurch:(7.2.7.4) Def: Das Mehrschrittverfahren heißt konsistent, falls es für jedesf ∈ F 1 (a, b) eine Funktion σ(h) mit lim h→0 σ(h) = 0 gibt, so daß(7.2.7.5) |τ(x, y; h)|≤σ(h) für alle x ∈ [a, b], y ∈ R.Es besitzt die Konsistenzordnung p, falls für f ∈ F p (a, b)σ(h) = O(h p ).Beispiel: Für die Mittelpunktsregel (7.2.6.9) gilt wegen z ′ (t) = f (t, z(t)),z(x) = yτ(x, y; h) : = 1 []z(x + 2h) − z(x) − 2hf(x + h, z(x + h))h= 1 h [z(x + 2h) − z(x) − 2hz′ (x + h)].Durch Taylorentwicklung nach h findet man

7.2 Anfangswertprobleme 143τ(x, y; h) = 1 [z(x) + 2hz ′ (x) + 2h 2 z ′′ (x) + 8h3h6 z′′′ (x)− z(x) − 2h(z ′ (x) + hz ′′ (x) + h2 ) ]2 z′′′ (x) + O(h 3 )= h23 z′′′ (x) + O(h 3 ).Das Verfahren ist also konsistent und von zweiter Ordnung.Leichter bestimmt man die Ordnung der Verfahren aus 7.2.6 mittels derFehlerabschätzungen für interpolierende Polynome [s. (2.1.4.1)] bzw. fürdie Newton-Cotes-Formeln (3.1.4).Für f (x, y) :≡ 0, und z(x) :≡ y hat man bei einem konsistenten Verfahrenτ(x, y; h) = 1 h [y(1 + a r−1 +···+a 0 ) − hF(x; y, y,...,y; h; 0)],|τ(x, y; h)|≤σ(h),limh→0σ(h) = 0.Für stetiges F(x; y, y,...,y; .; 0) folgt daraus, da y beliebig ist,(7.2.7.6) 1 + a r−1 +···+a 0 = 0.Wir werden im weiteren an F häufig die Bedingung stellen(7.2.7.7) F(x; u r , u r−1 ,...,u 0 ; h; 0) ≡ 0für alle x ∈ [a, b], alle h und alle u i .Für lineare Mehrschrittverfahren ist(7.2.7.7) sicher immer erfüllt. Zusammen mit (7.2.7.6) garantiert (7.2.7.7),daß die exakte Lösung y(x) ≡ y 0 der trivialen Differentialgleichung y ′ = 0,y(x 0 ) = y 0 , auch exakte Lösung von (7.2.7.2) ist, falls ε i = 0für alle i.Da die von einem Mehrschrittverfahren (7.2.7.2) gelieferte Näherungslösungη(x; ε; h) auch von den Fehlern ε i abhängt, ist die Definition derKonvergenz komplizierter als bei Einschrittverfahren. Man kann natürlichnur erwarten, daß der globale Diskretisierungsfehlere(x; ε; h) := η(x; ε, h) − y(x)bei festem x mit h = h n = (x − x 0 )/n, n = 1, 2, ..., gegen 0 konvergiert,wenn auch die Fehler ε(x; h) mit h → 0 beliebig klein werden. Mandefiniert deshalb:(7.2.7.8) Def: Das durch (7.2.7.2) gegebene Mehrschrittverfahren heißt konvergent,fallslimn→∞η(x; ε; h n ) = y(x), h n := x − x 0, n = 1, 2,...,n

144 7 Gewöhnliche Differentialgleichungenfür alle x ∈ [a, b], alle f ∈ F 1 (a, b) und alle Funktionen ε(z; h), für die esein ρ(h) gibt mit(7.2.7.9)|ε(z; h)|≤ρ(h) für alle z ∈ R h ,lim ρ(h) = 0.h→07.2.8 Ein BeispielDie Resultate von Abschnitt 7.2.2, insbesondere Satz (7.2.2.3), legen dieVermutung nahe, daß auch Mehrschrittverfahren umso besser konvergieren,je höher die Ordnung p des lokalen Diskretisierungsfehlers ist [s. (7.2.7.4)].Daß dies falsch ist, soll das folgende Beispiel zeigen, in dem auch eine Methodezur Konstruktion von Mehrschrittverfahren möglichst hoher Ordnungbeschrieben wird.Wir wollen ein lineares 2-Schrittverfahren des Typs (7.2.7.1), also einVerfahren der folgenden Form konstruierenη j+2 + a 1 η j+1 + a 0 η j = h[b 1 f (x j+1 ,η j+1 ) + b 0 f (x j ,η j )].Die Konstanten a 0 , a 1 , b 0 , b 1 wollen wir so bestimmen, daß ein Verfahrenmöglichst hoher Ordnung entsteht. Ist z ′ (t) = f (t, z(t)), z(x) = y, so giltfür den lokalen Diskretisierungsfehler τ(x, y; h) (7.2.7.3)hτ(x, y; h) = z(x + 2h) + a 1 z(x + h) + a 0 z(x) − h[b 1 z ′ (x + h) + b 0 z ′ (x)].Wir entwickeln die rechte Seite in eine Taylorreihe nach hhτ(x, y; h) = z(x)[1 + a 1 + a 0 ] + hz ′ (x)[2 + a 1 − b 1 − b 0 ]+ h 2 z ′′ (x)[2 + 1 2 a 1 − b 1 ] + h 3 z ′′′ (x)[ 4 3 + 1 6 a 1 − 1 2 b 1] + O(h 4 )und bestimmen die Koeffizienten a 0 , a 1 , b 0 , b 1 so, daß möglichst vieleh-Potenzen verschwinden. Dies führt zu den Gleichungen1+ a 1 +a 0 = 0,2+ a 1 −b 1 −b 0 = 0,2+ 1 2 a 1 −b 1 = 0,43 + 1 6 a 1 − 1 2 b 1 = 0,mit der Lösung a 1 = 4, a 0 =−5, b 1 = 4, b 0 = 2, die zu dem Verfahrenη j+2 + 4η j+1 − 5η j = h[4 f (x j+1 ,η j+1 ) + 2 f (x j ,η j )]der Ordnung 3 [wegen hτ(x, y; h) = O(h 4 ),d.h.τ(x, y; h) = O(h 3 )]führen. Löst man mit dieser Methode das Anfangswertproblem

y ′ =−y, y(0) = 1,7.2 Anfangswertprobleme 145mit der exakten Lösung y(x) = e −x , so findet man bei 10-stelliger Rechnungfür h = 10 −2 , selbst wenn man die (bis auf die Maschinengenauigkeit)exakten Startwerte η 0 := 1, η 1 := e −h benutzt, folgendes Resultat:j η j − y j − x4 j216 · (−5) jj 4 e 3x j/5 [vgl. (7.2.8.3)]2 −0.164 × 10 −8 −0.753 × 10 −93 +0.501 × 10 −8 +0.378 × 10 −84 −0.300 × 10 −7 −0.190 × 10 −75 +0.144 × 10 −6 +0.958 × 10 −7...96 −0.101 × 10 58 −0.668 × 10 5797 +0.512 × 10 58 +0.336 × 10 5898 −0.257 × 10 59 −0.169 × 10 5999 +0.129 × 10 60 +0.850 × 10 59100 −0.652 × 10 60 −0.427 × 10 60Wie erklärt sich dieses oszillierende Verhalten der η j ? Wenn wir voraussetzen,daß als Startwerte die exakten Werte η 0 := 1, η 1 := e −h benutztwerden und bei der Ausführung des Verfahrens keine Rundungsfehler auftreten(ε j = 0für alle j), erhaltenen wir eine Folge von Zahlen η j mitoderη 0 = 1,η 1 = e −h ,η j+2 + 4η j+1 − 5η j = h[−4η j+1 − 2η j ] für j = 0, 1,...,(7.2.8.1) η j+2 + 4(1 + h)η j+1 + (−5 + 2h)η j = 0 für j = 0, 1,....Solche Differenzengleichungen haben spezielle Lösungen der Gestalt η j =λ j . Geht man mit diesem Ansatz in (7.2.8.1) ein, so findet man für λ dieGleichungλ j [λ 2 + 4(1 + h)λ + (−5 + 2h)] = 0,die neben der trivialen Lösung λ = 0 die Lösungen√λ 1 =−2 − 2h + 3 1 + 2 3 h + 4 9 h2 ,√λ 2 =−2 − 2h − 3 1 + 2 3 h + 4 9 h2besitzt. Für kleines h ist

146 7 Gewöhnliche Differentialgleichungenund daher(7.2.8.2)√1 + 2 3 h + 4 9 h2 = 1 + 1 3 h + 1 6 h2 − 1 18 h3 + 1216 h4 + O(h 5 )λ 1 = 1 − h + 1 2 h2 − 1 6 h3 + 1 72 h4 + O(h 5 )λ 2 =−5 − 3h + O(h 2 ).Man kann nun zeigen, daß sich jede Lösung η j von (7.2.8.1) als Linearkombinationη j = αλ j 1 + βλj 2der beiden partikulären Lösungen λ j 1 , λ j 2schreiben läßt [s. (7.2.9.9)]. Dabeisind die Konstanten α und β durch die Anfangsbedingungen η 0 = 1, η 1 =e −h bestimmt, die auf folgendes Gleichungssystem für α, β führenSeine Lösung läßt sich angeben:η 0 = α + β = 1,Wegen (7.2.8.2) bestätigt man leichtη 1 = αλ 1 + βλ 2 = e −h .α = λ 2 − e −hλ 2 − λ 1, β = e−h − λ 1λ 2 − λ 1.α = 1 + O(h 2 ), β =− 1216 h4 + O(h 5 ).Also gilt für festes x ≠ 0, h = h nNäherungslösung η n = η(x; h n ):η(x; h n ) = αλ n 1 + βλn 2[= 1 + O− 1 x 4 [216 n 4= x/n, n = 1, 2, ..., für die( x) ][ 21 − x ( x) ] 2 nn n + O n( x)] [1 + O −5 − 3 x ( x) ] 2 nnn + O nDer erste Term strebt für n →∞gegen die Lösung des Anfangswertproblemsy(x) = e −x . Der zweite Term verhält sich für n →∞wie(7.2.8.3) − x 4 (−5) ne 3x/5 .216 n 4Wegen lim n→∞ 5 n /n 4 =∞oszilliert dieser Term für n →∞immer heftiger.Dies erklärt das oszillatorische Verhalten und die Divergenz des Verfahrens.Wie man leicht sieht, liegt dies daran, daß −5 Wurzel der quadratischenGleichung µ 2 +4µ−5 = 0 ist. Es steht zu erwarten, daß auch im allgemeinen

7.2 Anfangswertprobleme 147Fall (7.2.7.2) die Nullstellen des Polynoms Ψ (µ) = µ r +a r−1 µ r−1 +···+a 0eine für die Konvergenz des Verfahrens wichtige Rolle spielen.7.2.9 Lineare DifferenzengleichungenFür den folgenden Abschnitt benötigen wir einige einfache Resultate überlineare Differenzengleichungen. Unter einer linearen homogenen Differenzengleichungr-ter Ordnung versteht man eine Gleichung der Form(7.2.9.1) u j+r +a r−1 u j+r−1 +a r−2 u j+r−2 +···+a 0 u j = 0, j = 0, 1, 2,....Zu jedem Satz von komplexen Startwerten u 0 , u 1 , ..., u r−1 gibt es offensichtlichgenau eine Folge von Zahlen u n , n = 0, 1, ..., die (7.2.9.1)löst.In den Anwendungen auf Mehrschrittverfahren interessiert das Wachstumsverhaltender u n für n →∞in Abhängigkeit von den Startwerten u 0 ,u 1 , ..., u r−1 . Insbesondere möchte man Bedingungen dafür haben, daß(7.2.9.2) limn→∞u nn = 0 für alle Startwerte u 0, u 1 , ..., u r−1 ∈ C.Zu der Differenzengleichung (7.2.9.1) gehört das Polynom(7.2.9.3) ψ(µ) := µ r + a r−1 µ r−1 +···+a 0 .Man sagt nun, daß (7.2.9.1) die(7.2.9.4) Stabilitätsbedingungerfüllt, falls für jede Nullstelle λ von ψ(µ) gilt |λ| ≤1 und weiter ausψ(λ) = 0 und |λ|=1 folgt, daß λ nur einfache Nullstelle von ψ ist.(7.2.9.5) Satz: Die Stabilitätsbedingung (7.2.9.4) ist notwendig und hinreichendfür (7.2.9.2).Beweis: 1) Sei (7.2.9.2) erfüllt und λ Nullstelle von ψ (7.2.9.3). Dannist die Folge u n := λ n , n = 0, 1, ..., eine Lösung von (7.2.9.1). Für |λ| > 1divergiert die Folge u n /n = λ n /n, so daß aus (7.2.9.2) sofort |λ|≤1 folgt.Sei nun λ eine mehrfache Nullstelle von ψ mit |λ|=1. Dann giltψ ′ (λ) = rλ r−1 + (r − 1)a r−1 λ r−2 +···+1 · a 1 = 0.Die Folge u n := n λ n , n ≥ 0, ist daher eine Lösung von (7.2.9.1),u j+r + a r−1 u j+r−1 +···+a 0 u j= jλ j (λ r + a r−1 λ r−1 +···+a 0 )= 0.+ λ j+1 (rλ r−1 + (r − 1)a r−1 λ r−2 +···+a 1 )

148 7 Gewöhnliche DifferentialgleichungenDa u n /n = λ n für n →∞nicht gegen 0 konvergiert, muß λ einfacheNullstelle sein.2) Sei nun umgekehrt die Stabilitätsbedingung (7.2.9.4) erfüllt. Mit denAbkürzungen⎡u⎤ ⎡⎤j0 1 0u j+1· ·U j := ⎢ ⎥⎣ ⎦.∈ Cr , A := ⎢ · · ⎥⎣⎦ ,0 0 1u j+r−1 −a 0 · · · −a r−1ist die Differenzengleichung (7.2.9.1) in Matrixschreibweise zur Rekursionsformel(7.2.9.6) U j+1 = AU j , j = 0, 1,...,äquivalent, so daß U n = A n U 0 . Dabei ist U 0 = [u 0 , u 1 ,...,u r−1 ] T geradeder Vektor der Startwerte und A eine Frobeniusmatrix mit dem charakteristischenPolynom ψ(µ) (7.2.9.3) [Satz (6.3.4)]. Weil die Stabilitätsbedingung(7.2.9.4) erfüllt ist, gibt es nach Satz (6.9.2) eine Norm ‖‖auf dem C r mitlub(A) = 1für die zugehörige Matrixnorm. Es folgt daher für alle U 0 ∈ C r(7.2.9.7) ‖U n ‖=‖A n U 0 ‖≤‖U 0 ‖ für alle n = 0, 1, ... .Da auf dem C r alle Normen äquivalent sind [Satz (6.9.2)], gibt es ein k > 0mit (1/k)‖U‖≤‖U‖ ∞ ≤ k‖U‖. Es folgt daher für alle U 0 ∈ C r||U n || ∞ ≤ k 2 ||U 0 || ∞ , n = 0, 1,...,d.h. es gilt lim n→∞ (1/n)||U n || ∞ = 0 und daher (7.2.9.2). ⊓⊔Der Beweis des letzten Satzes beruht darauf, daß die Nullstellen λ i vonψ spezielle Lösungen der Form u n := λi n , n ≥ 0, von (7.2.9.1) liefern.Der folgende Satz zeigt, daß man alle Lösungen von (7.2.9.1) in ähnlicherWeise darstellen kann:(7.2.9.8) Satz: Das Polynomψ(µ) := µ r + a r−1 µ r−1 +···+a 0habe die k verschiedenen Nullstellen λ i , i = 1, 2, ..., k mit den Vielfachheitenσ i , i = 1, 2, ..., k, und es sei a 0 ≠ 0. Dann ist für beliebige Polynomep i (t) mit Grad p i

7.2 Anfangswertprobleme 149Beweis: Wir zeigen den ersten Teil des Satzes. Da mit {u n }, {v n } auch{αu j + βv j } Lösung von (7.2.9.1) ist, genügt es zu zeigen, daß zu einerσ -fachen Nullstelle λ von ψ die Folgeu n := p(n)λ n , n = 0, 1,...,eine Lösung von (7.2.9.1) ist, wenn p(t) ein beliebiges Polynom mit Gradp

150 7 Gewöhnliche DifferentialgleichungenF(x; u; h; f ), u := [u r , u r−1 ,...,u 0 ] T ∈ R r+1 ,gegeben ist. Es wird sich zeigen, daß bei einem konsistenten Verfahren[s. (7.2.7.4)] die Stabilitätsbedingung (7.2.9.4) notwendig und hinreichendfür die Konvergenz [s. (7.2.7.8)] des Verfahrens ist, wenn F gewissenzusätzlichen Regularitätsbedingungen genügt [s. (7.2.10.3)].Wir notieren im Zusammenhang mit der Stabilitätsbedingung, daß fürein konsistentes Verfahren wegen (7.2.7.6) λ = 1 Nullstelle von ψ(µ) =µ r + a r−1 µ r−1 +···+a 0 ist.Wir zeigen zunächst, daß die Stabilitätsbedingung notwendig für dieKonvergenz ist:(7.2.10.1) Satz: Wenn das Mehrschrittverfahren (7.2.7.2) konvergent ist [s.(7.2.7.8)] und F der Bedingung (7.2.7.7), F(x; u; h; 0) ≡ 0, genügt, so istdie Stabilitätsbedingung (7.2.9.4) erfüllt.Beweis: Wenn das Verfahren (7.2.7.2) im Sinne von (7.2.7.8) konvergentist, liefert es bei der Integration der Differentialgleichung y ′ ≡ 0,y(x 0 ) = 0, mit der exakten Lösung y(x) ≡ 0 eine Näherungslösungη(x; ε; h) mitlim η(x; ε; h) = 0h→0für alle x ∈ [a, b] und alle ε mit |ε(z; h)|≤ρ(h), ρ(h) → 0für h → 0. Manwähle nun ein festes x ≠ x 0 , x ∈ [a, b]. Für h = h n = (x − x 0 )/n, n = 1, 2,..., folgt x n = x und η(x; ε; h n ) = η n , wobei η n wegen F(x; u; h; 0) ≡ 0durch die Rekursionsformelη i = ε i ,η j+r + a r−1 η j+r−1 +···+a 0 η j = h n ε j+r ,i = 0, 1,...,r − 1,j = 0, 1,...,n − r,mit ε j := ε(x 0 + jh n ; h n ) bestimmt ist. Wir wählen ε j+r := 0, j = 0, 1,..., n − r und ε i := h n u i , i = 0, 1, ..., r − 1, mit beliebigen Konstantenu 0 , u 1 , ..., u r−1 . Es gelten dann mitdie Ungleichungensowieρ(h) :=|h| max |u i |0≤i≤r−1|ε i |≤ρ(h n ), i = 0, 1,...,n.lim ρ(h) = 0.h→0Nun ist η n = h n u n , wenn man u n rekursiv aus u 0 , u 1 , ..., u r−1 mittels derfolgenden Differenzengleichung bestimmt

7.2 Anfangswertprobleme 151u j+r + a r−1 u j+r−1 +···+a 0 u j = 0, j = 0, 1,...,n − r.Da das Verfahren nach Voraussetzung konvergent ist, giltu nlim η n = (x − x 0 ) limn→∞n→∞ n = 0,d. h. es folgt (7.2.9.2), denn u 0 , u 1 , ..., u r−1 waren beliebig gewählt. AusSatz (7.2.9.5) folgt dann die Behauptung.⊓⊔Wir verlangen jetzt von F zusätzlich die Lipschitz-Stetigkeit in folgendemSinne:Zu jeder Funktion f ∈ F 1 (a, b) gebe es Konstanten h 0 > 0 und M, sodaß(7.2.10.2)|F(x; u r , u r−1 ,...,u 0 ;h; f ) − F(x; v r ,v r−1 ,...,v 0 ; h; f )|≤r∑≤ M |u i − v i |i=0für alle x ∈ [a, b], |h| ≤ h 0 , u j , v j ∈ R [vgl. die analoge Bedingung(7.2.2.4)].Wir zeigen nun, daß für konsistente Verfahren die Stabilitätsbedingungauch hinreichend für die Konvergenz ist:(7.2.10.3) Satz: Das Verfahren (7.2.7.2) sei konsistent [s. (7.2.7.4)] und Fgenüge den Bedingungen (7.2.7.7) und (7.2.10.2). Dann ist das Verfahrenfür alle f ∈ F 1 (a, b) konvergent [s. (7.2.7.8)] genau dann, wenn es dieStabilitätsbedingung (7.2.9.4) erfüllt.Beweis: Die Notwendigkeit der Stabilitätsbedingung für die Konvergenzfolgt aus Satz (7.2.10.1). Um zu zeigen, daß sie unter den angegebenenVoraussetzungen auch hinreichend ist, geht man wie im Beweis von Satz(7.2.2.3) vor: Sei y(x) die exakte Lösung von y ′ = f (x, y), y(x 0 ) = y 0 ,y j := y(x j ), x j = x 0 + jh, und η j Lösung von (7.2.7.2),η i = y i + ε i , i = 0,...,r − 1,η j+r + a r−1 η j+r−1 +···+a 0 η j = hF(x j ; η j+r ,...,η j ; h; f ) + hε j+r ,für j = 0, 1,..., wobei |ε j |≤ρ(h), lim h→0 ρ(h) = 0. Für den Fehlere j := η j − y j gilt dann(7.2.10.4)mite i = ε i ,e j+r + a r−1 e j+r−1 +···+a 0 e j = c j+r ,i = 0,...,r − 1,j = 0, 1,...,

152 7 Gewöhnliche Differentialgleichungenc j+r :=h[F(x j ; η j+r ,...,η j ; h; f ) − F(x j ; y j+r ,...,y j ; h; f )]+ h(ε j+r − τ(x j , y j ; h)),wobei τ(x j , y j ; h) der lokale Diskretisierungsfehler (7.2.7.3) ist. Wegen derKonsistenz (7.2.7.4) gibt es eine Funktion σ(h) mitso daß wegen (7.2.10.2)|τ(x j , y j ; h)|≤σ(h),(7.2.10.5) |c j+r |≤|h|MMit Hilfe der Vektoren⎡und der MatrixE j :=⎢⎣e⎤je j+1.e j+r−1lim σ(h) = 0,h→0r∑|e j+i |+|h| [ρ(h) + σ(h)].i=0⎥⎦ ,⎡B := ⎢⎣0...01⎤⎥⎦ ∈ Rr⎡⎤0 1 0· ·A := ⎢ · · ⎥⎣⎦ ,0 0 1−a 0 · · · −a r−1läßt sich (7.2.10.4) äquivalent formulieren⎡ ⎤ε 0(7.2.10.6) E j+1 = AE j + c j+r B, E 0 := ⎣.⎦ .ε r−1Wegen der Stabilitätsbedingung (7.2.9.4) gibt es nach Satz (6.9.2) eine Norm‖·‖ auf dem C r mit lub(A) ≤ 1. Nun sind auf dem C r alle Normenäquivalent [s. Satz (4.4.6)], d. h. es gibt eine Konstante k > 0 mitWegen1k ‖E ∑r−1j‖≤ |e j+i |≤k‖E j ‖.i=0∑r−1|e j+i |≤k‖E j ‖,i=0erhält man aus (7.2.10.5)r∑|e j+i |≤k‖E j+1 ‖i=0

und aus (7.2.10.6)7.2 Anfangswertprobleme 153|c j+r |≤|h|Mk(‖E j ‖+‖E j+1 ‖) +|h| [ρ(h) + σ(h)]‖E j+1 ‖≤‖E j ‖+|c j+r |‖B‖,wobei ‖B‖≤k. Dies zeigt für j = 0, 1, ...(7.2.10.7) (1−|h|Mk 2 )‖E j+1 ‖≤(1+|h|Mk 2 )‖E j ‖+k|h| [ρ(h)+σ(h)].Für |h|≤1/(2Mk 2 ) ist nun (1 −|h|Mk 2 ) ≥ 1 2 und1 +|h|Mk 21 −|h|Mk 2 ≤ 1 + 4|h|Mk2 .(7.2.10.7) ergibt somit für |h|≤1/(2Mk 2 ) und alle j = 0, 1, ...‖E j+1 ‖≤(1 + 4|h|Mk 2 )‖E j ‖+2k|h|[ρ(h) + σ(h)].Wegen ‖E 0 ‖≤krρ(h) liefert Hilfssatz (7.2.2.2) schließlich− 1‖E n ‖≤e 4n|h|Mk2 krρ(h) + [ρ(h) + σ(h)] e4n|h|Mk2 ,2Mkd.h. man hat für x ≠ x 0 , h = h n = (x − x 0 )/n, |h n |≤1/(2Mk 2 )‖E n ‖≤e 4Mk2 |x−x 0 | |x−x 0 | − 1krρ(h n ) + [ρ(h n ) + σ(h n )] e4Mk2 .2MkEs gibt also von h n unabhängige Konstanten C 1 und C 2 mit(7.2.10.8) |e n |=|η(x; ε; h n ) − y(x)|≤C 1 ρ(h n ) + C 2 σ(h n )für alle genügend großen n. Wegen lim h→0 ρ(h) = lim h→0 σ(h) = 0 folgtdie Konvergenz des Verfahrens.⊓⊔Aus (7.2.10.8) erhält man sofort das(7.2.10.9) Korollar: Ist zusätzlich zu den Voraussetzungen von Satz(7.2.10.3) das Mehrschrittverfahren ein Verfahren der Konsistenzordnungp [s. (7.2.7.4)], σ(h) = O(h p ), ist f ∈ F p (a, b) und gilt auch für die Fehlereine Abschätzung der Formε i = ε(x 0 + ih n ; h n ),i = 0, 1,...,n,|ε i |≤ρ(h n ), i = 0, 1,...,n,mit einer Funktion ρ(h) = O(h p ), dann gilt auch für den globalen Diskretisierungsfehler|η(x; ε; h n ) − y(x)|=O(h p n )für alle h n = (x − x 0 )/n, n genügend groß.

154 7 Gewöhnliche Differentialgleichungen7.2.11 Lineare MehrschrittverfahrenIn den folgenden Abschnitten setzen wir voraus, daß in (7.2.7.2) außer denStartfehlern ε i ,0≤ i ≤ r − 1, keine weiteren Fehler auftreten, ε j = 0fürj ≥ r. Da aus dem Zusammenhang stets hervorgehen wird, welche Startwertebenutzt werden, und damit die Startfehler feststehen, soll außerdemeinfacher η(x; h) statt η(x; ε; h) für die durch das Mehrschrittverfahren(7.2.7.2) gelieferte Näherungslösung geschrieben werden.Die gebräuchlichsten Mehrschrittverfahren sind lineare Mehrschrittverfahren.Bei ihnen hat in (7.2.7.1) die Funktion F(x; u; h; f ), u =[u r ,...,u 0 ] ∈ R r+1 , die Form(7.2.11.1)F(x; u r , u r−1 ,...,u 0 ; h; f )≡ b r f (x + rh, u r ) + b r−1 f (x + (r − 1)h, u r−1 ) +···+b 0 f (x, u 0 ).Ein lineares Mehrschrittverfahren ist damit durch die Koeffizienten a 0 , ...,a r−1 , b 0 , ..., b r bestimmt. Es liefert mittels der Rekursionsformel [vgl.(7.2.7.2)]η j+r + a r−1 η j+r−1 +···+a 0 η j = h[b r f (x j+r ,η j+r ) +···+b 0 f (x j ,η j )],x i := x 0 + ih,zu jedem Satz von Startwerten η 0 , η 1 , ..., η r−1 und zu jeder (genügendkleinen) Schrittweite h ≠ 0Näherungswerte η i für die Werte y(x i ), i ≥ 0,der exakten Lösung y(x) eines Anfangswertproblems y ′ = f (x, y), y(x 0 ) =y 0 .Für b r ≠ 0 liegt ein Korrektor-Verfahren vor, für b r = 0 ein Prädiktor-Verfahren.Jedes lineare Mehrschrittverfahren erfüllt offensichtlich für f ∈ F 1 (a, b)die Bedingungen (7.2.10.2) und (7.2.7.7). Deshalb ist nach Satz (7.2.10.1)die Stabilitätsbedingung (7.2.9.4) für das Polynomψ(µ) := µ r + a r−1 µ r−1 +···+a 0notwendig für die Konvergenz (7.2.7.8) dieser Verfahren. Nach Satz(7.2.10.3) ist die Stabilitätsbedingung für ψ zusammen mit der Konsistenz(7.2.7.4) auch hinreichend für die Konvergenz.Zur Prüfung der Konsistenz hat man nach Definition (7.2.7.4) das Verhaltendes Ausdrucks [hier ist a r := 1]

7.2 Anfangswertprobleme 155(7.2.11.2)L[z(x); h] :=≡r∑r∑a i z(x + ih) − h b i f (x + ih, z(x + ih))i=0r∑a i z(x + ih) − hi=0i=0i=0≡ h · τ(x, y; h)r∑b i z ′ (x + ih)für die Lösung z(t) von z ′ (t) = f (t, z(t)), z(x) = y, x ∈ [a, b], y ∈ R zuuntersuchen. Nimmt man an, daß z(t) genügend oft differenzierbar ist (diesist der Fall, wenn f genügend oft stetig partiell differenzierbar ist), dannfindet man durch Taylorentwicklung von L[z(x); h] nach hL[z(x); h] = C 0 z(x) + C 1 hz ′ (x) +···+C q h q z (q) (x)(1 + O(h))= hτ(x, y; h).Hier hängen die C i nur von den a j , b j ab, und zwar linear; z. B. istC 0 = a 0 + a 1 +···+a r−1 + 1C 1 = a 1 + 2a 2 +···+(r − 1)a r−1 + r · 1 − (b 0 + b 1 +···+b r ).Mit Hilfe des Polynoms ψ(µ) und des weiteren Polynoms(7.2.11.3) χ(µ) := b 0 + b 1 µ +···+b r µ r , µ∈ C,lassen sich C 0 und C 1 in der FormC 0 = ψ(1),C 1 = ψ ′ (1) − χ(1)schreiben. Nun istτ(x, y; h) = 1 h L[z(x); h] = C 0h z(x) + C 1z ′ (x) + O(h).Also gilt C 0 = C 1 = 0 nach Definition (7.2.7.5) für konsistente Mehrschrittverfahren,d. h. ein konsistentes lineares Mehrschrittverfahren hat mindestensdie Konsistenzordnung 1.Allgemein hat es für f ∈ F p (a, b) (mindestens) die Ordnung p [s. Def.(7.2.7.4)], fallsC 0 = C 1 =···=C p = 0.Über die Sätze (7.2.10.1) und (7.2.10.3) hinaus gilt für lineare Mehrschrittverfahren(7.2.11.4) Satz: Ein konvergentes lineares Mehrschrittverfahren ist auchkonsistent.

156 7 Gewöhnliche DifferentialgleichungenBeweis: Man betrachte das Anfangswertproblemy ′ = 0, y(0) = 1,mit der exakten Lösung y(x) ≡ 1. Zu den Startwerten η i := 1, i = 0, 1,..., r − 1, liefert das Verfahren Werte η j+r , j = 0, 1, ..., mit(7.2.11.5) η j+r + a r−1 η j+r−1 +···+a 0 η j = 0.Setzt man h n := x/n, so gilt η(x; h n ) = η n und wegen der Konvergenz desVerfahrenslim η(x; h n) = lim η n = y(x) = 1.n→∞ n→∞Für j →∞folgt daher aus (7.2.11.5) sofortC 0 = 1 + a r−1 +···+a 0 = 0.Um C 1 = 0 zu zeigen, wird ausgenutzt, daß das Verfahren auch für dasAnfangswertproblemy ′ = 1, y(0) = 0,mit der exakten Lösung y(x) ≡ x konvergiert. Wir wissen bereits C 0 =ψ(1) = 0. Nach Satz (7.2.10.1) ist die Stabilitätsbedingung (7.2.9.4) erfüllt,also λ = 1 nur einfache Nullstelle von ψ, d.h.ψ ′ (1) ≠ 0; deshalb ist dieKonstanteK := χ(1)ψ ′ (1)wohldefiniert. Wir wählen weiter die Startwerteη j := j · h · K, j = 0, 1,...,r − 1,zu denen wegen y(x j ) = x j = jh die Startfehlerε j = η j − y(x j ) = jh(K − 1) = O(h), j = 0, 1,...,r − 1,gehören, die für h → 0 gegen 0 konvergieren [vgl.(7.2.7.9)]. Das Verfahrenliefert zu diesen Startwerten eine Folge η j mit(7.2.11.6) η j+r +a r−1 η j+r−1 +···+a 0 η j = h(b 0 +b 1 +···+b r ) = h χ(1).Durch Einsetzen in (7.2.11.6)) sieht man unter Beachtung von C 0 = 0 leicht,daß für alle j giltη j = j · h · K.Nun hat man η n = η(x; h n ), h n := x/n. Wegen der Konvergenz des Verfahrensgilt daherx = y(x) = limn→∞ η(x; h n) = limn→∞ η n = limn→∞ nh n K = x · K.Es folgt K = 1 und damit C 1 = ψ ′ (1) − χ(1) = 0.⊓⊔

7.2 Anfangswertprobleme 157Zusammen mit den Sätzen (7.2.10.1), (7.2.10.3) ergibt dies(7.2.11.7) Satz: Ein lineares Mehrschrittverfahren ist genau dann für f ∈F 1 (a, b) konvergent, wenn es die Stabilitätsbedingung (7.2.9.4) für ψ erfülltund konsistent ist (d. h. ψ(1) = 0, ψ ′ (1) − χ(1) = 0).Mit Hilfe des folgenden Satzes kann man die Konsistenzordnung eineslinearen Mehrschrittverfahrens bestimmen:(7.2.11.8) Satz: Ein lineares Mehrschrittverfahren ist genau dann ein Verfahrender Konsistenzordnung p, wenn µ = 1 p-fache Nullstelle der Funktionϕ(µ) := ψ(µ)/ ln(µ) − χ(µ) ist.Beweis: In L[z(x); h] (7.2.11.2) setze man speziell z(x) := e x .Für einVerfahren p-ter Ordnung gilt dannAndererseits istL[e x ; h] = C p+1 h p+1 e x (1 + O(h)).L[e x ; h] = e x [ψ(e h ) − hχ(e h )].Es liegt also ein Verfahren der Ordnung p genau dann vor, wennϕ(e h ) = 1 h [ψ(eh ) − hχ(e h )] = C p+1 h p (1 + O(h)),d. h. , falls h = 0 p-fache Nullstelle von ϕ(e h ) bzw. µ = 1 p-fache Nullstellevon ϕ(µ) ist.⊓⊔Dieser Satz legt folgende Konstruktion von Verfahren nahe: Zu gegebenenKonstanten a 0 , a 1 , ..., a r−1 bestimme man weitere Konstanten b 0 , b 1 ,..., b r so, daß ein Mehrschrittverfahren möglichst hoher Konsistenzordnungentsteht. Dazu entwickle man die für konsistente Verfahren in einer Umgebungvon µ = 1 holomorphe Funktion ψ(µ)/ ln(µ) in eine Taylorreihe umµ = 1:(7.2.11.9) ψ(µ)ln(µ) = c 0+c 1 (µ−1)+···+c r−1 (µ−1) r−1 +c r (µ−1) r +···,mit Koeffizienten c i , die nur von den a j abhängen, und zwar linear. Wähltman dann(7.2.11.10)χ(µ) : = c 0 + c 1 (µ − 1) +···+c r (µ − 1) r=: b 0 + b 1 µ +···+b r µ r ,erhält man ein Korrektor-Verfahren mindestens der Ordnung r + 1 und dieWahlχ(µ) : = c 0 + c 1 (µ − 1) +···+c r−1 (µ − 1) r−1= b 0 + b 1 µ +···+b r−1 + 0 · µ rführt zu einem Prädiktor-Verfahren mindestens der Ordnung r.

158 7 Gewöhnliche DifferentialgleichungenUm Verfahren noch höherer Ordnung zu erhalten, könnte man versuchen,die Konstanten a 0 , ..., a r−1 so zu bestimmen, daß in (7.2.11.9)gilt(7.2.11.11)ψ(1) = 1 + a r−1 +···+a 0 = 0c r+1 = c r+2 =···=c 2r−1 = 0.Der Ansatz (7.2.11.10) für χ(µ) würde dann zu einem Korrektor-Verfahrender Ordnung 2r führen. Leider sind die so erhaltenen Verfahren nichtmehr konvergent, weil die Polynome ψ, für die (7.2.11.11) gilt, nichtmehr die Stabilitätsbedingung (7.2.9.4) erfüllen: Dahlquist (1956, 1959)konnte nämlich zeigen, daß ein lineares r-Schrittverfahren, das die Stabilitätsbedingung(7.2.9.4) erfüllt, höchstens die Ordnung{ r + 1, falls r ungerade,p ≤r + 2, falls r gerade,besitzen kann [vgl. Abschnitt 7.2.8].Beispiel: Das konsistente Verfahren höchster Ordnung für r = 2 erhält manüber den Ansatzψ(µ) = µ 2 − (1 + a)µ + a = (µ − 1)(µ − a).Die Taylorentwicklung von ψ(µ)/ ln(µ) um µ = 1 liefertψ(µ)ln(µ) = 1 − a + 3 − a (µ − 1) + a + 5212 (µ − 1)2 − 1 + a24 (µ − 1)3 +···.Setzt manχ(µ) := 1 − a + 3 − a (µ − 1) + a + 5212 (µ − 1)2 ,so hat das resultierende lineare Mehrschrittverfahren für a ≠ 1 die Ordnung 3 und füra =−1 die Ordnung 4. Wegen ψ(µ) = (µ − 1)(µ − a) ist die Stabilitätsbedingung(7.2.9.4) nur für −1 ≤ a < 1 erfüllt. Insbesondere erhält man für a = 0ψ(µ) = µ 2 − µ, χ(µ) = 112 (5µ2 + 8µ − 1).Dies ist gerade das Adams-Moulton-Verfahren (7.2.6.6) für q = 2, das demnach dieOrdnung 3 besitzt. Für a =−1 erhält manψ(µ) = µ 2 − 1, χ(µ) = 1 3 µ2 + 4 3 µ + 1 3 ,das dem Verfahren von Milne (7.2.6.10) für q = 2 entspricht und die Ordnung 4besitzt (siehe auch Übungsaufgabe 11).Man übersehe nicht, daß für Mehrschrittverfahren der Ordnung p derIntegrationsfehler nur dann von der Ordnung O(h p ) ist, falls die Lösung

7.2 Anfangswertprobleme 159y(x) der Differentialgleichung mindestens p + 1 mal differenzierbar ist[ f ∈ F p (a, b)].7.2.12 Asymptotische Entwicklungen des globalenDiskretisierungsfehlers für lineare MehrschrittverfahrenWie in Abschnitt 7.2.3 kann man versuchen, auch für die Näherungslösungen,die von Mehrschrittverfahren geliefert werden, asymptotische Entwicklungennach der Schrittweite h zu finden. Dabei treten jedoch eineReihe von Schwierigkeiten auf.Zunächst hängt die Näherungslösung η(x; h) und damit auch ihre asymptotischeEntwicklung (falls sie existiert) von den benutzten Startwerten ab.Darüber hinaus muß es nicht unbedingt eine asymptotische Entwicklung derForm [vgl. (7.2.3.3)](7.2.12.1)η(x; h) =y(x) + h p e p (x) + h p+1 e p+1 (x) +···+ h N e N (x) + h N+1 E N+1 (x; h)für alle h = h n := (x − x 0 )/n geben mit von h unabhängigen Funktionene i (x) und einem Restglied E N+1 (x; h), das für jedes x in h beschränkt ist.Dies soll für ein einfaches lineares Mehrschrittverfahren, die Mittelpunktsregel(7.2.6.9), d. h.(7.2.12.2) η j+1 = η j−1 + 2hf(x j ,η j ), x j = x 0 + jh, j = 1, 2,...,gezeigt werden. Wir wollen mit dieser Methode das Anfangswertproblemy ′ =−y, x 0 = 0, y 0 = y(0) = 1,mit der exakten Lösung y(x) = e −x behandeln. Als Startwerte nehmen wirη 0 := 1, η 1 := 1 − h,[η 1 ist der durch das Eulersche Polygonzug-Verfahren (7.2.1.3.) gelieferteNäherungswert für y(x 1 ) = e −h ]. Ausgehend von diesen Startwerten istdann durch (7.2.12.2) die Folge {η j } und damit die Funktion η(x; h) für allex ∈ R h ={x j = jh| j = 0, 1, 2,...} definiert durchη(x; h) := η j = η x/h falls x = x j = jh.Nach (7.2.12.2) genügen die η j wegen f (x j ,η j ) =−η j der Differenzengleichungη j+1 + 2hη j − η j−1 = 0, j = 1, 2,... .Mit Hilfe von Satz (7.2.9.8) lassen sich die η j explizit angeben: DasPolynom

160 7 Gewöhnliche Differentialgleichungenbesitzt die Nullstellenµ 2 + 2hµ − 1λ 1 = λ 1 (h) =−h + √ 1 + h 2 = √ 1 + h 2 (1 −λ 2 = λ 2 (h) =−h − √ 1 + h 2 =− √ 1 + h 2 (1 +Damit gilt nach Satz (7.2.9.8))h√ ,1 + h2h√1 + h2(7.2.12.3) η j = c 1 λ j 1 + c 2λ j 2, j = 0, 1, 2,...,wobei die Konstanten c 1 , c 2 mit Hilfe der Startwerte η 0 = 1, η 1 = 1 − hbestimmt werden können. Man findetund daherη 0 = 1 = c 1 + c 2 ,η 1 = 1 − h = c 1 λ 1 + c 2 λ 2 ,c 1 = c 1 (h) = λ 2 − (1 − h)λ 2 − λ 1= 1 + √ 1 + h 22 √ 1 + h 2 ,c 2 = c 2 (h) = 1 − h − λ 1λ 2 − λ 1Somit ist für x ∈ R h , h ≠ 0,= h221√1 + h2 + 1 + h 2 .(7.2.12.4) η(x; h) := η x/h = c 1 (h)[λ 1 (h)] x/h + c 2 (h)[λ 2 (h)] x/h .Man überzeugt sich leicht, daß die Funktionϕ 1 (h) := c 1 (h)[λ 1 (h)] x/heine für |h| < 1 analytische Funktion von h ist. Ferner istϕ 1 (h) = ϕ 1 (−h),denn offensichtlich gilt c 1 (−h) = c 1 (h) sowie λ 1 (−h) = λ 1 (h) −1 . Derzweite Term in (7.2.12.4) zeigt ein komplizierteres Verhalten. Es istc 2 (h)[λ 2 (h)] x/h = (−1) x/h ϕ 2 (h)mit der für |h| < 1 analytischen Funktionϕ 2 (h) = c 2 (h)[λ 1 (−h)] x/h = c 2 (h)[λ 1 (h)] −x/h .Wie eben sieht man ϕ 2 (−h) = ϕ 2 (h). ϕ 1 und ϕ 2 besitzen daher für |h| < 1konvergente Potenzreihenentwicklungen der Form).

ϕ 1 (h) = u 0 (x) + u 1 (x)h 2 + u 2 (x)h 4 +···,ϕ 2 (h) = v 0 (x) + v 1 (x)h 2 + v 2 (x)h 4 +···7.2 Anfangswertprobleme 161mit gewissen analytischen Funktionen u j (x), v j (x). Aus den expliziten Formelnfür c i (h), λ i (h) findet man leicht die ersten Glieder dieser Reihen:u 0 (x) = e −x , u 1 (x) = e−x[−1 + 2x],4v 0 (x) = 0, v 1 (x) = ex4 .Damit besitzt η(x; h) für alle h = x/n, n = 1, 2, ..., eine Entwicklung derForm∞∑(7.2.12.5) η(x; h) = y(x) + h 2k[ u k (x) + (−1) x/h v k (x) ] .k=1Wegen des oszillierenden von h abhängigen Terms (−1) x/h ist dieskeine asymptotische Entwicklung der Form (7.2.12.1).Schränkt man die Wahl von h so ein, daß x/h stets gerade bzw. ungeradeist, erhält man echte asymptotische Entwicklungen einmal für alleh = x/(2n), n = 1, 2, ...,∞∑(7.2.12.6a) η(x; h) = y(x) + h 2k [u k (x) + v k (x)],bzw. für alle h = x/(2n − 1), n = 1, 2, ...,∞∑(7.2.12.6b) η(x; h) = y(x) + h 2k [u k (x) − v k (x)].Berechnet man den Startwert η 1 statt mit dem Eulerverfahren mit dem Verfahrenvon Runge-Kutta (7.2.1.14), erhält man als Startwerteη 0 := 1,k=1k=1η 1 := 1 − h + h22 − h36 + h424 .Für c 1 und c 2 bekommt man auf dieselbe Weise wie oben[1c 1 = c 1 (h) =2 √ 1 + √ ]1 + h 2 + h21 + h 2 2 − h36 + h4,24√1 + h2 − 1 − h22c 2 = c 2 (h) =+ h36 − h4242 √ .1 + h 2

162 7 Gewöhnliche DifferentialgleichungenDa c 1 (h) und c 2 (h) und damit η(x; h) keine geraden Funktionen von h sind,wird η(x; h) keine Entwicklung der Form (7.2.12.5) mehr besitzen, sondernnur noch eine Entwicklung der Artη(x; h) = y(x) +∞∑k=2h k [ũ k (x) + (−1) x/h ṽ k (x)] für h = x , n = 1, 2,....nDie Form der asymptotischen Entwicklung hängt also entscheidend von denbenutzten Startwerten ab.Allgemein wurde von Gragg (1965) folgender Satz gezeigt, den wir ohneBeweis angeben [s. Hairer und Lubich (1984) für einen kurzen Beweis]:(7.2.12.7) Satz: Es sei f ∈ F 2N+2 (a, b) und y(x) die exakte Lösung desAnfangswertproblemsy ′ = f (x, y), y(x 0 ) = y 0 , x 0 ∈ [a, b].Für x ∈ R h ={x 0 + ih|i = 0, 1, 2,...} sei η(x; h) definiert durch(7.2.12.8)η(x 0 ; h) := y 0 ,η(x 0 + h; h) := y 0 + hf(x 0 , y 0 ),η(x + h; h) := η(x − h; h) + 2hf(x,η(x; h)).Dann besitzt η(x; h) eine Entwicklung der Form(7.2.12.9)N∑η(x; h) = y(x) + h 2k[ u k (x) + (−1) (x−x0)/h v k (x) ]k=1+ h 2N+2 E 2N+2 (x; h),die für x ∈ [a, b] und alle h = (x−x 0 )/n, n = 1, 2, ..., gilt. Die Funktionenu k (x), v k (x) sind von h unabhängig. Das Restglied E 2N+2 (x; h) bleibt beifestem x für alle h = (x − x 0 )/n, n = 1, 2, ..., beschränkt.Es sei hier explizit darauf hingewiesen, daß Satz (7.2.12.7) auch fürSysteme von Differentialgleichungen (7.0.3) gilt: f , y 0 , η, y, u k , v k usw.sind dann als Vektoren zu verstehen.Der Fehler e(x; h) := η(x; h)− y(x) ist unter den Voraussetzungen vonSatz (7.2.12.7) in erster Näherung gleichh 2 [u 1 (x) + (−1) (x−x 0)/h v 1 (x)].Wegen des Terms (−1) (x−x 0)/h zeigt er ein oszillierendes Verhalten:e(x ± h; h) . = h 2 [u 1 (x) − (−1) (x−x 0)/h v 1 (x)].

7.2 Anfangswertprobleme 163Man sagt aus diesem Grunde, daß die Mittelpunktsregel „schwach instabil“sei. Den führenden Oszillationsterm (−1) (x−x 0)/h v 1 (x) kann man mit Hilfeeines Tricks beseitigen. Man setzt [Gragg (1965)]:(7.2.12.10) S(x; h) := 1 [η(x; h) + η(x − h; h) + hf(x,η(x; h))],2wobei η(x, h) durch (7.2.12.8) definiert ist. Wegen (7.2.12.8) ist nunAlso gilt auchη(x + h; h) = η(x − h; h) + 2hf(x,η(x; h)).(7.2.12.11) S(x; h) = 1 [η(x; h) + η(x + h; h) − hf(x,η(x; h))].2Addition von (7.2.12.10) und (7.2.12.11) ergibt(7.2.12.12) S(x; h) = 1 [2 η(x; h) +12 η(x − h; h) + 1 2 η(x + h; h)] .Wegen (7.2.12.9) erhält man so für S eine Entwicklung der Form{ [ ]S(x; h) = 1 y(x) + 1 22 y(x + h) + y(x − h)+N∑h 2k[ u k (x) + 1 2 (u k(x + h) + u k (x − h))k=1+ (−1) (x−x 0)/h (v k (x) − 1 2 (v k(x + h) + v k (x − h))) ]}+ O(h 2N+2 ).Entwickelt man y(x ± h) und die Koeffizientenfunktionen u k (x ± h),v k (x ± h) in Taylorreihen nach h, findet man schließlich für S(x; h) eineEntwicklung der Form(7.2.12.13)S(x; h) =y(x) + h 2[ u 1 (x) + 1 4 y′′ (x) ]+N∑h 2k[ ũ k (x) + (−1) (x−x 0)/hṽk (x) ] + O(h 2N+2 ),k=2in der der führende Fehlerterm kein Oszillationsglied mehr enthält.7.2.13 Mehrschrittverfahren in der PraxisDas nicht voraussagbare Verhalten der Lösungen von Differentialgleichungenerzwingt i. allg. bei der numerischen Integration die Änderung vonSchrittweiten, wenn man eine vorgegebene Genauigkeitsschranke einhaltenwill (Schrittweitensteuerung). Mehrschrittverfahren, die mit äquidistanten

164 7 Gewöhnliche DifferentialgleichungenStützstellen x i und einer festen Ordnung arbeiten, sind deshalb für die Praxiswenig geeignet. Jede Änderung der Schrittweite verlangt eine Neuberechnungvon Startdaten, vgl. (7.2.6), bzw. impliziert einen kompliziertenInterpolationsprozeß, was die Leistungsfähigkeit dieser Integrationsmethodenstark herabsetzt.Bei wirklich brauchbaren Mehrschrittverfahren muß man deshalb aufdie Äquidistanz der Stützstellen x i verzichten und angeben, wie man dieSchrittweiten effizient ändern kann. Die Konstruktion solcher Methoden seiim folgenden skizziert. Wir knüpfen dazu an die Gleichung (7.2.6.2) an, diedurch formale Integration von y ′ = f (x, y) erhalten wurde:y(x p+k ) − y(x p− j ) =∫ xp+kx p− jf (t, y(t))dt.Wie in (7.2.6.3) ersetzen wir den Integranden durch ein interpolierendesPolynom Q q vom Grad q, verwenden aber hier die Newtonsche Interpolationsformel(2.1.3.4), die für die Schrittweitensteuerung einige Vorteilebietet. Man erhält zunächst mit dem interpolierenden Polynom eineNäherungsformelη p+k − η p− j =∫ xp+kx p− jund daraus die Rekursionsvorschriftq∑η p+k − η p− j = f [x p ,...,x p−i ]miti=0Q q (x)dx∫ xp+kx p− j¯Q i (x)dx¯Q i (x) = (x − x p ) ···(x − x p−i+1 ), ¯Q 0 (x) ≡ 1.Im Fall k = 1, j = 0, q = 0, 1, 2, ...erhält man eine „explizite“ Formel(Prädiktor)q∑(7.2.13.1) η p+1 = η p + g i f [x p ,...,x p−i ],wog i :=∫ xp+1x pi=0¯Q i (x)dx.Für k = 0, j = 1, q = 0, 1, 2, ..., und mit p + 1 statt p erhält man eine„implizite“ Formel (Korrektor)q∑(7.2.13.2) η p+1 = η p + gi ∗ f [x p+1 ,...,x p−i+1 ]i=0

mitg ∗ i :=∫ xp+17.2 Anfangswertprobleme 165x p(x − x p+1 ) ···(x − x p+2−i )dx für i > 0,∫ xp+1g0 ∗ := dx.x pDer Näherungswert η p+1 =: η (0)p+1aus der Prädiktorformel läßt sich nachAbschnitt 7.2.6 als „Startwert“ für die iterative Lösung der Korrektorformelverwenden. Wir führen aber nur einen Iterationsschritt aus und bezeichnenden erhaltenen Näherungswert mit η (1)p+1 .Aus der Differenz der beiden Näherungswerte lassen sich wieder Aussagenüber den Fehler und damit die Schrittweite gewinnen. Subtraktion derPrädiktorformel von der Korrektorformel liefertQ q(1)∫ xp+1η (1)p+1 − η(0) p+1 =(Q q(1)x p(x) − Q(0) (x))dx.(x) ist das interpolierende Polynom der Korrektorformel (7.2.13.2) zuden StützstellenmitQ q(0)(x p+1 , f (1)p+1 ), (x p, f p ),..., (x p−q+1 , f p−q+1 )f (1)p+1 = f (x p+1,η (0)p+1 ).(x) ist das interpolierende Polynom der Prädiktorformel zu den Stützstellen(x p , f p ), ..., (x p−q , f p−q ). Setzt man f (0)p+1:= Q(0) q (x p+1), dann ist(x) auch durch die StützstellenQ q(0)(x p+1 , f (0)p+1 ), (x p, f p ), ..., (x p−q+1 , f p−q+1 )eindeutig definiert. Das Differenzpolynom Q q(1) (x) − Q(0) q (x) verschwindetalso an den Stellen x p−q+1 , ..., x p und besitzt für x p+1 den WertAlso istf (1)p+1 − f (0)p+1 .q(7.2.13.3) η (1)p+1 − η(0) p+1 = C q · ( f (1)p+1 − f (0)p+1 ).Sei nun y(x) die exakte Lösung der Differentialgleichung y ′ = f (x, y)zum Anfangswert y(x p ) = η p . Wir setzen voraus, daß die zurückliegendenNäherungswerte η p−i = y(x p−i ), i = 0, 1, ..., q exakt sind, und machennoch die zusätzliche Annahme, daß f (x, y(x)) durch das Polynom Q (1)q+1exakt dargestellt wird, das zu den Stützpunkten

166 7 Gewöhnliche Differentialgleichungengehört. Es ist dannFür den Fehlerergibt sichE q = η p +=∫ xp+1(x p+1 , f (1)p+1 ), (x p, f p ), ..., (x p−q , f p−q )∫ xp+1∫ xp+1y(x p+1 ) = η p += η p +x p∫ xp+1x pQ (1)q+1E q := y(x p+1 ) − η (1)p+1x pQ (1)q+1 (x)dx − η p −x p(Q (1)q+1f (y, y(x)) dx∫ xp+1(x) dx.Q q(1)x p∫ xp+1(x) − Q(0) (x))dx −qdx(Q q(1)x p(x) − Q(0) (x))dx.Im ersten Term stimmt Q q(0) (x) mit dem Polynom Q(0)q+1(x) überein, das zuden Interpolationsstellen(x p+1 , f (0)p+1 ), (x p, f p ), ..., (x p−q , f p−q )gehört. Analog zu (7.2.13.3) ist dann geradeE q = C q+1 ( f (1)p+1 − f (0)p+1 ) − C q( f (1)p+1 − f (0)p+1 )= (C q+1 − C q )( f (1)p+1 − f (0)p+1 ).Sind nun die Stützpunkte x p+1 , x p , ..., x p−q äquidistant und ist h := x j+1 −x j , so gilt für den FehlerE q = y(x p+1 ) − η (1)p+1 = O(hq+2 ) . = Ch q+2 .Die weiteren Überlegungen gestalten sich nun nach früherem Muster (vgl.Abschnitt 7.2.5).Sei ε eine vorgegebene Toleranzschranke. Der „alte“ Schritt h alt wirdals „erfolgreich“ akzeptiert, falls|E q |=|C q+1 − C q |·|f (1)p+1 − f (0)p+1 | =|C . · h q+2 |≤ε.Der neue Schritt h neu wird als „erfolgreich“ angesehen, falls|C · h q+2neu |≤ε.gemacht werden kann. Elimination von C liefert wiederaltq

7.2 Anfangswertprobleme 167h neu( ) 1. εq+2= halt|E q |Diese Strategie läßt sich noch verbinden mit einer Änderung von q(Änderung der Ordnung des Verfahrens). Man ermittelt die drei Größen( ) 1 ( ) 1 ( ) 1εq+1 εq+2 εq+3, ,|E q−1 | |E q | |E q+1 |und bestimmt das maximale Element. Wenn der erste Term maximal ist,wird q um 1 verringert; ist der zweite maximal, wird q beibehalten, und istder dritte maximal, wird q um 1 erhöht.Entscheidend ist, daß sich die Größen E q−1 , E q , E q+1 aus dem Schemader dividierten Differenzen rekursiv berechnen lassen. Man kann zeigenE q−1 = g q−1,2 f (1) [x p+1 , x p ,...,x p−q+1 ],E q = g q,2 f (1) [x p+1 , x p ,...,x p−q ],E q+1 = g q+1,2 f (1) [x p+1 , x p ,...,x p−q−1 ],wobei die Größen f (1) [x p+1 , x p ,...,x p−i ] die dividierten Differenzen fürdie Stützpunkte (x p+1 , f (1)p+1 ), (x p, f p ), ..., (x p−i , f p−i ) und die Größen g ijdurchg ij =∫ xp+1x p¯Q i (x)(x − x p+1 ) j−1 dx, i, j ≥ 1,definiert sind. Die g ij genügen der Rekursiong ij = (x p+1 − x p+1−i )g i−1, j + g i−1, j+1für j = 1, 2, ..., q + 2 − i, i = 2, 3, ..., q, mit den Startwerteng 1 j = (−(x p+1 − x p )) j+1, j = 1,...,q + 1.j( j + 1)Das so besprochene Verfahren ist „selbststartend“: Man beginnt mit q = 0,erhöht im nächsten Schritt auf q = 1 u.s.w. Die für Mehrschrittverfahrenmit äquidistanten Schrittweiten und festem q notwendige „Anlaufrechnung“(vgl. 7.2.6) entfällt.Für ein eingehendes Studium muß auf die Spezialliteratur verwiesenwerden, etwa Hairer, Nørsett and Wanner (1993), Shampine and Gordon(1975), Gear (1971) und Krogh (1974).

168 7 Gewöhnliche Differentialgleichungen7.2.14 Extrapolationsverfahren zur Lösung des AnfangswertproblemsWie in Abschnitt 3.5 ausgeführt, legen asymptotische Entwicklungen dieAnwendung von Extrapolationsverfahren nahe. Besonders effektive Extrapolationsverfahrenerhält man für Diskretisierungsverfahren mit asymptotischenEntwicklungen, in denen nur gerade h-Potenzen auftreten. Man beachte,daß das für die Mittelpunktsregel bzw. für die modifizierte Mittelpunktsregelder Fall ist [s. (7.2.12.8), (7.2.12.9) bzw. (7.2.12.10),(7.2.12.13)].In der Praxis verwendet man insbesondere die Graggsche FunktionS(x; h) (7.2.12.10), deren Definition wegen ihrer Wichtigkeit wiederholtsei:Gegeben sei das Tripel ( f, x 0 , y 0 ), eine reelle Zahl H und eine natürlicheZahl n > 0. Man definiere ¯x := x 0 + H, h := H/n. Zu dem Anfangswertproblemy ′ = f (x, y), y(x 0 ) = y 0 ,mit der exakten Lösung y(x) wird der Näherungswert S(¯x; h) für y(¯x) auffolgende Weise berechnet:(7.2.14.1)η 0 : = y 0 ,η 1 : = η 0 + hf(x 0 ,η 0 ), x 1 := x 0 + h,für j = 1, 2, ..., n − 1:η j+1 : = η j−1 + 2hf(x j ,η j ), x j+1 := x j + h,S(¯x; h) : = 1 2 [η n + η n−1 + hf(x n ,η n )].Bei Extrapolationsverfahren zur Approximation von y(¯x) wählt man dann(s. 3.4, 3.5) eine FolgeF ={n 0 , n 1 , n 2 ,...}, 0 < n 0 < n 1 < n 2 < ···,von natürlichen Zahlen und berechnet für h i := H/n i die Werte S(¯x; h i ),i = 0, 1, ... . Wegen des Oszilliationsterms (−1) (x−x 0)/h in (7.2.12.13)darf F jedoch nur gerade oder nur ungerade Zahlen enthalten. Gewöhnlichnimmt man die Folge(7.2.14.2) F ={2, 4, 6, 8, 12, 16,...}, n i := 2 n i−2 für i ≥ 3.Wie in Abschnitt 3.5 berechnet man dann ausgehend von den S(¯x; h i )in der nullten Spalte mit Hilfe von Interpolationsformeln ein Tableau vonweiteren Werten T ik , und zwar Schrägzeile für Schrägzeile:

7.2 Anfangswertprobleme 169h 0 S(¯x; h 0 ) = T 00T 11h 1 S(¯x; h 1 ) = T 10 T 22ց(7.2.14.3)T 21 T 33h 2ց րS(¯x; h 2 ) = T 20 T 32ց րT 31 .. ..h 3րS(¯x; h 3 ) = T 30. ..Dabei ist..T ik := ˜T ik (0)gerade der Wert des interpolierenden Polynoms (besser nimmt man rationaleFunktionen) k-ten Grades in h 2 ,˜T ik (h) = a 0 + a 1 h 2 + ...+ a k h 2k ,mit ˜T ik (h j ) = S(¯x; h j ) für j = i, i −1, ..., i −k. Wie in 3.5 gezeigt wurde,konvergiert jede Spalte von (7.2.14.3) gegen y(¯x)limi→∞ T ik = y(¯x) für k = 0, 1,... .Insbesondere konvergieren bei festem k die T ik für i →∞wie ein Verfahren(2k + 2)-ter Ordnung gegen y(¯x). In erster Näherung gilt wegen(7.2.12.13) [s. (3.5.9)]T ik − y(¯x) . = (−1) k h 2 i h2 i−1 ···h2 i−k [ũ k+1(¯x) +ṽ k+1 (¯x)].Weiter kann man wie in 3.5 mit Hilfe des Monotonieverhaltens der T ikasymptotische Abschätzungen für den Fehler T ik − y(¯x) gewinnen.Hat man ein hinreichend genaues T ik =: ȳ gefunden, wird ȳ alsNäherungswert für y(¯x) akzeptiert. Anschließend kann man auf dieselbeWeise y(¯x) an einer weiteren Stelle ¯x =¯x + ¯H näherungsweise berechnen,indem man x 0 , y 0 , H durch ¯x, ȳ, ¯H ersetzt und das neue Anfangswertproblemwie eben löst.Es sei ausdrücklich darauf hingewiesen, daß das Extrapolationsverfahrenauch zur Lösung eines Anfangswertproblems (7.0.3), (7.0.4) für Systemevon n gewöhnlichen Differentialgleichungen anwendbar ist. In diesem Fallsind f (x, y) und y(x) Vektoren von Funktionen, y 0 , η i und schließlich

170 7 Gewöhnliche DifferentialgleichungenS(¯x; h) (7.2.14.1) sind Vektoren des R n . Die asymptotischen Entwicklungen(7.2.12.9) und (7.2.12.13) sind nach wie vor richtig und bedeuten, daßjede Komponente von S(¯x; h) ∈ R n eine asymptotische Entwicklung derangegebenen Form besitzt. Die Elemente T ik von (7.2.14.3) sind ebenfallsVektoren aus dem R n , die wie eben komponentenweise aus den entsprechendenKomponenten von S(¯x; h i ) berechnet werden.Bei der praktischen Realisierung des Verfahrens tritt das Problem auf,wie man die Grundschrittweite H wählen soll. Wählt man H zu groß,muß man ein sehr großes Tableau (7.2.14.3) konstruieren, bevor man eingenügend genaues T ik findet: i ist eine große Zahl und um T ik zu bestimmen,hat man S(¯x; h j ) für j = 0, 1, ..., i zu berechnen, wobei die Berechnungvon S(¯x; h j ) allein n j +1 Auswertungen der rechten Seite f (x, y) der Differentialgleichungerfordert. So wachsen bei der Folge F (7.2.14.2) die Zahlens i := ∑ ij=0 (n j + 1) und damit der Rechenaufwand für ein Tableau mit i + 1Schrägzeilen mit i rasch an: es gilt s i+1 ≈ 1.4s i .Wenn die Schrittweite H zu klein ist, werden unnötig kleine und damitzu viele Integrationsschritte (x 0 , y(x 0 )) → (x 0 + H, y(x 0 + H)) gemacht.Es ist deshalb für die Effizienz des Verfahrens sehr wichtig, daßman ähnlich wie in 7.2.5 einen Mechanismus für die Schätzung einervernünftigen Schrittweite H in das Verfahren einbaut. Dieser Mechanismusmuß zweierlei leisten:a) Er muß sicherstellen, daß eine zu große Schrittweite H reduziert wird,bevor ein unnötig großes Tableau konstruiert wird.b) Er sollte dem Benutzer des Verfahrens (des Programms) für dennächsten Integrationsschritt eine brauchbare Schrittweite ¯H vorschlagen.Wir wollen auf solche Mechanismen nicht weiter eingehen und es mitder Bemerkung bewenden lassen, daß man im Prinzip ebenso wie in Abschnitt7.2.5 vorgehen kann.Ein ALGOL-Programm für die Lösung von Anfangswertproblemen mittelsExtrapolationsverfahren findet man in Bulirsch und Stoer (1966).7.2.15 Vergleich der Verfahren zur Lösungvon AnfangswertproblemenDie beschriebenen Verfahren zerfallen in drei Klassen,a) Einschrittverfahren,b) Mehrschrittverfahren,c) Extrapolationsverfahren.Alle Verfahren gestatten eine Änderung der Schrittweite h in jedem Integrationsschritt,eine Anpassung der jeweiligen Schrittweite stößt bei ihnen

7.2 Anfangswertprobleme 171auf keine grundsätzlichen Schwierigkeiten. Die modernen Mehrschrittverfahrenund auch die Extrapolationsverfahren arbeiten darüber hinaus nichtmit festen Ordnungen. Bei Extrapolationsverfahren kann die Ordnung beispielsweisemühelos durch Anhängen weiterer Spalten an das Tableau derextrapolierten Werte erhöht werden. Einschrittverfahren vom Runge-Kutta-Fehlberg-Typ sind von der Konstruktion her an eine feste Ordnung gebunden,doch lassen sich mit entsprechend komplizierten Ansätzen auch Verfahrenmit variabler Ordnung konstruieren. Untersuchungen darüber sind imGange.Um die Vor- bzw. Nachteile der verschiedenen Integrationsmethodenherauszufinden, wurden mit größter Sorgfalt Rechenprogramme für die obenerwähnten Verfahren erstellt und umfangreiche numerische Experimente miteiner Vielzahl von Differentialgleichungen durchgeführt.Das Ergebnis kann etwa so beschrieben werden: Den geringsten Rechenaufwandgemessen in der Anzahl der Auswertungen der rechten Seite einerDifferentialgleichung erfordern die Mehrschrittverfahren. Pro Schritt mußbei einem Prädiktor-Verfahren die rechte Seite der Differentialgleichungennur einmal zusätzlich ausgewertet werden, bei einem Korrektor-Verfahrenist diese Zahl gleich der (im allgemeinen geringen) Zahl der Iterationen.Der Aufwand, den die Schrittweitensteuerung bei Mehrschrittverfahren verursacht,gleicht diesen Vorteil aber wieder weitgehend aus. Mehrschrittverfahrenhaben den höchsten Aufwand an Unkosten-Zeit (overhead-time).Vorteile sind insbesondere dann gegeben, wenn die rechte Seite der Differentialgleichungsehr kompliziert gebaut ist und deshalb jede ihrer Auswertungensehr teuer ist. Im Gegensatz dazu haben Extrapolationsverfahrenden geringsten Aufwand an Unkosten-Zeit, dagegen reagieren sie manchmalnicht so „feinfühlig“ auf Änderungen der vorgegebenen Genauigkeitsschrankeε wie Einschrittverfahren oder Mehrschrittverfahren: häufig werdenviel genauere Ergebnisse als gewünscht geliefert. Die Zuverlässigkeitder Extrapolationsverfahren ist sehr groß, bei geringeren Genauigkeitsanforderungenarbeiten sie aber nicht sehr wirtschaftlich, sie sind dann zuteuer.Bei geringen Genauigkeitsanforderungen sind Runge-Kutta-Fehlberg-Verfahren (RKF-Verfahren) niedriger Ordnungen p vorzuziehen. RKF-Verfahren gewisser Ordnungen reagieren auf Unstetigkeiten der rechtenSeite der Differentialgleichung manchmal weniger empfindlich als Mehrschritt-oder Extrapolations-Verfahren. Zwar wird, wenn keine besonderenVorkehrungen getroffen werden, bei RKF-Verfahren die Genauigkeit aneiner Unstetigkeitsstelle zunächst drastisch reduziert, danach aber arbeitendiese Verfahren wieder störungsfrei weiter. Bei gewissen prakischen Problemenkann das vorteilhaft sein.

172 7 Gewöhnliche DifferentialgleichungenKeine der Methoden weist solche Vorteile auf, daß sie allen anderenvorgezogen werden könnte (vorausgesetzt, daß alle Methoden sorgfältig programmiertwurden). Welches Verfahren für ein bestimmtes Problem herangezogenwerden soll, hängt von vielen Dingen ab, die hier nicht im einzelnenerläutert werden können, dazu muß auf die Originalarbeiten verwiesen werden,siehe z.B. Clark (1968), Crane und Fox (1969), Hull et al. (1972),Shampine et al. (1976), Diekhoff et al. (1977).7.2.16 Steife DifferentialgleichungenDer Zerfall von Ozon in den höheren Luftschichten unter der Einwirkungder Sonnenstrahlung wird in der chemischen Reaktionskinetik beschriebendurchk 1O 3 + O 2 ⇀ ↽ O + 2O 2 ; O 3 + O k 3→ 2O 2 .k2Die kinetische Parameter k j , j = 1, 2, 3, sind dabei aus Messungen bekannt– oder werden durch Lösung eines „inversen Problems“ aus gemessenenZerfallskurven der Substanzen bestimmt. Bezeichnen y 1 = [O 3 ], y 2 = [O],y 3 = [O 2 ] die Konzentrationen der miteinander reagierenden Gase, so wirddiese Reaktion, sehr vereinfacht, durch die Lösungen des Differentialgleichungssystemsẏ 1 (t) =−k 1 y 1 y 3 + k 2 y 2 y3 2 − k 3y 1 y 2 ,ẏ 2 (t) = k 1 y 1 y 3 − k 2 y 2 y3 2 − k 3y 1 y 2 ,ẏ 3 (t) =−k 1 y 1 y 3 + k 2 y 2 y3 2 + k 3y 1 y 2beschrieben [vgl. Willoughby (1974)].Nimmt man die Konzentration von molekularem Sauerstoff [O 2 ] alskonstant, ẏ 3 ≡ 0, und die Anfangskonzentration des Radikals O als Nullan, y 2 (0) = 0, so erhält man bei entsprechender Skalierung der k j dasAnfangswertproblemẏ 1 =−y 1 − y 1 y2 2 + 294y 2,ẏ 2 = (y 1 − y 1 y 2 )/98 − 3y 2 ,y 1 (0) = 1,y 2 (0) = 0,t ≥ 0.Typisch für Probleme der chemischen Reaktionskinetik sind die stark unterschiedlichenZeitordnungen, in denen die Reaktionen ablaufen. Das äußertsich in den unterschiedlichen Größenordnungen der Koeffizienten im Differentialgleichungssystem.Eine Linearisierung ergibt daher einen weitenBereich der Eigenwerte [s. Gerschgorin-Kreissatz (6.9.4))]. Man muß also

7.2 Anfangswertprobleme 173Lösungen erwarten, die durch „Grenzschichten“ und „asymptotische Phasen“gekennzeichnet sind. Solche Systeme bereiten bei der numerischenIntegration große Schwierigkeiten.Ein Beispiel [vgl. dazu Grigorieff (1972, 1977)] möge das erläutern.Gegeben sei das System (mit der unabhängigen Variablen x)y ′ 1 (x) = λ 1 + λ 22y 1 + λ 1 − λ 2y 2 ,2(7.2.16.1)y 2 ′ (x) = λ 1 − λ 2y 1 + λ 1 + λ 2y 2 ,2 2mit negativen Konstanten λ i < 0, i = 1, 2. Seine allgemeine Lösung ist(7.2.16.2)y 1 (x) = C 1 e λ 1x + C 2 e λ 2x ,y 2 (x) = C 1 e λ 1x − C 2 e λ 2x ,mit Integrationskonstanten C 1 , C 2 .Integriert man (7.2.16.1) mit dem Euler-Verfahren [s. (7.2.1.3)], so lassensich die numerischen Näherungen geschlossen darstellen,(7.2.16.3)η 1i = C 1 (1 + hλ 1 ) i + C 2 (1 + hλ 2 ) i ,η 2i = C 1 (1 + hλ 1 ) i − C 2 (1 + hλ 2 ) i .Offensichtlich konvergieren die Näherungen für i →∞nur dann gegen 0,falls die Schrittweite h so klein gewählt wird, daß(7.2.16.4) |1 + hλ 1 | < 1 und |1 + hλ 2 | < 1.Es sei nun |λ 2 | groß gegen |λ 1 |. Wegen λ 2 < 0 ist dann in (7.2.16.2) derEinfluß der Komponente e λ 2x gegenüber e λ 1x vernachlässigbar klein. Leidergilt das nicht für die numerische Integration. Wegen (7.2.16.4) muß nämlichdie Schrittweite h > 0 so klein gewählt werden, daßh < 2|λ 2 | .Für den Fall λ 1 =−1, λ 2 =−1000 ist h ≤ 0.002. Obwohl also e −1000xzur Lösung praktisch nichts beiträgt, bestimmt der Faktor 1000 im Exponentendie Schrittweite. Dieses Verhalten bei der numerischen Integrationbezeichnet man als steif (stiff equations).Ein solches Verhalten ist allgemein zu erwarten,wenn für eine Differentialgleichungy ′ = f (x, y) die Matrix f y (x, y) Eigenwerte λ mit Reλ ≪ 0besitzt.Das Euler-Verfahren (7.2.1.3) ist für die numerische Integration solcherSysteme kaum geeignet; gleiches gilt für die RKF-Verfahren, Mehrschrittverfahrenund Extrapolationsverfahren, die bisher behandelt wurden.

174 7 Gewöhnliche DifferentialgleichungenGeeignete Methoden zur Integration steifer Differentialgleichungen leitensich aus den sogenannten impliziten Verfahren ab. Als Beispiel dienedas implizite Eulerverfahren .(7.2.16.5) η i+1 = η i + hf(x i+1 ,η i+1 ), i = 0, 1,... .Die neue Näherung η i+1 läßt sich nur iterativ bestimmen. Der numerischeAufwand wächst also beträchtlich.Man findet häufig, daß bei konstanter Schrittweite h > 0 viele Verfahrenangewandt auf das lineare Differentialgleichungssystem(7.2.16.6) y ′ = Ay, y(0) = y 0 ,A eine n × n-Matrix, eine Folge von Näherungsvektoren η i für die Lösungy(x i ) liefern, die einer Rekursionsformel(7.2.16.7) η i+1 = g(hA)η igenügen. Die Funktion g(z) hängt nur von dem betreffenden Verfahren abund heißt Stabilitätsfunktion. Sie ist gewöhnlich eine rationale Funktion, indie man eine Matrix als Argument einsetzen darf.Beispiel: Für das explizite Euler-Verfahren (7.2.1.3) findet manη i+1 = η i + hAη i = (I + hA)η i , also g(z) = 1 + z,für das implizite Euler-Verfahren (7.2.16.5):η i+1 = η i + hAη i+1 , η i+1 = (I − hA) −1 η i , also g(z) = 1/(1 − z).Nimmt man an, daß in (7.2.16.6) die Matrix A nur Eigenwerte λ j mitRe λ j < 0 besitzt [vgl. (7.2.16.1)], so konvergiert die Lösung y(x) von(7.2.16.6) für x →∞ gegen 0, während wegen (7.2.16.7) die diskreteLösung {η i } für i →∞nur für solche Schrittweiten h > 0 gegen 0 konvergiert,für die |g(hλ j )| < 1für alle Eigenwerte λ j von A gilt.Weil das Vorkommen von Eigenwerten λ j mit Re λ j ≪ 0 nicht notwendigdie Verwendung kleiner Schrittweiten h > 0 erzwingt, ist deshalb einVerfahren für die Integration steifer Differentialgleichungen geeignet, wennes absolut stabil in folgendem Sinne ist:(7.2.16.8) Def.: Ein Verfahren (7.2.16.7) heißt absolut stabil (A-stabil), falls|g(z)| < 1 für alle Re z < 0 gilt.Eine genauere Beschreibung des Verhaltens einer Methode (7.2.16.7)liefert ihr absolutes Stabilitätsgebiet, unter dem man die Menge(7.2.16.9) M ={z ∈ C ∣ ∣ |g(z)| < 1}

7.2 Anfangswertprobleme 175versteht: Ein Verfahren ist umso geeigneter für die Integration steifer Differentialgleichungen,je größer der Durchschnitt M ∩ C − von M mit derlinken Halbebene C − ={z | Re z < 0} ist; es ist absolut stabil, falls Msogar C − enthält.Beispiel: Das absolute Stabilitätsgebiet des expliziten Euler-Verfahrens ist{z ∣ |1 + z| < 1},das des impliziten Euler-Verfahrens{z ∣ |1 − z| > 1}.Das implizite Euler-Verfahren ist also absolut stabil, das explizite nicht.Unter Berücksichtigung der A-Stabilität lassen sich analog zu den Ausführungenin den vorherigen Kapiteln (7.2.14), (7.2.1) und (7.2.11) Extrapolationsverfahren,Einschrittverfahren und Mehrschrittverfahren entwickeln.Alle Methoden sind implizit oder semi-implizit, da nur diese Methodeneine rationale Stabilitätsfunktion besitzen. Die früher hergeleiteten explizitenVerfahren führen auf polynominale Stabilitätsfunktionen, die nicht A-stabilsein können. Das implizite Element aller steifen Differentialgleichungslöserbesteht in der einfachen (semi-implizit) oder mehrfachen Lösung linearerGleichungssysteme (resultierend aus Iterationsverfahren vom Newton Typ).Die Matrix E dieser linearen Gleichungssysteme enthält dabei im wesentlichendie Jacobimatrix f y = f y (x, y); i. allg. wählt man E = I − hγ f y miteiner Konstanten γ .ExtrapolationsverfahrenWir wollen eine Extrapolationsmethode zur Lösung steifer Systeme derForm* y ′ = f (y) herleiten. Dazu spaltet man zunächst den steifen Teilder Lösung y(t) in der Nähe von t = x ab, indem man die modifizierteFunktion c(t) := e −A(t−x) y(t) mit A := f y (y(x)) einführt. Für sie giltc ′ (x) = ¯ f (y(x)),mit ¯ f (y) := f (y) − Ay,so daß das Eulerverfahren (7.2.1.3) bzw. die Mittelpunktsregel (7.2.6.9) dieNäherungenc(x + h) ≈ y(x) + h f ¯(y(x)),c(x + h) ≈ c(x − h) + 2h f ¯(y(x))* Jede Differentialgleichung kann auf]diese autonome Form reduziert werden:ỹ ′ = f ˜˜ ′ [ ](˜x, ỹ) ist äquivalent zu = .[ỹ˜xf (˜x,ỹ)1

176 7 Gewöhnliche Differentialgleichungenliefert. Mit Hilfe von c(x ± h) = e ∓Ah y(x ± h) ≈ (I ∓ Ah)y(x ± h) erhältman eine semi-implizite Mittelpunktsregel [vgl. (7.2.12.8)],η(x 0 ; h) := y 0 , A := f y (y 0 ),η(x 0 + h; h) := (I − hA) −1 [y 0 + h f ¯(y 0 )],η(x + h; h) := (I − hA) −1[ (I + hA)η(x − h; h) + 2h f ¯(η(x; h)) ]für die Berechnung einer Näherungslösung η(x; h) ≈ y(x) des Anfangswertproblemsy ′ = f (y), y(x 0 ) = y 0 . Diese Methode wurde von Bader undDeuflhard (1983) als Basis von Extrapolationsverfahren genommen, die mitgroßem Erfolg zur Lösung von reaktionskinetischen Problemen der Chemieverwendet wurden.EinschrittverfahrenIn Anlehnung an Runge-Kutta-Fehlberg-Methoden [s. (7.2.5.7) ff.] habenKaps und Rentrop (1979) für autonome Systeme [s. letzte Fußnote]y ′ = f (y) Verfahren zur Integration von steifen Differentialgleichungenkonstruiert, die sich durch einfachen Aufbau, Effizienz und eine robusteSchrittweitensteuerung auszeichnen. Numerisch getestet wurden sie bis zuden extremen Werten∣ λ max ∣∣∣∣ = 10 7 (bei 12-stelliger Rechnung).λ minAnalog zu (7.2.5.7) hat man(7.2.16.10)mit(7.2.16.11)undwobei für die f ∗k:= f ∗kȳ i+1 =ȳ i + h Φ I (ȳ i ; h),ŷ i+1 =ȳ i + h Φ II (ȳ i ; h),|∆(x, y(x)); h) − Φ I (y(x); h)|≤N I h 3 ,|∆(x, y(x)); h) − Φ II (y(x); h)|≤N II h 4 ,Φ I (y; h) =Φ II (y; h) =3∑k=14∑k=1c k fk ∗ (y; h),ĉ k fk ∗ (y; h),(y; h), k = 1, 2, 3, 4, gilt(7.2.16.12) fk (y ∗ = f ∑k−1)+ h β kl fl∗ + hf ′ (y)l=1k∑l=1γ kl f ∗l .

7.2 Anfangswertprobleme 177Bei gegebenen Konstanten müssen die fk∗ aus diesen Systemen iterativ bestimmtwerden. Die Konstanten genügen Gleichungen, die ähnlich wie in(7.2.5.9) ff. gebaut sind. Kaps und Rentrop geben folgende Werte an:γ kk = 0.220428410 für k = 1, 2, 3, 4,γ 21 = 0.822867461,γ 31 = 0.695700194, γ 32 = 0,γ 41 = 3.90481342, γ 42 = 0, γ 43 = 1,β 21 =−0.554591416,β 31 = 0.252787696, β 32 = 1,β 41 = β 31 , β 42 = β 32 , β 43 = 0,c 1 =−0.162871035, c 2 = 1.18215360,c 3 =−0.192825995 10 − 1,ĉ 1 = 0.545211088, ĉ 2 = 0.301486480,ĉ 3 = 0.177064668, ĉ 4 =−0.237622363 10 − 1.Die Schrittweitensteuerung erfolgt nach (7.2.5.14)√ε|h|h neu = 0.9h 3 |ŷ i+1 −ȳ i+1 | .MehrschrittverfahrenDahlquist (1963) hat bewiesen, daß es keine A-stabilen r-Schrittverfahrender Ordnung r > 2 gibt und daß die implizite Trapezregelη n+1 = η n + h 2 ( f (x n,η n ) + f (x n+1 ,η n+1 )), n > 0,wobei η 1 durch das implizite Eulerverfahren (7.2.16.5) gegeben wird, dasA-stabile Mehrschrittverfahren der Ordnung 2 mit dem (betragskleinsten)Fehlerkoeffizienten c =− 1 12 ist.Gear (1971) zeigte, daß auch die sog. BDF-Verfahren bis zur Ordnungr = 6 gute Stabilitätseigenschaften besitzen: Ihre Stabilitätsgebiete(7.2.16.9) enthalten streifenförmige Teilmengen von C − ={z | Re z < 0}deren Form in Fig. 5 skizziert ist.Diese Verfahren gehören zu der speziellen Wahl [siehe (7.2.11.3)]χ(µ) = b r µ rund können mit Hilfe von Rückwärtsdifferenzen (backward differences) dargestelltwerden, was den Namen der Verfahren erklärt [s. Gear (1971)]. DieKoeffizienten der Standarddarstellung

178 7 Gewöhnliche DifferentialgleichungenÁÑ´Þµºº ºººººººººººº«ºººººº×ØÐ ÅÒº¹ººººººººÊ´ÞµººººFig. 5. Zur Stabilität der BDF-Verfahrenr α r c r b r a 0 a 1 a 2 a 3 a 4 a 51 90 o 0 1 −12 90 o 03 88 o 0.14 73 o 0.75 51 o 2.46 18 o 6.123611122513− 21132560137 − 1213760147− 4 3911− 162510147 − 72147− 1811362575137 − 200137− 4825225147 − 400147300137 − 300137450147 − 360147η j+r + a r−1 η j+r−1 +···+a 0 η j = hb r f (x j+r ,η j+r )findet man in der folgenden Tabelle, die den Büchern von Gear (1971) bzw.Lambert (1973) entnommen wurde.Hier sind α = α r und c = c r die Parameter in Fig. 5, die zu der betr.BDF-Methode gehört. Byrne und Hindmarsh (1987) berichten über sehr gutenumerische Ergebnisse dieser Methoden.Weitere Details über steife Differentialgleichungen findet man in Grigorieff(1972, 1977), Enright, Hull und Lindberg (1975), Willoughby (1974).Eine neuere zusammenfassende Darstellung geben Hairer und Wanner(1991).

7.2 Anfangswertprobleme 1797.2.17 Implizite Differentialgleichungen,Differential-Algebraische GleichungenBisher wurden nur explizite gewöhnliche Differentialgleichungen y ′ =f (x, y) (7.0.1) behandelt. Für viele moderne Anwendungen, bei denen großeimplizite SystemeF(x, y, y ′ ) = 0zu lösen sind, ist diese Einschränkung zu stark. Es ist deshalb auch ausGründen der Effizienz wichtig, Verfahren zur direkten Lösung solcher Systemezu entwickeln, ohne sie vorher in explizite Form zu bringen, was auchnicht immer möglich ist.Beispiele sehr großer impliziter Systeme findet man in vielen wichtigen Anwendungen,z. B. bei dem Entwurf von Mikrochips für moderne Rechner. Eine wirtschaftlichePlanung solcher Chips, in die auf engstem Raum Tausende von Transistoreneingeätzt sind, ist ohne den Einsatz numerischer Techniken nicht möglich.Ein Mikrochip stellt, abstrakt gesehen, ein kompliziertes elektrisches Netzwerk dar.Die Kirchhoffschen Gesetze für die elektrischen Spannungen und Ströme in denKnotenpunkten des Netzwerkes führen auf ein System von Differentialgleichungen,deren Lösungen gerade die Spannungen und Ströme als Funktionen der Zeit t sind.Anhand der numerischen Lösungen des Differentialgleichungssystems können alsonoch vor der eigentlichen Fertigung des Chips seine elektrischen Eigenschaften bestimmtwerden, d. h. man kann solche Chips auf einem Großrechner „simulieren“[s. z. B. Bank, Bulirsch und Merten (1990), Horneber (1985)].Die auftretenden Systeme von Differentialgleichungen sind implizit. Je nachKomplexität der verwendeten Transistormodelle unterscheidet man:(7.2.17.1)(7.2.17.2)(7.2.17.3)(7.2.17.4)Lineare, implizite SystemeC ˙U(t) = BU(t) + f (t),Linear-implizite, nichtlineare SystemeC ˙U(t) = f (t, U(t)),Quasilinear-implizite SystemeC(U) ˙U(t) = f (t, U(t)),Algemeine implizite SystemeF(t, U(t), ˙Q(t)) = 0,Q(t) = C(U)U(t).Der Vektor U, er kann mehrere tausend Komponenten enthalten, beschreibt die Knotenspannungendes Netzwerkes. Die Matrix C, in der Regel dünn besetzt und singulär,enthält die Kapazitäten des Netzwerkes, die spannungsabhängig sein können,C = C(U).Zur Lösung von Systemen des Typs (7.2.17.2) existieren bereits numerische Algorithmen[vgl. Deuflhard, Hairer und Zugk (1987), Petzold (1982), Rentrop (1985),Rentrop, Roche und Steinebach (1989)]. Die effiziente und zuverlässige numerischeLösung der Systeme (7.2.17.3) und (7.2.17.4) ist noch Gegenstand der Forschung[s. z. B. Hairer, Lubich und Roche (1989), Petzold (1982)].

180 7 Gewöhnliche DifferentialgleichungenIm folgenden werden einige grundsätzliche Unterschiede solcher impliziterSysteme zu den bisher behandelten Systemen der Form (wir bezeichnendie unabhängige Variable wieder mit x)(7.2.17.5) y ′ (x) = f (x, y(x)), y(x 0 ) := y 0 ,angegeben. Bei Systemen vom Typ (7.2.17.1),(7.2.17.6)Ay ′ (x) = By(x) + f (x),y(x 0 ) = y 0 ,mit y(x) ∈ R n und n × n-Matrizen A, B kann man folgende Fälle unterscheiden:1. Fall: A regulär, B beliebig.Die formale Lösung des zugehörigen homogenen Systems isty(x) = e (x−x 0)A −1 B y 0 .Obwohl das System in explizite Form gebracht werden kann, y ′ = A −1 By+A −1 f , ist dies in der Praxis für große dünn besetzte Matrizen A und B nichtmöglich, weil A −1 B in der Regel eine „volle“ Matrix sein wird, die schwerzu berechnen und zu speichern ist.2. Fall: A singulär, B regulär.Dann ist (7.2.17.6) äquivalent zuB −1 Ay ′ = y + B −1 f (x).Die Jordan-Normalform J der singulären Matrix B −1 A = TJT −1 hat dieGestalt[ ]W OJ = ,O Nwobei W die Jordanblöcke zu den Eigenwerten λ ≠ 0 von B −1 A enthältund N die zu den Eigenwerten λ = 0.Wir sagen, daß N den Index k besitzt, falls N nilpotent vom Grade kist, d.h. falls N k = 0, N j ≠ 0für j < k. Die Transformation auf Jordan-Normalform entkoppelt das System: Mit den Vektoren( ( )u p(x):= Tv)−1 y, := T −1 B −1 f (x)q(x)erhält man das äquivalente SystemWu ′ (x) = u(x) + p(x),Nv ′ (x) = v(x) + q(x).

7.2 Anfangswertprobleme 181Das Teilsystem für u ′ (x) hat die Struktur von Fall 1 und ist für beliebigeAnfangswerte y 0 eindeutig lösbar. Dies gilt nicht für das Teilsystem fürv ′ (x): Zunächst kann dieses System nur unter einer zusätzlichen Glattheitsvoraussetzungfür f gelöst werden, nämlichf ∈ C k−1 [x 0 , x end ],wobei k der Index von N ist. Es gilt dannv(x) =−q(x) + Nv ′ (x)=−(q(x) + Nq ′ (x)) + N 2 v ′′ (x).=−(q(x) + Nq(x) +···+N k−1 q (k−1) (x)).Wegen N k = 0 bricht die Auflösungskette ab, und man sieht, daß v(x)allein durch q(x) und seine Ableitungen bestimmt ist. Es treten also zweigrundsätzliche Unterschiede zu (7.2.17.5) auf:(1) Der Index der Jordan-Form zu B −1 A bestimmt die erforderlicheGlattheit der rechten Seite f (x).(2) Nicht alle Komponenten des Anfangswertes y 0 sind frei wählbar:v(x 0 ) ist durch q(x), f (x) und seine Ableitungen in x = x 0 fixiert. Fürdie Lösbarkeit des Systems müssen die Anfangswerte y 0 = y(x 0 ) einezusätzliche Konsistenzbedingung erfüllen, sie müssen „konsistent“ gewähltsein. In der Praxis kann das Problem der Berechnung konsistenter Anfangswertefreilich schwierig sein.3. Fall: A und B singulär.Hier muß man die Untersuchung auf „sinnvolle“ Systeme eingrenzen.Da es Matrizen gibt [ein triviales Beispiel ist A := B := 0], für die (7.2.17.6)nicht eindeutig lösbar ist, betrachtet man nur solche Matrixpaare (A, B), diezu eindeutigen Lösungen des Anfangswertproblems führen. Es ist möglichsolche Paare mit Hilfe von regulären Matrizenbüscheln zu charakterisieren:Darunter versteht man Paare (A, B) quadratischer Matrizen, für die es einλ ∈ C gibt, so daß λA+ B eine nichtsinguläre Matrix ist. Da dann det(λA+B) ≢ 0 ein nichtverschwindendes Polynom in λ vom Grad ≤ n ist, gibtes höchstens n Zahlen λ, nämlich die Eigenwerte des verallgemeinertenEigenwertproblems [s. Abschnitt 6.8] Bx =−λAx, für die λA+ B singulärist.Für reguläre Matrizenbüschel kann man zeigen, daß das System(7.2.17.6) höchstens eine Lösung besitzt, für die es auch explizite Formelnmit Hilfe der Drazin-Inversen gibt [s. z. B. Wilkinson (1982), oder

182 7 Gewöhnliche DifferentialgleichungenGantmacher (1969)]. Fall 3 wird hier nicht weiterverfolgt, da sich im Vergleichzu Fall 2 keine grundsätzlich neuen Erkenntnisse ergeben.Im Falle singulärer Kapazitätsmatrizen C zerfallen die Systeme(7.2.17.1) und (7.2.17.2) nach entsprechender Transformation in ein Differentialgleichungssystemund ein nichtlineares Gleichungssystem (die unabhängigeVariable bezeichnen wir wieder mit x):(7.2.17.7)y ′ (x) = f (x, y(x), z(x)),0 = g(x, y(x), z(x)) ∈ R n 2,y(x 0 ) ∈ R n 1, z(x 0 ) ∈ R n 2: konsistente Anfangswerte.Dieses entkoppelte System wird auch als differential-algebraisches Systembezeichnet [s. z. B. Griepentrog und März (1986), Hairer und Wanner(1991)]. Nach dem Satz über implizite Funktionen besitzt es eine lokal eindeutigeLösung, falls die Jacobimatrix( ) ∂gregulär ist (Index-1 Annahme).∂zDifferential-algebraische Systeme sind typisch für die Dynamik von Mehrkörpersystemen– die Index-1 Annahme kann hier allerdings verletzt sein[s. Gear (1988)].Numerische VerfahrenDas differential-algebraische System (7.2.17.7) kann als Differentialgleichungauf einer Mannigfaltigkeit interpretiert werden. Man kann daher zuseiner Lösung erfolgreich Homotopietechniken mit Lösern von Differentialgleichungen(siehe 7.2) und von nichtlinearen Gleichungen (siehe 5.4)kombinieren.Ansätze für Extrapolations- und Runge-Kutta-Verfahren lassen sich formaldurch Einbettung der nichtlinearen Gleichung (7.2.17.7) in eine Differentialgleichungεz ′ (x) = g(x, y(x), z(x))und Untersuchung des Grenzfalls ε = 0 gewinnen. Effiziente und zuverlässigeExtrapolations- und Einschrittverfahren für differential-algebraischeSysteme sind in Deuflhard, Hairer und Zugk (1987) beschrieben.Das in (7.2.16.10)-(7.2.16.12) angegebene Integrationsverfahren fürsteife Systeme läßt sich für implizite Systeme der Form (7.2.17.2) verallgemeinern.Das folgende Verfahren der Ordnung 4 mit Schrittweitensteuerungwurde von Rentrop, Roche und Steinebach (1989) angegeben. Mit der Notationaus Abschnitt 7.2.16 (und etwas verbesserten Koeffizienten) hat esfür autonome Systeme Cy ′ = f (y) die Form

mitCfk (y ∗ = f ∑k−1)+ h β kl fl∗ + hf ′ (y)l=17.2 Anfangswertprobleme 183k∑l=1γ kl f ∗l , k = 1, 2,...,5,γ kk = 0.5 für k = 1, 2, 3, 4, 5,γ 21 = 4.0,γ 31 = 0.46296 ..., γ 32 =−1.5,γ 41 = 2.2083 ..., γ 42 =−1.89583 ..., γ 43 =−2.25,γ 51 =−12.00694 ..., γ 52 = 7.30324074 ..., γ 53 = 19.0,γ 54 =−15.851 ...,β 21 = 0,β 31 = 0.25, β 32 = 0.25,β 41 =−0.0052083 ..., β 42 = 0.1927083 ..., β 43 = 0.5625,β 51 = 1.200810185 ..., β 52 =−1.950810185 ..., β 53 = 0.25,β 54 = 1.0,c 1 = 0.538 ..., c 2 =−0.13148 ..., c 3 =−0.2,c 4 = 0.5925 ..., c 5 = 0.2,ĉ 1 = 0.4523148 ..., ĉ 2 =−0.1560185 ..., ĉ 3 = 0,ĉ 4 = 0.5037 ..., ĉ 5 = 0.2.Mehrschrittverfahren eignen sich ebenfalls zur numerischen Lösungdifferential-algebraischer Systeme. Es sei hier nur auf das ProgrammpaketDASSL [s. Petzold (1982)] verwiesen, das die Lösung impliziter Systemeder FormF(x, y(x), y ′ (x)) = 0ermöglicht. Die Ableitung y ′ (x) wird hier durch die Gearschen BDF-Formeln ersetzt. Dadurch geht das Differentialgleichungssystem in ein nichtlinearesGleichungssystem über. Für die Details der Lösungsstrategien undihrer Implementierung sei auf die Literatur verwiesen, z. B. Byrne undHindmarsh (1987), Gear und Petzold (1984), und Petzold (1982).7.2.18 Behandlung von Unstetigkeiten in DifferentialgleichungenDie bisher betrachteten Verfahren zur Integration von Anfangswertproblemender Form (7.2.1.1) setzen voraus, daß die rechte Seite f der betrachtetenDifferentialgleichung bzw. die Lösung y(x) hinreichend oft differenzierbarist. Aber bei der Modellierung von Problemen aus der Anwendungwird man häufig auf Anfangswertprobleme geführt, deren rechte

184 7 Gewöhnliche DifferentialgleichungenSeiten Unstetigkeiten aufweisen. Diese Unstetigkeiten können problembedingtsein (z.B. Reibungs- und Kontaktphänomene aus der Mechanik, chargenweisebetriebenen Prozesse aus der Verfahrenstechnik etc.), aber auchdurch notwendige Vereinfachungen bei der Modellierung verursacht sein(z.B. niedrige Differenzierbarkeitsordnung der Interpolationsfunktionen fürtabellarisch gegebene Meßdaten).Im folgenden betrachten wir Anfangswertprobleme der Form(7.2.18.1)y ′ (x) = f n (x, y(x)), x n−1 < x < x n ; n = 1, 2,...,y(x 0 ) = y 0 .Die Anfangswerte y + n = lim x→x+ny(x) an den Unstetigkeitsstellen, den„Schaltpunkten“ x n , seien bestimmt durch Sprungfunktioneny + n = φ n(x n , y − n ),wobei y − n = lim x→x − ny(x).Im allgemeinen ist es nötig, die numerische Integration an den Schaltpunktenx n anzuhalten und sie dann mit entsprechend abgeänderter rechterSeite an derselben Stelle neu zu starten. (In Abschnitt 7.2.15 wurde zwarerwähnt, daß es Verfahren gibt, die direkt zur Integration von (7.2.18.1)eingesetzt werden können, allerdings müssen an den UnstetigkeitspunktenEinbußen an Lösungsgenauigkeit in Kauf genommen werden.)Die Schaltpunkte x n , n = 1 ,2,..., seien charakterisiert als Nullstellenreellwertiger Schaltfunktionen(7.2.18.2) q n (x n , y(x n )) = 0, n = 1, 2,... .Im folgenden werde angenommen, daß es sich bei den Nullstellen immerum einfache Nullstellen handelt.Wäre die Lösungstrajektorie y(x) von (7.2.18.1) a priori bekannt,könnte die Suche der Schaltpunkte auf die Bestimmung der Nullstellen von(7.2.18.2) reduziert werden; dies ist im allgemeinen nicht der Fall.Effiziente Verfahren zur Schaltpunktsuche, vgl. z.B. Eich (1992):Seien η i−1 und η i numerische Approximationen der Lösung von(7.2.18.1) im (i − 1)-ten bzw. i-ten Integrationsschritt an den Punkten x i−1und x i mit der rechten Seite f n (x, y(x)); ỹ(x) sei eine stetige Approximationder Lösung y(x) zwischen beiden Punkten.Im Intervall [x i−1 , x i ] befinde sich die Nullstelle x n der Schaltfunktionq n wo x i−1 < x n < x i . Wir setzen voraus, daß ein Wert η i existiert, unddamit auch ỹ(x) auf dem gesamten Intervall [x i−1 , x i ].Ist ỹ(x) auf [x i−1 , x n + ǫ] hinreichend genau approximiert, so besitztdie Funktion q n (x, ỹ(x)) in [x i−1 , x n + ǫ] auch eine Nullstelle ˜x n , welche

7.2 Anfangswertprobleme 185die gesuchte Approximation für den Schaltpunkt x n darstellt (ǫ beschreibteine eventuelle rundungsfehlerbedingte Verschiebung der Nullstelle). DieseNullstelle kann man mit einem geeigneten Algorithmus bestimmen (z.B. Sekantenverfahrenoder inverse Interpolation, s. Bd I. Abschnitt 5.9; in Gill etal. (1995) werden diese Methoden erweitert (Safeguard-Verfahren)).Zum Erkennen einer Unstetigkeit wäre es zu aufwendig, zwischen zweiIntegrationsschritten jede Schaltfunktion nach einer Nullstelle abzusuchen.Ist die Integrationsschrittweite so klein, daß eine Schaltfunktion höchstenseine Nullstelle zwischen zwei Integrationschritten besitzt, kann man sichauf die Beobachtung von Vorzeichenwechseln der Schaltfunktionen beschränken.Ändern mehrere Schaltfunktionen ihr Vorzeichen, so wird derSchaltvorgang durch diejenige Schaltfunktion ausgelöst, welche als ersteumschaltet.7.2.19 Sensitivitätsanalyse bei AnfangswertproblemenAnfangswertprobleme enthalten nicht selten Abhängigkeiten in Form vonreellen Parametern p = (p 1 ,...,p n p),(7.2.19.1)y ′ (x; p) = f (x, y(x; p), p), x 0 < x < x 1 ,y(x 0 ; p) = y 0 (p).Kleine Änderungen der Parameter können große Auswirkungen auf dieLösung y(x; p) haben. Das Studium solcher Abhängigkeiten liefert wichtigeEinsichten in den durch die Differentialgleichung beschriebenen Prozeß.Gesucht sind die zu einer Lösungstrajektorie y(x; p) gehörigen Sensitivitäten(Konditionszahlen)∂ y(x; p)∂pSind die Parameter p reine Modellparameter, so liefert diese Informationnützliche Hinweise über die Eigenschaften des Modells. Sensitivitäten spieleneine beherrschende Rolle bei der numerischen Berechnung der Lösungvon Problemen der optimalen Steuerung, z.B. bei der Parametrisierung derSteuerfunktionen und bei Parameteridentifizierungsaufgaben [Heim und vonStryk (1996), Engl et al. (1999)].Zur Berechnung der Sensitivitäten existieren verschiedene numerischbrauchbare Verfahren:– Approximation durch Differenzenquotienten,–Lösung der Sensitivitätsgleichungen,–Lösung adjungierter Gleichungen.∣ .p

186 7 Gewöhnliche DifferentialgleichungenBei der ersten Methode werden die Sensitivitäten approximiert durch∂ y(x; p)∂p i∣ ∣∣p≈ y(x; p + ∆p ie i ) − y(x; p)∆p i, i = 1,...,n p ,wobei e i der i-te Einheitsvektor des R n pist. Der Aufwand bei der Implementierungist nicht groß. Bei Verwendung eines ordnungs- und/oder schrittweitengesteuertenIntegrationsverfahrens ist zu beachten, daß bei der Integrationder „gestörten“ Trajektorien y(x; p+∆p i e i ) dieselbe Ordnungs- undSchrittweitenfolge wie bei der Berechnung der Referenztrajektorie y(x; p)verwendet wird [s. Buchauer et al. (1994), Kiehl (1999)].Werden höhere Genauigkeiten der Sensitivitäten benötigt, oder ist dieZahl der Parameter höher, sind im allgemeinen die beiden anderen Methodenvorzuziehen.Differenziert man das System (7.2.19.1) entlang einer Lösung y(x; p)nach p, so erhält man unter Berücksichtigung von Satz (7.1.8) die zu(7.2.19.1) gehörigen Sensitivitätsgleichungen(7.2.19.2)∂y ′ (x; p)=∂p∂y(x 0 ; p)∂p∂ f (x, y; p)∂y= ∂y 0(p)∂p .·∂y(x; p)∂p+∂ f (x, y; p), x 0 < x < x 1 ,∂pWeitere Einzelheiten in Hairer et al. (1993).Bei den Sensitivitätsgleichungen (7.2.19.2) handelt es sich um ein Systemlinearer Differentialgleichungen für die Funktionz(x) := ∂y(x; p)/∂p.Bei der Implementierung eines Algorithmus zu ihrer numerischen Lösungläßt sich dies effektiv ausnutzen.Auf die Methode der adjungierten Differentialgleichungen soll hier nichtweiter eingegangen werden [s. z.B. Morrison und Sargent (1986)].Die numerische Approximation der Sensitivitäten kann sowohl mittelsadjungierter Gleichungen als auch über die Sensitivitätsgleichungen sehreffizient und mit hoher Genauigkeit vorgenommen werden. Grundlage istdie interne numerischen Differentiation (IND), bei der unter anderem dieRekursionsformeln zur numerischen Integration differenziert werden [Leisund Kramer (1985), Caracotsios und Stewart (1985), Bock et al. (1995) ]. ImGegensatz zur IND steht die externe numerische Differentiation (END), beider das Integrationsverfahren (bis auf z.B. Anpassungen der SchrittweitenundOrdnungssteuerung) nicht verändert wird.

7.3 Randwertprobleme 187Bei Anfangswertproblemen mit Unstetigkeiten [s. Abschnitt 7.2.18] isteine Korrektur der Sensitivitäten an den Schaltpunkten vorzunehmen. FürSysteme gewöhnlicher Differentialgleichungen wurden solche Korrekturenin Rozenvasser (1967) behandelt, für Anfangswertprobleme von differential-algebraischenGleichungssystemen mit differentiellem Index 1 in Galán,Feehery und Barton (1998).7.3 Randwertprobleme7.3.0 EinleitungAllgemeiner als Anfangswertprobleme sind Randwertprobleme. Bei diesenwird eine Lösung y(x) eines Systems(7.3.0.1a)⎡ ⎤ ⎡⎤y 1f 1 (x, y 1 ,...,y n )y ′ = f (x, y), y = ⎣ ⎦. , f (x, y) = ⎣⎦.y n f n (x, y 1 ,...,y n )von n gewöhnlichen Differentialgleichungen gesucht, die eine Randbedingungder Form(7.3.0.1b)Ay(a) + By(b) = cerfüllt. Dabei sind a ≠ b gegebene Zahlen, A, B quadratische n-reihigeMatrizen und c ein Vektor des R n . In der Praxis sind die Randbedingungenmeistens separiert:(7.3.0.1b ′ ) A 1 y(a) = c 1 , B 2 y(b) = c 2 ,d. h. in (7.3.0.1b) können die Zeilen der Matrix [A, B, c] so vertauscht werden,daß für die umgeordnete Matrix [Ā, ¯B, ¯c] gilt.[ ]A1 0 c 1[Ā, ¯B, ¯c] =.0 B 2 c 2Die Randbedingungen (7.3.0.1b) sind linear (genauer affin) in y(a), y(b).Gelegentlich kommen in der Praxis auch nichtlineare Randbedingungender Form(7.3.0.1b ′′ ) r ( y(a), y(b) ) = 0vor, die mittels eines Vektors r von n Funktionen r i , i = 1, ..., n, von 2nVariablen gegeben sind:

188 7 Gewöhnliche Differentialgleichungen⎡⎤r 1 (u 1 ,...,u n ,v 1 ,...,v n )r(u,v)≡ ⎣.r n (u 1 ,...,u n ,v 1 ,...,v n )⎦ .Selbst separierte lineare Randwertprobleme sind noch sehr allgemein. Solassen sich z. B. Anfangswertprobleme als spezielle Randwertprobleme diesesTyps auffassen (mit A = I , a = x 0 , c = y 0 , B = 0).Während Anfangswertprobleme gewöhnlich [s. Satz (7.1.1)] eindeutiglösbar sind, können Randwertprobleme auch keine Lösung oder mehrereLösungen besitzen.Beispiel: Die Differentialgleichung(7.3.0.2a) w ′′ + w = 0für die reelle Funktion w : R → R läßt sich mit den Abkürzungen y 1 (x) := w(x),y 2 (x) := w ′ (x) in der Form schreiben[ ] y1 ′ [ ]y = 2 .y 2 −y 1Sie besitzt die allgemeine Lösungw(x) = c 1 sin x + c 2 cos x,c 1 , c 2 beliebig.Die spezielle Lösung w(x) := sin x ist die einzige Lösung, die den Randbedingungen(7.3.0.2b) w(0) = 0, w(π/2) = 1genügt. Alle Funktionen w(x) := c 1 sin x, c 1 beliebig, erfüllen die Randbedingungen(7.3.0.2c) w(0) = 0, w(π) = 0,während es keine Lösung w(x) von (7.3.0.2a) gibt, die den Randbedingungen(7.3.0.2d) w(0) = 0, w(π) = 1genügt. (Man beachte, daß alle Randbedingungen (7.3.0.2b-d) die Form (7.3.0.1b ′ )mit A 1 = B 2 = [1, 0] haben!)Das vorstehende Beispiel zeigt, daß es keinen ähnlich allgemeinen Satzwie (7.1.1) für die Existenz und Eindeutigkeit von Lösungen von Randwertproblemengeben wird (siehe dazu Abschnitt 7.3.3).Viele praktisch wichtige Probleme lassen sich auf Randwertprobleme(7.3.0.1) reduzieren, so zum BeispielEigenwertprobleme für Differentialgleichungen,bei denen die rechte Seite f eines Systems von n Differentialgleichungenvon einem weiteren Parameter λ abhängt(7.3.0.3a)y ′ = f (x, y, λ),

7.3 Randwertprobleme 189und n + 1 Randbedingungen der Form(7.3.0.3b)⎡⎤r ( y(a), y(b), λ ) = 0, r ( u,v,λ ) r 1 (u 1 ,...,u n ,v 1 ,...,v n ,λ)= ⎣.⎦r n+1 (u 1 ,...,u n ,v 1 ,...,v n ,λ)zu erfüllen sind. Das Problem (7.3.0.3) ist überbestimmt und besitzt daherbei beliebiger Wahl von λ i. a. keine Lösung y(x). Das Eigenwertproblem(7.3.0.3) besteht darin, diejenigen Zahlen λ i , die Eigenwerte von (7.3.0.3),zu bestimmen, für die (7.3.0.3) eine Lösung y(x) besitzt. Durch Einführungeiner weiteren Funktiony n+1 (x) := λund einer weiteren Differentialgleichungist (7.3.0.3) mit dem Problemy ′ n+1 (x) = 0ȳ ′ = ¯ f ( x, ȳ ) , ¯r ( ȳ(a), ȳ(b) ) = 0äquivalent, das nun die Form (7.3.0.1) besitzt. Dabei ist[ ][ ]yȳ := , f ¯ f (x, y, yn+1 )(x, ȳ) :=,y n+1 0¯r(u 1 ,...,u n , u n+1 ,v 1 ,...,v n ,v n+1 ) := r(u 1 ,...,u n ,v 1 ,...,v n ,v n+1 ).Weiter lasssen sich auchRandwertprobleme mit freiem Randauf gewöhnliche Randwertprobleme (7.3.0.1) reduzieren. Bei diesen Problemenist z. B. nur eine Randabszisse a gegeben, und es ist b (der freie Rand)so zu bestimmen, daß das System von n gewöhnlichen Differentialgleichungen(7.3.0.4a) y ′ = f (x, y)eine Lösung y besitzt, die n + 1 Randbedingungen erfüllt⎡ ⎤(7.3.0.4b) r ( y(a), y(b) ) r 1 (u,v)= 0, r(u,v)= ⎣.⎦ .r n+1 (u,v)Hier führt man statt x eine neue unabhängige Variable t und eine noch zubestimmende Konstante z n+1 := b − a ein durch

190 7 Gewöhnliche Differentialgleichungenx − a = tz n+1 , 0 ≤ t ≤ 1,_z n+1 = dz n+1dt= 0.[Stattdessen eignet sich auch irgendein Ansatz der Form x −a = Φ(t, z n+1 )mit Φ(1, z n+1 ) = z n+1 .]Damit gilt für z(t) := y(a + tz n+1 ), y(x) eine Lösung von (7.3.0.4),ż(t) = D t z(t) = D x y(a + tz n+1 ) z n+1 = f ( a + tz n+1 , z(t) ) z n+1 .(7.3.0.4) ist daher mit dem Randwertproblem vom Typ (7.3.0.1)⎡ ⎤ ⎡⎤ż 1 z n+1 f 1 (a + tz n+1 , z 1 ,...,z n )(7.3.0.5) ⎢. ⎥⎣ż⎦ = ⎢ . ⎥⎣⎦n z n+1 f n (a + tz n+1 , z 1 ,...,z n ),ż n+1 0r i(z1 (0),...,z n (0), z 1 (1),...,z n (1) ) = 0, i = 1,...,n + 1,für die Funktionen z i (t), i = 1, ..., n + 1, äquivalent.7.3.1 Das einfache SchießverfahrenWir wollen das einfache Schießverfahren zunächst an einem Beispiel erläutern.Gegeben sei das Randwertproblem(7.3.1.1)w ′′ = f (x,w,w ′ ),w(a) = α,w(b) = βmit separierten Randbedingungen. Das Anfangswertproblem(7.3.1.2) w ′′ = f (x,w,w ′ ), w(a) = α, w ′ (a) = sbesitzt dann i. a. eine eindeutig bestimmte Lösung w(x) ≡ w(x; s), dienatürlich von der Wahl des Anfangswertes s für w ′ (a) abhängt. Um dasRandwertproblem (7.3.1.1) zu lösen, müssen wir s =: ¯s so bestimmen, daßdie zweite Randbedingung erfüllt wird, w(b) = w(b;¯s) = β. Mit anderenWorten: man hat eine Nullstelle ¯s der Funktion F(s) :≡ w(b; s) − β zufinden. Für jedes Argument s kann man F(s) berechnen, indem man z. B.mit den Methoden von Abschnitt 7.2 den Wert w(b) = w(b; s) der Lösungw(x; s) des Anfangswertproblems (7.3.1.2) an der Stelle x = b bestimmt.Eine Berechnung von F(s) läuft also auf die Lösung eines Anfangswertproblemshinaus.Zur Bestimmung einer Nullstelle ¯s von F(s) kann man im Prinzip alleMethoden von Kapitel 5 benutzen. Kennt man z. B. Werte s (0) , s (1) mit

7.3 Randwertprobleme 191w.. .w(x s (1) ).8 . . . . . . . . . . . .. . . . . .w(x s).>:.a.b....xFig. 6. Einfaches SchießverfahrenF ( s (0)) < 0, F ( s (1)) > 0(s. Fig. 6) kann man ¯s durch ein einfaches Bisektionsverfahren [s. Abschnitt5.6] berechnen.Da w(b; s) und damit F(s) i. a. [s. Satz (7.1.8)] stetig differenzierbareFunktionen von s sind, kann man auch das Newton-Verfahren zur Bestimmungvon ¯s benutzen. Dazu hat man ausgehend von einem Startwert s (0)iterativ Werte s (i) nach der Vorschrift(7.3.1.3) s (i+1) = s (i) − F( s (i))F ′( s (i))zu berechnen. Die Zahlen w(b; s (i) ) und damit F(s (i) ) kann man durchLösung des Anfangswertproblems(7.3.1.4) w ′′ = f (x,w,w ′ ), w(a) = α, w ′ (a) = s (i)bestimmen. Den Wert der Ableitung von F,F ′ (s) = ∂ w(b; s),∂sfür s = s (i) erhält man z. B. durch Behandlung eines weiteren Anfangswertproblems:Mit Hilfe von (7.1.8) bestätigt man leicht, daß für die Funktionv(x) :≡ v(x; s) = (∂/∂s)w(x; s)(7.3.1.5)v ′′ = f w (x,w,w ′ )v + f w ′(x,w,w ′ )v ′ , v(a) = 0, v ′ (a) = 1gilt. Wegen der partiellen Ableitungen f w , f w ′ ist das Anfangswertproblem(7.3.1.5) i. a. wesentlich komplizerter als (7.3.1.4). Aus diesem Grund ersetzt

192 7 Gewöhnliche Differentialgleichungenman in der Newton-Formel (7.3.1.3) die Ableitung F ′ (s (i) ) durch einenDifferenzenquotienten ∆F(s (i) ),∆F ( s (i)) := F( s (i) + ∆s (i)) − F ( s (i))∆s (i) ,wobei ∆s (i) „genügend“ klein zu wählen ist. F(s (i) + ∆s (i) ) berechnet manwie F(s (i) ) durch Lösung eines Anfangswertproblems. Dabei ergeben sichfolgende Schwierigkeiten:Wählt man ∆s (i) zu groß, ist ∆F(s (i) ) nur eine schlechte Approximationfür F ′ (s (i) ) und die Iteration(7.3.1.3a)s (i+1) = s (i) − F( s (i))∆F ( s (i))konvergiert wesentlich schlechter gegen ¯s als (7.3.1.3) (falls sie überhauptkonvergiert). Wählt man ∆s (i) zu klein, wird F(s (i) + ∆s (i) ) ≈ F(s (i) )und bei der Subtraktion F(s (i) + ∆s (i) ) − F(s (i) ) tritt Auslöschung auf, sodaß selbst kleine Fehler bei der Berechnung von F(s (i) ), F(s (i) + ∆s (i) )das Resultat ∆F(s (i) ) stark verfälschen. Die Lösung der Anfangswertprobleme(7.3.1.4), d. h. die Berechnung von F, hat man daher möglichst genauvorzunehmen. Der relative Fehler von F(s (i) ), F(s (i) + ∆s (i) ) darf nurdie Größenordnung der Maschinengenauigkeit eps haben. Diese Genauigkeitkann man mit Extrapolationsverfahren erreichen [s. 7.2.14]. Wenndann ∆s (i) außerdem so bemessen ist, daß F(s (i) ) und F(s (i) + ∆s (i) )bei t-stelliger Rechnung etwa die ersten t/2 Stellen gemeinsam haben,∆s (i) ∆F(s (i) ) ≈ √ eps F(s (i) ), sind die Auswirkungen der Auslöschungnoch erträglich. In der Regel ist dies bei der Wahl ∆s (i) = √ eps s (i) derFall.Beispiel: Zu lösen sei das Randwertproblemw ′′ = 3 2 w2 ,w(0) = 4, w(1) = 1.Nach (7.3.1.2) berechnet man sich zunächst die Lösung des Anfangswertproblemsw ′′ = 3 2 w2 ,w(0; s) = 4, w ′ (0; s) = s.

× ¾ × ½º7.3 Randwertprobleme 193¼ºººººººººº¼¼¼¿¼¾¼½¼ ´×µ½¼¼ ¼ ¼ ¼ ¾¼× ¼Fig. 7. Graph von F(s)Fig. 7 zeigt den Graphen von F(s) := w(1; s) − 1. Man sieht, daß F(s) zweiNullstellen ¯s 1 , ¯s 2 besitzt. Die Iteration nach (7.3.1.3a) liefert¯s 1 =−8.000 000 0000,¯s 2 =−35.858 548 7278.¾Û ½´Üµº¼¾¼¾ ¼ ¼ ¼ ½¼Ü Û ¾´Üµ½¼½¾Fig. 8. Die Lösungen w 1 und w 2Fig. 8 illustriert die beiden Lösungen w i (x) = w(x;¯s i ), i = 1, 2, der Randwertaufgabe.Sie wurden auf etwa 10 Ziffern genau berechnet. Beide Lösungen lassensich übrigens geschlossen darstellen, es ist

194 7 Gewöhnliche Differentialgleichungenw(x;¯s 1 ) =w(x;¯s 2 ) = C 2 14(1 + x) 2 ,⎛⎝ 1 − cn(C 1x − C 2 |k 2 )1 + cn(C 1 x − C 2 |k 2 )wo cn(ξ|k 2 ) die Jacobische elliptische Funktion zum Modul√2 + √ 3k =2− 1 √3⎞⎠,bezeichnet. Für die beiden Integrationskonstanten C 1 , C 2 erhält man aus der Theorieder elliptischen Funktionen und einem Iterationsverfahren nach 5.2 die WerteC 1 = 4.303 109 90... ,C 2 = 2.334 641 96... .Ähnlich wie in diesem Beispiel verfährt man bei der Lösung eines allgemeinenRandwertproblems (7.3.0.1a), (7.3.0.1b ′′ )für n gesuchte Funktioneny i (x), i = 1, ..., n,(7.3.1.6) y ′ = f (x, y), r ( y(a), y(b) ) = 0, y = [y 1 ,...,y n ] T ,wo f (x, y) und r(u,v) Vektoren von n Funktionen sind. Man versuchtwieder einen Startvektor s ∈ R n für das Anfangswertproblem(7.3.1.7) y ′ = f (x, y), y(a) = sso zu bestimmen, daß die Lösung y(x) = y(x; s) den Randbedingungenvon (7.3.1.6) genügtr ( y(a; s), y(b; s) ) ≡ r ( s, y(b; s) ) = 0.Dazu hat man eine Lösung s = [σ 1 ,σ 2 ,...,σ n ] T der Gleichung(7.3.1.8) F(s) = 0, F(s) :≡ r ( s, y(b; s) ) ,zu finden, etwa mit Hilfe des allgemeinen Newton-Verfahrens (5.1.6),(7.3.1.9) s (i+1) = s (i) − DF ( s (i)) −1F(s(i) ) .Dabei ist in jedem Iterationsschritt F(s (i) ), die FunktionalmatrixDF ( s (i)) [ ∂ Fj=∂σ k]s=s (i)und die Lösung d (i) := s (i) − s (i+1) des linearen GleichungssystemsDF(s (i) )d (i) = F(s (i) ) zu berechnen. Zur Berechung von F(s (i) ) =

7.3 Randwertprobleme 195r(s (i) , y(b; s (i) )) hat man y(b; s (i) ) zu bestimmen, d. h. das Anfangswertproblem(7.3.1.7) für s = s (i) zu lösen. Zur Berechnung von DF(s (i) ) beachteman(7.3.1.10) DF(s) = D u r ( s, y(b; s) ) + D v r ( s, y(b; s) ) Z(b; s)mit den Matrizen[ ][ ]∂ri (u,v)∂ri (u,v)D u r(u,v)= , D v r(u,v)= ,∂u j ∂v j(7.3.1.11)[ ] ∂yi (b; s)Z(b; s) = D s y(b; s) =.∂σ jBei nichtlinearen Funktionen f und r wird man DF(s) nicht mittelsdieser komplizierten Formeln berechnen, sondern stattdessen durch Differenzenquotientenapproximieren: Man ersetzt DF(s) näherungsweise durchdie Matrix∆F(s) = [∆ 1 F(s),...,∆ n F(s)]mit(7.3.1.12)∆ j F(s) = F(σ 1,...,σ j + ∆σ j ,...,σ n ) − F(σ 1 ,...,σ j ,...,σ n )∆σ j.Wegen F(s) = r(s, y(b; s)) hat man zur Berechnung von ∆ j F(s) natürlichy(b; s) und y(b; s+∆σ j e j ) durch Lösung der entsprechenden Anfangswertproblemezu bestimmen.Bei linearen Randbedingungen (7.3.0.1b),r(u,v)≡ Au + Bv − c, D u r = A, D v r = B,vereinfachen sich diese Formeln etwas. Es istF(s) ≡ As + By(b; s) − c,DF(s) ≡ A + BZ(b; s).In diesem Fall hat man zur Bildung von DF(s) die Matrix[ ]∂y(b; s) ∂y(b; s)Z(b; s) = , ···,∂σ 1 ∂σ nzu bestimmen. Wie eben ersetzt man die j-te Spalte ∂y(b; s)/∂σ j vonZ(b; s) durch einen Differenzenquotienten∆ j y(b; s) := y(b; σ 1,...,σ j + ∆σ j ,...,σ n ) − y(b; σ 1 ,...,σ j ,...,σ n )∆σ j

196 7 Gewöhnliche Differentialgleichungenund erhält so die Näherung(7.3.1.13)∆F(s) = A + B ∆y(b; s),∆y(b; s) := [∆ 1 y(b; s),...,∆ n y(b; s)].Zur Durchführung des näherungsweisen Newton-Verfahrens(7.3.1.14) s (i+1) = s (i) − ∆F ( s (i)) −1F(s(i) )ist also folgendes zu tun:0. Wähle einen Startwert s (0) .Für i = 0, 1, 2, ...:1. Bestimme y(b; s (i) ) durch Lösung des Anfangswertproblems (7.3.1.7)für s = s (i) und berechne F(s (i) ) = r(s (i) , y(b; s (i) )).2. Wähle (genügend kleine) Zahlen ∆σ j ≠ 0, j = 1, ..., n, und bestimmey(b; s (i) + ∆σ j e j ) durch Lösung der n Anfangswertprobleme (7.3.1.7)für s = s (i) + ∆σ j e j = [σ (i)1 ,...,σ(i) j+ ∆σ j ,...,σ n (i)]T, j = 1, 2, ...,n.3. Berechne ∆F(s (i) ) mittels (7.3.1.12) [bzw. (7.3.1.13)] und weiter dieLösung d (i) des linearen Gleichungssystems ∆F(s (i) )d (i) = F(s (i) ) undsetze s (i+1) := s (i) − d (i) .In jedem Schritt des Verfahrens hat man also n+1 Anfangswertproblemeund ein n-reihiges Gleichungssystem zu lösen.Wegen der nur lokalen Konvergenz des (näherungsweisen) Newton-Verfahrens (7.3.1.14) divergiert das Verfahren im allgemeinen, wenn nichtder Startvektor s (0) bereits genügend nahe bei einer Lösung ¯s von F(s) =0 liegt [s. Satz (5.3.2)]. Da solche Startwerte in der Regel nicht bekanntsind, ist das Verfahren in der Form (7.3.1.9) bzw. (7.3.1.14) noch nichtsehr brauchbar: Man ersetzt es durch das modifizierte Newton-Verfahren[s. (5.4.2.4)], das gewöhnlich auch bei nicht sonderlich guten Startvektorens (0) noch kovergiert (sofern das Randwertproblem überhaupt lösbar ist).7.3.2 Das einfache Schießverfahren bei linearen RandwertproblemenBei der Ersetzung von DF(s (i) ) durch ∆F(s (i) ) in (7.3.1.9) geht i. a. die(lokale) quadratische Konvergenz des Newton-Verfahrens verloren. Das Ersatzverfahren(7.3.1.14) ist in der Regel nur noch (lokal) linear konvergentund zwar umso besser, je besser ∆F(s (i) ) und DF(s (i) ) übereinstimmen.Im Sonderfall linearer Randwertprobleme ist nun DF(s) = ∆F(s) für alles (bei beliebiger Wahl der ∆σ j ). Dabei heißt ein Randwertproblem linear,falls f (x, y) eine affine Funktion in y ist und lineare Randbedingungen(7.3.0.1b) vorliegen, d. h. es ist

7.3 Randwertprobleme 197(7.3.2.1)y ′ = T(x)y + g(x),Ay(a) + By(b) = cmit einer n × n-Matrix T(x), einer Funktion g : R → R n und konstantenn × n-Matrizen A und B. Wir setzen im folgenden voraus, daß T(x) undg(x) auf [a, b] stetige Funktionen sind. Mit y(x; s) bezeichnen wir wiederdie Lösung des Anfangswertproblems(7.3.2.2) y ′ = T(x) y + g(x), y(a; s) = s.Für y(x; s) läßt sich eine explizite Formel angeben(7.3.2.3) y(x; s) = Y(x) s + y(x; 0),wobei die n × n-Matrix Y(x) die Lösung des AnfangswertproblemsY ′ = T(x) Y,Y(a) = Iist.Bezeichnet man die rechte Seite von (7.3.2.3) mit u(x; s), so gilt nämlichu(a; s) = Y(a) s + y(a; 0) = Is+ 0 = sD x u(x; s) = u ′ (x; s) = Y ′ (x) s + y ′ (x; 0)= T(x) Y(x) s + T(x) y(x; 0) + g(x)= T(x) u(x; s) + g(x),d. h. u(x; s) ist eine Lösung von (7.3.2.2). Da unter den oben getroffenenVoraussetzungen über T(x) und g(x) das Anfangswertproblem eindeutiglösbar ist, folgt u(x; s) ≡ y(x; s). Mit (7.3.2.3) ergibt sich für die FunktionF(s) (7.3.1.8)(7.3.2.4) F(s) = As + By(b; s) − c = [A + BY(b)] s + By(b; 0) − c,so daß auch F(s) eine affine Funktion von s ist. Daher gilt [vgl. (7.3.1.13)]DF(s) = ∆F(s) = A + BY(b) = ∆F(0).Falls ∆F(0) −1 existiert, ist die Lösung ¯s von F(s) = 0 gegeben durchoder etwas allgemeiner durch¯s =−[A + BY(b)] −1 [By(b; 0) − c]= 0 − ∆F(0) −1 F(0),(7.3.2.5) ¯s = s (0) − ∆F(s (0) ) −1 F(s (0) )

198 7 Gewöhnliche Differentialgleichungenfür beliebiges s (0) ∈ R n . Mit anderen Worten, die Lösung ¯s von F(s) = 0und damit die Lösung des linearen Randwertproblems (7.3.2.1) wird ausgehendvon beliebigen Startwerten s (0) durch das Verfahren (7.3.1.14) ineinem Iterationsschritt geliefert.7.3.3 Ein Existenz- und Eindeutigkeitssatz für die Lösungvon RandwertproblemenUnter sehr einschränkenden Bedingungen kann die eindeutige Lösbarkeitgewisser Randwertprobleme gezeigt werden. Dazu betrachten wir im folgendenRandwertprobleme mit nichtlinearen Randbedingen(7.3.3.1)y ′ = f (x, y),r ( y(a), y(b) ) = 0.Das durch (7.3.3.1) gegebene Problem ist genau dann lösbar, wenn dieFunktion F(s) (7.3.1.8) eine Nullstelle ¯s besitzt(7.3.3.2) F(¯s) = r (¯s, y(b;¯s) ) = 0.Letzteres ist sicherlich erfüllt, falls man eine nichtsinguläre n × n-Matrix Qfinden kann, so daß(7.3.3.3) Φ(s) := s − QF(s)eine kontrahierende Abbildung des R n ist [s. Abschnitt 5.2]; die Nullstelle¯s von F(s) ist dann Fixpunkt von Φ, Φ(¯s) =¯s.Mit Hilfe von Satz (7.1.8) können wir nun folgendes Resultat beweisen,das für lineare Randbedingungen von Keller (1968) stammt.(7.3.3.4) Satz: Für das Randwertproblem (7.3.3.1) geltea) f und D y f sind stetig auf S :={(x, y) | a ≤ x ≤ b, y ∈ R n }.b) Es gibt ein k ∈ C[a, b] mit ‖D y f (x, y)‖≤k(x) für alle (x, y) ∈ S.c) Die MatrixP(u,v):= D u r(u,v)+ D v r(u,v)besitzt für alle u,v∈ R n eine Darstellung der FormP(u,v)= P 0(I + M(u,v))mit einer konstanten nichtsingulären Matrix P 0 und einer Matrix M =M(u,v), und es gibt Konstanten µ und m mitfür alle u,v∈ R n .‖M(u,v)‖≤µ

d) Es gibt eine Zahl λ>0 mit λ + µ

200 7 Gewöhnliche DifferentialgleichungenDamit ist der Satz bewiesen.Anmerkung: Die Voraussetzungen des Satzes sind nur hinreichend und zudemsehr einschränkend. Voraussetzung c) ist z. B. schon im Fall n = 2für so einfacheRandbedingungen wiey 1 (a) = c 1 , y 1 (b) = c 2nicht erfüllt [s. Übungsaufgabe 20]. Obwohl sich einige der Voraussetzungen soz. B. c), abschwächen lassen, erhält man trotzdem nur Sätze, deren Voraussetzungenin der Praxis nur selten erfüllt sind.⊓⊔7.3.4 Schwierigkeiten bei der Durchführungdes einfachen SchießverfahrensVon einem Verfahren zur Lösung des Randwertproblemsy ′ = f (x, y), r ( y(a), y(b) ) = 0wird man verlangen, daß es zu jedem x 0 aus dem Definitionsbereich einerLösung y einen Näherungswert für y(x 0 ) liefert. Bei der bisher besprochenenSchießmethode wird nur der Anfangswert y(a) =¯s bestimmt. Man könntemeinen, daß damit das Problem gelöst sei, da man den Wert y(x 0 ) an jederanderen Stelle x 0 durch Lösung des Anfangswertproblems(7.3.4.1) y ′ = f (x, y), y(a) =¯setwa mit den Methoden von Kapitel 7.2 (näherungsweise) bestimmen kann.Dies ist jedoch nur im Prinzip richtig. In der Praxis treten dabei häufig erheblicheUngenauigkeiten auf, wenn die Lösung y(x) = y(x;¯s) von (7.3.4.1)sehr empfindlich von ¯s abhängt. Ein Beispiel soll dies zeigen.Beispiel 1: Das lineare System von Differentialgleichungen[ ] y1 ′ [ ][ ]0 1 y1(7.3.4.2)=y 2 100 0 y 2besitzt die allgemeine Lösung[ ] y1 (x)[ (7.3.4.3) y(x) = = cy 2 (x) 1 e −10x 1−10][ ]+ c 2 e 10x 1, c10 1 , c 2 beliebig.y(x; s) sei diejenige Lösung von (7.3.4.2), die der Anfangsbedingung[ ] s1y(−5) = s =s 2genügt. Man verifiziert sofort(7.3.4.4) y(x; s) = e−50 (10s 1 − s 2 )20[ ]e −10x 1+ e50 (10s 1 + s 2 )[ ]e−1010x 1.2010

7.3 Randwertprobleme 201Wir wollen nun die Lösung y(x) von (7.3.4.2) bestimmen, die den linearen separiertenRandbedingungen(7.3.4.5) y 1 (−5) = 1, y 1 (5) = 1genügt. Man findet mit Hilfe von (7.3.4.3) die exakte Lösung(7.3.4.6) y(x) = e50 − e −50 [ ]e 100 − e −100 e−10x 1+ e50 − e −50 [ ]−10 e 100 − e −100 e10x 1.10Der Anfangswert ¯s = y(−5) der exakten Lösung ist⎡⎤1⎢¯s = ⎣−10 + 20(1 − ⎥e−100 ) ⎦ .e 100 − e −100Bei Berechnung von ¯s in z. B. 10-stelliger Gleitpunktarithmetik erhält man statt ¯sbestenfalls einen Näherungswert ˜s der Form[ ]1(1 + ε 1 )˜s = gl(¯s) =−10(1 + ε 2 )mit |ε i |≤eps = 10 −10 . Sei z. B. ε 1 = 0, ε 2 =−10 −10 . Zum Anfangswert[ ]1˜s =−10 + 10 −9gehört aber nach (7.3.4.4) die exakte Lösung y(x;˜s) mit(7.3.4.7) y 1 (5;˜s) ≈ 10−920 e100 ≈ 1.3 × 10 34 .Andererseits ist das Randwertproblem (7.3.4.2), (7.3.4.5) sehr gut konditioniert,was die Abhängigkeit der Lösung y(x) von den Randdaten (7.3.4.5) betrifft. Betrachtetman etwa statt (7.3.4.5) Randbedingungen der Form (Störung der erstenRandbedingung)y 1 (−5) = 1 + ε, y 1 (5) = 1,so besitzt das gestörte Randwertproblem die Lösung ȳ(x,ε) (ȳ(x, 0) = y(x))ȳ(x,ε)= e50 − e −50 + e 50 ε[ ]e 100 − e −100 e −10x 1+ e50 − e −50 − e −50 ε[ ]−10 e 100 − e −100 e 10x 1.10Für −5 ≤ x ≤ 5 sind die Faktoren von ε klein (=O(1)), ja es gelten dann sogar inerster Näherung Abschätzungen der Form|ȳ 1 (x,ε)−ȳ 1 (x, 0)| ˙≤εȳ 1 (x, 0) ≤ ε,|ȳ 2 (x,ε)−ȳ 2 (x, 0)| ˙≤10εȳ 1 (x, 0) ≤ 10εmit Faktoren ȳ 1 (x, 0) = y 1 (x), die im Inneren des Intervalls [−5, 5] extrem kleinsind. Also hat wegen (7.3.4.7) allein ein Rundungsfehler, den man bei der Berechnungdes Startwerts ¯s = y(−5) der exakten Lösung mittels des Schießverfahrensbegeht, einen erheblich größeren Einfluß auf das Ergebnis der Rechnung als Fehler

202 7 Gewöhnliche Differentialgleichungenin den Eingangsdaten (hier der Randdaten) des Problems: das Schießverfahren ist indiesem Beispiel kein gutartiges Verfahren [s. Abbschnitt 1.3].Das Beispiel zeigt: Selbst die Berechnung des Startwertes ¯s = y(a) mitvoller Maschinengenauigkeit garantiert nicht, daß sich weitere Werte y(x)genau bestimmen lassen. Wegen (7.3.4.4) hat man bei dem betrachtetenBeispiel für großes x > 0∥∥y(x; s 1 ) − y(x; s 2 ) ∥ ∥ = O ( e 10x∥ ∥s 1 − s 2∥ ∥),d. h. der Einfluß fehlerhafter Anfangsdaten wächst exponentiell mit x.Nach Satz (7.1.4) trifft dies allgemein zu: Für die Lösung y(x; s) desAnfangswertproblems y ′ = f (x, y), y(a) = s, gilt unter den Voraussetzungendieses Satzes‖y(x; s 1 ) − y(x; s 2 )‖≤‖s 1 − s 2 ‖ e L|x−a| .Diese Abschätzung zeigt aber auch, daß der Einfluß ungenauer Anfangsdatens = y(a) für x ∈ [a, b] aus kleinen Intervallen [a, b] nur kleinist.Eine weitere Schwierigkeit des einfachen Schießverfahrens, die seinepraktische Bedeutung erheblich einschränkt, ist die folgende: Häufig besitztdie rechte Seite einer Differentialgleichung y ′ = f (x, y) stetige partielleAbleitungen D y f (x, y) auf ganz S ={(x, y) | a ≤ x ≤ b, y ∈ R n },die aber dort nicht beschränkt bleiben. In diesem Fall muß die Lösungy(x) = y(x; s) des Anfangswertproblems y ′ = f (x, y), y(a) = s, nichtfür alle x ∈ [a, b] sondern nur noch in einer evtl. sehr kleinen UmgebungU s (a) von a definiert sein, die von s abhängen kann. Damit existiert eventuelly(b; s) nur für die Werte s aus einer kleinen Menge M b , die gewöhnlichnicht bekannt ist. Das einfache Schießverfahren muß daher immer zusammenbrechen,wenn man als Startwert des Newton-Verfahrens einen Vektors (0) ∉ M b wählt. Da die Menge M b umso größer wird, je kleiner |b − a|ist, verliert auch dieser Nachteil des Schießverfahrens für kleine Intervalle[a, b] an Gewicht. Alle diese Schwierigkeiten für große Intervalle [a, b]werden bei der Mehrzielmethode [s. Abschnitt 7.3.5] vermieden.Beispiel 2: Gegeben sei die Randwertaufgabe [vgl. Troesch (1960, 1976)]:(7.3.4.8) y ′′ = λ sinh λy(7.3.4.9) y(0) = 0, y(1) = 1(λ ein fester Parameter).Um die Aufgabe mit dem einfachen Schießverfahren behandeln zu können, mußzunächst die Anfangssteigung y ′ (0) = s „geschätzt“ werden. Bei der numerischenIntegration des Anfangswertproblems (7.3.4.8) mit λ = 5, y(0) = 0, y ′ (0) = s

7.3 Randwertprobleme 203stellt sich heraus, daß die Lösung y(x; s) überaus empfindlich von s abhängt: fürs = 0.1, 0.2, ..., bricht die Rechnung noch vor Erreichen des rechten Randes(x = 1) wegen Exponentenüberlaufs ab, d. h. y(x; s) besitzt bei einem x s ≤ 1 einevon s abhängende singuläre Stelle. Der Einfluß der Anfangssteigung y ′ (0) = s aufdie Lage der Singularität läßt sich hier abschätzen:besitzt das erste Integral(7.3.4.10)y ′′ = λ sinh λy(y ′ ) 2= cosh λy + C.2Die Bedingung y(0) = 0, y ′ (0) = s definiert die IntegrationskonstanteC = s22 − 1.Die Integration von (7.3.4.10) führt aufx = 1 ∫ λy dη√λ 0 s 2 + 2 coshη − 2 .Die singuläre Stelle ist dann durchx s = 1 ∫ ∞ dη√λ 0 s 2 + 2 coshη − 2gegeben.Zur näherungsweisen Berechnung des Integrals zerlegen wird das Integrationsintervall∫ ∞ ∫ ε ∫ ∞= + , ε> 0 beliebig,0 0 εund schätzen die Teilintegrale getrennt ab. Es istund∫ ε∫dηε∫√0 s 2 + 2 coshη − 2 = dηε√0 s 2 + η 2 + η 4 /12 +··· ≤ dη√0 s 2 + η 2⎛ √ ⎞= ln⎝ ε|s| + 1 + ε2 ⎠,s 2∫ ∞∫dη∞∫√ε s 2 + 2 coshη − 2 = dη∞√ε s 2 + 4 sinh(η/2) ≤ dηε 2 sinh(η/2)( )=−ln tanh(ε/4) .Es gilt also die Abschätzung

204 7 Gewöhnliche Differentialgleichungen⎛ √ ⎞εx s ≤ 1 λ ln |s| + 1 + ε2s 2⎜ ( ⎟ =: H(ε, s).⎝ ε ⎠tanh4)Für jedes ε>0 ist H(ε, s) eine obere Schranke für x s , also insbesondere(√ )x s ≤ H |s|, s für alle s ≠ 0.( √|s|, )Das asymptotische Verhalten von H s für s → 0läßt sich leicht angeben:in erster Näherung gilt nämlich für kleines |s|( √|s| )tanh ˙=4so daß asymptotisch für s → 0(√ )(7.3.4.11) x s ≤ H |s|, s√ |s|4 , 1√ |s|+√1 + 1|s|˙= 2 √ |s|,⎛ ⎞˙= 1 λ ln ⎝ 2/√ |s|√ ⎠ = 1 |s|/4 λ ln 8|s| .[Man kann darüber hinaus sogar zeigen (s. unten), daß asymptotisch für s → 0( )(7.3.4.12) x s ˙= 1 λ ln 8|s|gilt.]Damit man beim „Schießen“ den rechten Rand x = 1 erreicht, darf |s| alsohöchstens so groß gewählt werden, daß( )1 ˙≤ 1 λ ln 8, d. h. |s| ˙≤ 8e −λ ;|s|für λ = 5 erhält man den kleinen Bereich(7.3.4.13) |s| ˙≤ 0.05 .Für den „Kenner“ sei noch folgendes hinzugefügt:Das Anfangswertproblem(7.3.4.14) y ′′ = λ sinh λy, y(0) = 0, y ′ (0) = sbesitzt die exakte Lösung( )y(x; s) = 2 λ arsinh s sn(λx|k 2 )2 cn(λx|k 2 , k 2 = 1 − s2)4 ;

7.3 Randwertprobleme 205dabei sind sn, cn die Jacobischen elliptischen Funktionen zum Modul k, der hier vonder Anfangssteigung s abhängt. Bezeichnet K(k 2 ) die Viertelperiode von cn, so hatcn bei(7.3.4.15) x s = K(k2 )λeine Nullstelle und folglich y(x; s) dort eine logarithmische Singularität. K(k 2 )besitzt aber die Entwicklung( )K(k 2 4) = ln √ + 1 4 (ln √1 − k 2 4− 1 1 − k 2) +···1 − k 2oder umgerechnet auf sK(k 2 ) = ln 8|s| + s216(ln 8|s| − 1 )+···,woraus (7.3.4.12) folgt.Für die Lösung des eigentlichen Randwertproblems, d. h.erhält man für λ = 5 den Werty(1; s) = 1s = 4.575 046 14 × 10 −2[vgl. dazu (7.3.4.13)]. Dieser Wert ergibt sich als Folge einer Relation zwischen denJacobifunktionen verbunden mit einem Iterationsverfahren nach Abschnitt 5. DerVollständigkeit halber sei noch eine weitere Beziehung angeführt, die mit Hilfe derTheorie der Jacobifunktionen abgeleitet werden kann. Die Lösung der Randwertaufgabe(7.3.4.8), (7.3.4.9) besitzt eine logarithmische Singularität bei(7.3.4.16) x s ˙= 1 +Für λ = 5 folgt1λ cosh(λ/2) .x s ˙= 1.0326 ... ,die Singularität der exakten Lösung liegt in unmittelbarer Nähe des rechten Randes!Das Beispiel beleuchtet hinreichend die Schwierigkeiten, die bei der numerischenLösung von Randwertproblemen auftreten können.Für eine direkte numerische Lösung des Problems ohne Kenntnis der Theorieder elliptischen Funktionen s. 7.3.6.Ein weiteres Beispiel für das Auftreten von Singularitäten findet man in Aufgabe19.7.3.5 Die MehrzielmethodeDie Mehrzielmethode ∗ wurde schon verschiedentlich in der Literatur beschrieben,so in Keller (1968), Osborne (1969), und Bulirsch (1971). In∗ Auch Mehrfachschießverfahren („multiple shooting method“) genannt.

206 7 Gewöhnliche DifferentialgleichungenOberle und Grimm (1989) findet man FORTRAN-Programme. Bei derMehrzielmethode werden die Werte¯s k = y(x k ),k = 1, 2,...,m,der exakten Lösung y(x) eines Randwertproblems(7.3.5.1) y ′ = f (x, y), r ( y(a), y(b) ) = 0an mehreren Stellena = x 1 < x 2 < ···< x m = bgleichzeitig iterativ berechnet. Sie läuft auf eine Zerlegung in m − 1 Randwertproblemeauf den kleineren Intervallen [x k , x k+1 ], k = 1, 2, ..., m − 1,hinaus, deren Randdaten so bestimmt werden, daß eine Lösung von (7.3.5.1)entsteht.Sei dazu y(x; x k , s k ) die Lösung des Anfangswertproblemsy ′ = f (x, y), y(x k ) = s k .Die Aufgabe besteht nun darin, die Vektoren s k , k = 1, 2, ..., m, sozu bestimmen, daß die aus den y(x; x k , s k ) stückweise zusammengesetzteFunktiony(x) := y(x; x k , s k ) für x ∈ [x k , x k+1 ), k = 1, 2,...,m − 1,y(b) := s mstetig ist, also eine Lösung der Differentialgleichung y ′ = f (x, y) darstellt,und darüber hinaus die Randbedingungen r(y(a), y(b)) = 0 erfüllt[s. Fig. 9].y.. .(x 3s 3).. ....(xm1sm1). (xmsm).... . . .(x 1s 1)(x 2s 2). . . . . . . . .........a=x 1 x 2 x 3xxm1 xm=bFig. 9. Mehrfachschießverfahren

Dies ergibt die folgenden nm Bedingungen7.3 Randwertprobleme 207(7.3.5.2)y(x k+1 ; x k , s k ) = s k+1 , k = 1, 2,...,m − 1,r(s 1 , s m ) = 0für die nm unbekannten Komponenten σ kj , j = 1, 2, ..., n, k = 1, 2, ...,m, der s ks k = [σ k1 ,σ k2 ,...,σ kn ] T .Insgesamt stellt (7.3.5.2) ein Gleichungssystem der Form(7.3.5.3) ⎡ ⎤ ⎡F 1 (s 1 , s 2 )y(x 2 ; x 1 , s 1 ) − s 2F 2 (s 2 , s 3 )y(x 3 ; x 2 , s 2 ) − s 3F(s) :=.:=.⎢ ⎥ ⎢⎣ F m−1 (s m−1 , s m ) ⎦ ⎣ y(x m ; x m−1 , s m−1 ) − s mF m (s 1 , s m )r(s 1 , s m )für die Unbekannten⎡ ⎤s 1...s = ⎣ ⎦s mdar. Es kann mit Hilfe des Newton-Verfahrens⎤= 0⎥⎦(7.3.5.4) s (i+1) = s (i) − DF ( s (i)) −1F(s(i) ) , i = 0, 1,...iterativ gelöst werden. Damit es auch bei schlechter Wahl des Startvektorss (0) möglichst noch konvergiert, nimmt man in der Praxis statt (7.3.5.4)das modifizierte Newton-Verfahren (5.4.2.4) [s. Abschnitt 7.3.6 für weitereHinweise zu seiner Realisierung]. In jedem Schritt des Verfahrens müssenF(s) und DF(s) für s = s (i) berechnet werden. Dazu hat man für k = 1,2, ..., m − 1 durch Lösung der Anfangswertproblemey ′ = f (x, y),y(x k ) = s kdie Werte y(x k+1 ; x k , s k ), k = 1, 2, ..., m − 1, zu bestimmen, und F(s)gemäß (7.3.5.3) zu berechnen. Die FunktionalmatrixDF(s) = [ D sk F i (s) ] i,k=1,...,mhat wegen der besonderen Struktur der F i (7.3.5.3) die Gestalt

208 7 Gewöhnliche Differentialgleichungen⎡⎤G 1 −I 0 00 G 2 −I. ..(7.3.5.5) DF(s) =. .. . .. . .. 0,⎢⎣ 0. ⎥.. Gm−1 −I ⎦A 0 0 Bwobei die n × n-Matrizen A, B, G k , k = 1, ..., m − 1, selbst wiederFunktionalmatrizen sind:(7.3.5.6)G k :≡ D sk F k (s) ≡ D sk y(x k+1 ; x k , s k ), k = 1, 2,...,m − 1,B :≡ D sm F m (s) ≡ D sm r(s 1 , s m ),A :≡ D s1 F m (s) ≡ D s1 r(s 1 , s m ).Wie im einfachen Schießverfahren ersetzt man in der Praxis zweckmäßigdie Differentialquotienten in den Matrizen A, B, G k durch Differenzenquotienten,die man durch Lösen weiterer (m−1)n Anfangswertproblemeberechnen kann (für jede Matrix G 1 , ..., G m−1 je n Anfangswertprobleme).Die Gleichungen (7.3.5.4) sind mit den Abkürzungen⎡ ⎤∆s 1( )⎢ ⎥(7.3.5.7) ⎣ . ⎦ := s (i+1) − s (i) , F k := F k s (i)k, s(i) k+1∆s mmit folgendem linearen Gleichungssystem äquivalent(7.3.5.8)G 1 ∆s 1 − ∆s 2 =−F 1 ,G 2 ∆s 2 − ∆s 3 =−F 2 ,.G m−1 ∆s m−1 − ∆s m =−F m−1 ,A∆s 1 + B∆s m =−F m .Ausgehend von der ersten Gleichung kann man alle ∆s k sukzessive durch∆s 1 ausdrücken. Man findet so(7.3.5.9)∆s 2 = G 1 ∆s 1 + F 1 ,.m−1∑∆s m = G m−1 G m−2 ...G 1 ∆s 1 +j=1und daraus schließlich mit Hilfe der letzten Gleichung( ∏j−1)G m−l F m− j ,l=1

7.3 Randwertprobleme 209(7.3.5.10)(A + BGm−1 G m−2 ...G 1)∆s1 = w,mit w :=−(F m + BF m−1 + BG m−1 F m−2 +···+ BG m−1 G m−2 ...G 2 F 1 ).Dies ist ein lineares Gleichungssystem für den unbekannten Vektor ∆s 1 ,das man mit Hilfe des Gaußschen Eliminationsverfahrens lösen kann. Sobaldman ∆s 1 bestimmt hat, erhält man ∆s 2 , ∆s 3 , ..., ∆s m sukzessive aus(7.3.5.8) und s (i+1) aus (7.3.5.7).Es sei ohne Beweis erwähnt, daß unter den Voraussetzungen des Satzes(7.3.3.4) die Matrix A+ BG m−1 ...G 1 in (7.3.5.10) nichtsingulär ist. Fernergibt es dann wieder eine nichtsinguläre nm × nm-Matrix Q, so daß dieFunktionΦ(s) := s − QF(s)kontrahierend ist, also genau einen Fixpunkt ¯s besitzt mit F(¯s) = 0.Man sieht überdies, daß F(s) und im wesentlichen auch DF(s) für alleVektoren⎡ ⎤s 1s = ⎣.⎦ ∈ M := M (1) × M (2) ×···×M (m−1) × R ns mdefiniert ist und damit eine Iteration (7.3.5.4) der Mehrzielmethode fürs ∈ M ausführbar ist. Dabei ist M (k) , k = 1, 2, ..., m − 1, die Mengealler Vektoren s k ,für die die Lösung y(x; x k , s k ) (zumindest) auf dem kleinenIntervall [x k , x k+1 ] erklärt ist. Diese Menge M (k) umfaßt die MengeM k aller s k ,für die y(x; x k , s k ) auf ganz [a, b] definiert ist. Das Newton-Verfahren zur Berechnung von ¯s k mittels des einfachen Schießverfahrens istaber nur für s k ∈ M k ⊂ M (k) ausführbar. Dies zeigt, daß die Anforderungender Mehrzielmethode an die Güte der Startwerte für das Newton-Verfahrenwesentlich geringer sind als die des einfachen Schießverfahrens.7.3.6 Hinweise zur praktischen Realisierung der MehrzielmethodeIn der im letzten Abschnitt beschriebenen Form ist die Mehrzielmethodenoch recht aufwendig. Zum Beispiel ist in jedem Schritt des modifiziertenNewton-Verfahrens(7.3.6.1) s (i+1 = s (i) − λ i d (i) , d (i) := ∆F ( s (i)) −1F(s(i) ) ,zumindest die Approximation ∆F(s (i) ) der Funktionalmatrix DF(s (i) ) mittelsBildung geeigneter Differenzenquotienten zu berechnen. Dies alleinläuft auf die Lösung von n Anfangswertproblemen hinaus. Diesen enormenRechenaufwand kann man mit Hilfe der in Abschnitt 5.4.3 beschriebenen

210 7 Gewöhnliche DifferentialgleichungenTechniken erheblich reduzieren, in dem man nur gelegentlich die Matrix∆F(s (i) ) neu berechnet und die übrigen Matrizen mit Hilfe des Rang 1-Verfahren von Broyden rekursiv berechnet.Als nächstes soll das Problem behandelt werden, wie man die Zwischenpunktex k , k = 1, ..., m, in[a, b] wählen soll, wenn eine Näherungslösung(Starttrajektorie) η(x) für das Randwertproblem bekannt ist: Man setzex 1 := a. Hat man bereits x i (< b) gewählt, so integriere man das Anfangswertproblemη ′ i = f (x,η i ), η i (x i ) = η(x i )mit Hilfe der Methoden von 7.2, breche die Integration an der ersten Stellex = ξ ab, für die die Lösung ‖η i (ξ)‖ „zu groß“ gegenüber ‖η(ξ)‖ wird,etwa ‖η i (ξ)‖≥2‖η(ξ)‖ und setze x i+1 := ξ.Beispiel 1: Gegeben sei die Randwertaufgabe(7.3.6.2) y ′′ = 5 sinh 5y, y(0) = 0, y(1) = 1[vgl. Beispiel 2 von Abschnitt 7.3.4].Als Ausgangstrajektorie η(x) wird die Gerade η(x) ≡ x genommen, die beideRandpunkte verbindet.Die durch den Rechner gefundene Unterteilung 0 = x 1 < x 2 ···< x m = 1 zeigtFig. 10. Zu dieser Unterteilung und den Startwerten s k := η(x k ), s ′ k := η′ (x k ) liefertdie Mehrzielmethode nach 7 Iterationen die Lösung auf etwa 9 Ziffern genau.Die Aufgabe legt eine noch günstigere Starttrajektorie nahe, nämlich die Lösungη(x) := sinh 5x/ sinh 5 des linearisierten Problemsη ′′ = 5 · 5η, η(0) = 0, η(1) = 1.Bei einigen praktischen Problemen ist die rechte Seite f (x, y) der Differentialgleichungals Funktion von x auf [a, b] nur stückweise stetig oderauch nur stückweise stetig differenzierbar. In diesen Fällen achte man darauf,daß die Unstetigkeitsstellen als Teilpunkte x i auftreten, andernfalls gibtes Konvergenzschwierigkeiten [s. Beispiel 2].Es bleibt das Problem, wie man eine erste Näherungslösung η(x) fürein Randwertproblem findet. In vielen Fällen kennt man z. B. aus physikalischenGründen den qualitativen Verlauf der Lösung, so daß man sich leichtzumindest eine grobe Näherung verschaffen kann. Gewöhnlich reicht diesauch für die Konvergenz aus, weil das modifizierte Newton-Verfahren keinebesonders hohen Anforderungen an die Qualität des Startvektors stellt.In komplizierteren Fällen hilft häufig die sog. Fortsetzungsmethode(Homotopie-Methode). Hier tastet man sich allmählich über die Lösung„benachbarter“ Probleme an die Lösung des eigentlich gestellten Problemsheran: Fast alle Probleme enthalten gewisse Parameter α,

7.3 Randwertprobleme 211½ººººººº ºÝ´Ü× µººº½º¼Æ Æ Æ Æ ÆƺÆÆÆƺƺ º º º º º º º º º º º º ºÆ¼ººÆº º º º º´Ü × µÆÆÆÆƺƺ º º º º º º º º º º º º º ÜØ ÄĐÓ×ÙÒƼ½¼Ü Fig. 10. Zwischenpunkte für die Mehrzielmethode(7.3.6.3) P α : y ′ = f (x, y; α), r(y(a), y(b); α) = 0,und die Aufgabe lautet, die Lösung y(x), die natürlich auch von α abhängt,y(x) = y(x; α), für einen bestimmten Wert α =ᾱ zu bestimmen. Meistensist es so, daß das Randwertproblem P α für einen gewissen anderen Wertα = α 0 einfacher ist, so daß zumindest eine gute Näherung η 0 (x) für dieLösung y(x; α 0 ) von P α0 bekannt ist. Die Fortsetzungsmethode besteht nundarin, daß man zunächst ausgehend von η 0 (x) die Lösung y(x; α 0 ) von P α0bestimmt. Man wählt dann eine endliche Folge genügend eng benachbarterZahlen ε i mit 0

212 7 Gewöhnliche DifferentialgleichungenEine raffiniertere Variante der Fortsetzungsmethode, die sich im Zusammenhangmit der Mehrzielmethode bewährt hat, wird bei Deuflhard (1979)beschrieben.Beispiel 2: Singuläre Randwertaufgabe.Die stationäre Temperaturverteilung im Innern eines Zylinders vom Radius 1wird beschrieben durch die Lösung y(x; α) der nichtlinearen Randwertaufgabe [vgl.Na und Tang (1969)]:(7.3.6.4)y ′′ =− y′x − αey ,y ′ (0) = y(1) = 0.α ist hier ein „natürlicher“ Parameter mit der Bedeutungα ˙= Wärmeerzeugung , 0

7.3 Randwertprobleme 213Die Koeffizienten y (i) (0), i = 2, 3, 4, ..., lassen sich alle durch λ := y(0), alsoeine noch unbekannte Konstante, ausdrücken; durch Einsetzen in die Differentialgleichung(7.3.6.4) findet man(7.3.6.6) y (2) (x) =−(y (2) (0) + x )2! y(3) (0) + x23! y(4) (0) +··· − αe y(x) ,woraus für x → 0 wirdy (2) (0) =−y (2) (0) − αe y(0) , d. h. y (2) (0) =− 1 2 αeλ .Durch Differentiation ergibt sich)y (3) (x) =−( 12y (3) (0) + 3 1 xy(4) (0) +··· − αy ′ (x)e y(x) ,also y (3) (0) = 0. Weiter ist) {( 2 }y (4) (x) =−( 13y (4) (0) + x(...) − α y (x)) ′ + y (2) )(x) e y(x) ,so daßy (4) (0) = 3 8 α2 e 2λ .Man kann zeigen, daß y (5) (0) = 0, allgemein y (2i+1) (0) = 0.Die singuläre Randwertaufgabe läßt sich nun wie folgt behandeln. Als Informationüber y(x; α) benutze man in der Nähe von x = 0 die Potenzreihendarstellung(7.3.6.5) und in „genügender“ Entfernung von der Singularität x = 0 die Differentialgleichung(7.3.6.4) selbst. Man hat z. B.⎧⎪⎨ − 1(7.3.6.7) y ′′ 2 αeλ[ 1 − 8 3 x2 αe λ] für 0 ≤ x ≤ 10 −2 ,(x) =⎪⎩ − y′ (x)− αe y(x) für 10 −2 ≤ x ≤ 1.xDer Fehler ist von der Größenordnung 10 −8 . Die rechte Seite enthält jetzt nochden unbekannten Parameter λ = y(0). Wie in 7.3.0 gezeigt, läßt sich dies aber alserweiterte Randwertaufgabe interpretieren. Man setzty 1 (x) := y(x),y 2 (x) := y ′ (x),y 3 (x) := y(0) = λund erhält das System von Differentialgleichungen auf [0, 1](7.3.6.8)y ′ 1 = y 2,y ′ 2 = ⎧⎪⎨⎪ ⎩− 1 2 αey 3y ′ 3 = 0mit den Randbedingungen[ ]1 − 3 8 x2 αe y 3für 0 ≤ x ≤ 10 −2 ,− y 2x − αey 1für 10 −2 ≤ x ≤ 1,

214 7 Gewöhnliche Differentialgleichungen(7.3.6.9) r =[]y 2 (0)y 1 (1)y 3 (0) − y 1 (0)= 0.Zur Behandlung mit dem Mehrzielverfahren wähle man die „Heftstelle“ 10 −2 alseinen Unterteilungspunkt, etwax 1 = 0, x 2 = 10 −2 , x 3 = 0.1, ..., x 11 = 0.9, x 12 = 1.Um die Glätte der Lösung an der Heftstelle muß man sich nicht kümmern, sie istdurch den Ansatz gesichert. In Verbindung mit der Homotopie [s. (7.3.6.3)] erhältman ausgehend von y(x; α 0 ) ≡ 0 die Lösung y(x; α k ) aus y(x; α k−1 ) mit nur 3Iterationen mühelos auf etwa 6 Ziffern genau (s. Fig. 11; Gesamtrechenzeit aufeiner CDC 3600 für alle 8 Trajektorien: 40 sec.).«¼¼¾Ý´Ü «µ¼½«¼«¼½«¼¼¼Ü Fig. 11. Lösung y(x; α) für α = 0(0.1)0.8.ƺ½¼7.3.7 Ein Beispiel: Optimales Bremsmanöver eines Raumfahrzeugsin der Erdatmosphäre (Re-entry Problem)Die folgende umfangreiche Aufgabe entstammt der Raumfahrt . Sie soll illustrieren,wie nichtlineare Randwertprobleme praktisch angepackt und gelöstwerden, denn erfahrungsgemäß bereitet die konkrete Lösung solcher Aufgabendem Unerfahrenen die größten Schwierigkeiten. Die numerische Lösungwurde mit der Mehrzielmethode durchgeführt mit dem Programm in Oberleund Grimm (1989).Die Bahnkoordinaten eines Fahrzeugs vom Apollo-Typ genügen beimFlug des Fahrzeugs durch die Lufthülle der Erde den folgenden Differentialgleichungen:

(7.3.7.1)7.3 Randwertprobleme 215˙v = V(v,γ,ξ,u) =− Sρv22m C W(u) − g sin γ(1 + ξ) 2 ,˙γ = Γ(v,γ,ξ,u) = Sρv2m C A(u) + v cos γR(1 + ξ) − g cos γv(1 + ξ) 2 ,˙ξ = Ξ(v,γ,ξ,u) = v sin γR ,˙ζ = Z(v,γ,ξ,u) =v cos γ.1 + ξEs bedeuten: v: Tangentialgeschwindigkeit, γ : Bahnneigungswinkel, h:Höhe über Erdoberfläche, R: Erdradius, ξ = h/R: normalisierte Höhe, ζ :Distanz auf der Erdoberfläche, ρ = ρ 0 exp(−β Rξ): Luftdichte, C W (u) =1.174 − 0.9 cos u: aerodynamischer Widerstandskoeffizient, C A (u) =0.6 sin u: aerodynamischer Auftriebskoeffizient, u: Steuerparameter (beliebigzeitabhängig wählbar), g: Erdbeschleunigung, S/m: Frontfläche/Fahrzeugmasse;Zahlenwerte: R = 209 ( ˆ= 209 10 5 ft); β = 4.26; ρ 0 = 2.704 10 -3;g = 3.2172 10 -4; S/m = 53200; (1 ft = 0.3048 m) [s. Fig. 12].Æ ºÊºÆºº ºÆººººººººººººÆº º º ºº ƺ­ººººº ºº ººÚFig. 12. Die Koordinaten der TrajektorieDie Differentialgleichungen wurden unter den Annahmen a) ruhende,kugelförmige Erde, b) Flugbahn liegt in einer Großkreisebene, c) Astronautenbeliebig hoch belastbar, etwas vereinfacht. Gleichwohl enthalten dierechten Seiten der Differentialgleichungen alle physikalisch wesentlichenTerme. Die größte Wirkung haben die mit C W (u) bzw. C A (u) multipliziertenGlieder, es sind dies die trotz der geringen Luftdichte ρ durch das schnellfliegende Fahrzeug (v . = 11 km/sec) besonders einflußreichen Luftkräfte;

216 7 Gewöhnliche Differentialgleichungensie lassen sich über den Parameter u (Bremsklappen, Bremskonus des Fahrzeugs)beeinflussen. Die mit g multiplizierten Terme sind die auf das Fahrzeugeinwirkenden Gravitationskräfte der Erde, die übrigen Glieder sindeine Konsequenz des gewählten Koordinatensystems.Beim Flug durch die Lufthülle der Erde erhitzt sich das Fahrzeug. Diedurch konvektive Wärmeübertragung hervorgerufene Aufheizung im Staupunktvom Zeitpunkt t = 0 des Eintritts in die „fühlbare“ Erdatmosphäre(h = 4(ˆ= 400000 ft)) bis zu einem Zeitpunkt t = T ist gegeben durch dasIntegral(7.3.7.2) J =∫ T0˙qdt, ˙q = 10v 3√ ρ.Die Kapsel soll in eine für die Wasserung im Pazifik günstige Ausgangspositiongesteuert werden. Über den frei wählbaren Parameter u ist die Steuerungso vorzunehmen, daß die Aufheizung J minimal wird und folgendeRandbedingungen erfüllt werden:Daten beim Eintritt in Erdatmosphäre:((7.3.7.3)v(0) = 0.36 ( ˆ= 36000 ft/sec),γ(0) =−8.1 ◦ π180 ◦ ,ξ(0) = 4 R[h(0) =4(ˆ= 400000 ft)].Daten der Ausgangsposition für die Landung:(7.3.7.4)v(T) = 0.27 ( ˆ= 27000 ft/sec),γ(T) = 0,ξ(T) = 2.5R[h(T) = 2.5 (ˆ= 250000 ft)].Die Endzeit T ist frei. ζ bleibt bei der Optimierung unberücksichtigt.Die Variationsrechnung [vgl. z. B. Hestenes (1966)] lehrt nun folgendes:Man bilde mit Parametern (Lagrange-Multiplikatoren) den Ausdruck(7.3.7.5) H := 10v 3√ ρ + λ v V + λ γ Γ + λ ξ Ξ,wobei die Lagrange-Multiplikatoren oder adjungierten Variablen λ v , λ γ , λ ξden drei gewöhnlichen Differentialgleichungen genügen

(7.3.7.6)˙λ v =− ∂ H∂v ,˙λ γ =− ∂ H∂γ ,˙λ ξ =− ∂ H∂ξ .Die optimale Steuerung u ist dann gegeben durch(7.3.7.7)sin u = −0.6λ γα7.3 Randwertprobleme 217, cos u = −0.9vλ √v, α= (0.6λ γ )α2 + (0.9vλ v ) 2 .Man beachte: (7.3.7.6) ist wegen (7.3.7.7) nichtlinear in λ v , λ γ .Da keine Bedingung an die Endzeit T gestellt wird, muß die weitereRandbedingung erfüllt sein:(7.3.7.8) H∣ = 0.t=TDie Aufgabe ist damit auf ein Randwertproblem für die 6 Differentialgleichungen(7.3.7.1), (7.3.7.6) mit den 7 Randbedingungen (7.3.7.3), (7.3.7.4),(7.3.7.8) zurückgeführt. Es handelt sich also um ein freies Randwertproblem[vgl. (7.3.0.4a, b)]. Eine geschlossen angebbare Lösung ist nicht möglich,man muß numerische Methoden benutzen.Es wäre nun verfehlt, eine Starttrajektorie η(x) ohne Bezugnahme aufdie Realität konstruieren zu wollen. Der Unerfahrene möge sich nicht durchdie harmlos aussehende rechte Seite der Differentialgleichung (7.3.7.1)täuschen lassen: Bei der numerischen Integration stellt man schnell fest, daßv, γ , ξ, λ v , λ γ , λ ξ äußerst empfindlich von den Anfangsdaten abhängen.Die Lösung besitzt bewegliche Singularitäten, die in unmittelbarer Nachbarschaftdes Integrationspunktes liegen (siehe dazu das vergleichsweisetriviale Beispiel (7.3.6.2)). Diese Sensitivität ist eine Folge des Einflussesder Luftkräfte, und die physikalische Interpretation der Singularität ist„Absturz“ der Kapsel auf die Erde bzw. „Zurückschleudern“ in den Weltraum.Wie man durch eine a posteriori-Rechnung zeigen kann, existierennur für einen äußerst schmalen Bereich von Randdaten differenzierbareLösungen des Randwertproblems. Das ist die mathematische Aussage überdie Gefährlichkeit des Landemanövers.Konstruktion einer Starttrajektorie. Aus aerodynamischen Gründen wirdder Graph des Steuerparameters u den in Fig. 13 dargestellten Verlauf haben(Information der Raumfahrtingenieure).Diese Funktion läßt sich in etwa approximieren durch(7.3.7.9) u = p 1 erf ( p 2 (p 3 − τ) ) ,

218 7 Gewöhnliche Differentialgleichungenu.. .2...0:5 1 ...2.Fig. 13. Kontroll-Parameter (empirisch)woτ = t T ,erf(x) = 2 √ π∫ x0

7.3 Randwertprobleme 219läßt sich zu einer „vollen“ Starttrajektorie ergänzen: wegen cos u > 0 folgtaus (7.3.7.7) λ v < 0; man wähltWeiter ergibt sich ausλ v ≡−1.tan u = 6λ γ9vλ veine Näherung für λ γ . Eine Approximation für λ ξ erhält man aus der RelationH ≡ 0, H nach (7.3.7.5), denn H = const ist ein erstes Integral derBewegungsgleichungen.Mit dieser Näherungstrajektorie für v, γ , ..., λ ξ , T (T = 230) und derTechnik nach 7.3.6 kann man nun die Teilpunkte für die Mehrzielmethodeermitteln (m = 6 genügt). Die Fig. 14, 15 zeigen das Ergebnis der Rechnung(nach 14 Iterationen); die Dauer des optimalen Bremsmanövers ergibt sichzu T = 224.9 sec, Genauigkeit der Resultate: ca. 7 Ziffern.Fig. 16 zeigt das Verhalten der Steuerung u = arctan(6λ γ /9vλ v )während der Iteration. Man sieht, wie die zunächst großen Sprunghöhenan den Stützpunkten des Mehrzielverfahrens „eingeebnet“ werden.Fig. 14. Die Bahntrajektorien h, γ , v

220 7 Gewöhnliche DifferentialgleichungenFig. 15. Verlauf der adjungierten Variablen λ ξ , λ γ , λ vFig. 16. Iterationswerte der Steuerung u

7.3 Randwertprobleme 221Die folgende Tabelle zeigt das Konvergenzverhalten des modifiziertenNewton-Verfahrens [s. Abschnitte 5.4.2, 5.4.3]:Fehler Schrittlänge Fehler Schrittlänge‖F(s (i) )‖ 2 (in (5.4.3.5)) ‖F(s (i) )‖ 2 (in (5.4.3.5))[s. (7.3.5.3)] λ [s. (7.3.5.3)] λ5 × 10 23 × 10 2 0.250 1 × 10 −1 1.0006 × 10 4 0.500 (Versuch) 6 × 10 −2 1.0007 × 10 2 0.250 (Versuch) 3 × 10 −2 1.0002 × 10 2 0.125 1 × 10 −2 1.0001 × 10 2 0.125 1 × 10 −3 1.0008 × 10 1 0.250 4 × 10 −5 1.0001 × 10 1 0.500 3 × 10 −7 1.0001 × 10 0 1.000 1 × 10 −9 1.0007.3.8 Zur Realisierung der Mehrzielmethode – fortgeschritteneTechnikenIn Abschnitt 7.3.5 wurde eine Prototyp-Version der Mehrzielmethode beschrieben.In diesem Abschnitt beschreiben wir weitere fortgeschritteneTechniken. Sie haben zum Ziel, den sehr hohen Rechenaufwand zu reduzieren,mit der die Methode bei der Lösung komplexer Probleme aus denAnwendungen in den Natur- und Ingenieurwissenschaften verbunden ist.Die Berechnung der Jacobimatrix. Der größte Rechenaufwand ist beider Mehrzielmethode mit der Approximation der Jacobimatrizen DF(s (i) )verbunden – insbesondere der partiellen Ableitungen G k in (7.3.5.6). DieseAbleitungenG k (x k+1 ; x k , s k ) := D sk y(x k+1 ; x k , s k ), k = 1, 2, ..., m − 1,könnten durch Lösung von mindestens n (m − 1) zusätzlichen Anfangswertproblemenund Differenzenbildung approximiert werden. Dieses Vorgehenist zwar konzeptionell einfach; nachteilig ist aber, daß man dabei keineInformationen über die Genauigkeit der berechneten G k erhält, aber dieG k sehr genau approximieren muß. Eine geringe Genauigkeit der G k führtoft zu einer schlechten Konvergenz der Iterationsverfahren zur Lösung desnichtlinearen Systems (7.3.5.4).

222 7 Gewöhnliche DifferentialgleichungenEs wurden deshalb andere Techniken zur Berechnung der G k entwickelt[s. Hiltmann (1990), Callies (2000)], die auf der Integration derVariationsgleichung [vgl. (7.1.9)] beruhen(7.3.8.1)∂G k (x; x k , s k )= f y (x, y(x; x k , s k )) G k (x; x k , s k ),∂xG k (x k ; x k , s k ) = Iberuhen. Man beweist sie durch Differentiation von(7.3.8.2) y ′ = f (x, y), y(x k ) = s knach s k , wenn man berücksichtigt, daß y = y(x; x k , s k ) auch eine glatteFunktion der Anfangswerte x k , s k ist. In der Rechenpraxis integriert mandie Differentialgleichungen (7.3.8.1) und (7.3.8.2) zwar parallel, verwendetdabei aber verschiedene Integrationsverfahren, um die verschiedene Strukturder Systeme zu berücksichtigen. So kann man z. B. schon durch Ausnutzender Linearität von (7.3.8.1) etwa die Hälfte der Funktionsauswertungen vonf einsparen [s. Callies (2001)]. Auch die Schrittweiten werden für beide Systemeunabhängig voneinander gesteuert; auch können die Zwischenpunktex k einfacher bestimmt werden als in Abschnitt 7.3.6.Weiter kann man mit Vorteil die Formel(7.3.8.3) D xk y(x k+1 ; x k , s k ) =−G k (x k+1 ; x k , s k ) f (x k , s k )für die partielle Ableitung von y(x k+1 ; x k , s k ) nach x k verwenden, die mandurch Differentiation von (7.3.8.2) und der Identität y(x k ; x k , s k ) ≡ s k nachx k erhält.Stückweise stetige rechten Seiten. In vielen Anwendungen ist die rechteSeite f (x, y) der Differentialgleichung nicht überall stetig oder differenzierbar[s. Abschnitt 7.2.18], und auch die gesuchte Funktion kann Sprungstellenbesitzen. Solche Probleme können zwar im Prinzip im Rahmen derMehrzielmethode behandelt werden, indem man z. B. dafür sorgt, daß alleUnstetigkeitspunkte unter den Zwischenpunkten x i der Methode vorkommen.Doch wächst dann in der Regel die Anzahl der Zwischenpunkte unddamit auch die Größe des nichtlinearen Systems(7.3.5.3) dramatisch an.Wie [Callies (2000a)] aber zeigte, kann man diese Nachteile vermeiden,wenn man zwei Typen von Diskretisierungen unterscheidet, eine Makrodiskretisierungmit den Zwischenpunkten x 1 < x 2 < ··· < x m und eineMikrodiskretisierung x ν =: x ν,1 < x ν,2 < ··· < x ν,κν := x ν+1 , ν = 1, ...,m − 1.Man betrachte dazu das folgende stückweise definierte sog. Mehrpunkt-Randwertproblem

7.3 Randwertprobleme 223(7.3.8.4)y ′ = f ν,µ (x, y), x ∈ [x ν,µ , x ν,µ+1 )y(x ν,µ ) = s ν,µ}{ν = 1,...,m − 1,µ = 1,...,κ ν − 1,r ν,µ (x ν,µ , s ν,µ , y(x − ν,µ )) = 0, ν = 1, ..., m − 1, µ= 2, ..., κ ν,r(x 1 , s 1,1 , x m , s m−1,κm−1 ) = 0.Mit den Abkürzungen s 1 := s 1,1 unds ν+1 := s ν,κν , r ν := r ν,κν , ν = 1, ..., m − 1,ist die Lösung von (7.3.8.4) formal zur Lösung eines speziellen Systemsvon nichtlinearen Gleichungen [vgl. (7.3.5.3)] äquivalent:⎡x 1⎡r 1 (x 2 , s 2 , y(x − 2 )) ⎤s r 2 (x 3 , s 3 , y(x − 3 ))1x (7.3.8.5) F(z) := ⎢⎥ z := 2⎢ s 2... ⎥ .⎢⎣.r m−1 (x m , s m , y(xm −))r(x 1 , s 1 , x m , s m )⎥⎦ = 0,⎤⎢ ⎥⎣x⎦ms mHier ist y(x − ν+1 ) := y(x− ν+1 ; x ν, s ν ), ν = 1, ..., m − 1, und y(.) für x ∈[x ν,µ , x ν,µ+1 ), die Lösung des folgenden Anfangswertproblemsy ′ = f ν,µ (x, y), x ∈ [x ν,µ , x ν,µ+1 ), µ = 1, ..., κ ν − 1,y(x ν,µ ) = s ν,µ .Weiter ist s ν,1 := s ν , und x ν,µ und s ν,µ erfüllen für µ = 2, ..., κ ν − 1 dieGleichungr ν,µ (x ν,µ , s ν,µ , y(xν,µ − )) = 0.Wie in Abschnitt 7.2.18 erzeugen beispielsweise Schalt- und Sprungfunktionenein System solcher Gleichungen.Probleme dieser Art sind sehr allgemein, weil die x ν,µ nicht a prioribekannt sein müssen, Sprünge in der Lösung y(.) an den Stellen x = x ν,µerlaubt sind und die rechten Seiten f ν,µ der Differentialgleichung von ν undµ abhängen können. Man beachte, daß das einfache Zweipunktrandwertproblem(7.3.5.1) aus Abschnitt 7.3.5 und (7.3.5.2) Spezialfälle von (7.3.8.4)sind: man erhält sie für festes f ( f ν,µ = f ), feste Zwischenpunkte x i inder Makrodiskretisierung (man streiche in (7.3.8.5) im Vektor z die Variablenx 1 , x 2 , ..., x m ) und keine echten Punkte in der Mikrodiskretisierung(κ ν := 2, x ν,1 := x ν , x ν,2 := x ν+1 , s ν,1 := s ν , r ν,2 (x, s, y) := y − s).

224 7 Gewöhnliche DifferentialgleichungenDas nichtlineare System (7.3.8.5) wird wieder mit einem modifiziertenNewton-Verfahren iterativ gelöst. Die ξ-te Iteration besitzt die Form(7.3.8.6)z (ξ+1) := z (ξ) − λ(∆F(z (ξ) )) −1 F(z (ξ) ), ∆F(z (ξ) ) ≈ DF(z (ξ) ).Eine Schrittlänge λ wird akzeptiert, falls z (ξ+1) folgende zwei Tests erfüllt:(7.3.8.7)‖F(z (ξ+1) )‖≤‖F(z (ξ) )‖(Test 1),‖(∆F(z (ξ) )) −1 F(z (ξ+1) )‖≤‖(∆F(z (ξ) )) −1 F(z (ξ) )‖(Test 2).Die Berechnung der Jacobimatrix DF(z) erfordert die Berechnung derSensitivitätsmatrizenG ν = G ν (x ν+1 ; x ν , s ν ) := D sν y(x − ν+1 ; x ν, s ν ), ν = 1, 2, ..., m − 1.Dies führt zu Problemen, falls das offene Makro-Intervall (x ν , x ν+1 ) Punkteder Mikrodiskretisierung enthält, κ ν > 2. Wir wollen beschreiben, wie mandiese Probleme löst, beschränken uns dabei aber auf den einfachsten Fallnur eines offenen Makro-Intervalls (x 1 , x 2 ), m = 2, das zudem nur einenPunkt der Mikrodiskretisierung enthält (κ 1 = 3), den wir mit ˆx bezeichnen.Dies führt auf ein Kernproblem und eine grundlegende Voraussetzung:Voraussetzung (A): Sei x 1 < ˆx < x 2 und ε> 0. Ferner sei f 1 ∈C N ([x 1 − ε, ˆx + ε] × R n , R n ), f 2 ∈ C N ([ˆx − ε, x 2 + ε] × R n , R n ), undq ∈ C 2 ([x 1 , x 2 ]×R n , R). Man betrachte das folgende stückweise definierteSystem von gewöhnlichen Differentialgleichungen{(7.3.8.8) y ′ f1 (x, y(x)), falls q(x, y(x)) < 0,=f 2 (x, y(x)), falls q(x, y(x)) > 0,mit den Anfangsbedingungen y(x 1 ) = s 1 .Für ˆx gelte q(ˆx, y(ˆx − ; x 1 , s 1 ))= 0. Zur Integration von f 2 verwende man die Startwerte (ˆx, ŝ), d.h.y(ˆx) := ŝ, wobei ŝ eine (als existent vorausgesetzte ) Lösung einer weiterenGleichung p(y(ˆx − ), ŝ) = 0 mit einer Funktion p: R 2n → R n ist.Ferner gelte q(x, y(x)) < 0 für x 1 ≤ x < ˆx) und q(x, y(x)) > 0für ˆx < x ≤ x 2 .Für die Funktion Q(x, y) := [q x + q y f 1 ](x, y) gelteQ(ˆx, y(ˆx)) > 0. Schließlich sei p auf einer offenen konvexen Menge˜D ⊂ R 2n mit (y(ˆx), ŝ) = (ŝ, ŝ) ∈ ˜D zweimal stetig differenzierbar undbesitze eine nichtsinguläre Jakobimatrix Dŝ p(y, ŝ)| y=ŝ .Falls Voraussetzung (A) erfüllt ist, heißt q(x, y) eine Schaltfunktion,p(y, s) eine Übergangsfunktion, und der Mikropunkt ˆx auch Design-Punkt.Im Kernproblem (7.3.8.8) spielt das Gleichungssystem[ q(ˆx, y(ˆx − ]))p(y(ˆx − = 0), ŝ)

7.3 Randwertprobleme 225die Rolle der Gleichung r ν,µ (...) = 0 in (7.3.8.4). In vielen Anwendungen besitztp die Form p(y, s) = φ(y) − s [vgl. Abschnitt 7.2.18].Voraussetzung (A) erlaubt die Anwendung des Satzes über impliziteFunktionen. Sie garantiert, daß der Mikropunkt ˆx und der Startwert ŝ lokaleindeutige Lösungen glatter Gleichungen sind, die überdies glatt von s 1abhängen, ˆx =ˆx(s 1 ), ŝ =ŝ(s 1 ). Dies wird im Beweis des folgenden Satzesverwandt:(7.3.8.9) Satz: Sei ˆx ein Mikropunkt und Voraussetzung (A) erfüllt. Dannkann die Sensitivitätsmatrix ∂y(x 2 ;ˆx(s 1 ), ŝ(s 1 ))/∂s 1 mittels der Formel∂y(x 2 ;ˆx(s 1 ), ŝ(s 1 ))∂s 1=( ∂p− G 2 (x 2 ;ˆx, ŝ)∂ŝ[+ G 2 (x 2 ;ˆx, ŝ)) −1∂p∂y G 1(ˆx; x 1 , s 1 )f 2 (ˆx, ŝ) +( ) ]∂p−1∂p∂ŝ ∂y f 1(ˆx, y(ˆx))berechnet werden, in der folgende Abkürzungen verwandt werden∂p∂y=∂p(y, ŝ)∂y∣ ,y=y(ˆx − )∂p∂ŝ=∂p(y, ŝ)∂ŝL(.) := L(ˆx, x 1 , s 1 ) := ( Q(ˆx, y(ˆx)) ) −1 ∂q(ˆx, y)∂y∣ ,y=y(ˆx − )· L(.)∣ G 1(ˆx; x 1 , s 1 ).y=y(ˆx − )Beweis: Unter der Voraussetzung (A) genügen ˆx und ŝ den Gleichungenq(ˆx, y(ˆx; x 1 , s 1 )) = 0, p(y(ˆx − ; x 1 , s 1 ), ŝ) = 0, so daß sie insbesondere alsFunktionen von s 1 angesehen werden können (ihre Abhängigkeit von x 1spielt im folgenden keine Rolle) ˆx =ˆx(s 1 ), ŝ =ŝ(s 1 ). Durch Differentiationder Identität q(ˆx(s 1 ), y(ˆx(s 1 ); x 1 , s 1 )) ≡ 0 erhält man so mit Hilfe des Satzesüber implizite Funktionen( )∂ ˆx ∂q(ˆx, y(ˆx; x1 , s 1 )) −1∂q(ˆx, y(ˆx; x 1 , s 1 ))=−∂s 1 ∂ ˆx∂s 1−1∂q(ˆx, y)=−Q(ˆx, y(ˆx)) ∣∂yG 1(ˆx; x 1 , s 1 ).y=y(ˆx − )Analog erhält man aus der Gleichung p(y, ŝ) = 0, die ŝ als Funktion vony definiert,

226 7 Gewöhnliche Differentialgleichungen( )∂ŝ ∂p(y, ŝ) −1∂y =− ∂p(y, ŝ).∂ŝ ∂yDie Kettenregel und (7.3.8.3) liefern dann∂y(x 2 ;ˆx, ŝ)= ∂y(x 2;ˆx, ŝ) ∂ ˆx+ ∂y(x 2;ˆx, ŝ) ∂ŝ ∂y(ˆx)∂s 1 ∂ ˆx ∂s 1 ∂ŝ ∂y ∂s(1= G 2 (x 2 ;ˆx, ŝ) − f 2 (ˆx, ŝ) ∂ ˆx + ∂ŝ )∂y(ˆx),∂s 1 ∂y ∂s 1wo ∂y(ˆx)/∂s 1 eine Abkürzung für∂y(ˆx(s 1 ) − ; x 1 , s 1 )= ∂y(ˆx− )∂s 1 ∂ ˆx∂ ˆx+ ∂y(x; x 1, s 1 )∣∂s 1 ∂s 1∣∣x=ˆx −= f 1 (ˆx, y(ˆx − )) ∂ ˆx∂s 1+ G 1 (ˆx; x 1 , s 1 )ist. Die Behauptung des Satzes folgt dann aus der Kombination dieser Gleichungen.⊓⊔Der Satz erlaubt es, die Lösung eines Mehrpunkt-Randwertproblems(7.3.8.4) iterativ durch die Lösung eines relativ kleinen Systems (7.3.8.5)zu bestimmen, und zwar ähnlich genau und effizient wie bei der Lösung desanalogen Systems (7.3.5.3) für das gewöhnliche Randwertproblem (7.3.5.1).Die Größe des Systems (7.3.8.5) ist nämlich allein durch die Anzahl m derPunkte der Makrodiskretisierung bestimmt, obwohl die Anzahl der Funktionenf ν,µ auf der rechten Seite von (7.8.3.4) i.a. sehr viel größer ist (sie istgleich der Anzahl ∑ m−1ν=1 (κ ν − 1) aller Mikro-Intervalle, während die rechteSeite von (7.3.5.1) nur von einer einzigen stetigen Funktion f abhängt).7.3.9 Der Grenzfall m →∞der Mehrzielmethode(Allgemeines Newton-Verfahren, Quasilinearisierung)Unterteilt man das Intervall [a, b] immer feiner (m →∞), so konvergiertdie Mehrzielmethode gegen ein allgemeines Newton-Verfahren für Randwertaufgaben[vgl. etwa Collatz (1966)], das in der angelsächsischen Literaturauch unter dem Namen Quasilinearisierung bekannt ist.Bei dieser Methode wird eine Näherungslösung η(x) für die exakteLösung y(x) des nichtlinearen Randwertproblems (7.3.5.1) durch Lösungvon linearen Randwertproblemen verbessert: Durch Taylorentwicklung vonf (x, y(x)) und r(y(a), y(b)) um η(x) findet man in erster Näherung [vgl.die Herleitung des Newton-Verfahrens in 5.1]

7.3 Randwertprobleme 227y ′ (x) = f ( x, y(x) ) . = f(x,η(x))+ Dy f ( x,η(x) )( y(x) − η(x) ) ,0 = r ( y(a), y(b) ) . = r(η(a), η(b))+ A(y(a) − η(a))+ B(y(b) − η(b))mit A := D u r(η(a), η(b)), B := D v r(η(a), η(b)). Es ist daher zu erwarten,daß die Lösung ¯η(x) des linearen Randwertproblems¯η ′ = f ( x,η(x) ) + D y f ( x,η(x) )(¯η − η(x) )(7.3.9.1)A (¯η(a) − η(a) ) + B (¯η(b) − η(b) ) =−r ( η(a), η(b) )eine bessere Lösung von (7.3.5.1) als η(x) ist. Für später führen wir dieKorrekturfunktion ∆η(x) := ¯η(x) − η(x) ein, die nach Definition Lösungdes Randwertproblems(7.3.9.2)ist, so daß(7.3.9.3) ∆η(x) = ∆η(a)+(∆η) ′ = f ( x,η(x) ) − η ′ (x) + D y f ( x,η(x) ) ∆η,A∆η(a) + B∆η(b) =−r ( η(a), η(b) )∫ xa[Dy f ( t,η(t) ) ∆η(t)+ f ( t,η(t) ) −η ′ (t) ] dt.Ersetzt man in (7.3.9.1) η durch ¯η,soerhält man eine weitere Näherung ¯η füry usw. Trotz seiner einfachen Herleitung besitzt dieses Iterationsverfahrenschwerwiegende Nachteile, die es als wenig praktikabel erscheinen lassen:1. Die Vektorfunktionen η(x), ¯η(x), ...müssen in ihrem ganzen Verlaufüber [a, b] abgespeichert werden.2. Die Matrixfunktion D y f (x, y) muß explizit analytisch berechnet werdenund ebenfalls in ihrem Verlauf über [a, b] abgespeichert werden.Beides ist bei den heute in der Praxis auftretenden Problemen (z. B. fmit 25 Komponenten, 500–1000 arithmetischen Operationen pro Auswertungvon f ) so gut wie unmöglich.Wir wollen zeigen, daß die Mehrzielmethode für m →∞gegen dasVerfahren (7.3.9.1) in folgendem Sinne konvergiert:Sei η(x) eine auf [a, b] genügend glatte Funktion und sei ferner (7.3.9.1)eindeutig lösbar mit der Lösung ¯η(x), ∆η(x) := ¯η(x) − η(x). Dann gilt:Wählt man für die Mehrzielmethode (7.3.5.3)–(7.3.5.10) irgendeine Unterteilunga = x 1 < x 2 < ··· < x m = b der Feinheit h := max k |x k+1 − x k |und als Startvektor s für die Mehrzielmethode den Vektors =⎡⎢⎣⎤s 1s 2...s m⎥⎦ mit s k := η(x k ),

228 7 Gewöhnliche Differentialgleichungendann erhält man als Lösung von (7.3.5.8) einen Korrekturvektor⎡ ⎤∆s 1∆s(7.3.9.4) ∆s = ⎢ 2∥⎣⎥.⎦ mit max∥∆s k − ∆η(x k ) ∥ = O(h).k∆s mZum Beweis nehmen wir der Einfachheit halber |x k+1 − x k |=h, k = 1,2, ..., m−1, an. Wir wollen zeigen, daß es zu jedem h eine differenzierbareFunktion ∆¯s :[a, b] → R n gibt mit max k ‖∆s k −∆¯s(x k )‖=O(h), ∆¯s(a) =∆s 1 und max x∈[a,b] ‖∆¯s(x) − ∆η(x)‖=O(h).Dazu zeigen wir als erstes, daß die in (7.3.5.9), (7.3.5.10) auftretendenProdukteG k−1 G k−2 ...G j+1 = G k−1 G k−2 ...G 1(G j G j−1 ...G 1) −1einfache Grenzwerte für h → 0(hk = const, hj = const) besitzen. DieDarstellung (7.3.5.9) für ∆s k ,2≤ k ≤ m, läßt sich so schreiben∑k−2]( ) −1Fj(7.3.9.5) ∆s k = F k−1 + G k−1 ...G 1[∆s 1 + G j ...G 1 .Nach (7.3.5.3) ist F k gegeben durchalsoj=1F k = y ( x k+1 ; x k , s k)− sk+1 , 1 ≤ k ≤ m − 1,∫ xk+1F k = s k + f ( t, y(t; x k , s k ) ) dt − s k+1x kund mit Hilfe des Mittelwertsatzes(7.3.9.6) F k = [ f ( τ k , y(τ k ; x k , s k ) ) − η ′(˜τ k)]h, xk

7.3 Randwertprobleme 229Für die Matrizen Z k := ¯Z k (x k+1 ) zeigt man nun leicht durch vollständigeInduktion nach k, daß(7.3.9.9) Z(x k+1 ) = Z k Z k−1 ...Z 1 .In der Tat, wegen ¯Z 1 = Z ist dies für k = 1 richtig. Ist die Behauptung fürk − 1 richtig, dann genügt die Funktion¯Z(x) := ¯Z k (x)Z k−1 ...Z 1der Differentialgleichung ¯Z ′ = D y f (x,η(x)) ¯Z und den Anfangsbedingungen¯Z(x k ) = ¯Z k (x k )Z k−1 ...Z 1 = Z k−1 ...Z 1 = Z(x k ). Wegen der eindeutigenLösbarkeit von Anfangswertproblemen folgt ¯Z(x) = Z(x) und damit (7.3.9.9).Nach Satz (7.1.8) gilt nun für die Matrizen Ḡ k (x) := D sk y(x; x k , s k )(7.3.9.10)Mit der AbkürzungḠ k (x) = I +∫ xx kG k = Ḡ k(xk+1).D y f ( t, y(t; x k , s k ) ) Ḡ k (t)dt,ϕ(x) := ∥ ∥ ¯Z k (x) − Ḡ k (x) ∥ ∥ergibt sich nach Subtraktion von (7.3.9.8) und (7.3.9.10) die Abschätzung(7.3.9.11)ϕ(x) ≤∫ x+x k∥ ∥ D y f ( t,η(t) ) − D y f ( t, y(t; x k , s k ) )∥ ∥ · ∥∥ ¯Z k (t) ∥ ∥dt∫ xx k∥ ∥ D y f ( t, y(t; x k , s k ) )∥ ∥ · ϕ(t)dt.Wenn D y f (t, y) bzgl. y für alle t ∈ [a, b] gleichmäßig Lipschitzstetig ist,zeigt man leicht für x k ≤ t ≤ x k+1∥∥D y f ( t,η(t) ) − D y f ( t, y(t; x k , s k ) )∥ ∥ ≤ L ∥ ∥η(t) − y(t; x k , s k ) ∥ ∥ = O(h)und die gleichmäßige Beschränktheit von ‖ ¯Z k (t)‖, ‖D y f (t, y(t; x k , s k ))‖für t ∈ [a, b], k = 1, 2, ..., m − 1. Aus (7.3.9.11) erhält man damit undmit Hilfe der Beweismethoden der Sätze (7.1.4), (7.1.11) eine Abschätzungder Formϕ(x) = O(h 2 ) für x ∈ [x k , x k+1 ],insbesondere für x = x k+1∥ ∥(7.3.9.12) ∥Z k − G k ≤ c 1 h 2 , 1 ≤ k ≤ m − 1,mit einer von k und h unabhängigen Konstanten c 1 .

230 7 Gewöhnliche DifferentialgleichungenAus der IdentitätZ k Z k−1 ···Z 1 − G k G k−1 ···G 1 = ( Z k − G k)Zk−1 ···Z 1+G k(Zk−1 − G k−1)Zk−2 ···Z 1 +···+G k G k−1 ···G 2(Z1 − G 1)und den aus Satz (7.1.11) folgenden weiteren Abschätzungen‖G k ‖≤1 + c 2 h, ‖Z k ‖≤1 + c 2 h, 1 ≤ k ≤ m − 1,c 2 von k und h unabhängig, folgt daher wegen kh ≤ b − a und (7.3.9.9) für1 ≤ k ≤ m − 1(7.3.9.13) ‖Z(x k+1 ) − G k G k−1 ···G 1 ‖≤c 1 h 2 k(1 + c 2 h) k−1 ≤ Dhmit einer von k und h unabhängigen Konstanten D.Aus (7.3.9.5), (7.3.9.6), (7.3.9.9), (7.3.9.12), (7.3.9.13) ergibt sich(7.3.9.14)∆s k = ( Z(x k ) + O(h 2 ) )[∑k−2(× ∆s 1 + Z(xj+1 ) + O(h 2 ) ) −1( (f τj , y(τ j ; x j , s j ) ) − η ′ (˜τ j ) ) ]hj=1+ O(h)= Z(x k )∆s 1 + Z(x k )= ∆¯s(x k ) + O(h).Dabei ist ∆¯s(x) die Funktion∫ xk(7.3.9.15) ∆¯s(x) := Z(x)∆s 1 + Z(x)aZ(t) −1[ f ( t,η(t) ) − η ′ (t) ] dt + O(h)∫ xaZ(t) −1[ f ( t,η(t) ) − η ′ (t) ] dt,mit ∆¯s(a) = ∆s 1 . Man beachte, daß ∆¯s(x) mit ∆s 1 auch von h abhängt.Offensichtlich ist ∆¯s nach x differenzierbar und es gilt wegen (7.3.9.7)[ ∫ x∆¯s ′ (x) =Z ′ (x) ∆s 1 + Z(t) −1[ f ( t,η(t) ) − η ′ (t) ] ]dtso daß∆¯s(x) = ∆¯s(a) +a+ f ( x,η(x) ) − η ′ (x)=D y f ( x,η(x) ) ∆¯s(x) + f ( x,η(x) ) − η ′ (x),∫ xa[Dy f ( t,η(t) ) ∆¯s(t) + f ( t,η(t) ) − η ′ (t) ] dt.Durch Subtraktion dieser Gleichung von (7.3.9.3) folgt für die Differenz

die Gleichungθ(x) := ∆η(x) − ∆¯s(x)(7.3.9.16) θ(x) = θ(a) +und weiter mit Hilfe von (7.3.9.7)∫ xa7.4 Differenzenverfahren 231D y f ( t,η(t) ) θ(t)dt(7.3.9.17) θ(x) = Z(x)θ(a), ‖θ(x)‖≤K‖θ(a)‖ für a ≤ x ≤ b,mit einer geeigneten Konstanten K .Wegen (7.3.9.14) und (7.3.9.17) genügt es, ‖θ(a)‖=O(h) zu zeigen,um den Beweis von (7.3.9.4) abzuschließen. Nun zeigt man mit Hilfe von(7.3.5.10) und (7.3.9.15) auf dieselbe Weise wie (7.3.9.14), daß ∆s 1 =∆¯s(a) einer Gleichung der Form[A + B(Z(b) + O(h 2 ) )] ∆s 1∫ b=−F m − BZ(b) Z(t) −1( f ( t,η(t) ) − η ′ (t) ) dt + O(h)a=−F m − B [ ]∆¯s(b) − Z(b)∆s 1 + O(h)genügt. Wegen F m = r(s 1 , s m ) = r(η(a), η(b)) folgtA∆¯s(a) + B∆¯s(b) =−r ( η(a), η(b) ) + O(h).Durch Subtraktion von (7.3.9.2) und wegen (7.3.9.17) folgtAθ(a) + Bθ(b) = [ A + BZ(b) ] θ(a) = O(h),und damit θ(a) = O(h), weil (7.3.9.1) nach Voraussetzung eindeutig lösbarund damit A + BZ(b) nichtsingulär ist. Wegen (7.3.9.14), (7.3.9.17) istdamit (7.3.9.4) bewiesen.7.4 DifferenzenverfahrenDie allen Differenzenverfahren zugrunde liegende Idee ist, in einer Differentialgleichungdie Differentialquotienten durch passende Differenzenquotientenzu ersetzen und die so erhaltenen diskretisierten Gleichungen zulösen.Wir wollen dies an folgendem einfachen Randwertproblem zweiter Ordnungfür eine Funktion y :[a, b] → R erläutern.(7.4.1)−y ′′ + q(x)y = g(x),y(a) = α, y(b) = β.

232 7 Gewöhnliche DifferentialgleichungenUnter den Voraussetzungen q, g ∈ C[a, b] (d. h. q und g sind auf [a, b]stetige Funktionen) und q(x) ≥ 0für x ∈ [a, b] läßt sich zeigen, daß (7.4.1)eine eindeutig bestimmte Lösung y(x) besitzt.Um (7.4.1) zu diskretisieren, teilen wir [a, b] inn + 1 gleiche Teilintervallea = x 0 < x 1 < ···< x n < x n+1 = b, x j = a + jh, h := b − an + 1 ,und ersetzen mit der Abkürzung y j := y(x j ) den Differentialquotienten= y ′′ (x i ) für i = 1, 2, ..., n durch den zweiten Differenzenquotienteny ′′i∆ 2 y i := y i+1 − 2y i + y i−1h 2 .Wir wollen den Fehler τ i (y) := y ′′ (x i ) − ∆ 2 y i abschätzen und setzen dazuvoraus, daß y(x) auf [a, b] vier mal stetig differenzierbar ist, y ∈ C 4 [a, b].Man findet dann durch Taylorentwicklung von y(x i ± h) um x iy i±1 = y i ± hy i ′ + h22! y′′ i ± h33! y′′′ i + h44! y(4) (x i ± θ ±ih), 0

7.4 Differenzenverfahren 233⎡2 + q 1 h 2 −1 0⎤(7.4.4) A := 1 ⎢ −1 2+ q 2 h 2 . ..⎥h 2 ⎣. .. . ..⎦ −10 −1 2+ q n h 2ist (7.4.3) äquivalent mit(7.4.5) Aȳ = k + τ(y).Das Differenzenverfahren besteht nun darin, in Gleichung (7.4.5) den Fehlertermτ(y) fortzulassen und die Lösung u = [u 1 ,...,u n ] T des so erhaltenenlinearen Gleichungssystems(7.4.6) Au = kals Approximation für ȳ zu nehmen.Wir wollen zunächst einige Eigenschaften der Matrix A (7.4.4) zeigen.Dazu schreiben wir A ≤ B für zwei n × n-Matrizen, falls a ij ≤ b ij für i,j = 1, 2, ..., n. Es gilt nun:(7.4.7) Satz: Ist q i ≥ 0 für i = 1, ..., n, soistA (7.4.4) positiv definit undes gilt 0 ≤ A −1 ≤ Ã −1 mit der positiv definiten n × n-Matrix⎡⎤2 −1(7.4.8) Ã := 1 ⎢ −1 2. ..⎥h 2 ⎣ . .. . .. ⎦ .−1−1 2Beweis: Wir zeigen zunächst, daß A positiv definit ist. Dazu betrachtenwir die n × n-Matrix A n := h 2 Ã. Nach dem Satz von Gerschgorin(6.9.4) gilt für ihre Eigenwerte die Abschätzung |λ i − 2| ≤ 2, also0 ≤ λ i ≤ 4. Wäre λ i = 0 Eigenwert von A n ,sowäre det(A n ) = 0; esgilt aber det(A n ) = n + 1, wie man sich leicht mittels der Rekursionsformeldet(A n+1 ) = 2 det(A n ) − det(A n−2 ) überzeugt [man erhält diese sofortdurch Entwicklung von det(A n+1 ) nach der ersten Zeile]. Andererseits istauch λ i = 4 kein Eigenwert von A n , denn dann wäre A n − 4I singulär. Nungilt aber⎡⎤−2 −1A n − 4I = ⎢ −1. .. . ..⎥⎣ . .. . .. ⎦ =−DA n D −1 ,−1−1 −2D := diag(1, −1, 1,...,±1),

234 7 Gewöhnliche Differentialgleichungenalso | det(A n − 4I)|=|det(A n )|, und damit ist mit A n auch A n − 4I nichtsingulär.Es folgt die Abschätzung 0 0 für z ≠ 0 und q i ≥ 0i=1folgt sofort z H Az > 0für z ≠ 0, also die positive Definitheit von A.Satz (4.3.2) zeigt die Existenz von A −1 und à −1 und es bleibt nur nochdie Ungleichung 0 ≤ A −1 ≤ à −1 zu beweisen. Dazu betrachten wir dieMatrizen D, ˜D, J, ˜J mith 2 A = D(I − J), D = diag(2 + q 1 h 2 ,...,2 + q n h 2 ),h 2 à = ˜D(I − ˜J), ˜D = 2I.Offensichtlich gelten wegen q i ≥ 0 die Ungleichungen⎡(7.4.9) 0 ≤ J =⎢⎣00 ≤ ˜D ≤ D,12+q 20h 20⎡01≤ ˜J = ⎢⎣12+q 10h 2. ... .. . .. 12002+q n−1 h 212+q n0h 210⎤2. ..⎥. .. . .. 1 ⎦ .2102Wegen ˜J = 1 2 (−A n + 2I) und der Abschätzung 0

7.4 Differenzenverfahren 235Insbesondere folgt aus diesem Satz, daß das Gleichungssystem (7.4.6)eine Lösung besitzt, falls q(x) ≥ 0für x ∈ [a, b], die z. B. mittels desCholesky-Verfahrens [s. 4.3] leicht gefunden werden kann. Da A eine Tridiagonalmatrixist, ist die Zahl der Operationen für die Auflösung von (7.4.6)proportional zu n.Wir wollen nun die Fehler y i −u i der aus (7.4.6) gewonnenen Näherungswerteu i für die exakten Lösungen y i = y(x i ), i = 1, ..., n, abschätzen.(7.4.10) Satz: Das Randwertproblem (7.4.1) habe eine Lösung y(x) ∈C 4 [a, b] und es gelte |y (4) (x)|≤M für x ∈ [a, b]. Ferner sei q(x) ≥ 0 fürx ∈ [a, b] und u = [u 1 ,...,u n ] T die Lösung von (7.4.6). Dann gilt|y(x i ) − u i |≤ Mh224 (x i − a)(b − x i ) für i = 1, 2, ..., n.Beweis: In den folgenden Abschätzungen sind Betragszeichen |.| oderUngleichungen ≤ für Vektoren oder Matrizen komponentenweise zu verstehen.Wegen (7.4.5) und (7.4.6) hat man für ȳ − u die GleichungA(ȳ − u) = τ(y).Satz (7.4.7) und die Darstellung (7.4.2) für τ(y) ergeben dann(7.4.11) |ȳ − u|=|A −1 τ(y)|≤à −1 |τ(y)|≤ Mh212 Ã−1 emit e := [1, 1,...,1] T . Der Vektor à −1 e kann mittels folgender Beobachtungsofort angegeben werden: Das spezielle Randwertproblem−y ′′ (x) = 1, y(a) = y(b) = 0,des Typs (7.4.1) besitzt die exakte Lösung y(x) = 1 (x − a)(b − x). Für2dieses Randwertproblem gilt aber wegen (7.4.2) τ(y) = 0 und es stimmendie diskrete Lösung u von (7.4.6) und die exakte Lösung ȳ von (7.4.5)überein. Überdies ist für dieses spezielle Randwertproblem die Matrix A(7.4.4) gerade die Matrix à (7.4.8) und k = e. Also gilt à −1 e = u, u i =12 (x i − a)(b − x i ). Zusammen mit (7.4.11) ergibt das die Behauptung desSatzes.⊓⊔Unter den Voraussetzungen des Satzes gehen also die Fehler mit h 2 gegen0, es liegt ein Differenzenverfahren zweiter Ordnung vor. Das Verfahrenvon Störmer und Numerov zur Diskretisierung der Differentialgleichungy ′′ (x) = f (x, y(x)),y i+1 − 2y i + y i−1 = h212 ( f i+1 + 10 f i + f i−1 ),

236 7 Gewöhnliche Differentialgleichungenführt ebenfalls auf Tridiagonalmatrizen, es besitzt jedoch die Ordnung 4.Man kann diese Verfahren auch zur Lösung nichtlinearer Randwertproblemey ′′ = f (x, y), y(a) = α, y(b) = β,verwenden, wo f (x, y) anders als in (7.4.1) nichtlinear von y abhängt. Manerhält dann für die Näherungswerte u i ≈ y(x i ) ein nichtlineares Gleichungssystem,das man i. allg. nur iterativ lösen kann.In jedem Fall erhält man so nur Verfahren geringer Ordnung. Um einehohe Genauigkeit zu erreichen, muß man anders als etwa bei der Mehrzielmethodedas Intervall [a, b] sehr fein unterteilen [s. Abschnitt 7.6 fürvergleichende Beispiele)].Für ein Beispiel zur Anwendung von Differenzenverfahren bei partiellenDifferentialgleichengen s. Abschnitt 8.4.7.5 VariationsmethodenVariationsverfahren (Rayleigh-Ritz-Galerkin-Verfahren) beruhen darauf, daßdie Lösungen einiger wichtiger Typen von Randwertproblemen gewisseMinimaleigenschaften besitzen. Wir wollen diese Verfahren an folgendemeinfachen Randwertproblem für eine Funktion u :[a, b] → R erläutern:(7.5.1)−(p(x)u ′ (x)) ′ + q(x)u(x) = g(x, u(x)),u(a) = α, u(b) = β.Man beachte, daß das Problem (7.5.1) etwas allgemeiner ist als (7.4.1).Unter den Voraussetzungen(7.5.2)p ∈ C 1 [a, b],q ∈ C[a, b],g ∈ C 1 ([a, b] × R),λ 0 kleinster Eigenwert der Eigenwertaufgabep(x) ≥ p 0 > 0,q(x) ≥ 0,g u (x, u) ≤ λ 0 ,−(pz ′ ) ′ − (λ − q)z = 0, z(a) = z(b) = 0,weiß man, daß (7.5.1) stets genau eine Lösung besitzt. Wir setzen daherfür das Weitere (7.5.2) voraus und treffen die vereinfachende Annahmeg(x, u(x)) = g(x) (keine u-Abhängigkeit in der rechten Seite).Ist u(x) die Lösung von (7.5.1), so ist y(x) := u(x) − l(x) mitl(x) := α b − xb − a + β a − x , l(a) = α, l(b) = β,a − b

die Lösung eines Randwertproblems der Form(7.5.3)−(py ′ ) ′ + qy = f,y(a) = 0, y(b) = 0,7.5 Variationsmethoden 237mit verschwindenden Randwerten. Wir können daher ohne Einschränkungder Allgemeinheit statt (7.5.1) Probleme der Form (7.5.3) betrachten. MitHilfe des zu (7.5.3) gehörigen Differentialoperators(7.5.4) L(v) :≡−(pv ′ ) ′ + qvwollen wir das Problem (7.5.3) etwas anders formulieren. Der Operator Lbildet die MengeD L :={v ∈ C 2 [a, b] | v(a) = 0,v(b) = 0}aller zweimal auf [a, b] stetig differenzierbaren reellen Funktionen, die dieRandbedingungen v(a) = v(b) = 0 erfüllen, in die Menge C[a, b] aller auf[a, b] stetigen Funktionen ab. Das Randwertproblem (7.5.3) ist also damitäquivalent, eine Lösung von(7.5.5) L(y) = f, y ∈ D L ,zu finden. Nun ist D L ein reeller Vektorraum und L ein linearer Operatorauf D L : Mit u, v ∈ D L gehört auch αu+βv zu D L und es ist L(αu+βv) =αL(u)+β L(v) für alle reellen Zahlen α, β. Auf der Menge L 2 (a, b) aller auf[a, b] quadratisch integrierbaren Funktionen führen wir durch die Definition(7.5.6) (u,v):=∫ bau(x)v(x)dx, ‖u‖ 2 := (u, u) 1/2 ,eine Skalarprodukt und die zugehörige Norm ein.Der Differentialoperator L (7.5.4) hat einige für das Verständnis derVariationsmethoden wichtige Eigenschaften. Es gilt(7.5.7) Satz: L ist ein symmetrischer Operator auf D L , d.h. es gilt(u, L(v)) = (L(u), v) für alle u,v∈ D L .Beweis: Durch partielle Integration findet man(u, L(v)) =∫ bau(x)[−(p(x)v ′ (x)) ′ + q(x)v(x)]dx∫ b=−u(x)p(x)v ′ (x)| a b + [p(x)u ′ (x)v ′ (x) + q(x)u(x)v(x)]dx=∫ ba[p(x)u ′ (x)v ′ (x) + q(x)u(x)v(x)]dx,a

238 7 Gewöhnliche Differentialgleichungenweil u(a) = u(b) = 0für u ∈ D L gilt. Aus Symmetriegründen folgt ebenso(7.5.8) (L(u), v) =und damit die Behauptung.∫ ba[p(x)u ′ (x)v ′ (x) + q(x)u(x)v(x)]dxDie rechte Seite von (7.5.8) ist nicht nur für u, v ∈ D L definiert. Seidazu D := {u ∈ K 1 (a, b)|u(a) = u(b) = 0} die Menge aller auf [a, b]absolutstetigen Funktionen u mit u(a) = u(b) = 0, für die u ′ auf [a, b] (fastüberall existiert und) noch quadratisch integrierbar ist [s. Def. (2.4.1.3)]. Insbesonderegehören alle stückweise stetig differenzierbaren Funktionen, diedie Randbedingungen erfüllen, zu D. D ist wieder ein reeller Vektorraummit D ⊇ D L . Durch die rechte Seite von (7.5.8) wird auf D die symmetrischeBilinearform(7.5.9) [u,v]:=∫ ba[p(x)u ′ (x)v ′ (x) + q(x)u(x)v(x)]dxdefiniert, die für u, v ∈ D L mit (u, L(v)) übereinstimmt. Wie eben zeigtman für y ∈ D L , u ∈ D durch partielle Integration(7.5.10) (u, L(y)) = [u, y].Bezüglich des durch (7.5.6) auf D L eingeführten Skalarproduktes ist L einpositiv definiter Operator in folgendem Sinn:(7.5.11) Satz: Unter den Voraussetzungen (7.5.2) ist[u, u] = (u, L(u)) > 0 für alle u ≠ 0, u ∈ D L .Es gilt sogar die Abschätzung⊓⊔(7.5.12) γ‖u‖ 2 ∞ ≤ [u, u] ≤ Γ ‖u′ ‖ 2 ∞für alle u ∈ Dmit der Norm ‖u‖ ∞ := sup a≤x≤b |u(x)| und den Konstantenγ := p 0b − a , Γ :=‖p‖ ∞(b − a) +‖q‖ ∞ (b − a) 3 .Beweis: Wegen γ>0 genügt es, (7.5.12) zu zeigen. Für u ∈ D gilt wegenu(a) = 0u(x) =∫ xau ′ (ξ)dξ für x ∈ [a, b].Die Schwarzsche Ungleichung liefert die Abschätzung

und daheru(x) 2 ≤∫ xa≤ (b − a) ·∫ x1 2 dξ ·a∫ ba7.5 Variationsmethoden 239∫ xu ′ (ξ) 2 dξ = (x − a) u ′ (ξ) 2 dξau ′ (ξ) 2 dξ∫ b(7.5.13) ‖u‖ 2 ∞ ≤ (b − a) u ′ (x) 2 dx ≤ (b − a) 2 ‖u ′ ‖ 2 ∞ .aNach Voraussetzung (7.5.2) ist p(x) ≥ p 0 > 0, q(x) ≥ 0für x ∈ [a, b];also folgt aus (7.5.9) und (7.5.13)[u, u] =∫ ba[p(x)u ′ (x) 2 + q(x)u(x) 2 ]dx ≥ p 0∫ bSchließlich ist wegen (7.5.13) auch[u, u] =∫ ba[p(x)u ′ (x) 2 + q(x)u(x) 2 ]dx≤‖p‖ ∞ (b − a)‖u ′ ‖ 2 ∞ +‖q‖ ∞(b − a)‖u‖ 2 ∞≤ Γ ‖u ′ ‖ 2 ∞ ,au ′ (x) 2 dx ≥ p 0b − a ‖u‖2 ∞ .was zu zeigen war.⊓⊔Insbesondere folgt aus (7.5.11) sofort die Eindeutigkeit der Lösung von(7.5.3) bzw. (7.5.5): Für L(y 1 ) = L(y 2 ) = f , y 1 , y 2 ∈ D L , ist L(y 1 −y 2 ) = 0und daher 0 = (y 1 − y 2 , L(y 1 − y 2 )) ≥ γ‖y 1 − y 2 ‖ 2 ∞ ≥ 0, was direkt y 1 = y 2nach sich zieht.Wir definieren nun für u ∈ D durch(7.5.14) F(u) := [u, u] − 2(u, f )ein quadratisches Funktional F: D → R, F ordnet jeder Funktion u ∈ Deine reelle Zahl F(u) zu. Dabei ist f die rechte Seite von (7.5.3), (7.5.5).Grundlegend für die Variationsmethoden ist es, daß das Funktional F seinenkleinsten Wert genau für die Lösung y von (7.5.5) annimmt:(7.5.15) Satz: Es sei y ∈ D L die Lösung von (7.5.5). Dann giltfür alle u ∈ D, u ≠ y.F(u)>F(y)Beweis: Es ist L(y) = f und daher nach Definition von F wegen (7.5.10)für u ≠ y, u ∈ D,

240 7 Gewöhnliche DifferentialgleichungenF(u) = [u, u] − 2(u, f ) = [u, u] − 2(u, L(y))= [u, u] − 2[u, y] + [y, y] − [y, y]= [u − y, u − y] − [y, y]> −[y, y] = F(y),weil nach Satz (7.5.11) [u − y, u − y] > 0für u ≠ y gilt.Als Nebenresultat halten wir die Identität fest:⊓⊔(7.5.16) [u − y, u − y] = F(u) + [y, y] für alle u ∈ D.Satz (7.5.15) legt es nahe, die gesuchte Lösung y dadurch zu approximieren,daß man F(u) näherungsweise minimiert. Ein solches näherungsweisesMinimum von F erhält man auf systematische Weise so: Man wähleeinen endlichdimensionalen Teilraum S von D, S ⊂ D. Ist dim S = m, läßtsich jedes u ∈ S bezüglich einer Basis u 1 , ..., u m von S in der Form(7.5.17) u = δ 1 u 1 + ...+ δ m u m , δ i ∈ R,darstellen. Man bestimmt dann das Minimum u S ∈ S von F auf S,(7.5.18) F(u S ) = minu∈S F(u),und nimmt u S als Näherung für die exakte Lösung y von (7.5.5), die nach(7.5.15) die Funktion F auf dem gesamten Raum D minimiert. Zur Berechnungder Näherung u S betrachte man die folgende Darstellung von F(u),u ∈ S, die man über (7.5.17) erhältΦ(δ 1 ,δ 2 ,...,δ m ) : ≡ F(δ 1 u 1 +···+δ m u m )[ m] (∑ m∑m)∑= δ i u i , δ k u k − 2 δ k u k , f=i=1i,k=1k=1k=1m∑m∑[u i , u k ]δ i δ k − 2 (u k , f )δ k .Mit Hilfe der Vektoren δ, ϕ und der m × m-Matrix A,(7.5.19)⎡ ⎤ ⎡ ⎤ ⎡⎤δ 1 (u 1 , f )[u 1 , u 1 ] ... [u 1 , u m ]δ := ⎣.⎦ ,ϕ:= ⎣ ⎦. , A := ⎣. .⎦ ,δ m (u m , f )[u m , u 1 ] ... [u m , u m ]k=1erhält man für die quadratische Funktion Φ : R m → R(7.5.20) Φ(δ) = δ T Aδ − 2ϕ T δ.

7.5 Variationsmethoden 241Die Matrix A ist positiv definit, denn A ist wegen (7.5.9) symmetrisch undes gilt für alle Vektoren δ ≠ 0 auch u := δ 1 u 1 +···+δ m u m ≠ 0 und daherwegen Satz (7.5.11)δ T Aδ = ∑ i,kδ i δ k [u i , u k ] = [u, u] > 0.Das lineare Gleichungssystem(7.5.21) Aδ = ϕbesitzt somit eine eindeutige Lösung δ = ˜δ, die man mit Hilfe des Cholesky-Verfahrens (s. 4.3) berechnen kann. Wegen der IdentitätΦ(δ) = δ T Aδ − 2ϕ T δ = δ T Aδ − 2˜δ T Aδ + ˜δ T A˜δ − ˜δ T A˜δ= (δ − ˜δ) T A(δ − ˜δ) − ˜δ T A˜δ= (δ − ˜δ) T A(δ − ˜δ) + Φ(˜δ)und (δ − ˜δ) T A(δ − ˜δ) > 0für δ ≠ ˜δ folgt sofort Φ(δ)>Φ(˜δ) für δ ≠ ˜δ.Also liefert die zu ˜δ gehörige Funktionu S := ˜δ 1 u 1 +···+˜δ m u mdas Minimum (7.5.18) von F(u) auf S. Mit der Lösung y von (7.5.5) folgtwegen F(u S ) = min u∈S F(u) aus (7.5.16) sofort(7.5.22) [u S − y, u S − y] = min [u − y, u − y].u∈SWir wollen dies zu einer Abschätzung für den Fehler ‖u S − y‖ ∞ benutzen.Es gilt(7.5.23) Satz: Es sei y die exakte Lösung von (7.5.3), (7.5.5). Ferner sei S ⊂D ein endlichdimensionaler Teilraum von D und F(u S ) = min u∈S F(u).Dann gilt die Abschätzung‖u S − y‖ ∞ ≤ C‖u ′ − y ′ ‖ ∞für alle u ∈ S. Hierbei ist C = √ Γ/γ mit den Konstanten Γ , γ von Satz(7.5.11).Beweis: (7.5.12) und (7.5.22) ergeben für beliebiges u ∈ S ⊆ Dγ‖u S − y‖ 2 ∞ ≤ [u S − y, u S − y] ≤ [u − y, u − y] ≤ Γ ‖u ′ − y ′ ‖ 2 ∞ .Daraus folgt die Behauptung.⊓⊔

242 7 Gewöhnliche DifferentialgleichungenJede obere Schranke für inf u∈S [u − y, u − y] oder schwächer fürinfu∈S ‖u′ − y ′ ‖ ∞ ,liefert also eine Abschätzung für ‖u S − y‖ ∞ . Wir wollen eine solcheSchranke für einen wichtigen Spezialfall angeben. Dazu wählen wir alsTeilraum S von D die MengeS = Sp ∆ :={S ∆ | S ∆ (a) = S ∆ (b) = 0}aller kubischen Splinefunktionen S ∆ (s. Def. (2.4.1.1)), die zu einer festenUnterteilung∆ : a = x 0 < x 1 < x 2 < ···< x n = bdes Intervalls [a, b] gehören und an den Endpunkten a, b verschwinden.Offensichtlich ist Sp ∆ ⊆ D L ⊆ D. Wir bezeichnen mit ‖∆‖ die Feinheitder Zerlegung ∆,‖∆‖ := max1≤i≤n (x i − x i−1 ).Die Splinefunktion u := S ∆ mitu(x i ) = y(x i ),i = 0, 1,...,n,u ′ (ξ) = y ′ (ξ) für ξ = a, b,wobei y die exakte Lösung von (7.5.3), (7.5.5) ist, gehört offensichtlich zuS = Sp ∆ . Aus Satz (2.4.3.3) und seinem Beweis folgt die Abschätzung‖u ′ − y ′ ‖ ∞ ≤ 7 4 ‖y(4) ‖ ∞ ‖∆‖ 3 ,sofern y ∈ C 4 (a, b). Zusammen mit Satz (7.5.23) ergibt dies das Resultat:(7.5.24) Satz: Die exakte Lösung y von (7.5.3) gehöre zu C 4 (a, b) und esseien die Voraussetzungen (7.5.2) erfüllt. Es sei S := Sp ∆ und u S diejenigeSplinefunktion mitF(u S ) = minu∈S F(u).Dann gilt mit der von y unabhängigen Konstante C = √ Γ/γ‖u S − y‖ ∞ ≤ 7 4 C‖y(4) ‖ ∞ ‖∆‖ 3 .Die Abschätzung des Satzes kann verbessert werden [s. Fußnote zu Satz(2.4.3.3)]:‖u S − y‖ ∞ ≤ 1 24 C‖y(4) ‖ ∞ ‖∆‖ 3 .Die Fehlerschranke geht also mit der dritten Potenz der Feinheit von ∆gegen Null; das Verfahren ist somit in dieser Hinsicht dem Differenzenverfahrendes letzten Abschnitts überlegen [s. Satz (7.4.10)].

7.5 Variationsmethoden 243Zur praktischen Realisierung des Variationsverfahrens, etwa im FalleS = Sp ∆ , hat man sich zunächst eine Basis von Sp ∆ zu verschaffen. Manüberlegt sich leicht, daß m := dim Sp ∆ = n + 1 (nach Satz (2.4.1.5) ist dieSplinefunktion S ∆ ∈ Sp ∆ durch n + 1 BedingungenS ∆ (x i ) = y i , i = 1, 2,...,n − 1,S ′ ∆ (a) = y′ 0 ,S′ ∆ (b) = y′ nbei beliebigen y i , y ′ 0 , y′ n eindeutig bestimmt). Als Basis S 0, S 1 ..., S nvon Sp ∆ wählt man zweckmäßig B-Splines [s. Abschnitt 2.4.4], die einenkompakten Träger besitzen:(7.5.25) S j (x) = 0 für x ≤ max(x 0 , x j−2 ) und x ≥ min(x n , x j+2 ).Dann wird die zugehörige Matrix A (7.5.19) eine Bandmatrix der Form⎡⎤x x x x 0x · ·x · ·x · ·(7.5.26) A = ([S i , S k ]) =,· · x⎢ · · x ⎥⎣⎦· · x0 x x x xweil wegen (7.5.9), (7.5.25)[S i , S k ] =∫ ba[p(x)S ′ i (x)S′ k (x) + q(x)S i(x)S k (x)]dx = 0für alle |i − k| ≥4 gilt. Nachdem man für diese Basis S 0 , ..., S n dieKomponenten der Matrix A und des Vektors ϕ (7.5.19) durch Integrationbestimmt hat, löst man das Gleichungssystem (7.5.21) nach δ auf und erhältdamit die Näherung u S für die exakte Lösung y.Natürlich kann man statt Sp ∆ auch einen anderen Raum S ⊆ D wählen,z. B. die Menge{∑n−2S = P | P(x) = (x − a)(x − b) a i x 1 , a ii=0beliebigaller Polynome, die höchstens den Grad n haben und für x = a, b verschwinden.In diesem Fall wäre aber die Matrix A i. allg. keine Bandmatrixmehr, und darüber hinaus sehr schlecht konditioniert, falls man als Basisvon S die speziellen PolynomeP 1 (x) := (x − a)(x − b)x i , i = 0, 1,...,n − 2,wählte. Ferner kann man als S die Menge [s. (2.1.5.10)]}

244 7 Gewöhnliche DifferentialgleichungenS = H (m)∆wählen, wobei ∆ wieder eine Zerlegung a = x 0 < x 1 < ··· < x n = bist und H (m)∆ aus allen Funktionen u ∈ C m−1 [a, b] besteht, die in jedemTeilintervall [x i , x i+1 ], i = 0, ..., n − 1, mit einem Polynom vom Grad≤ 2m − 1 übereinstimmen (Hermitesche Funktionenräume). Hier kann manwieder durch passende Wahl der Basis {u i } von H (m)∆ erreichen, daß dieMatrix A = ([u i , u k ]) eine Bandmatrix wird. Bei entsprechender Wahl desParameters m erhält man auf diese Weise sogar Verfahren höherer als dritterOrdnung: Verwendet man (2.1.5.14) statt (2.4.3.3), so erhält man statt(7.5.24) für S = H (m)∆‖u S − y‖ ∞ ≤die AbschätzungC2 2m−2 (2m − 2)! ‖y(2m) ‖ ∞ ‖∆‖ 2m−1 ,falls y ∈ C 2m [a, b]; es liegt ein Verfahren mindestens der Ordnung 2m − 1vor [Beweise dieser und ähnlicher Abschätzungen sowie die Verallgemeinerungder Variationsmethoden auf nichtlineare Randwertprobleme findetman in Ciarlet, Schultz, Varga (1967)]. Man beachte jedoch, daß mit wachsendemm die Matrix A immer schwieriger zu berechnen ist.Wir weisen darauf hin, daß Variationsverfahren auf wesentlich allgemeinereRandwertprobleme als (7.5.3) angewandt werden können, so insbesondereauf partielle Differentialgleichungen. Wichtige Voraussetzung fürdie zentralen Sätze (7.5.15), (7.5.23) und die Lösbarkeit von (7.5.21) sindim wesentlichen nur die Symmetrie von L und Abschätzungen der Form(7.5.12) [s. Abschnitt 7.7 für Anwendungen auf das Dirichlet-Problem].Die Hauptarbeit bei Verfahren dieses Typs besteht darin, die Koeffizientendes linearen Gleichungssystems (7.5.21) mittels Integration zu berechnen,nachdem man sich für eine geeignete Basis u 1 , ..., u m von S entschiedenhat. Für Randwertprobleme bei gewöhnlichen Differentialgleichungensind diese Verfahren in der Regel zu aufwendig und zu ungenau und mitder Mehrzielmethode nicht konkurrenzfähig [s. den nächsten Abschnitt fürvergleichende Resultate]. Ihr Wert zeigt sich erst bei Randwertproblemenfür partielle Differentialgleichungen.Endlichdimensionale Räume S ⊂ D von Funktionen, die die Randbedingungenvon Randwertaufgaben (7.5.5) erfüllen spielen auch bei Kollokationsmethodeneine Rolle. Ihr Prinzip ist recht naheliegend: Mit Hilfeeiner Basis {u j } von S versucht man wieder die Lösung y(x) von (7.5.5)durch eine Funktionu = δ 1 u 1 +···+δ m u maus S zu approximieren. Man wählt dazu m verschiedene Punkte x j ∈ (a, b),j = 1, 2, ..., m, die sog. Kollokationsstellen, und bestimmt die Koeffizientenδ k durch Lösung des Gleichungssystems

7.5 Variationsmethoden 245(7.5.27a) (Lu)(x j ) = f (x j ), j = 1, 2,...,m,d.h. man verlangt, daß die Differentialgleichung L(u) = f durch u anden Kollokationsstellen x j exakt erfüllt wird. Dies führt auf ein linearesGleichungssystem für die m Unbekannten δ k , k = 1, ..., m,m∑(7.5.27b)L(u k )(x j )δ k = f (x j ), j = 1, 2,...,m.k=1Bei Kollokationsmethoden hat man viele Möglichkeiten, das Verhaltendes Verfahrens zu beeinflussen, nämlich durch die Wahl des FunktionenraumsS, der Basis von S und der Kollokationsstellen. Man erhält so u. U.außerordentlich effiziente Verfahren.So wählt man häufig als Basis {u j } von S Funktionen mit kompaktemTräger, etwa B-Splines (s. 2.4.4) wie in (7.5.25). Dann ist die MatrixA = [L(u k )(x j )] des Gleichungssystems (7.5.27b) eine Bandmatrix. Bei densog. Spektralmethodenwerden Räume S von trigonometrischen Polynomen(2.3.1.1), (2.3.1.2) gewählt, die von endlich vielen trigonometrischen Funktionen,etwa e ikx , k = 0, ±1, ±2, ..., aufgespannt werden. Bei einer entsprechendenWahl der x j kann man dann oft die Gleichungen (7.5.27), die jaals eine Art von Interpolationsbedingungen für trigonometrische Polynomeanzusehen sind, mit Hilfe der Methoden zur schnellen Fouriertransformation(s. Abschnitt 2.3.2) lösen.Wir wollen das Prinzip an dem einfachen Randwertproblem−y ′′ (x) = f (x), y(0) = y(π) = 0,des Typs (7.5.3) erläutern. Alle Funktionen u(x) = ∑ mk=1 δ k sin kx erfüllen dieRandbedingungen. Wählt man als Kollokationspunkte x j := jπ/(m + 1), j = 1, 2,..., m, so findet man wegen (7.5.27), daß die Zahlen γ k := δ k k 2 das trigonometrischeInterpolationsproblem (s. Abschnitt 2.3.1)m∑k=1γ k sin kjπm + 1 = f j,j = 1, 2,...,m,lösen. Man kann daher die γ k mit den Methoden der schnellen Fouriertransformationbestimmen.Verfahren dieses Typs spielen bei der Lösung von Anfangs-Randwertproblemenfür partielle Differentialgleichungen eine große Rolle. Näheresdazu findet man in der Spezialliteratur, z. B. in Gottlieb und Orszag (1977),Canuto (1987) und Boyd (1989).

246 7 Gewöhnliche Differentialgleichungen7.6 Vergleich der Methodenzur Lösung von Randwertproblemenfür gewöhnliche DifferentialgleichungenDie in den vorausgegangenen Abschnitten beschriebenen Methoden, nämlich1) Einfachschießverfahren,2) Mehrzielmethode,3) Differenzenverfahren,4) Variationsverfahren,sollen anhand eines Beispiels verglichen werden. Gegeben sei das lineareRandwertproblem mit linearen separierten Randbedingungen(7.6.1)− y ′′ + 400y =−400 cos 2 π x − 2π 2 cos(2π x),mit der exakten Lösung (s. Figur 17)y(0) = y(1) = 0,Ý ºº º¼¼º½ºººººÜ¼ºFig. 17. Exakte Lösung von (7.6.1)(7.6.2) y(x) = e−2011 + e −20 e20x +1 + e −20 e−20x − cos 2 (π x).Obwohl dieses Problem verglichen mit den meisten Problemen aus derPraxis sehr einfach ist, liegen bei ihm folgende Besonderheiten vor, dieSchwierigkeiten bei seiner Lösung erwarten lassen:

7.6 Vergleich der Methoden 2471. Die zu (7.6.1) gehörige homogene Differentialgleichung −y ′′ +400y =0 besitzt exponentiell stark wachsende bzw. fallende Lösungen derForm y(x) = ce ±20x . Dies führt zu Schwierigkeiten für das Einfachschießverfahren.2. Die Ableitungen y (i) (x), i = 1, 2, ..., der exakten Lösung (7.6.2) sindfür x ≈ 0 und x ≈ 1 sehr groß. Die Fehlerabschätzungen (7.4.10)für das Differenzenverfahren bzw. (7.5.24) für das Variationsverfahrenlassen deshalb große Fehler erwarten.Bei 12-stelliger Rechnung wurden folgende Ergebnisse gefunden [bei derBewertung der Fehler, insbesondere der relativen Fehler, beachte man denVerlauf der Lösung, s. Figur 17: max 0≤x≤1 |y(x)|≈0.77, y(0) = y(1) = 0,y(0.5) = 0.907 998 593 370 · 10 −4 ]:1) Einfachschießverfahren: Nach einer Iteration wurden die Anfangswertey(0) = 0,y ′ (0) =−20 1 − e−20=−19.999 999 9176 ...1 + e−20 der exakten Lösung mit einem relativen Fehler ≤ 3.2 · 10 −11 gefunden.Löst man dann das (7.6.1) entsprechende Anfangswertproblem mit Hilfeeines Extrapoaltionsverfahren [s. Abschnitt 7.2.14; ALGOL-Programm Diffsysaus Bulirsch und Stoer (1966)], wobei man als Anfangswerte die aufMaschinengenauigkeit gerundeten exakten Anfangswerte y(0), y ′ (0) nimmt,so erhält man statt der exakten Lösung y(x) (7.6.2) eine Näherungslösungỹ(x) mit dem absoluten Fehler ∆y(x) = ỹ(x) − y(x) bzw. dem relativenFehler ε y (x) = (ỹ(x) − y(x))/y(x):x |∆y(x)| ∗ |ε y (x)|0.1 1.9 · 10 −11 2.5 · 10 −110.2 1.5 · 10 −10 2.4 · 10 −100.3 1.1 · 10 −9 3.2 · 10 −90.4 8.1 · 10 −9 8.6 · 10 −80.5 6.0 · 10 −8 6.6 · 10 −40.6 4.4 · 10 −7 4.7 · 10 −50.7 3.3 · 10 −6 9.6 · 10 −60.8 2.4 · 10 −5 3.8 · 10 −50.9 1.8 · 10 −4 2.3 · 10 −41.0 1.3 · 10 −3 ∞∗ max x∈[0,1] |∆y(x)|≈1.3 · 10 −3 .

248 7 Gewöhnliche DifferentialgleichungenHier wirkt sich deutlich der Einfluß der exponentiell anwachsenden Lösungy(x) = ce 20x des homogenen Problems aus [vgl. Abschnitt 7.3.4].2) Mehrzielmethode: Um den Einfluß der exponentiell anwachsendenLösung y(x) = ce 20x des homogenen Problems zu mindern, wurde eingroßes m, m = 21, gewählt,0 = x 1 < x 2

7.6 Vergleich der Methoden 2494) Variationsverfahren: In der Methode von Abschnitt 7.5 wurdenals Räume S Räume Sp ∆ von kubischen Splinefunktionen zu äquidistantenEinteilungen∆: 0= x 0 < x 1 < ···< x n = 1, x i = ih, h = 1 n ,gewählt. Folgende maximale absolute Fehler ∆y =‖u S − y‖ ∞ [vgl. Satz(7.5.24)] wurden gefunden:h∆y1/10 6.0 · 10 −31/20 5.4 · 10 −41/30 1.3 · 10 −41/40 4.7 · 10 −51/50 2.2 · 10 −51/100 1.8 · 10 −6Um Fehler der Größenordnung ∆y ≈ 5·10 −12 wie bei der Mehrzielmethodezu erreichen, müßte h ≈ 10 −4 gewählt werden. Zur Berechnung allein derBandmatrix A (7.5.26) wären für diese Schrittweite ca. 4·10 4 Integrationennötig!Diese Ergebnisse zeigen eindeutig die Überlegenheit der Mehrzielmethodeselbst bei einfachen linearen separierten Randwertproblemen. Differenzenverfahrenund Variationsmethoden kommen selbst hier nur dann inFrage, wenn die Lösung nicht sehr genau berechnet werden muß. Um diegleiche Genauigkeit zu erreichen, hat man bei Differenzenverfahren Gleichungssystemegrößerer Dimension zu lösen als bei Variationsmethoden.Dieser Vorteil der Variationsmethoden fällt jedoch erst bei kleineren Schrittweitenh ins Gewicht und wird in seiner Bedeutung erheblich dadurch eingeschränkt,daß die Berechnung der Koeffizienten der Gleichungssystemeviel aufwendiger ist als bei den einfachen Differenzverfahren. Zur Behandlungnichtlinearer Randwertprobleme für gewöhnliche Differentialgleichungenkommt eigentlich nur die Mehrzielmethode in einer ihrer Varianten inFrage.

250 7 Gewöhnliche Differentialgleichungen7.7 Variationsverfahren für partielleDifferentialgleichungen. Die „Finite-Element“-MethodeDie in Abschnitt 7.5 beschriebenen Methoden können auch zur Lösung vonRandwertproblemen für partielle Differentialgleichungen verwandt werden,darin liegt sogar ihre eigentliche Bedeutung. Wir wollen dies hier nur kurzfür ein Dirichletsches Randwertproblem im R 2 erläutern; eine eingehendeBehandlung dieses wichtigen Gebiets findet man in weiterführenden Monographien[Angaben dazu am Ende des Abschnitts]. Gegeben sei ein (offenesbeschränktes) Gebiet Ω ⊂ R 2 mit dem Rand ∂Ω. Gesucht wird eine Funktiony: ¯Ω → R, ¯Ω := Ω ∪ ∂Ω mit(7.7.1)− ∆y(x) + c(x)y(x) = f (x) für x = (x 1 , x 2 ) ∈ Ω,y(x) = 0wobei ∆ der Laplace-Operator ist∆y(x) := ∂2 y(x)∂x 2 1für x ∈ ∂Ω,+ ∂2 y(x)∂x22 .Dabei seien c, f : ¯Ω → R gegebene stetige Funktionen mit c(x) ≥ 0für x ∈ ¯Ω. Wir nehmen der Einfachheit halber an, daß (7.7.1) eine Lösungy ∈ C 2 ( ¯Ω) besitzt, d. h. y besitzt in Ω stetige Ableitungen D α iy := ∂ α y/∂x α ibis zur Ordnung 2, α ≤ 2, die auf ¯Ω stetig fortgesetzt werden können. AlsDefinitionsgebiet D L des zu (7.7.1) gehörigen Differentialoperators L(v) :=−∆v + c v nehmen wir D L :={v ∈ C 2 ( ¯Ω | v(x) = 0für x ∈ ∂Ω}, sodaß(7.7.1) äquivalent zur Lösung von(7.7.2) L(v) = f, v∈ D L ,ist. Wir setzen für das Gebiet Ω voraus, daß in ihm die Integralsätze vonGauß bzw. Green gelten und es jede Gerade x i = const, i = 1, 2, inhöchstens endlich vielen Segmenten schneidet. Mit den Abkürzungen∫(u,v):= u(x)v(x)dx, ‖u‖ 2 := (u, u) 1/2 (dx = dx 1 dx 2 )Ωgilt dann [vgl. (7.5.7)](7.7.3) Satz: L ist auf D L ein symmetrischer Operator:∫(u, L(v)) = (L(u), v) = [D 1 u(x) D 1 v(x) + D 2 u(x) D 2 v(x)(7.7.4)Ω+ c(x)u(x)v(x)]dxfür alle u, v ∈ D L .

7.7 Variationsverfahren für partielle Differentialgleichungen 251Beweis: Eine der Greenschen Formeln lautet∫ ∫− u∆vdx =ΩΩ( 2∑i=1) ∫D i uD i v dx − u ∂v∂Ω ∂ν dω.Dabei ist ∂v/∂ν die Ableitung in Richtung der äußeren Normalen und dω∫das Linienelement von ∂Ω. Wegen u ∈ D L ist u(x) = 0für x ∈ ∂Ω, alsou∂v/∂νdω = 0. Daraus folgt die Behauptung des Satzes. ⊓⊔∂ΩWiederum [vgl. (7.5.9)] definiert die rechte Seite von (7.7.4) eine Bilinearform∫(7.7.5) [u,v]:=Ω( 2∑i=1und es gilt ein Analogon zu Satz (7.5.11):)D i uD i v + cuv dx,(7.7.6) Satz: Es gibt Konstanten γ>0, Γ>0 mit(7.7.7) γ‖u‖ 2 W (1) ≤ [u, u] ≤ ΓDabei isteine sog. Sobolev-Norm.2∑‖D i u‖ 2 2 für alle u ∈ D L .i=1‖u‖ 2 W (1) := (u, u) + (D 1 u, D 1 u) + (D 2 u, D 2 u)Beweis: Das Gebiet Ω ist beschränkt. Es gibt also ein Quadrat Ω 1 der Seitenlängea, das Ω im Inneren enthält. O.B.d.A. sei der Nullpunkt Eckpunktvon Ω 1 (s. Figur 18).ºÜ ¾ º ºº¼ººººÅ ½ÅºººÜ ½Fig. 18. Die Gebiete Ω und Ω 1

252 7 Gewöhnliche DifferentialgleichungenJedes u ∈ D L kann stetig auf Ω 1 fortgesetzt werden durch u(x) := 0fürx ∈ Ω 1 \ Ω, so daß nach den Annahmen über Ω, D 1 (t 1 , ·) noch stückweisestetig ist. Wegen u(0, x 2 ) = 0 folgtu(x 1 , x 2 ) =∫ x1Die Schwarzsche Ungleichung ergibt daher0D 1 u(t 1 , x 2 )dt 1 für alle x ∈ Ω 1 .∫ x1[u(x 1 , x 2 )] 2 ≤ x 1 [D 1 u(t 1 , x 2 )] 2 dt 1≤ a0∫ a0[D 1 u(t 1 , x 2 )] 2 dt 1 für x ∈ Ω 1 .Durch Integration dieser Ungleichung über Ω 1 erhält man∫[u(x 1 , x 2 )]∫Ω 2 dx 1 dx 2 ≤ a 21(7.7.8)Ω 1[D 1 u(t 1 , t 2 )] 2 dt 1 dt 2≤ a 2 ∫Ω 1[(D 1 u) 2 + (D 2 u) 2 ]dx.Wegen u(x) = 0für x ∈ Ω 1 \ Ω kann man die Integration auf Ω beschränken,und wegen c(x) ≥ 0für x ∈ ¯Ω folgt sofortund daraus schließlichWiederum folgt aus (7.7.8)∫Ωund deshalb∫cu 2 dx ≤ Ca 2 [u, u] ≥ a 22∑‖D i u‖ 2 2 ≥‖u‖2 2i=1γ‖u‖ 2 W (1) ≤ [u, u] mit γ := 1a 2 + 1 .Ω[u, u] ≤ Γu 2 dx ≤ Ca 22∑‖D i u‖ 2 2 ,i=12∑‖D i u‖ 2 2 mit Γ := 1 + Ca 2 .i=1C := max |c(x)|,x∈ΩDamit ist der Satz bewiesen.⊓⊔Wie in Abschnitt 7.5 kann man größere Vektorräume D ⊃ D L vonFunktionen finden, so daß die Def. (7.7.5) von [u,v]für u, v ∈ D sinnvoll,die Aussage (7.7.7) des letzten Satzes für u ∈ D richtig bleibt und

7.7 Variationsverfahren für partielle Differentialgleichungen 253(7.7.9) [u,v] = (u, L(y)) für y ∈ D L und u ∈ Dgilt. Uns interessiert hier nicht, wie ein möglichst großer Raum D mit Eigenschaftenaussieht 1 : wir interessieren uns nur für spezielle endlichdimensionaleFunktionsräume S, für die man im einzelnen leicht (7.7.7) und (7.7.9)für alle u aus der linearen Hülle D S von S und D L nachweisen kann, wennman [u,v]für u, v ∈ D S durch (7.7.5) definiert.Beispiel: Die Menge ¯Ω sei mit einer Triangulation T ={T 1 ,...,T k } versehen,d. h. ¯Ω ist Vereinigung von endlich vielen Dreiecken T i ∈ T , ¯Ω = ⋃ ki=1 T i ,derart, daß je zwei Dreiecke aus T entweder disjunkt sind, genau eine Ecke odergenau eine Kante gemeinsam haben (s. Fig. 19).T 1T 2ΩT 3Fig. 19. Triangulierung von ΩMit S i (i ≥ 1) bezeichnen wir die Menge aller Funktionen u: ¯Ω → R mit denfolgenden Eigenschaften:1) u ist stetig auf ¯Ω.2) u(x) = 0für x ∈ ∂Ω.3) Auf jedem Dreieck T der Triangulation T von Ω stimmt u mit einem Polynomi-ten Grades überein,u(x 1 , x 2 ) = ∑a jk x j 1 xk 2 .j+k≤iDie Funktionen u ∈ S i heißen finite Elemente. Offensichtlich ist jedes S i einreeller Vektorraum. Es muß zwar u ∈ S i in Ω nicht überall stetig partiell differenzierbarsein, wohl aber im Innern jedes Dreiecks T ∈ T . Def. (7.7.5) ist für alle u,v ∈ D S isinnvoll, ebenso sieht man sofort, daß (7.7.7) für alle u ∈ D S irichtig ist.1 Man erhält D durch „Vervollständigung“ des mit der Norm ‖·‖ W (1) versehenenVektorraums C0 1 (Ω) aller auf Ω einmal stetig differenzierbaren Funktionen ϕ,deren Träger supp(ϕ) := {x ∈ Ω | ϕ(x) ≠ 0}, kompakt ist und in Ω liegt.

254 7 Gewöhnliche DifferentialgleichungenDiese Funktionsräume S = S i , i = 1, 2, 3, insbesondere S 2 und S 3 , werden bei der„finite-element“-Methode im Rahmen des Rayleigh-Ritz-Verfahrens benutzt.Genau wie in Abschnitt 7.5 [(7.5.14), (7.5.15), (7.5.22)] zeigt man(7.7.10) Satz: Sei y die Lösung von (7.7.2) und S ein endlichdimensionalerRaum von Funktionen, für den (7.7.7), (7.7.9) für alle u ∈ D S erfüllt ist.Sei ferner F(u) für u ∈ D S definiert durch(7.7.11) F(u) := [u, u] − 2(u, f ).Dann gilt:1) F(u)> f (y) für alle u ≠ y.2) Es gibt ein u S ∈ S mit F(u S ) = min u∈S F(u).3) Für dieses u S gilt[u S − y, u S − y] = min[u − y, u − y].u∈SDie Näherungslösung u S kann wie in (7.5.17)–(7.5.21) beschrieben unddurch Lösen eines linearen Gleichungssystems der Form (7.5.21) bestimmtwerden. Man muß dazu eine Basis von S wählen und die Koeffizienten(7.5.19) des linearen Gleichungssystems (7.5.21) berechnen.Eine praktisch brauchbare Basis von S 2 z. B. erhält man auf folgende Weise:Sei P die Menge aller Ecken und Seitenmittelpunkte der Dreiecke T i , i = 1, 2, ...,k, der Triangulierung T , die nicht auf dem Rand ∂Ω liegen. Man kann zeigen, daßes zu jedem P ∈ P genau eine Funktion u P ∈ S 2 mitu P (P) = 1, u P (Q) = 0 für Q ≠ P, Q ∈ P .gibt. Überdies haben diese Funktionen die schöne Eigenschaft, daßu P (x) = 0, für alle x ∈ T mit P ∉ T ;daraus folgt, daß in der Matrix A von (7.5.21) alle [u P , u Q ] = 0 sind, für die eskein Dreieck T ∈ T gibt, dem P und Q gemeinsam angehören: Die Matrix A istnur schwach besetzt. Basen mit ähnlichen Eigenschaften kann man für die RäumeS 1 und S 2 angeben [siehe Zlamal (1968)].Auch die Fehlerabschätzung von Satz (7.5.23) kann man übertragen.(7.7.12) Satz: Es sei y die exakte Lösung von (7.7.1), (7.7.2) und S einendlichdimensionaler Raum von Funktionen, für die (7.7.7), (7.7.9) für alleu ∈ D S gilt. Für die Näherungslösung u S mit F(u S ) = min u∈S F(u) giltdann die Abschätzung‖u S − y‖ W (1) ≤ infu∈S( Γγ2∑1/2.‖D j u − D j y‖ 2) 2j=1

7.7 Variationsverfahren für partielle Differentialgleichungen 255Wir wollen nun obere Schranken fürinfu∈S2∑‖D j u − D j y‖ 2 2j=1für die Räume S = S i , i = 1, 2, 3, angeben, die im obigen Beispiel fürtriangulierte Gebiete Ω definiert wurden. Es gilt der folgende Satz:(7.7.13) Satz: Sei Ω ein trianguliertes Gebiet mit Triangulation T .Esseih die größte Seitenlänge, θ der kleinste Winkel aller in T vorkommendenDreiecke. Dann gilt:1. Falls y ∈ C 2 ( ¯Ω) und∂ 2 ∣y(x 1 , x 2 ) ∣∣∣∣ ≤ M 2∂x i ∂x jfür alle 1 ≤ i, j ≤ 2, x ∈ Ω,dann gibt es eine Funktion ũ ∈ S 1 mita) |ũ(x) − y(x)|≤M 2 h 2 für alle x ∈ ¯Ω,b) |D j ũ(x)− D j y(x)|≤6M 2 h/ sin θ für j = 1, 2 und für alle x ∈ T o ,T ∈ T .2. Falls y ∈ C 3 ( ¯Ω) und∂ 3 ∣y(x 1 , x 2 ) ∣∣∣∣ ≤ M 3 für alle 1 ≤ i, j, k ≤ 2, x ∈ Ω,∂x i ∂x j ∂x kdann gibt es ein ũ ∈ S 2 mita) |ũ(x) − y(x)|≤M 3 h 3 für x ∈ ¯Ω,b) |D j ũ(x) − D j y(x)|≤2M 3 h 2 / sin θ für j = 1, 2, x ∈ T o , T ∈ T .3. Falls y ∈ C 4 ( ¯Ω) und∂ 4 ∣y(x 1 , x 2 ) ∣∣∣∣ ≤ M 4 für 1 ≤ i, j, k, l ≤ 4, x ∈ Ω,∂x i ∂x j ∂x k ∂x ldann gibt es ein ũ ∈ S 3 mita) |ũ(x) − y(x)|≤3M 4 h 4 / sin θ für x ∈ ¯Ω,b) |D j ũ(x) − D j y(x)|≤5M 4 h 3 / sin θ für j = 1, 2, x ∈ T o , T ∈ T .[Hier bedeutet T o das Innere des Dreiecks T . Die Einschränkung x ∈ T ofür die Abschätzungen b) ist nötig, da die ersten Ableitungen D j ũ an denRändern der Dreiecke T Sprungstellen haben können.]Da für u ∈ S i , i = 1, 2, 3, die Funktion D j u nur stückweise stetig ist,folgt wegen

256 7 Gewöhnliche Differentialgleichungen‖D j u − D j y‖ 2 2 = ∑ ∫[D j u(x) − D j y(x)] 2 dxTT∈T≤ C max |D j u(x) − D j y(x)| 2 , C :=x∈T 0T∈T∫Ω1dx,aus jeder der unter b) angegebenen Abschätzungen über Satz (7.7.12) soforteine obere Schranke für die Sobolev-Norm ‖u S − y‖ W (1) des Fehlers u S − yfür die speziellen Funktionenräume S = S i , i = 1, 2, 3, sofern nur die exakteLösung y die Differenzierbarkeitsvoraussetzungen von (7.7.13) erfüllt:h i‖u si − y‖ W (1) ≤ C i M i+1sin θ .Die Konstanten C i sind von der Triangulation T von Ω und von y unabhängigund können explizit angegeben werden, die Konstanten M i , h, θhaben dieselbe Bedeutung wie in (7.7.13). Diese Abschätzungen besagen,daß z. B. für S = S 3 die Fehler (bzgl. der Sobolev-Norm) mit der drittenPotenz der Feinheit h der Triangulation gegen 0 gehen.Satz (7.7.13) soll hier nicht bewiesen werden. Beweise findet manz. B. bei Zlamal (1968), Ciarlet und Wagschal (1971).Hier soll nur soviel angedeutet werden, daß die speziellen Funktionenũ ∈ S i , i = 1, 2, 3, des Satzes durch Interpolation von y gewonnen werden:Z. B. erhält man für S = S 2 die Funktionen ũ ∈ S 2 durch Interpolation vony an den Punkten P ∈ P der Triangulierung (s. oben):ũ(x) = ∑ P∈Py(P)u P (x).Ein wichtiger Vorteil der finite-element-Methode liegt darin, daß manRandwertprobleme auch für verhältnismäßig komplizierte Gebiete Ω behandelnkann, Ω muß nur triangulierbar sein. Schließlich sei wiederholt,daß man mit diesen Methoden nicht nur Probleme mit R 2 der speziellenForm (7.7.1) behandeln kann, sondern auch Randwertprobleme inhöherdimensionalen Räumen und für allgemeinere Differentialoperatorenals den Laplaceoperator. Eine eingehende Beschreibung der finite-element-Methoden findet man bei Strang und Fix (1963), Oden und Reddy (1976),Schwarz (1988), Ciarlet und Lions (1991). Quarteroni und Valli (1994) behandelnallgemein die Numerik partieller Differentialgleichungen.

Übungsaufgaben zu Kapitel 7 257Übungsaufgaben zu Kapitel 71. Es sei A eine reelle diagonalisierbare n×n-Matrix mit den reellen Eigenwertenλ 1 , ..., λ n und den Eigenvektoren c 1 , ..., c n . Wie läßt sich die Lösungsmengedes Systemsy ′ = Aymit Hilfe der λ k und c k explizit darstellen ?Wie erhält man die spezielle Lösung y(x) mit y(0) = y 0 , y 0 ∈ R n ?2. Man bestimme die Lösung des Anfangswertproblemsmit y 0 ∈ R n und der n × n-Matrix⎡⎢⎣y ′ = Jy, y(0) = y 0λ 1 0. .. . ... .. 10 λ⎤⎥⎦ , λ∈ R.Hinweis: Man setze die k-te Komponente des Lösungsvektor y(x) in der Formy(x) = p k (x)e λx an, p k Polynom vom Grad ≤ n − k.3. Gegeben sei das Anfangswertproblemy ′ = x − x 3 , y(0) = 0.Zur Schrittweite h sollen mit dem Eulerverfahren Näherungswerte η(x j ; h)für y(x j ), x j = jh, berechnet werden. Man gebe η(x j ; h) und e(x j ; h) =η(x j ; h)−y(x j ) explizit an und zeige, daß e(x; h) bei festem x für h = x/n → 0gegen Null konvergiert.4. Das Anfangswertproblemy ′ = √ y, y(0) = 0besitzt die nichttriviale Lösung y(x) = x 2 /4. Das Eulerverfahren liefert jedochη(x j ; h) = 0für alle x und h = x/n, n = 1, 2, ... . Man begründe diesesVerhalten !5. Es sei η(x; h) die Näherungslösung, die das Eulerverfahren für das Anfangswertproblemy ′ = y, y(0) = 1liefert.a) Es ist η(x; h) = (1 + h) x/h .b) Man zeige, daß η(x; h) die für |h| < 1 konvergente Entwicklungη(x; h) =∞∑τ i (x)h i mit τ 0 (x) = e xi=0

258 7 Gewöhnliche Differentialgleichungenbesitzt; dabei sind die τ i (x) von h unabhängige analytische Funktionen.c) Für i = 1, 2, 3 gebe man τ i (x) an.d) Die τ i (x), i ≥ 1, sind die Lösungen der Anfangswertproblemeτ ′i (x) = τ i(x) −∞∑k=1τ k+1i−k (x)(k + 1)! , τ i(0) = 0.6. Man zeige, daß das modifizierte Euler-Verfahren die exakte Lösung der Differentialgleichungy ′ =−2ax liefert.7. Man zeige, daß das durchΦ(x, y; h) := 1 6 [k 1 + 4k 2 + k 3 ],k 1 := f (x, y),(k 2 := f x + h 2 , y + h )2 k 1 ,k 3 := f (x + h, y + h(−k 1 + 2k 2 ))gegebene Einschrittverfahren („einfache Kutta-Regel“) die Ordnung drei besitzt.8. Betrachte das EinschrittverfahrenmitΦ(x, y; h) := f (x, y) + h 2 g(x + 1 3 h, y + 3 1 hf(x, y))g(x, y) := ∂∂x f (x, y) + ( ∂∂y f (x, y) )· f (x, y).Man zeige, daß es von dritter Ordnung ist.9. Wie sieht die allgemeine Lösung der Differenzengleichungu j+2 = u j+1 + u j , j ≥ 0,aus?(Für u 0 = 0, u 1 = 1 erhält man die „Fibonacci-Folge“.)10. Bei den Verfahren vom Adams-Moulton-Typ wird, ausgehend von den Näherungswertenη p− j ..., η p für y(x p− j ), ..., y(x p ), ein Näherungswert η p+1für y(x p+1 ) nach der Iterationsvorschrift (7.2.6.7) berechnet: Ausgehend voneinem beliebigen η (0)p+1 setzt man für i = 0, 1, ...η (i+1)p+1:= Ψ(η(i)p+1 ) := η p + h[β q0 f (x p+1 ,η (i)p+1 ) + β q1 f p +···+β qq f p+1−q ].Man zeige: Für f ∈ F 1 (a, b) gibt es ein h 0 > 0, so daß für alle |h|≤h 0 dieFolge {η (i)p+1 } gegen ein η p+1 mit η p+1 = Ψ(η p+1 ) konvergiert.11. Man benutze die Fehlerabschätzungen für die Interpolation durch Polynomebzw. für die Newton-Cotes-Formeln, um zu zeigen, daß das Adams-Moulton-Verfahren für q = 2 die Ordnung drei und das Milne-Verfahren für q = 2 dieOrdnung vier besitzt.

Übungsaufgaben zu Kapitel 7 25912. Für q = 1 und q = 2 bestimme man die Koeffizienten β qi der Nyström-Formelnη p+1 = η p−1 + h[β 10 f p + β 11 f p−1 ],η p+1 = η p−1 + h[β 20 f p + β 21 f p−1 + β 22 f p−2 ].13. Man prüfe, ob das lineare Mehrschrittverfahrenkonvergent ist.η p − η p−4 = h 3 [8 f p−1 − 4 f p−2 + 8 f p−3 ]14. Es sei Ψ(1) = 0 und für die Koeffizienten vonΨ (µ)µ − 1 = γ r−1µ r−1 + γ r−2 µ r−2 +···+γ 1 µ + γ 0gelte |γ r−1 | > |γ r−2 |≥···≥|γ 0 |. Genügt Ψ (µ) der Stabilitätsbedingung ?15. Man bestimme α, β und γ so, daß das lineare Mehrschrittverfahrenη j+4 − η j+2 + α(η j+3 − η j+1 ) = h[β( f j+3 − f j+1 ) + γ f j+2 ]die Ordnung drei hat. Ist das so gewonnene Verfahren stabil ?16. Es werde das durchη j+2 + a 1 η j+1 + a 0 η j = h[b 0 f (x j ,η j ) + b 1 f (x j+1 ,η j+1 )]gegebene Prädiktor-Verfahren betrachtet.a) Man bestimme a 0 , b 0 und b 1 in Abhängigkeit von a 1 so, daß man einVerfahren mindestens zweiter Ordnung erhält.b) Für welche a 1 -Werte ist das so gewonnene Verfahren stabil ?c) Welche speziellen Verfahren erhält man für a 1 = 0 und a 1 =−1?d) Läßt sich a 1 so wählen, daß man ein stabiles Verfahren dritter Ordnungbekommt ?17. Es soll das Verfahrenauf das Anfangswertproblemη j+2 + 9η j+1 − 10η j = h 2 [13 f j+1 + 9 f j ]y ′ = 0,y(0) = cangewandt werden. Startwerte seien η 0 = c und η 1 = c + eps (eps: Maschinengenauigkeit).Welche Werte η j hat man bei beliebiger Schrittweite h zuerwarten ?18. Zur Lösung des Randwertproblemsy ′′ = 100y, y(0) = 1, y(3) = e −30betrachte man das Anfangswertproblem

260 7 Gewöhnliche Differentialgleichungeny ′′ = 100y, y(0) = 1, y ′ (0) = smit der Lösung y(x; s) und bestimme s =¯s iterativ so, daß y(3;¯s) = e −30 . ¯swerde nur bis auf einen relativen Fehler ε genau berechnet, d. h. statt ¯s erhältman ¯s(1 + ε). Wie groß ist y(3;¯s(1 + ε)) ?Ist in diesem Fall das einfache Schießverfahren (wie oben beschrieben) einegeeignete Methode zur Lösung des Randwertproblems ?19. Betrachtet werde das Anfangswertproblemy ′ = κ(y + y 3 ), y(0) = s.a) Man bestimme die Lösung y(x; s) dieses Problemes.b) In welcher x-Umgebung U s (0) von 0 ist y(x; s) erklärt ?c) Zu gegebenem b ≠ 0 gebe man ein k > 0 an, so daß y(b; s) für alle |s| < kexistiert.20. Man zeige, daß die Vor. c) von Satz (7.3.3.4) im Fall n = 2für die Randbedingungeny 1 (a) = c 1 , y 1 (b) = c 2nicht erfüllt ist.21. Unter den Voraussetzungen von Satz (7.3.3.4) beweise man: E := A +BG m−1 ···G 1 in (7.3.5.10) ist nichtsingulär.Hinweis: E = P 0 (I + H), H = M + P −10 D v r · (Z − I).22. Man zeige durch eine Fehleranalyse (Rückwärtsanalyse), daß der mit Rundungsfehlernbehaftete Lösungsvektor von (7.3.5.10), (7.3.5.9) gedeutet werden kannals exaktes Ergebnis von (7.3.5.8) mit leicht abgeänderten rechten Seiten ˜F jund abgeänderter letzter Gleichung(A + E 1 )∆s 1 + E 2 ∆s 2 +···+ E m−1 ∆s m−1 + (B + E m )∆s m =−˜F m ,lub(E j ) klein.23. Sei DF(s) die Matrix von (7.3.5.5). Man beweisedet(DF(s)) = det(A + BG m−1 ···G 1 ).Für die inverse (DF(s)) −1 gebe man eine Zerlegung in Blockmatrizen R, S,T explizit an:(DF(s)) −1 = RST.S : Diagonal-Blockmatrix, R : normierte untere Dreiecksmatrix, S, T sogewählt, daß ST · DF(s) normierte untere Dreiecksmatrix ist.24. Sei ∆ ∈ R n beliebig. Man beweise:Für ∆s 1 := ∆ und ∆s j , j = 2, ..., m, aus (7.3.5.9) gilt für⎡∆s⎤ 1∆s = ⎣⎦.∆s m

Übungsaufgaben zu Kapitel 7 261(DF(s) · F) T ∆s =−F T F + F T m ((A + BG m−1 ···G 1 )∆ − w).Ist ∆ also Lösung von (7.3.5.10), so ist stets25. Gegeben sei die Randwertaufgabe(DF(s) · F) T ∆s < 0.y ′ = f (x, y)mit den separierten Randbedingungen⎡y 1 (a) − α⎤ 1.y k (a) − α k= 0.y k+1 (b) − β k+1⎢⎣⎥⎦.y n (b) − β nEs sind also k Anfangswerte und n − k Endwerte bekannt. Die Informationkann benutzt werden, um die Dimension des Gleichungssystems (7.3.5.8) zureduzieren (k Komponenten von ∆s 1 und n − k Komponenten von ∆s m sindnull).Für m = 3 stelle man das Gleichungssystem für die Korrekturen ∆s i auf. Dabeisoll (unter Benutzung der Information) von x 1 = a nach x 2 und ebenso vonx 3 = b nach x 2 integriert werden („Gegenschießen“, s. Fig. 20).ºººÆºººººººººººººººººººº ÆÜ ½ Ü ¾ Ü ¿ ººººººFig. 20. Gegenschießen26. Die Konzentration einer Substanz in einer kugelförmigen Zelle vom Radius1 wird beim stationären Ablauf einer enzym-katalytischen Reaktion durchdie Lösung y(x; α) des folgenden Randwertproblems beschrieben [vgl. Keller(1968)]:y ′′ =− 2y′′x+yα(y + k)y ′ (0) = 0, y(1) = 1,

262 7 Gewöhnliche Differentialgleichungenα, k : Parameter, k = 0.1, 10 −3 ≤ α ≤ 10 −1 .Obwohl f für x = 0 singulär ist, existiert eine Lösung y(x), die für kleines |x|analytisch ist. Trotzdem versagt jedes numerische Integrationsverfahren in derNähe von x = 0. Man helfe sich wie folgt:Unter Benutzung der Symmetrien von y(x) entwickle man y(x) wie in Beispiel2, Abschnitt 7.3.6 um 0 in eine Potenzreihe bis x 6 einschließlich; dabei sindalle Koeffizienten durch λ := y(0) auszudrücken. Mit Hilfe von p(x; λ) =y(0) + y ′ (0)x +···+y (6) (0)x 6 /6! erhält man ein modifiziertes Problem(∗)⎧⎨y ′′ = F(x, y, y ′ ) =⎩y(0) = λ, y ′ (0) = 0, y(1) = 1,d 2 p(x; λ)dx 2 für 0 ≤ x ≤ 10 −2 ,f (x, y, y ′ ) für 10 −2 < x ≤ 1,das jetzt numerisch besser lösbar ist.Man fasse (∗) als Eigenwertproblem für den Eigenwert λ auf und formuliere(∗) wie in Abschnitt 7.3.0 als ein Randwertproblem (ohne Eigenwert). ZurKontrolle seien die Ableitungen angegeben:y(0) = λ, y (2) λ(0) =3α(λ + k) , kλy(4) (0) =5α 2 (λ + k) 3 ,y (6) (3k − 10λ)kλ(0) =21α 3 (λ + k) 5 , y(i) (0) = 0 für i = 1, 3, 5.27. Gegeben sei das Randwertproblemy ′′ − p(x)y ′ − q(x)y = r(x), y(a) = α, y(b) = βmit q(x) ≥ q 0 > 0für a ≤ x ≤ b. Gesucht sind Näherungswerte u i für dieexakten Werte y(x i ), i = 1, 2, ..., n, x i = a + ih und h = (b − a)/(n + 1).Ersetzt man y ′ (x i ) durch (u i+1 − u i−1 )/2h und y ′′ (x i ) durch (u i−1 − 2u i +u i+1 )/h 2 für i = 1, 2, ..., n und setzt man weiter u 0 = α, u n+1 = β, soerhält man aus der Differentialgleichung ein Gleichungsystem für den Vektoru = [u 1 ,...,u n ] T Au = k, A eine n × n-Matrix, k ∈ R n .a) Man gebe A und k an.b) Man zeige, daß das Gleichungssystem für hinreichend kleines h eindeutiglösbar ist.28. Man betrachte für g ∈ C[0, 1] das Randwertproblema) Man zeige:mity ′′ = g(x), y(0) = y(1) = 0.∫ 1y(x) = G(x,ξ)g(ξ)dξ0G(x,ξ):={ ξ(x − 1) für 0 ≤ ξ ≤ x ≤ 1,x(ξ − 1) für 0 ≤ x ≤ ξ ≤ 1.

29. SeiÜbungsaufgaben zu Kapitel 7 263b) Ersetzt man g(x) durch g(x) + ∆g(x) mit |∆g(x)|≤ε für alle x, so gehtdie Lösung y(x) über in y(x) + ∆y(x). Man beweise|∆y(x)|≤ ε x(1 − x) für 0 ≤ x ≤ 1.2c) Das in 7.4 beschriebene Differnzenverfahren liefert als Lösungsvektor u =[u 1 ,...,u n ] T des Gleichungssystems [s. (7.4.4)]undAu = kNäherungswerte u i für y(x i ), x i = i/(n + 1) und i = 1, 2, ..., n. Ersetztman k durch k + ∆k mit |∆k i |≤ε, i = 1, 2, ..., n, so geht u über inu + ∆u.Man zeige|∆u i |≤ ε 2 x i(1 − x i ), i = 1, 2,...,n.D :={u | u(0) = 0, u ∈ C 2 [0, 1]}∫ 1F(u) := { 2 1 (u′ (x)) 2 + f (x, u(x))}dx + p(u(1))0mit u ∈ D, f uu (x, u) ≥ 0, p ′′ (u) ≥ 0.Man beweise: Ist y(x) Lösung vonso folgtund umgekehrt.y ′′ − f u (x, y) = 0, y(0) = 0, y ′ (1) + p ′ (y(1)) = 0,F(y)

264 7 Gewöhnliche DifferentialgleichungenLiteratur zu Kapitel 7Babuška, I., Prager, M., Vitásek, E. (1966): Numerical Processes in DifferentialEquations. New York: Interscience.Bader, G., Deuflhard, P. (1983): A semi-implicit midpoint rule for stiff systems ofordinary systems of differential equations. Numer. Math. 41, 373–398.Bank, R. E., Bulirsch, R., Merten, K. (1990): Mathematical modelling and simulationof electrical circuits and semiconductor devices. ISNM. 93, Basel: Birkhäuser.Bock, H.G., Schlöder, J.P., Schulz, V.H. (1995): Numerik großer Differentiell-Algebraischer Gleichungen: Simulation und Optimierung, p. 35-80 in: Schuler,H.(ed.) Prozeßsimulation, Weinheim: VCH.Boyd, J. P. (1989): Chebyshev and Fourier Spectral Methods. Berlin-Heidelberg-New York: Springer.Broyden, C.G. (1967): Quasi-Newton methods and their application to function minimization.Math. Comp. 21, 368–381.Buchauer, O., Hiltmann, P., Kiehl, M. (1994): Sensitivity analysis of initial-valueproblems with application to shooting techniques. Numerische Mathematik 67,151–159.Bulirsch, R. (1971): Die Mehrzielmethode zur numerischen Lösung von nichtlinearenRandwertproblemen und Aufgaben der optimalen Steuerung. Report der Carl-Cranz-Gesellschaft., Stoer, J. (1966): Numerical treatment of ordinary differential equations byextrapolation methods. Numer. Math. 8, 1–13.Butcher, J. C. (1964): On Runge-Kutta processes of high order. J. Austral. Math.Soc. 4, 179–194.Byrne, D. G., Hindmarsh, A. C. (1987): Stiff o.d.e.-solvers: A review of current andcoming attractions. J. Comp. Phys. 70, 1–62.Canuto, C., Hussaini, M. Y., Quarteroni, A., Zang, T. A. (1987): Spectral Methodsin Fluid Dynamics. Berlin-Heidelberg-New York: Springer.Caracotsios, M., Stewart, W.E. (1985): Sensitivity analysis of initial value problemswith mixed ODEs and algebraic equations. Computers and Chemical Engineering9, 359–365.Ciarlet, P. G., Lions, J. L., Eds. (1991): Handbook of Numerical Analysis. Vol. II.Finite Element Methods (Part 1). Amsterdam: North Holland., Schultz, M. H., Varga, R. S. (1967): Numerical methods of high orderaccuracy for nonlinear boundary value problems. Numer. Math. 9, 394–430., Wagschal, C. (1971): Multipoint Taylor formulas and applications to thefinite element method. Numer. Math. 17, 84–100.Clark, N. W. (1968): A study of some numerical methods for the integration ofsystems of first order ordinary differential equations. Report ANL-7428. ArgonneNational Laboratories.Coddington, E. A., Levinson, N. (1955): Theory of Ordinary Differential Equations.New York: McGraw-Hill.Collatz, L. (1960): The Numerical Treatment of Differential Equations. Berlin-Göttingen-Heidelberg: Springer.(1968): Funktionalanalysis und Numerische Mathematik. Berlin-Heidelberg-New York: Springer.

Literatur zu Kapitel 7 265Crane, P.J., Fox, P.A. (1969): A comparative study of computer programs for integratingdifferential equations. Num. Math. Computer Program library one – Basicroutines for general use. Vol. 2, issue 2. New Jersey: Bell Telephone LaboratoriesInc.Dahlquist, G. (1956): Convergence and stability in the numerical integration ofordinary differential equations. Math. Scand. 4, 33–53.(1959): Stability and error bounds in the numerical integration of ordinarydifferential equations. Trans. Roy. Inst. Tech. (Stockholm), No. 130.(1963): A special stability problem for linear multistep methods. BIT 3,27–43.Deuflhard, P. (1979): A stepsize control for continuation methods and its specialapplication to multiple shooting techniques. Numer. Math. 33, 115–146., Hairer, E., Zugck, J. (1987): One-step and extrapolation methods fordifferential-algebraic systems. Numer. Math. 51, 501–516.Diekhoff, H.-J., Lory, P., Oberle, H. J., Pesch, H.-J., Rentrop, P., Seydel, R. (1977):Comparing routines for the numerical solution of initial value problems of ordinarydifferential equations in multiple shooting. Numer. Math. 27, 449–469.Dormand, J. R., Prince, P. J. (1980): A family of embedded Runge-Kutta formulae.J. Comp. Appl. Math. 6, 19–26.Eich, E. (1992): Projizierende Mehrschrittverfahren zur numerischen Lösung vonBewegungsgleichungen technischer Mehrkörpersysteme mit Zwangsbedingungenund Unstetigkeiten. Fortschritt-Berichte VDI, Reihe 18, Nr. 109, VDI-Verlag,Düsseldorf.Engl, G., Kröner, A., Kronseder, T., von Stryk, O. (1999): Numerical Simulation andOptimal Control of Air Separation Plants, pp. 221–231 in: Bungartz, H.-J., Durst,F., Zenger, Chr.(eds.): High Performance Scientific and Engineering Computing,Lecture Notes in Computational Science and Engineering Vol. 8, New York:Springer.Enright, W. H., Hull, T. E., Lindberg, B. (1975): Comparing numerical methods forstiff systems of ordinary differential equations.BIT 15, 10–48.Fehlberg, E. (1964): New high-order Runge-Kutta formulas with stepsize control forsystems of first- and second-order differential equations. Z. Angew. Math. Mech.44, T17–T29.(1966): New high-order Runge–Kutta formulas with an arbitrary small truncationerror. Z. Angew. Math. Mech. 46, 1–16.(1969): Klassische Runge–Kutta Formeln fünfter und siebenter Ordnungmit Schrittweiten-Kontrolle. Computing 4, 93–106.(1970): Klassische Runge-Kutta Formeln vierter und niedrigerer Ordnungmit Schrittweiten-Kontrolle und ihre Anwendung auf Wärmeleitungsprobleme.Computing 6, 61–71.Galán, S., Feehery, W.F., Barton, P.I. (1998): Parametric sensitivity functions forhybrid discrete/continuous systems. Preprint submitted to Applied Numerical Mathematics.Gantmacher, F. R. (1969): Matrizenrechnung II. Berlin: VEB Deutscher Verlag derWissenschaften.Gear, C. W. (1971): Numerical initial value problems in ordinary differential equations.Englewood Cliffs, N.J.: Prentice-Hall.(1988): Differential algebraic equation index transformations. SIAM J. Sci.Statist. Comput. 9, 39–47.

266 7 Gewöhnliche Differentialgleichungen, Petzold, L. R. (1984): ODE methods for the solution of differential/algebraicsystems. SIAM J. Numer. Anal. 21, 716–728.Gill, P.E., Murray, W., Wright, H.M. (1995): Practical Optimization, 10th printing.London: Academic Press.Gottlieb, D., Orszag, S. A. (1977): Numerical Analysis of Spectral Methods: Theoryand Applications. Philadelphia: SIAM.Gragg, W. (1963): Repeated extrapolation to the limit in the numerical solution ofordinary differential equations. Thesis, UCLA.(1965): On extrapolation algorithms for ordinary initial value problems. J.SIAM Numer. Anal. Ser. B 2, 384–403.Griepentrog, E., März, R. (1986): Differential-Algebraic Equations and Their NumericalTreatment. Leipzig: Teubner.Grigorieff, R.D. (1972, 1977): Numerik gewöhnlicher Differentialgleichungen 1, 2.Stuttgart: Teubner.Hairer, E., Lubich, Ch. (1984): Asymptotic expansions of the global error of fixedstepsize methods. Numer. Math. 45, 345–360., , Roche, M. (1989): The numerical solution of differential-algebraicsystems by Runge-Kutta methods. In: Lecture Notes in Mathematics 1409. Berlin-Heidelberg-New York: Springer., Nørsett, S. P., Wanner, G. (1993): Solving Ordinary Differential EquationsI. Nonstiff Problems. 2nd ed., Berlin-Heidelberg-New York: Springer., Wanner, G. (1991): Solving Ordinary Differential Equations II. Stiff andDifferential-Algebraic Problems. Berlin-Heidelberg-New York: Springer.Heim, A., von Stryk, O. (1996): Documentation of PAREST – A multiple shootingcode for optimization problems in differential-algebraic equations. TechnicalReport M9616, Fakultät für Mathematik, Technische Universität München.Henrici, P. (1962): Discrete Variable Methods in Ordinary Differential Equations.New York: John Wiley.Hestenes, M. R. (1966): Calculus of Variations and Optimal Control Theory. NewYork: John Wiley.Heun, K. (1900): Neue Methode zur approximativen Integration der Differentialgleichungeneiner unabhängigen Variablen. Z. Math. Phys. 45, 23–38.Horneber, E. H. (1985): Simulation elektrischer Schaltungen auf dem Rechner. FachberichteSimulation, Bd. 5. Berlin-Heidelberg-New York: Springer.Hull, T. E., Enright, W. H., Fellen, B. M., Sedgwick, A. E. (1972): Comparingnumerical methods for ordinary differential equations. SIAM J. Numer. Anal. 9,603–637. [Errata, ibid. 11, 681 (1974).]Isaacson, E., Keller, H. B. (1966): Analysis of Numerical Methods. New York: JohnWiley.Kaps, P., Rentrop, P. (1979): Generalized Runge–Kutta methods of order four withstepsize control for stiff ordinary differential equations. Numer. Math. 33, 55–68.Keller, H. B. (1968): Numerical Methods for Two-Point Boundary-Value Problems.London: Blaisdell.Kiehl, M. (1999): Sensitivity analysis of ODEs and DAEs – theory and implementationguide. Optimization Methods and Software 10, 803–821.Krogh, F. T. (1974): Changing step size in the integration of differential equationsusing modified divided differences. In: Proceedings of the Conference on theNumerical Solution of Ordinary Differential Equations, 22–71. Lecture Notes inMathematics 362. Berlin-Heidelberg-New York: Springer.

Literatur zu Kapitel 7 267Kutta, W. (1901): Beitrag zur näherungsweisen Integration totaler Differentialgleichungen.Z. Math. Phys. 46, 435–453.Lambert, J. D. (1973): Computational Methods in Ordinary Differential Equations.London-New York-Sidney-Toronto: John Wiley.Leis, J.R., Kramer, M.A. (1985): Sensitivity analysis of systems of differential andalgebraic equations. Computers and Chemical Engineering 9, 93–96.Morrison, K.R., Sargent, R.W.H. (1986): Optimization of multistage processes describedby differential-algebraic equations, pp. 86–102 in: Lecture Notes in Mathematics1230. New York: Springer.Na, T. Y., Tang, S. C. (1969): A method for the solution of conduction heat transferwith non-linear heat generation. Z. Angew. Math. Mech. 49, 45–52.Oberle, H. J., Grimm, W. (1989): BNDSCO – A program for the numerical solutionof optimal control problems. Internal Report No. 515-89/22, Institute for FlightSystems Dynamics, DLR, Oberpfaffenhofen, Germany.Oden, J. T., Reddy, J. N. (1976): An Introduction to the Mathematical Theory ofFinite Elements. New York: John Wiley.Osborne, M. R. (1969): On shooting methods for boundary value problems. J. Math.Anal. Appl. 27, 417–433.Petzold, L. R. (1982): A description of DASSL – A differential algebraic systemsolver. IMACS Trans. Sci. Comp. 1, 65ff., Ed. H. Stepleman. Amsterdam: NorthHolland.Quarteroni, A., Valli, A. (1994): Numerical Approximation of Partial DifferentialEquations. Berlin-Heidelberg-New York: Springer.Rentrop, P. (1985): Partitioned Runge-Kutta methods with stiffness detection andstepsize control. Numer. Math. 47, 545–564., Roche, M., Steinebach, G. (1989): The application of Rosenbrock-Wannertype methods with stepsize control in differential-algebraic equations. Numer.Math. 55, 545–563.Rozenvasser, E. (1967): General sensitivity equations of discontinuous systems. Automationand Remote Control 28, 400–404Runge, C. (1895): Über die numerische Auflösung von Differentialgleichungen.Math. Ann. 46, 167–178.Schwarz, H. R. (1981): FORTRAN-Programme zur Methode der finiten Elemente.Stuttgart: Teubner., (1984): Methode der finiten Elemente. Stuttgart: Teubner.Shampine, L. F., Gordon, M. K. (1975): Computer Solution of Ordinary DifferentialEquations. The Initial Value Problem. San Francisco: Freeman and Company., Watts, H. A., Davenport, S. M. (1976): Solving nonstiff ordinary differentialequations – The state of the art. SIAM Review 18, 376–411.Shanks, E. B. (1966): Solution of differential equations by evaluation of functions.Math. Comp. 20, 21–38.Stetter, H. J. (1973): Analysis of Discretization Methods for Ordinary DifferentialEquations. Berlin-Heidelberg-New York: Springer.Strang, G., Fix, G. J. (1973): An Analysis of the Finite Element Method. EnglewoodCliffs, N.J.: Prentice-Hall.Troesch, B. A. (1960): Intrinsic difficulties in the numerical solution of a boundaryvalue problem. Report NN-142, TRW, Inc. Redondo Beach, CA.(1976): A simple approach to a sensitive two-point boundary value problem.J. Computational Phys. 21, 279–290.

268 7 Gewöhnliche DifferentialgleichungenVelte, W. (1976): Direkte Methoden der Variationsrechnung. Stuttgart: Teubner.Wilkinson, J. H. (1982): Note on the practical significance of the Drazin Inverse.In: L.S. Campbell, Ed. Recent Applications of Generalized Inverses. Pitman Publ.66, 82–89.Willoughby, R. A. (1974): Stiff Differential Systems. New York: Plenum Press.Zlámal, M. (1968): On the finite element method. Numer. Math. 12, 394–409.

8 Iterationsverfahren zur Lösunggroßer linearer Gleichungssysteme,einige weitere Verfahren8.0 EinleitungViele praktische Probleme führen zu der Aufgabe, sehr große lineare GleichungssytemeAx = b zu lösen, bei denen glücklicherweise die MatrixA nur schwach besetzt ist, d. h. nur relativ wenige nicht verschwindendeKomponenten besitzt. Solche Gleichungssysteme erhält man z. B. bei derAnwendung von Differenzenverfahren oder finite-element Methoden zurnäherungsweisen Lösung von Randwertaufgaben bei partiellen Differentialgleichungen.Die üblichen Eliminationsverfahren [s. Kapitel 4] könnenhier nicht ohne weiteres zur Lösung verwandt werden, weil sie ohne besondereMaßnahmen gewöhnlich zur Bildung von mehr oder weniger vollbesetzten Zwischenmatrizen führen und deshalb die Zahl der zur Lösung erforderlichenRechenoperationen auch für die heutigen Rechner zu groß wird,abgesehen davon, daß die Zwischenmatrizen nicht mehr in die üblicherweiseverfügbaren Maschinenspeicher passen.Aus diesen Gründen hat man schon früh Iterationsverfahren zur Lösungsolcher Gleichungssysteme herangezogen. Bei diesen Verfahren wird ausgehendvon einem Startvektor x (0) eine Folge von Vektorenx (0) → x (1) → x (2) →···erzeugt, die gegen die gesuchte Lösung x konvergiert. Allen diesen Verfahrenist gemeinsam, daß der einzelne Iterationsschritt x (i) → x (i+1) einenRechenaufwand erfordert, der vergleichbar ist mit der Multiplikation vonA mit einem Vektor, d.h. einen sehr geringen Aufwand, wenn A schwachbesetzt ist. Aus diesem Grunde kann man mit noch erträglichem Rechenaufwandrelativ viele Iterationsschritte ausführen. Dies ist schon deshalbnötig, weil diese Verfahren nur linear und zwar gewöhnlich auch noch sehrlangsam konvergieren. Dies zeigt aber auch, daß diese Verfahren den Eliminationsverfahrenin der Regel unterlegen sind, wenn A eine kleine Matrix(eine 100 × 100-Matrix ist in diesem Sinne noch klein) oder nicht schwachbesetzt ist.

270 8 Iterationsverfahren für große lineare GleichungssystemeAus diesem allgemeinen Rahmen fallen lediglich die sog. Nachiteration[s. (8.1.9)–(8.1.11)] und die sog. Krylovraum-Methoden [s. Abschnitt8.7]. Die Nachiteration wird verhältnismäßig oft angewandt und dient dazu,die Genauigkeit einer von einem Eliminationsverfahren gelieferten, durchRundungsfehler verfälschten Näherungslösung ˜x eines Gleichungssystemsiterativ zu verbessern.Auf Krylovraum-Methoden treffen die oben angegebenen allgemeinenCharakteristika iterativer Verfahren zu mit der einen Ausnahme, daß dieseVerfahren bei exakter Rechnung nach endlich vielen Schritten mit der exaktenLösung x abbrechen: Sie liefern Iterierte x k , die die Lösung desGleichungssystems unter allen Vektoren in Krylovräumen der Dimensionk die gesuchte Lösung des Gleichungssystems optimal approximieren. Wirbeschreiben drei Verfahren dieses Typs, das klassische cg-Verfahren vonHestenes und Stiefel (1952) zur Lösung von linearen Gleichungen Ax = bmit positiv definitem A [s. Abschnitt 8.7.1], sowie für Systeme mit beliebigemnichtsingulärem A das GMRES-Verfahren von Saad und Schultz(1986) [s. Abschnitt 8.7.2], eine einfache Form des QMR-Verfahrens vonFreund und Nachtigal [s. Abschnitt 8.7.3] und das Bi-CGSTAB-Verfahrenvon van der Vorst (1991) in Abschnitt 8.7.4. Alle diese Verfahren habenden Vorteil, daß sie anders als viele eigentliche Iterationsverfahren nichtvon weiteren Parametern abhängen, deren optimale Wahl häufig schwierigist. Bezüglich der Anwendbarkeit der Krylovraummethoden gelten jedochdieselben Bemerkungen wie für die echten iterativen Verfahren. Aus diesemGrund werden diese Verfahren in diesem Kapitel behandelt.Eine detaillierte Behandlung von Iterationsverfahren findet man in derNeuauflage des Buches von Varga (2000), sowie bei Young (1971) undAxelsson (1994), sowie von Krylovraummethoden in Saad (1996).Zur Lösung der sehr speziellen großen Gleichungssysteme, die manbei der Lösung des sog. Modellproblems (das Poisson-Problem auf demEinheitsquadrat) gibt es einige direkte Verfahren, die die Lösung in endlichvielen Schritten liefern und den Iterationsverfahren überlegen sind: Eines derersten dieser Verfahren, der Algorithmus von Buneman, wird in Abschnitt8.8 beschrieben.Zur iterativen Lösung der sehr großen Gleichungssysteme, die beider Anwendung von Finite-Element-Techniken auf allgemeine Randwertproblemefür partielle Differentialgleichungen enstehen, benutzt man seiteinigen Jahren mit größtem Erfolg Mehrgitterverfahren. Wir erläutern inAbschnitt 8.9 nur das Prinzip dieser Verfahren anhand eines Randwertproblemsfür gewöhnliche Differentialgleichungen. Für eine eingehende Behandlungdieser wichtigen Verfahren, die eng mit der Numerik von partiellenDifferentialgleichungen verknüpft sind, müssen wir auf die einschlägige

8.1 Allgemeine Ansätze für die Gewinnung von Iterationsverfahren 271Literatur verweisen, z.B. Hackbusch (1985), Braess (1997), Bramble (1993),Quarteroni und Valli (1997).Es sei ferner darauf hingewiesen, daß eine Anzahl von Technikenentwickelt worden sind, um auch große Gleichungssysteme Ax = b mitschwach besetztem A nichtiterativ mit Hilfe von Eliminationsverfahren zulösen: Diese Techniken beschäftigen sich mit der zweckmäßigen Speicherungsolcher Matrizen und der Wahl einer geeigneten Folge von Pivots,damit die im Laufe des Eliminationsverfahrens entstehenden Zwischenmatrizenmöglichst schwach besetzt bleiben. Einfache Verfahren dieses Typswurden bereits in Abschnitt 4.6 beschrieben. Für die linearen Gleichungssysteme,die bei der Anwendung von Finite-Element-Methoden auf partielleDifferentialgleichungen entstehen, hat sich insbesondere ein Verfahren vonGeorge (1973) bewährt. Für eine eingehende Behandlung dieser Methodenmüssen wir aber auf die Spezialliteratur verweisen.8.1 Allgemeine Ansätzefür die Gewinnung von IterationsverfahrenGegeben sei eine nichtsinguläre n×n-Matrix A und ein lineares Gleichungssystem(8.1.1) Ax = bmit der exakten Lösung x := A −1 b. Wir betrachten Iterationsverfahren derForm [vgl. Kapitel 5](8.1.2) x (i+1) = Φ(x (i) ), i = 0, 1,... .Mit Hilfe einer beliebigen nichtsingulären n×n-Matrix B erhält man solcheIterationsvorschriften aus der Gleichungindem man setztBx + (A − B)x = b,(8.1.3) Bx (i+1) + (A − B)x (i) = b,oder nach x (i+1) aufgelöst,(8.1.4) x (i+1) = x (i) − B −1 (Ax (i) − b) = (I − B −1 A)x (i) + B −1 b.In dieser Allgemeinheit wurden solche Iterationsverfahren zuerst von Wittmeyerbetrachtet.

272 8 Iterationsverfahren für große lineare GleichungssystemeMan beachte, daß (8.1.4) mit folgender speziellen Vektoriteration[s. 6.6.3] identisch ist[ ] [ ] [ ]111 0= W , W :=,x (i+1) x (i) B −1 b I − B −1 Awobei die n + 1-reihige Matrix W zum Eigenwert λ 0 := 1 den Linkseigenvektor[1, 0] und den Rechtseigenvektor [ 1x], x := A −1 b, besitzt. Nachden Ergebnissen von Abschnitt (6.6.3) wird die Folge [ ] [1x dann gegen 1](i) xkonvergieren, wenn λ 0 = 1 einfacher betragsdominanter Eigenwert von Wist, d. h. wennλ 0 = 1 > |λ 1 |≥···≥|λ n |die übrigen Eigenwerte λ 1 ,...,λ n von W (dies sind die Eigenwerte von(I − B −1 A)) dem Betrage nach kleiner als 1 sind.Jede Wahl einer nichtsingulären Matrix B führt zu einem möglichenIterationsverfahren (8.1.4). Es wird umso brauchbarer sein, je besser B diefolgenden Bedingungen erfüllt:a) Das Gleichungssystem (8.1.3) ist leicht nach x (i+1) auflösbar,b) die Eigenwerte von I − B −1 A sollen möglichst kleine Beträge haben.Letzteres wird umso eher der Fall sein, je besser B mit A übereinstimmt.Diese Optimalitäts- und Konvergenzfragen sollen in den nächstenAbschnitten untersucht werden. Hier wollen wir nur noch einige wichtigespezielle Iterationsverfahren (8.1.3) angeben, die sich durch die Wahl vonB unterscheiden. Dazu führen wir folgende Standardzerlegung von A(8.1.5) A = D − E − Fein mit⎡ ⎤a 11 0⎢D = ⎣. ⎥ .. ⎦ ,0 a nn⎡⎤ ⎡⎤0 00 a 12 ··· a 1na 21 0E =−⎢⎣.. .. . ⎥ .. ⎦ , F =− 0. ..⎢⎣ . ⎥ .. an−1,n ⎦ ,a n1 ··· a n,n−1 00 0und den Abkürzungen, falls a ii ≠ 0für i = 1, 2, ..., n:(8.1.6) L := D −1 E, U := D −1 F, J := L + U, H := (I − L) −1 U.

8.1 Allgemeine Ansätze für die Gewinnung von Iterationsverfahren 2731. Im Gesamtschrittverfahren oder Jacobi-Verfahren wird(8.1.7) B := D, I − B −1 A = J,gewählt. Man erhält so für (8.1.3) die Iterationsvorschrifta jj x (i+1)j+ ∑ k≠ ja jk x (i)k= b j , j = 1, 2,...,n, i = 0, 1,...,wobei x (i) := [x (i)1 ,...,x(i) n ]T .2. Im Einzelschrittverfahren oder Gauß-Seidel-Verfahren wird gewählt(8.1.8) B := D − E, I − B −1 A = (I − L) −1 U = H.Man erhält so für (8.1.3)∑a jk x (i+1)k+ a jj x (i+1)j+ ∑ a jk x (i)k= b j ,k< jk> jj = 1, 2,...,n, i = 0, 1,... .3. Das Verfahren der Nachiteration ist ein besonderer Spezialfall. Hierwird folgende Situation vorausgesetzt. Als Resultat eines Eliminationsverfahrenszur Lösung von Ax = b erhält man infolge von Rundungsfehlerneine (i. a.) gute Näherungslösung x (0) für die exakte Lösung x undeine untere bzw. obere Dreiecksmatrix ¯L, ¯R mit ¯L · ¯R ≈ A [s. 4.5]. DieNäherungslösung x (0) kann man dann anschließend iterativ mittels einesVerfahrens der Form (8.1.3) verbessern, indem man wählt(8.1.3) ist dann äquivalent mitB := ¯L · ¯R.(8.1.9) B ( x (i+1) − x (i)) = r (i)mit dem ResiduumEs folgt aus (8.1.9)r (i) := b − Ax (i) .(8.1.10) x (i+1) = x (i) + u (i) , u (i) := ¯R −1 ¯L −1 r (i) .Man beachte, daß man u (i) durch Auflösung der gestaffelten Gleichungssysteme(8.1.11) ¯Lz = r (i) , ¯Ru (i) = z,

274 8 Iterationsverfahren für große lineare Gleichungssystemeeinfach berechnen kann. Im allgemeinen (falls A nicht zu schlecht konditioniertist) konvergiert das Verfahren außerordentlich rasch. Bereits x (1)oder x (2) stimmen mit der exakten Lösung x bis auf Maschinengenauigkeitüberein. Da aus diesem Grunde bei der Berechnung der Residuenr (i) = b − Ax (i) sehr starke Auslöschung auftritt, ist es für das Funktionierendes Verfahrens äußerst wichtig, daß die Berechnung von r (i) in doppelterGenauigkeit ausgeführt wird. Für die anschließende Berechnung von z, u (i)und x (i+1) = x (i) + u (i) aus (8.1.11) und (8.1.10) ist dagegen keine doppeltgenaue Arithmetik nötig.Programme und Rechenbeispiele für die Nachiteration findet man inWilkinson, Reinsch (1971) bzw. Forsythe, Moler (1967).8.2 KonvergenzsätzeDie Iterationsverfahren (8.1.3), (8.1.4) liefern zu jedem Startvektor x (0) eineFolge {x (i) } i=0,1,... von Vektoren. Wir nennen nun das betreffende Verfahrenkonvergent, falls für alle Startvektoren x (0) diese Folge {x (i) } i=0,1,... gegendie exakte Lösung x = A −1 b konvergiert. Mit ρ(C) bezeichnen wir imfolgenden wieder den Spektralradius [s. 6.9] einer Matrix C. Damit könnenwir folgendes Konvergenzkriterium angeben:(8.2.1) Satz: 1) Das Verfahren (8.1.3) ist genau dann konvergent, wennρ(I − B −1 A)

8.2 Konvergenzsätze 275a) Sei nun (8.1.3) konvergent. Dann gilt lim i→∞ f i = 0für alle f 0 .Wähltman speziell f 0 als Eigenvektor zum Eigenwert λ von I − B −1 A, so folgtaus (8.2.2)(8.2.3) f i = λ i f 0und daher |λ| < 1 wegen lim i→∞ f i = 0. Also ist ρ(I − B −1 A)0 beliebig. Dann gibt es nach Satz (6.9.2)eine Vektornorm N(·), so daß für die zugehörige Matrixnorm lub N (·) giltlub N (I − B −1 A) ≤ ρ(I − B −1 A) + ε.Nach Satz (4.4.6) sind alle Normen auf dem C n äquivalent, es gibt alsoKonstanten m, M > 0 mitm ‖x‖≤N(x) ≤ M ‖x‖.Ist nun f 0 ≠ 0 beliebig, so folgt aus diesen Ungleichungen und (8.2.2)‖ f i ‖≤ 1 m N( f i) = 1 m N( (I − B −1 A) i f 0)≤ 1 m[lubN (I − B −1 A) ] iN( f0 )≤ M (ρ(I − B −1 A) + ε ) i‖ f0 ‖m

276 8 Iterationsverfahren für große lineare Gleichungssystemeoder√‖ fi i ‖‖ f 0 ‖ ≤ [ ρ(I − B −1 A) + ε ] √Mim .Wegen lim i√i→∞ M/m = 1 erhält man k ≤ ρ(I − B −1 A)+ε und, da ε>0beliebig ist, k ≤ ρ(I − B −1 A). Damit ist der Satz bewiesen. ⊓⊔Wir wollen diese Resultate zunächst auf das Gesamtschrittverfahren(8.1.7) anwenden. Wir benutzen dabei die im letzten Abschnitt eingeführtenBezeichnungen (8.1.5)–(8.1.8). Bezüglich der Maximumnorm giltlub ∞ (C) = max i∑k |c ik|, sodaßlub ∞ (I − B −1 A) = lub ∞ (J) = maxi1|a ii |Falls nun |a ii | > ∑ k≠i |a ik| für alle i, dann folgt sofortlub ∞ (J) ∑ k≠ik≠i|a ik | für i = 1, 2,...,n.2) (Starkes Spaltensummenkriterium) Das Gesamtschrittverfahren konvergiertfür alle Matrizen A mit(8.2.8) |a kk | > ∑ i≠k|a ik | für k = 1, 2,...,n.Beweis von 2): Ist (8.2.8) für A erfüllt, so gilt (8.2.7) für die Matrix A T .Also konvergiert das Gesamtschrittverfahren für A T und es ist daher wegenSatz (8.2.1) 1) ρ(X)

8.2 Konvergenzsätze 277besitzt, wo à 11 eine p× p-Matrix und à 22 eine q ×q-Matrix mit p+q = n,p > 0, q > 0 ist.Die Unzerlegbarkeit einer Matrix A kann man häufig leicht mit Hilfedes der Matrix A zugeordneten (gerichteten) Graphen G(A) prüfen. WennA eine n × n-Matrix ist, so besteht G(A) aus n Knoten P 1 , ..., P n und esgibt eine gerichtete Kante P i → P j in G(A) genau dann, wenn a ij ≠ 0.Beispiel:⎡ ⎤1 2 0A = ⎢⎣ −1 1 0⎥3 0 1⎦ , G(A) :.. .. .. .. .P 1 P 2 P 3Man zeigt leicht, daß A genau dann unzerlegbar ist, falls der Graph G(A)in dem Sinne zusammenhängend ist, daß es für jedes Knotenpaar (P i , P j )in G(A) einen gerichteten Weg von P i nach P j gibt.Für unzerlegbare Matrizen gilt:(8.2.9) Satz: (Schwaches Zeilensummenkriterium) Falls A unzerlegbar istund|a ii |≥ ∑ |a ik | für alle i = 1, 2,...,n,k≠i. . ... . .aber |a i0 i 0| > ∑ k≠i 0|a i0 k| für mindestens ein i 0 gilt, dann konvergiert dasGesamtschrittverfahren.Analog gilt natürlich auch ein schwaches Spaltensummenkriterium fürunzerlegbares A.Beweis: Aus den Voraussetzungen des Satzes folgt wie beim Beweis von(8.2.6) 1) für das Gesamtschrittverfahrenund darauslub ∞ (I − B −1 A) = lub ∞ (J) ≤ 1,(8.2.10) |J|e ≤ e, |J|e ≠ e, e := (1, 1,...,1) T .(Betragsstriche |·| und Ungleichungen für Vektoren oder Matrizen sind stetskomponentenweise zu verstehen.)Nun ist mit A auch die Matrix J unzerlegbar. Um den Satz zu beweisen,genügt es, die Ungleichung|J| n e < ezu zeigen, denn daraus folgt sofort

278 8 Iterationsverfahren für große lineare Gleichungssystemeρ(J) n = ρ(J n ) ≤ lub ∞ (J n ) ≤ lub ∞(|J|n ) < 1.Nun ist wegen (8.2.10) und |J|≥0und allgemein|J| 2 e ≤|J|e ≤≠ e|J| i+1 e ≤|J| i e ≤··· ≤≠ e,d. h. für die Vektoren t (i) := e −|J| i e gilt(8.2.11) 0 ≤≠ t(1) ≤ t (2) ≤··· .Wir zeigen, daß die Zahl τ i der von 0 verschiedenen Komponenten von t (i)mit i streng monoton wächst, 0 0.0Wegen (8.2.11) und τ i = τ i+1 hat dann auch t (i+1) die Form[ ]t (i+1) b= mit einem Vektor b > 0, b ∈ R p .0Partitioniert man |J| entsprechend[ ]|J11 | |J|J|=12 |, |J|J 21 | |J 22 |11 | eine p × p-Matrix,so folgt[ ]b= t (i+1) = e −|J| i+1 e ≥|J|e −|J| i+1 e0[ ][ ]=|J|t (i) |J11 | |J=12 | a.|J 21 | |J 22 | 0Wegen a > 0 ist dies nur möglich, falls J 21 = 0, d. h. falls J zerlegbar ist.Also gilt 0

|a ii | > ∑ k≠i|a ik | für alle i = 1, 2,...,n,8.2 Konvergenzsätze 279dann ist das Einzelschrittverfahren konvergent und es gilt [s. (8.1.6)]lub ∞ (H) ≤ lub ∞ (J)

280 8 Iterationsverfahren für große lineare Gleichungssystemenur unter weiteren Voraussetzungen über A. So gilt z. B. der folgende Satz,der ohne Beweis angeführt sei [für einen Beweis s. Varga (1962)].(8.2.14) Satz (Stein und Rosenberg): Ist die Matrix J = L + U ≥ 0 nichtnegativ,so gilt für J und H = (I − L) −1 U genau eine der folgendenBeziehungen1) ρ(H) = ρ(J) = 0,2) 0 0, a ik ≤ 0für i ≠ k. Da dieseBedingung bei vielen linearen Gleichungssystemen zutrifft, die man durchDifferenzennäherungen von linearen Differentialoperatoren erhält [vgl. z. B.Abschnitt 8.4], so gibt dieser Satz die für viele praktische Fälle wichtigeAuskunft, daß das Einzelschrittverfahren [abgesehen vom Spezialfall1) des letzten Satzes] besser als das Gesamtschrittverfahren konvergiert,wenn überhaupt eines der beiden Verfahren konvergiert.8.3 RelaxationsverfahrenDie Ergebnisse des letzten Abschnitts legen es nahe, nach einfachen MatrizenB zu suchen, für die das zugehörige Iterationsverfahren (8.1.3) evtl. nochbesser als das Einzelschrittverfahren konvergiert, ρ(I − B −1 A)

8.3 Relaxationsverfahren 281(8.3.2)a jj˜x (i+1)j=− ∑ a jk x (i+1)k− ∑ a jk x (i)k+ b j , 1 ≤ j ≤ n, i ≥ 0,k< jk> jund bestimmt x (i+1)jder Form(8.3.3) x (i+1)jdann durch eine Mittelbildung zwischen x (i)j:= (1 − ω)x (i)j+ ω ˜x (i+1)j= x (i)j(i+1)+ ω(˜xjund ˜x (i+1)j− x (i) )j .Man nennt ω den Relaxationsparameter und spricht von Überrelaxation(Unterrelaxation), falls ω>1(ω jB(ω)x (i+1) = ( B(ω) − A ) x (i) + b,wobei B(ω) durch (8.3.1) definiert ist undB(ω) − A = 1 ω D( (1 − ω)I + ωU ) .a jk a (i)k+ b j].Für diese Methode ist also die Konvergenzgeschwindigkeit durch den Spektralradiusρ(H(ω)) der Matrix(8.3.4) H(ω) := I − B(ω) −1 A = (I − ωL) −1[ (1 − ω)I + ωU ]bestimmt.Wir wollen zunächst, zum Teil ohne Beweis, einige qualitative Resultateüber ρ(H(ω)) mitteilen. Der folgende Satz zeigt, daß bei Relaxationsverfahrenbestenfalls Parameter ω mit 0

282 8 Iterationsverfahren für große lineare Gleichungssystemeϕ(λ) = det ( λI − H(ω) ) = det ( (I − ωL)(λI − H(ω)) )= det ( (λ + ω − 1)I − ωλL − ωU ) .Der konstante Term ϕ(0) von ϕ(.) ist bis auf ein Vorzeichen gleich demProdukt der Eigenwerte λ i (H(ω)) von H(ω):(−1) nn∏ ( ) ( )λ i H(ω) = ϕ(0) = det (ω − 1)I − ωU ≡ (ω − 1) n .i=1Es folgt sofort ρ(H(ω)) = max i |λ i (H(ω))|≥|ω − 1|.Für Matrizen A mit L ≥ 0, U ≥ 0läßt nur die Überrelaxation bessereKonvergenzgeschwindigkeiten als das Einzelschrittverfahren erwarten:(8.3.6) Satz: Ist die Matrix A unzerlegbar, gilt J = L + U ≥ 0 und ist dasGesamtschrittverfahren konvergent, ρ(J)

8.3 Relaxationsverfahren 283Durch Übergang zum Hermitesch Konjugierten der letzen Gleichung erhältman wegen A = A HDurch Addition folgtx H (2B H − A)y = ¯λx H Ax.x H (B + B H − A)x = Re λ x H Ax.Nun sind aber A und (B + B H − A) positiv definit und daher Re λ>0. Fürdie Matrix Q := A −1 (2B − A) = 2A −1 B − I ist(Q − I)(Q + I) −1 = I − B −1 A = H(ω).[Man beachte, daß B eine nichtsinguläre Dreiecksmatrix ist, also B −1 unddamit (Q + I) −1 existieren.] Ist µ Eigenwert von H(ω) und z zugehörigerEigenvektor, so folgt ausfür den Vektor y := (Q + I) −1 z ≠ 0(Q − I)(Q + I) −1 z = H(ω)z = µz(Q − I)y = µ(Q + I)y(1 − µ)Qy = (1 + µ)y.Wegen y ≠ 0 muß µ ≠ 1 sein und man erhält schließlichQy = 1 + µ1 − µ y,d. h. λ = (1 + µ)/(1 − µ) ist Eigenwert von Q = A −1 (2B − A). Hierauserhält man µ = (λ − 1)/(λ + 1) und deshalb für |µ| 2 = µ ¯µ|µ| 2 = |λ|2 + 1 − 2Reλ|λ| 2 + 1 + 2Reλ .Wegen Re λ> 0 für 0

284 8 Iterationsverfahren für große lineare Gleichungssystemebesitzt.PAP T =[ ]D1 M 1, DM 2 D 1 , D 2 Diagonalmatrizen.2Die wichtigste Eigenschaft der Matrizen mit „property A“ gibt derfolgende Satz an:(8.3.9) Satz: Zu jeder n × n-Matrix A mit „property A“ und a ii ≠ 0,i = 1, ..., n, gibt es eine Permutationsmatrix P, so daß für die Zerlegung(8.1.5), (8.1.6) Ā = D(I − L − U) der permutierten Matrix Ā := PAP Tgilt: Die Eigenwerte der Matrizensind von α unabhängig.J(α) := αL + α −1 U, α∈ C, α≠ 0,Beweis: Nach Def. (8.3.8) gibt es eine Permutation P, sodaß[ ]PAP T D1 M=1= D(I − L − U),M 2 D 2[ ] [ ] [ ]D1 00 00 D−1D := , L =−0 D 2 D −1 , U =−1M 1.2M 2 00 0Dabei sind D 1 , D 2 nichtsinguläre Diagonalmatrizen. Nun ist für α ≠ 0[0 αJ(α) =−−1 D −1 ] [1M 10 D −1 ]αD −1=−S1M 12M 2 0αD −1S −12M 2 0α=−S α J(1)S −1αmit der nichtsingulären Diagonalmatrix[ ]I1 0S α := , I0 αI 1 , I 2 Einheitsmatrizen.2Die Matrizen J(α) und J(1) sind also ähnlich und haben deshalb die gleichenEigenwerte.⊓⊔Matrizen A, die bzgl. der Zerlegung (8.1.5), (8.1.6) A = D(I − L − U)die Eigenschaft haben, daß die Eigenwerte der MatrizenJ(α) = αL + α −1 Ufür α ≠ 0 von α unabhängig sind, heißen nach Varga (1962)(8.3.10) konsistent geordnet.

8.3 Relaxationsverfahren 285Satz (8.3.9) besagt, daß sich Matrizen mit „property A“ konsistent ordnenlassen, d. h. die Zeilen und Spalten von A lassen sich mit Hilfe einer PermutationP so umordnen, daß eine konsistent geordnete (8.3.10) Matrix PAP Tentsteht.Konsistent geordnete Matrizen A müssen aber durchaus nicht die Gestalt[ ]D1 MA =1, DM 2 D 1 , D 2 Diagonalmatrizen,2besitzen. Dies zeigt das wichtige Beispiel der Blocktridiagonalmatrizen A,die die Form⎡⎤D 1 A 12AA = ⎢ 21 D.2..⎣ . .. .⎥.. AN−1,N ⎦ , D i Diagonalmatrizen,A N,N−1 D Nhaben. Falls alle D i nichtsingulär sind, gilt für die Matrizen⎡J(α) =−⎢⎣die Beziehung0 α −1 D −11A 12αD −12A 21 0J(α) = S α J(1)S −1α , S α :=. ... .. . .. α −1 D −1N−1 A N−1,NαD −1N A N,N−1 0⎡⎤I 1 αI 2 ⎢⎣. ⎥.. ⎦ ,α N−1 I N⎤⎥⎦also ist A konsistent geordnet. Blocktridiagonalmatrizen haben auch die„property A“. Wir zeigen dies nur für die spezielle 3 × 3-MatrixFür sie gilt nämlichA =[ 1 b] 0a 1 d .0 c 1

286 8 Iterationsverfahren für große lineare Gleichungssysteme⎡ ⎤1 a d⎡ ⎤0 1 0PAP T = ⎢ ⎥⎣ b 1 0⎦ für P := ⎣ 1 0 0⎦ .c 0 10 0 1Im allgemeinen Fall geht man analog vor.Es gibt jedoch konsistent geordnete (8.3.10) Matrizen, die nicht die„property A“ besitzen. Dies zeigt das Beispiel[ 1 0] 0A := 1 1 0 .1 1 1Für unzerlegbare n × n-Matrizen A mit nichtverschwindenden Diagonalelementena ii ≠ 0, und der Zerlegung A = D(I − L−U) läßt sich häufig leichtmit Hilfe des Graphen G(J), der der Matrix J = L + U zugeordnet ist,entscheiden, ob A die „property A“ besitzt oder nicht. Dazu betrachte mandie Längen s (i)1 , s(i) 2, ...aller geschlossenen gerichteten Wege (gerichteteZyklen)P i → P k1 → P k2 →···→ P ks (i)= P iin G(J), die von P i nach P i führen. Mit l i bezeichnen wir den größtengemeinsamen Teiler der s (i)1 , s(i) 2 , ...l i = ggT(s (i)1 , s(i) 2 ,...)und nennen den Graphen G(J) 2-zyklisch, falls l 1 = l 2 =···=l n = 2, undschwach 2-zyklisch, falls alle l i gerade sind. Es gilt dann der folgende Satz,den wir ohne Beweis angeben:(8.3.11) Satz: Eine unzerlegbare Matrix A besitzt genau dann die „propertyA“, falls G(J) schwach 2-zyklisch ist.Beispiel: Zur Matrixgehört die Matrix⎡⎤4 −1 0 −1A = ⎢ −1 4 −1 0⎥⎣ 0 −1 4 −1 ⎦−1 0 −1 4⎡ ⎤0 1 0 1J := 1 ⎢ 1 0 1 0⎥4 ⎣ 0 1 0 1⎦1 0 1 0

8.3 Relaxationsverfahren 287mit dem Graphen G(J). . P 1 P. 2. . ............ . P 4 P. . 3G(J) ist zusammenhängend, also ist J und damit auch A unzerlegbar [s.8.2]. Da G(J) offensichtlich 2-zyklisch ist, besitzt A die „property A“.Die Bedeutung der konsistent geordneten Matrizen [und damit wegen(8.3.9) indirekt auch der Matrizen mit „property A“] liegt darin, daß manexplizit angeben kann, wie die Eigenwerte µ von J = L + U mit denEigenwerten λ = λ(ω) von H(ω) = (I − ωL) −1 ((1 − ω)I + ωU) zusammenhängen:(8.3.12) Satz (Young, Varga): A sei eine konsistent geordnete Matrix(8.3.10) und ω ≠ 0. Dann gilt:a) Mit µ ist auch −µ Eigenwert von J = L + U.b) Falls µ Eigenwert von J ist, dann ist jedes λ mit(8.3.13) (λ+ ω − 1) 2 = λω 2 µ 2Eigenwert von H(ω).c) Falls λ ≠ 0 Eigenwert von H(ω) ist und (8.3.13) gilt, dann ist µEigenwert von J.Beweis: a) Da A konsistent geordnet ist, besitzt die Matrix J(−1) =−L −U =−J die gleichen Eigenwerte wie J(1) = J = L + U.b) Wegen det(I − ωL) = 1für alle ω istdet ( λI − H(ω) ) = det [( I − ωL )( λI − H(ω) )](8.3.14)= det [ λI − λωL − (1 − ω)I − ωU ]= det ( (λ + ω − 1)I − λωL − ωU ) .Sei nun µ Eigenwert von J = L + U und λ Lösung von (8.3.13). Es folgtλ + ω − 1 = √ λωµ oder λ + ω − 1 =− √ λωµ. Wegen a) können wir o.B. d. A.λ + ω − 1 = √ λωµannehmen. Für λ = 0 folgt ω = 1, so daß wegen (8.3.14)det ( 0 · I − H(1) ) = det(−ωU) = 0,d. h. λ ist Eigenwert von H(ω). Für λ ≠ 0 folgt aus (8.3.14)

288 8 Iterationsverfahren für große lineare Gleichungssysteme(8.3.15)det ( λI − H(ω) ) [= det (λ + ω − 1)I − √ (√ 1) ]λω λL + √λ U= (√ λω ) n(√ 1)det[µI ]− λL + √λ U= (√ λω ) ndet(µI − (L + U))= 0,da die Matrix J( √ λ) = √ λL + (1/ √ λ)U die gleichen Eigenwerte wieJ = L +U besitzt und µ Eigenwert von J ist. Also ist det(λI − H(ω)) = 0und damit λ Eigenwert von H(ω).c) Sei nun umgekehrt λ ≠ 0 Eigenwert von H(ω) und µ eine Zahl mit(8.3.13), d. h. mit λ+ω− 1 =±ω √ λµ. Wegen a) genügt es zu zeigen, daßdie Zahl µ mit λ + ω − 1 = ω √ λµ Eigenwert von J ist. Dies folgt abersofort aus (8.3.15).⊓⊔Als Nebenresultat erhalten wir für ω = 1:(8.3.16) Korollar: A sei eine konsistent geordnete Matrix (8.3.10). Danngilt für die Matrix H = H(1) = (I − L) −1 U des Einzelschrittverfahrensρ(H) = ρ(J) 2 .Wegen Satz (8.2.4) bedeutet dies, daß man mit dem Gesamtschrittverfahrenetwa doppelt so viele Iterationsschritte als mit dem Einzelschrittverfahrenbenötigt, um die gleiche Genauigkeit zu erreichen.Wir wollen nun den optimalen Relaxationsparameter ω b , der durchρ ( H(ω b ) ) = min ρ ( H((ω) ) = min ρ ( H(ω) )ω∈R0

8.3 Relaxationsverfahren 289ºº±´À ´µµ½ºº º º º º º º º º º º º º º º º º º ººººººººººººººººº ººººº½ ¾ººFig. 21. Die Funktion ρ(H(ω))Man beachte, daß der linksseitige Differentialquotient von ρ(H(ω)) inω b gleich „−∞“ ist. Man sollte daher als Relaxationsparameter ω liebereine etwas zu große als eine zu kleine Zahl wählen, wenn man ω b nichtgenau kennt.Beweis: Die Eigenwerte µ i der Matrix J sind nach Voraussetzung reell undes ist−ρ(J) ≤ µ i ≤ ρ(J)

290 8 Iterationsverfahren für große lineare Gleichungssystemeºº ´µ ºº ´µ½Ñ´µººººººººº±´¾µºººººººººººººººººº´½µº½Ñ´µººººFig. 22. Bestimmung von ω b8.4 Anwendungen auf Differenzenverfahren – ein BeispielUm ein Beispiel für die Anwendung der beschriebenen Iterationsverfahrenzu geben, betrachten wir das Dirichletsche Randwertproblem(8.4.1)−u xx − u yy = f (x, y), 0 < x, y < 1,u(x, y) = 0 für (x, y) ∈ ∂Ωfür das Einheitsquadrat Ω :={(x, y) | 0 < x, y < 1}⊆R 2 mit dem Rand∂Ω [vgl. Abschnitt 7.7]. f (x, y) sei stetig auf Ω ∪ ∂Ω.Dagewöhnlich dieverschiedenen Verfahren zur Lösung von Randwertproblemen anhand diesesProblems verglichen werden, heißt (8.4.1) auch das „Modellproblem“.Um (8.4.1) mittels eines Differenzenverfahrens zu lösen, ersetzt man, wie inAbschnitt 7.4 für Randwertprobleme bei gewöhnlichen Diffentialgleichungenbeschrieben, den Differentialoperator durch einen Differenzenoperator.Dazu überdeckt man Ω ∪∂Ω mit einem Gitter Ω h ∪∂Ω h der Maschenweiteh := 1/(N + 1), N ≥ 1 eine ganze Zahl:Ω h := { (x i , y j ) | i, j = 1, 2,...,N } ,∂Ω h := { (x i , 0), (x i , 1), (0, y j ), (1, y j ) | i, j = 0, 1,...,N + 1 } ,wobei zur Abkürzung gesetzt ist [s. Fig. 23]:x i := ih, y j := jh, i, j = 0, 1,...,N + 1.

8.4 Anwendungen auf Differenzenverfahren – ein Beispiel 291y . .1•y j• • ••y 1x 1 x i 1 xFig. 23. Diskretisierung von Ω. .Mit der weiteren Abkürzungu ij := u(x i , y j ), i, j = 0, 1,...,N + 1,kann man den Differentialoperator−u xx − u yyfür alle (x i , y j ) ∈ Ω h bis auf einen Fehler τ ij durch den Differenzenoperator(8.4.2)4u ij − u i−1, j − u i+1, j − u i, j−1 − u i, j+1h 2ersetzen. Die Unbekannten u ij ,1≤ i, j ≤ N (wegen der Randbedingungenkennt man die u ij = 0für (x i , y j ) ∈ ∂Ω h ), genügen daher einem Gleichungssystemder Form(8.4.3) 4u ij − u i−1, j − u i+1, j − u i, j−1 − u i, j+1 = h 2 f ij + h 2 τ ij(x i , y j ) ∈ Ω h ,mit f ij := f (x i , y j ). Dabei hängen die Fehler τ ij natürlich von der Maschenweiteh ab. Unter geeigneten Differenzierbarkeitsvoraussetzungen fürdie exakte Lösung u kann man wie in Abschnitt 7.4 zeigen, daß τ ij = O(h 2 )gilt. Für genügend kleines h kann man daher erwarten, daß die Lösung z ij ,i, j = 1, ..., N des linearen Gleichungssystems(8.4.4) 4z ij − z i−1, j − z i+1, j − z i, j−1 − z i, j+1 = h 2 f ij , i, j = 1,...,N,z 0 j = z N+1, j = z i0 = z i,N+1 = 0 für i, j = 0, 1,...,N + 1,

292 8 Iterationsverfahren für große lineare Gleichungssystemedas man durch Fortlassen des Fehlers τ ij aus (8.4.3) erhält, näherungsweisemit den u ij übereinstimmt. Zu jedem Gitterpunkt (x i , y j ) von Ω h gehörtgenau eine Komponente z ij der Lösung von (8.4.4). Faßt man die gesuchtenN 2 Unbekannten z ij und die rechten Seiten h 2 f ij reihenweise (s. Fig. 22)zu Vektoren zusammenz := (z 11 , z 21 ,...,z N1 , z 12 ,...,z N2 ,...,z 1N ,...,z NN ) T ,b := h 2 ( f 11 ,..., f N1 ,..., f 1N ,..., f NN ) T ,so ist (8.4.4) mit einem linearen Gleichungssystem der FormAz = bmit der N 2 -reihigen Matrix⎡⎤4 −1 −1−1 4 . . . −1. . . . . . . −1 . .−1 4 −1. −14 −1 . .−1 −1 4 . . . . . .. . . . . . . . . . −1 . .. −1 −1 4. .A =. . . . . . −1. . . . . . −1. . . . . . . . .. . . . . . −1−14 −1−1 −1 4 . . .⎢. . .⎣. . . . . . −1 ⎥⎦−1 −1 4⎡⎤A 11 A 12 0A(8.4.5) = ⎢ 21 A.22..⎣ . .. .⎥.. AN−1,N ⎦0 A N,N−1 A NNäquivalent. A ist auf natürliche Weise in N-reihige Blöcke A ij partitioniert,die von der Partitionierung der Punkte (x i , y j ) von Ω h in horizontale Reihen(x 1 , y j ), (x 2 , y j ), ..., (x N , y j ) induziert werden.

8.4 Anwendungen auf Differenzenverfahren – ein Beispiel 293Die Matrix A ist sehr schwach besetzt. Pro Zeile sind maximal fünf Elementevon Null verschieden. Deshalb benötigt man für die Durchführungeines Iterationschritts z (i) → z (i+1) z. B. des Gesamtschrittverfahrens (8.1.7)oder des Einzelschrittverfahrens (8.1.8) nur etwa 5N 2 Operationen ( 1 Operation= 1 Multiplikation bzw. Division + 1 Addition). (Wäre die MatrixA voll besetzt, würde man dagegen N 4 Operationen pro Iterationsschrittbenötigen.) Man vergleiche diesen Aufwand mit dem eines endlichen Verfahrenszur Lösung von Az = b. Würde man etwa mit dem Cholesky-Verfahren (weiter unten sehen wir, daß A positiv definit ist) eine Dreieckszerlegungvon A = LL T berechnen, so wäre L eine N 2 -reihige untereDreiecksmatrix der Form⎡⎤∗ ... . ..L =. ⎢ ∗ ...⎥⎣ . .. . .. ⎦∗ ··· ∗} {{ }1Zur Berechnung von L benötigt man ca.2 N 4 Operationen. Da z. B. dasGesamtschrittverfahren ca. (N + 1) 2 Iterationen (Überrelaxationsverfahren:N + 1 Iterationen) braucht [s. u. (8.4.9)], um ein 2 Dezimalstellen genauesResultat zu erhalten, wäre das Cholesky-Verfahren weniger aufwendigals das Gesamtschrittverfahren. Die Hauptschwierigkeit des Cholesky-Verfahrens liegt jedoch darin, daß man bei den heutigen Speichergrößen zurSpeicherung der ca. N 3 nichtverschwindenden Elemente von L zu viel Platzbenötigt. (Typische Größenordnung für N: 50–100). Hier liegen die Vorzügeder Iterationsverfahren, für die nur man O(N 2 ) Speicherplätze benötigt.Zum Gesamtschrittverfahren gehört die MatrixN+1J = L + U = 1 (4I − A).4Der zugehörige Graph G(J) (für N = 3). . . . P 13 P. 23 P. . .... 33............. . .... . P 12 P. . 22 P. . 32................ . .... . P 11 P. . 21 P. . 31

294 8 Iterationsverfahren für große lineare Gleichungssystemeist zusammenhängend und 2-zyklisch. A ist daher unzerlegbar [s. 8.2] undbesitzt die „property A“ [Satz (8.3.11)]. Man überlegt sich leicht, daß Aaußerdem bereits konsistent geordnet ist.Die Eigenwerte und Eigenvektoren von J = L + U können explizitangegeben werden. Man verifiziert durch Einsetzen sofort, daß für die N 2Vektorenz (k,l) , k, l = 1, 2,...,N,mit den Komponentengiltmitz (k,l)ij:= sin kπiN + 1 sin lπ j , 1 ≤ i, j ≤ N,N + 1µ (k,l) := 1 2(cosJz (k,l) = µ (k,l) z (k,l)kπN + 1 + cos)lπ, 1 ≤ k, l ≤ N.N + 1J besitzt also die Eigenwerte µ (k,l) ,1≤ k, l ≤ N.Der Spektralradius von J ist daher(8.4.6) ρ(J) = max ∣ ∣ µ(k,l) π = cosk,lN + 1 .Zum Einzelschrittverfahren gehört die Matrix H = (I − L) −1 U mit demSpektralradius [s. (8.3.16)]:ρ(H) = ρ(J) 2 = cos 2πN + 1 .Nach Satz (8.3.17) ist der optimale Relaxationsfaktor ω b und ρ(H(ω b ))gegeben durch(8.4.7)22ω b = √=ππ ,1 + 1 − cos 2 1 + sinN + 1 N + 1ρ ( H(ω b ) ) =cos 2 πN + 1(π) 2.1 + sinN + 1Die Zahl κ = κ(N) mit ρ(J) κ = ρ(H(ω b )) gibt an, wie viele Schrittedes Gesamtschrittverfahrens dieselbe Fehlerreduktion wie ein Schritt desoptimalen Relaxationsverfahrens liefern. Für sie gilt

8.4 Anwendungen auf Differenzenverfahren – ein Beispiel 295κ = ln ρ( H(ω b ) ).ln ρ(J)Nun ist für kleines z, ln(1 + z) = z − z 2 /2 + O(z 3 ) und für großes NπcosN + 1 = 1 − π 2 ( ) 12(N + 1) + O ,2 N 4so daßπ 2 ( ) 1ln ρ(J) =−2(N + 1) + O .2 N 4Ebenso folgtln ρ ( H(ω b ) ) [ (= 2 ln ρ(J) − ln 1 + sin[= 2−)]πN + 1π 22(N + 1) − π2 N + 1 + π 2 ( )] 12(N + 1) + O 2 N 3=− 2πN + 1 + O ( 1N 3 ),so daß schließlich asymptotisch für großes N gilt(8.4.8) κ = κ(N) ≈4(N + 1),πd. h. das optimale Relaxationsverfahren ist mehr als N mal so schnell alsdas Gesamtschrittverfahren. Die GrößenR J :=− ln(10)ln ρ(J) ≈ 0.467(N + 1)2 ,(8.4.9)R GS := 1 2 R J ≈ 0.234(N + 1) 2 ,R ωb :=− ln(10)ln ρ ( ) ≈ 0.367(N + 1)H(ω b )geben die Zahl der Iterationen an, die man bei dem Jacobiverfahren, demGauß-Seidel-Verfahren bzw. bei dem optimalen Relaxationsverfahren benötigt,um den Fehler auf 1/10 seines ursprünglichen Wertes zu vermindern.Wir geben schließlich eine Formel für die Kondition cond 2 (A) von Abezüglich der euklidischen Norm an. Da J die Eigenwerteµ (k,l) = 1 2(coskπN + 1 + coslπN + 1), 1 ≤ k, l ≤ N,

296 8 Iterationsverfahren für große lineare Gleichungssystemebesitzt, folgt aus A = 4(I − J) für die extremen Eigenwerte von A( )(λ max (A) = 4 1 + cos , λ min (A) = 4 1 − cosπN + 1πN + 1Man erhält so für cond 2 (A) = λ max (A)/λ min (A) die Formelcos 2 π(8.4.10) cond 2 (A) =N + 1 .sin 2 π = 4 π (N + 2 1)2 = 4π 2 h . 2N + 1).8.5 Block-IterationsverfahrenWie das Beispiel des letzten Abschnitts zeigt, haben die Matrizen A, dieman bei der Anwendung von Differenzenverfahren auf partielle Differentialgleichungenerhält, häufig eine natürliche Blockstruktur,⎡⎤A 11 ··· A 1NA = ⎣..⎦ ,A N1 ··· A NNwobei die A ii quadratische Matrizen sind. Sind überdies die A ii alle nichtsingulär,so liegt es nahe, bezüglich der gegebenen Partition π von A Block-Iterations-Verfahren auf folgende Weise einzuführen: Analog zur Zerlegung(8.1.5) von A definiert man bezüglich π die Zerlegungmit(8.5.1)D π =⎡⎢⎣A = D π − E π − F π ,⎤A 11 0A 22 ⎥. ..0 A NN⎡F π :=−⎢⎣L π := D −1π E π,U π := D −1π F π⎡0 0⎤⎦ , E .Aπ :=−⎢21 ..⎣ .. .. . ..A N1 ··· A N,N−1 0⎤0 A 12 ··· A 1N. .. . .. ..⎥.. AN−1,N⎦ .0 0⎥⎦ ,Man erhält das Block-Gesamtschrittverfahren (Block-Jacobi-Verfahren) zurLösung von Ax = b, indem man in (8.1.3) analog zu (8.1.7) B := D πwählt. Man erhält so die Iterationsvorschrift

D π x (i+1) = b + (E π + F π )x (i) ,8.5 Block-Iterationsverfahren 297oder ausgeschrieben(8.5.2) A jj x (i+1)j= b j − ∑ k≠ jA jk x (i)k, j = 1, 2,...,N, i = 0, 1,... .Dabei sind natürlich die Vektoren x (s) , b ähnlich partitioniert wie A. Injedem Schritt des Verfahrens x (i) → x (i+1) müssen jetzt N lineare Gleichungssystemeder Form A jj z = y, j = 1, 2, ..., N aufgelöst werden.Das geschieht dadurch, daß man sich zunächst mit den Methoden von Abschnitt4 eine Dreieckszerlegung (ggf. Cholesky-Zerlegung) A jj = L j R jder A jj verschafft und die Lösung von A jj z = y auf die Lösung von zweigestaffelten Gleichungssysteme reduziert,L j u = y, R j z = u.Für die Effektivität des Verfahrens ist es wesentlich, daß die A jj einfachgebaute Matrizen sind, für die die Dreieckszerlegung leicht durchzuführenist. Dies ist z. B. bei der Matrix A (8.4.5) des Modellproblems der Fall. Hiersind die A jj positiv definite N-reihige Tridiagonalmatrizen⎡⎤ ⎡ ⎤4 −1∗A jj = ⎢ −1. .. . ..⎥⎣ . .. . .. ⎦ , L j = ⎢∗. ..⎥⎣ . −1.. . .. ⎦ ,−1 4∗ ∗deren Cholesky-Zerlegung sehr geringen Rechenaufwand (Operationszahlproportional N) erfordert.Für die Konvergenzgeschwindigkeit von (8.5.2) ist jetzt natürlich derSpektralradius ρ(J π ) der MatrixJ π := I − B −1 A = L π + U πbestimmend.Ebenso kann man analog zu (8.1.8) Block-Einzelschrittverfahren (Block-Gauß-Seidel-Verfahren) definieren durch die Wahloder explizit:B := D π − E π , H π := (I − B −1 A) = (I − L π ) −1 U π ,(8.5.3)A jj x (i+1)j= b j − ∑ k< jA jk x (i+1)k− ∑ k> jA jk x (i)k ,j = 1, 2,...,N, i = 0, 1,... .

298 8 Iterationsverfahren für große lineare GleichungssystemeWiederum hat man in jedem Iterationsschritt N Gleichungssysteme mit denkleineren Matrizen A jj zu lösen.Wie in Abschnitt 8.3 kann man auch Block-Relaxationsverfahren einführendurch die Wahl B := B(ω) = (1/ω)D π (I −ωL π ) oder explizit [vgl.(8.3.3)]:wobei ˜x (i+1)jx (i+1)j(i+1):= ω(˜xj− x (i) )j + x(i)j, j = 1, 2,...,N,die Lösung von (8.5.3) bezeichnet. Jetzt ist natürlichH π (ω) := ( I − B(ω) −1 A ) = (I − ωL π ) −1[ (1 − ω)I + ωU π].Man kann auch die Theorie der konsistent geordneten Matrizen von Abschnitt8.3 übertragen, wenn man A als konsistent geordnet definiert, fallsdie Eigenwerte der MatrizenJ π (α) = αL π + α −1 U πvon α unabhängig sind. Optimale Relaxationsparameter werden wie in Satz(8.3.17) mit Hilfe von ρ(J π ) bestimmt.Man erwartet intuitiv, daß die Blockverfahren umso besser konvergieren,je gröber die zugehörige Blockeinteilung π von A ist. Man kann diesauch unter verhältnismäßig allgemeinen Voraussetzungen für A beweisen[s. Varga (1962)]. Für die gröbste Partitionierung π von A in nur einenBlock „konvergiert“ das Iterationsverfahren z. B. nach nur einem Schritt.Es ist dann mit direkten Verfahren äquivalent. Dieses Beispiel zeigt, daßbeliebig grobe Partitionierungen nur theoretisch interessant sind. Die Reduktionder Zahl der nötigen Iterationen wird gewissermaßen durch dengrößeren Rechenaufwand für die einzelnen Iterationsschritte kompensiert.Man kann jedoch für die gängigen Partitionierungen zeigen, bei denen Aeine Block-Tridiagonalmatrix ist und die Diagonalblöcke A jj gewöhnlicheTridiagonalmatrizen sind [dies ist z. B. bei dem Modellproblem der Fall],daß der Rechenaufwand der Block-Methoden gleich dem der gewöhnlichenMethoden ist. In diesen Fällen bringen die Block-Methoden Vorteile. Fürdas Modellproblem [s. 8.4] kann man bezüglich der in (8.4.5) angegebenenPartitionierung wieder den Spektralradius ρ(J π ) explizit angeben. ManfindetπcosN + 1ρ(J π ) =2 − cosπN + 1

8.6 Das ADI-Verfahren von Peaceman-Rachford 299ρ ( H π (ω b ) ) ≈ ρ ( H(ω b ) ) κmit κ = √ 2.Die Zahl der Iterationen reduziert sich gegenüber dem gewöhnlichen optimalenRelaxationsverfahren um den Faktor √ 2 [Beweis: s. Übungsaufgabe17].8.6 Das ADI-Verfahren von Peaceman-RachfordNoch schneller als die Relaxationsverfahren konvergieren die ADI-Verfahren(alternating direction implicit iterative methods) zur iterativen Lösung speziellerlinearer Gleichungssysteme, die man bei Differenzenverfahren erhält.Von den vielen Varianten dieses Verfahrens beschreiben wir hier nur dashistorisch erste Verfahren dieses Typs, das von Peaceman und Rachfordstammt [s. Varga (1962) und Young (1971) für die Beschreibung weitererVarianten]. Wir wollen das Verfahren an dem Randwertproblem(8.6.1)−u xx (x, y) − u yy (x, y) + σ u(x, y) = f (x, y) für (x, y) ∈ Ω,u(x, y) = 0 für (x, y) ∈ ∂Ω, Ω := { (x, y) | 0 < x, y < 1 } ,für das Einheitsquadrat erläutern, das wegen des Terms σ u nur geringfügigallgemeiner als das Modellproblem (8.4.1) ist. Wir setzen im folgenden σals konstant und nichtnegativ voraus. Mit Hilfe der gleichen Diskretisierungund den gleichen Bezeichnungen wie in Abschnitt 8.4 erhält man jetzt statt(8.4.4) das lineare Gleichungssystem(8.6.2)4z ij − z i−1, j − z i+1, j − z i, j−1 − z i, j+1 + σ h 2 z ij = h 2 f ij , 1 ≤ i, j ≤ N,z 0 j = z N+1, j = z i0 = z i,N+1 = 0, 0 ≤ i, j ≤ N + 1,für Näherungswerte z ij der Werte u ij = u(x i , y j ) der exakten Lösung. DerZerlegung4z ij − z i−1, j − z i+1, j − z i, j−1 − z i, j+1 + σ h 2 z ij ≡≡ [2z ij − z i−1, j − z i+1, j ] + [2z ij − z i, j−1 − z i, j+1 ] + [σ h 2 z ij ],nach den Variablen, die in der gleichen horizontalen bzw. vertikalen Reihevon Ω h (s. Fig. 21) stehen, entspricht eine Zerlegung der Matrix A desGleichungssystems (8.6.2) Az = b der FormA = H + V + Σ.Dabei sind H, V , Σ durch ihre Wirkung auf den Vektor z definiert:

300 8 Iterationsverfahren für große lineare Gleichungssysteme⎧⎨ 2z ij − z i−1, j − z i+1, j , falls w = Hz,(8.6.3) w ij = 2z ij − z i, j−1 − z i, j+1 , falls w = Vz,⎩σ h 2 z ij ,falls w = Σz.Σ ist eine Diagonalmatrix mit nichtnegativen Elementen, H und V sindbeide symmetrische positiv definite Matrizen. Für H sieht man das so:Ordnet man die z ij entsprechend den Zeilen von Ω h (s. Fig. 21) an, z =[z 11 , z 21 ,...,z N1 ,...,z 1N , z 2N ,...,z NN ] T ,soist⎡2 −1−1 . . . . ... .. . .. −1−1 2H =⎢⎣Nach Satz (7.4.7) sind die Matrizen⎡⎤2 −1−1. .. . ..⎢⎣ . .. . ⎥ .. −1 ⎦−1 2⎤. .. . ... .. . .. .2 −1−1 . . . . ... .. . ⎥ .. −1 ⎦−1 2und damit auch H positiv definit. Für V geht man ähnlich vor.Analoge Zerlegungen von A erhält man auch bei wesentlich allgemeinerenRandwertproblemen als (8.6.1).Im ADI-Verfahren wird das Gleichungssystem (8.6.2), Az = b, entsprechendder Zerlegung A = H + V + Σ äquivalent umgeformt in(H + 1 2 Σ + rI )z =(rI − V − 1 2 Σ )z + b,bzw. ))(V + 1 2 Σ + rI z =(rI − H − 1 2 Σ z + b.Dabei ist r eine beliebige reelle Zahl. Mit den Abkürzungen H 1 := H + 1 2 Σ,V 1 := V + 1 Σ erhält man so die Iterationsvorschrift des ADI-Verfahrens,2die aus zwei Halbschritten besteht,

8.6 Das ADI-Verfahren von Peaceman-Rachford 301(8.6.4a)(8.6.4b)(H1 + r i+1 I ) z (i+1/2) = ( r i+1 I − V 1)z (i) + b,(V1 + r i+1 I ) z (i+1) = ( r i+1 I − H 1)z (i+1/2) + b.Bei gegebenem z (i) rechnet man aus der ersten dieser Gleichungen zunächstz (i+1/2) aus, setzt diesen Wert in b) ein und berechnet z (i+1) . r i+1 ist einreeller Parameter, der in jedem Schritt neu gewählt werden kann. Bei geeigneterAnordnung der Variablen z ij sind die Matrizen (H 1 + r i+1 I) und(V 1 + r i+1 I) positiv definite (r i+1 ≥ 0 vorausgesetzt) Tridiagonalmatrizen,so daß über eine Cholesky-Zerlegung von H 1 + r i+1 I , V 1 + r i+1 I die Gleichungssysteme(8.6.4) a), b) leicht nach z (i+1/2) und z (i+1) aufgelöst werdenkönnen.Durch Elimination von z (i+1/2) erhält man aus (8.6.4)(8.6.5) z (i+1) = T ri+1 z (i) + g ri+1 (b)mit(8.6.6)T r := ( V 1 + rI ) −1(rI − H1)(H1 + rI ) −1(rI − V1),g r (b) := ( V 1 + rI ) −1[I +(rI − H1)(H1 + rI ) −1]b.Aus (8.6.5) und der Beziehung z = T ri+1 z + g ri+1 (b) folgt durch Subtraktionfür den Fehler f i := z (i) − z(8.6.7) f i+1 = T ri+1 f iund daher(8.6.8) f m = T rm ···T r1 f 0 .Ähnlich wie bei Relaxationsverfahren, versucht man die Parameter r i so zuwählen, daß das Verfahren möglichst schnell konvergiert. Wegen (8.6.7),(8.6.8) heißt das, die r i so zu bestimmen, daß der Spektralradius ρ(T rm ···T r1 )möglichst klein wird.Wir wollen zunächst den Fall betrachten, daß für alle i der gleicheParameter r i = r, i = 1, 2, ..., gewählt wird. Hier gilt(8.6.9) Satz: Unter der Voraussetzung, daß H 1 und V 1 positiv definit sind,ist ρ(T r ) 0.Man beachte, daß die Voraussetzung für unser spezielles Problem (8.6.1)erfüllt ist. Aus Satz (8.6.9) folgt insbesondere, daß jede konstante Wahlr i = r > 0 zu einem konvergenten Iterationsverfahren (8.6.4) führt.Beweis: Nach Voraussetzung ist V 1 und H 1 positiv definit, also existieren(V 1 + rI) −1 , (H 1 + rI) −1 für r > 0 und damit auch T r (8.6.6). Die Matrix

302 8 Iterationsverfahren für große lineare Gleichungssysteme˜T r : = (V 1 + rI) T r (V 1 + rI) −1= [ (rI − H 1 )(H 1 + rI) −1][ (rI − V 1 )(V 1 + rI) −1]ist zu T r ähnlich, also gilt ρ(T r ) = ρ( ˜T r ). Ferner besitzt die Matrix ˜H :=(rI − H 1 )(H 1 + rI) −1 die Eigenwerter − λ jr + λ j,wenn λ j = λ j (H 1 ) die nach Voraussetzung positiven Eigenwerte von H 1sind. Wegen r > 0, λ j > 0, folgt∣ r − λ j ∣∣∣∣ < 1,r + λ jund damit ρ( ˜H)

8.6 Das ADI-Verfahren von Peaceman-Rachford 303Durch Diskussion dieses Ausdrucks findet man schließlich [s. Übungsaufgabe20]cos 2 πN + 1min ρ(T r ) = ρ ( H(ω b ) ) =r>0(1 + sinπN + 1wo ω b zu dem optimalen (gewöhnlichen) Relaxationsverfahren gehört [vgl.(8.4.7)]. Mit anderen Worten: das beste ADI-Verfahren, konstante Parameterwahlvorausgesetzt, besitzt für das Modellproblem dieselbe Konvergenzgeschwindigkeitwie das optimale gewöhnliche Relaxationsverfahren. Dader einzelne Iterationsschritt des ADI-Verfahrens ungleich aufwendiger istals bei dem Relaxationsverfahren, scheint das ADI- Verfahren unterlegen zusein. Dies ist sicher richtig, falls man für alle Iterationsschritte die gleichenParameter r = r 1 = r 2 =··· wählt. Wenn man jedoch von der zusätzlichenWahlmöglichkeit Gebrauch macht, in jedem Schritt einen eigenen Parameterr i zu wählen, ändert sich das Bild zugunsten der ADI-Verfahren. Für dasModellproblem kann man z. B. so argumentieren: Die Vektoren z (k,l) sindEigenvektoren von T r für beliebiges r mit zugehörigem Eigenwert µ (k,l)(8.6.12), also sind sie auch Eigenvektoren von T ri ···T r1 (8.6.8):zum EigenwertT ri ···T r1 z (k,l) = µ (k,l)r i ,...,r 1z (k,l)µ (k,l)r i ,...,r 1:=i∏j=1(r j − µ l )(r j − µ k )(r j + µ l )(r j + µ k ) .Wählt man r j := µ j , j = 1, 2, ..., N, so folgtµ (k,l)r N ,...,r 1= 0 für alle 1 ≤ k, l ≤ N,so daß wegen der linearen Unabhängigkeit der z (k,l)T rN ···T r1 = 0.Bei dieser speziellen Wahl der r j bricht das ADI-Verfahren für das Modellproblemnach N Schritten mit der exakten Lösung ab. Dies ist natürlichein besonderer Glücksfall, der auf folgenden wesentlichen Voraussetzungenberuht:1) H 1 und V 1 besitzen einen Satz von gemeinsamen Eigenvektoren, dieden gesamten Raum aufspannen.2) Die Eigenwerte von H 1 und V 1 sind bekannt.Man kann natürlich nicht erwarten, daß beide Voraussetzungen bei anderenProblemen als (8.6.1), (8.6.2) in der Praxis erfüllt sind, insbesondere wird) 2,

304 8 Iterationsverfahren für große lineare Gleichungssystememan kaum die exakten Eigenwerte σ i von H 1 bzw. τ i von V 1 kennen, sondernbestenfalls untere und obere Schranken für diese Eigenwerte, α ≤ σ i , τ i ≤ β.Wir wollen uns mit dieser Situation befassen und zunächst ein Kriteriumdafür angeben, wann Voraussetzung 1) erfüllt ist.(8.6.14) Satz: Für zwei n-reihige Hermitesche Matrizen H 1 und V 1 gibt esgenau dann n linear unabhängige (orthogonale) Vektoren z 1 , ..., z n , diegemeinsame Eigenvektoren von H 1 und V 1 sind,(8.6.15) H 1 z i = σ i z i , V 1 z i = τ i z i , i = 1, 2,...,n,wenn H 1 mit V 1 vertauschbar ist: H 1 V 1 = V 1 H 1 .Beweis: 1. Aus (8.6.15) folgtH 1 V 1 z i = σ i τ i z i = V 1 H 1 z i für alle i = 1, 2, ..., n.Da die z i eine Basis des C n bilden, folgt sofort H 1 V 1 = V 1 H 1 .2. Sei umgekehrt H 1 V 1 = V 1 H 1 . Ferner seien λ 1 < ···

8.6 Das ADI-Verfahren von Peaceman-Rachford 305⎡ ⎤( ) H ( ) Λ 1UŪ H1 UŪ = Ū H ˜H 1 Ū = Λ H = ⎣ ... ⎦ ,Λ r(UŪ ) HV1(UŪ ) = Ū H Λ V Ū = Λ V ,alsoH 1(UŪ ) = ( UŪ ) Λ H , V 1(UŪ ) = ( UŪ ) Λ V ,so daß gerade die Spalten z i := (UŪ)e i der unitären Matrix UŪ =(z 1 ,...,z n ) als n gemeinsame orthogonale Eigenvektoren von H 1 und V 1genommen werden können.⊓⊔Leider ist die Bedingung H 1 V 1 = V 1 H 1 recht stark. Man kann zeigen[s. Varga (1962), Young (1971)], daß sie im wesentlichen nur für Randwertproblemedes Typs− ∂∂x(p 1 (x)∂u(x, y)∂x)− ∂ (p 2 (y)∂yfür)∂u(x, y)+ σ u(x, y) = f (x, y)∂y(x, y) ∈ Ωu(x, y) = 0 für (x, y) ∈ ∂Ωσ>0 konstant, p 1 (x)>0, p 2 (y)>0 für (x, y) ∈ Ω,für Rechtecksgebiete Ω bei der üblichen Diskretisierung (Rechtecksgitteretc.) erfüllt ist. Trotzdem scheinen die praktischen Erfahrungen mit demADI-Verfahren nahe zu legen, daß die für den kommutativen Fall beweisbarengünstigen Konvergenzeigenschaften auch häufig im nichtkommutativenFall vorliegen. Wir setzen daher für die folgende Diskussion voraus, daßH 1 und V 1 zwei positiv definite vertauschbare n × n-Matrizen mit (8.6.15)sind und daß zwei Zahlen α, β gegeben sind, so daß 0 0, i = 1, 2,...,n,ρ ( T rm ···T r1)= max1≤i≤n≤ maxα≤x≤βm∏∣ r j − σ i r j − τ i ∣∣∣∣r j + σ i r j + τ ij=1m∏r j − x2∣r j + x ∣ .j=1

306 8 Iterationsverfahren für große lineare GleichungssystemeDies legt nahe, bei gegebenem m die Parameter r i > 0, i = 1, ..., m, sozu wählen, daß die Funktionm∏(8.6.17) ϕ(r 1 ,...,r m ) := maxr j − x∣α≤x≤β r j + x ∣möglichst klein wird. Man kann zeigen, daß für jedes m eindeutig bestimmteZahlen ¯r i mit α

8.6 Das ADI-Verfahren von Peaceman-Rachford 307Die Lösung von d 1 (α k ,β k ) kann man angeben, r (1)1= √ α k β k . Die optimalenADI-Parameter r (m)i, i = 1, 2, ..., m = 2 k ,können dann rekursiv berechnetwerden:(8.6.23)1. s (0)1:= √ α k β k2. für j = 0, 1, ..., k − 1: Bestimme s ( j+1)i, i = 1, 2, ...,2 j+1 , als die2 j+1 Lösungen der 2 j in x quadratischen Gleichungens ( j)i= 1 (x + α )k−1− jβ k−1− j, i = 1, 2,...,2 j .2x3. Setze r (m)i:= s (k)ifür i = 1, 2, ..., m = 2 k .Die s ( j)i, i = 1, 2, ...,2 j , sind gerade die optimalen ADI- Parameterfür das Intervall [α k− j ,β k− j ].Wir wollen diese Formeln benutzen, um für das Modellproblem (8.4.1),(8.4.4) bei festem m = 2 k das asymptotische Verhalten von d 2 k(α, β) fürN →∞zu studieren. Für α und β nehmen wir die bestmöglichen Schranken[s. (8.6.12)]:α = 4 sin 2 π2(N + 1) ,(8.6.24)β = 4 sin 2 Nπ2(N + 1) = 4 πcos2 2(N + 1) .Es gilt dann√π(8.6.25) d m (α, β) ∼ 1 − 4 m 4(N + 1)für N →∞, m := 2 k .Beweis: Durch vollständige Induktion nach k. Mit der Abkürzunggilt wegen (8.6.21), (8.6.22)(8.6.26a)(8.6.26b)Es genügtc k := √ α k /β kd 2 k(α, β) = 1 − c k,1 + c kck+1 2 = 2c k1 + ck2 .√π(8.6.27) c k ∼ 2 2k 4(N + 1) , N →∞,

308 8 Iterationsverfahren für große lineare Gleichungssystemezu zeigen, denn dann folgt (8.6.25) aus (8.6.26a) für N →∞wegend 2 k(α, β) ∼ 1 − 2c k .Für k = 0 ist aber (8.6.27) richtig, wegenc 0 = tgπ2(N + 1) ∼ π2(N + 1) .Wenn (8.6.27) für ein k ≥ 0 richtig ist, dann auch für k + 1, denn aus(8.6.26b) folgt sofortc k+1 ∼ √ 2c k für N →∞und damit die Behauptung.⊓⊔In der Praxis wiederholt man häufig die Parameter r i zyklisch, d. h.man wählt ein festes m, z. B. der Form m = 2 k , bestimmt zunächstnäherungsweise die zu diesem m gehörigen optimalen ADI-Parameter r (m)i,i = 1, 2, ..., m, und nimmt für das ADI-Verfahren die Parameterr jm+i := r (m)ifür i = 1, 2,...,m, j = 0, 1,... .Wenn man je m Einzelschritte des ADI-Verfahrens als einen „großen Iterationsschritt“bezeichnet, gibt die Zahl− ln(10)ln ρ(T rm ···T r1 )an, wieviele große Iterationsschritte benötigt werden, um den Fehler auf1/10 des alten Wertes zu verkleinern, d. h.R (m)ADI =−mln(10)ln ρ(T rm ···T r1 )gibt an, wieviele gewöhnliche ADI-Schritte zu diesem Zweck im Mittelnötig sind. Für das Modellproblem erhält man bei optimaler Parameterwahlund m = 2 k wegen (8.6.16) und (8.6.25)√ρ(T rm ···T r1 ) ≤ d m (α, β) 2 π∼ 1 − 8 m 4(N + 1) , N →∞,√πln ρ(T rm ...T r1 ) ˙≤−8 m 4(N + 1) , N →∞,so daß(8.6.28) R (m)ADI˙≤ m 8 ln(10) m √4(N + 1)πfürN →∞.

8.7 Krylovraum-Methoden 309Ein Vergleich mit (8.4.9) zeigt, daß für m > 1 das ADI-Verfahren wesentlichschneller konvergiert als das optimale gewöhnliche Relaxationsverfahren.In diesem Konvergenzverhalten liegt die praktische Bedeutung desADI-Verfahrens begründet.8.7 Krylovraum-Methodenzur Lösung linearer GleichungenGegeben sei ein lineares GleichungssystemAx = b,mit einer reellen nichtsingulären n × n-Matrix A und der rechten Seiteb ∈ R n . Krylovraum-Methoden erzeugen iterativ, ausgehend von einerNäherungslösung x 0 ∈ R n mit dem Residuum r 0 := b − Ax 0 , eine Folgeweiterer Näherungslösungen x k ,x 0 → x 1 →···→ x m ,die bei exakter Rechnung spätestens nach n Schritten mit der gesuchtenLösung abbricht, x m =¯x := A −1 b, m ≤ n. Dabei wird für alle k > 0x k ∈ x 0 + K k (r 0 , A)verlangt, wobei K k (r 0 , A) der Krylovraum zur Matrix A und zum Startresiduumr 0 ist (siehe Abschnitt 6.5.3):K k (r 0 , A) := span [r 0 , Ar 0 ,...,A k−1 r 0 ], k = 1, 2,...Infolge der Rundungsfehler sind diese Verfahren aber nicht endlich, eskommt deshalb in erster Linie wie bei echten Iterationsverfahren auf ihr„Konvergenzverhalten“ an, d.h. darauf, wie schnell diese Verfahren einehinreichend genaue Näherungslösung x k für ¯x finden. Ihr Arbeitsaufwandpro Schritt x k → x k+1 entspricht (in etwa) dem einer Multiplikation derMatrix A mit einem Vektor. Sofern diese Verfahren genügend schnell konvergieren,sind sie deshalb auch für sehr große Matrizen A gut geeignet,wenn diese Matrizen nur schwach und unregelmäßig besetzt sind. Sie sindungünstig für voll besetzte Matrizen und für Bandmatrizen.Ein erstes Verfahren, das cg-Verfahren („conjugate gradient method“)wurde von Hestenes und Stiefel (1952) für positiv definite Matrizen A vorgeschlagen.Diese Matrizen definieren eine Norm ‖z‖ A := √ z T Az, und dascg-Verfahren erzeugt eine Folge x k ∈ x 0 + K k (r 0 , A) mit der Minimumeigenschaft

310 8 Iterationsverfahren für große lineare Gleichungssysteme‖x k −¯x‖ A =min ‖z −¯x‖ A.z∈x 0 +K k (r 0 ,A)In diesem Verfahren spielen A-konjugierte Vektoren p k ∈ R n eine Rolle,p T i Ap k = 0 für i ≠ k,die die Krylovräume K k (r 0 , A) aufspannen,span[p 0 , p 1 ,...,p k−1 ] = K k [r 0 , A], k = 1, 2,...Das cg-Verfahren wird in Abschnitt 8.7.1 beschrieben.Das verallgemeinerte Minimum-Residuen-Verfahren (GMRES, generalizedminimum residual method, siehe Saad und Schulz (1986), Saad (1996))ist für beliebige nichtsinguläre auch nichtsymmetrische n × n-Matrizen Adefiniert. Hier besitzen die Vektoren x k ∈ x 0 + K k (r 0 , A) ein minimalesResiduum b − Ax k ,‖b − Ax k ‖ 2 =min ‖b − Az‖ 2.z∈x 0 +K k (r 0 ,A)Hauptwerkzeug dieses Verfahrens ist eine Basis v 1 , ..., v k von orthonormalenVektoren für den Krylovraum K k (r 0 , A),span[v 1 ,v 2 ,...,v k ] = K k (r 0 , A),die von dem Verfahren von Arnoldi (1951) geliefert wird. Das GMRES-Verfahren wird in Abschnitt 8.7.2 beschrieben.In Abschnitt 8.7.3 wird eine einfache Fassung des QMR-Verfahrens(quasi-minimal residual method) von Freund und Nachtigal (1991) dargestellt,mit dem man ebenfalls allgemeine lineare Gleichungssysteme lösenkann. Grundlage dieses Verfahrens ist der effizientere, aber auch numerischempfindlichere Biorthogonalisierungsalgorithmus von Lanczos (1950). Erliefert für K k (r 0 , A) eine nichtorthogonale Basis v 1 , ..., v k , mit deren Hilfenäherungsweise optimale Vektoren x k ∈ x 0 + K k (r 0 , A) bestimmt werden.Auch das bikonjugierte-Gradienten Verfahren (Bi-CG) von Lanczos(1950) [s. Fletcher (1976) für eine detaillierte Untersuchung] ist ein Verfahren,um lineare Gleichungen mit einer beliebigen Matrix A zu lösen. Eshandelt sich dabei um eine natürliche und effiziente Verallgemeinerung descg-Verfahrens, das ebenfalls Iterierte x k ∈ x 0 +K k (r 0 , A) erzeugt. Es hat denNachteil, daß es gelegentlich vorzeitig abbrechen und die Größenordnungder Residuen r k = b − Ax k , k = 0, 1, ..., erheblich schwanken kann. Vander Vorst (1992) gab mit seinem Bi-CGSTAB-Verfahren eine elegante stabilisierteVerallgemeinerung des Bi-CG-Verfahrens an, wir beschreiben esin Abschnitt 8.7.4.

8.7.1 Das cg-Verfahren von Hestenes und StiefelSei nun(8.7.1.1) Ax = b8.7 Krylovraum-Methoden 311ein lineares Gleichungssystem mit einer (reellen) positiv definiten n × n-Matrix A, b ∈ R n und der exakten Lösung ¯x = A −1 b. Mit ‖z‖ A bezeichnenwir die Norm ‖z‖ A := √ z T Az. Sie ist eng verwandt mit dem quadratischenFunktional F : R n → R,das durch ¯x minimiert wird,F(z) = 1 2 (b − Az)T A −1 (b − Az)= 1 2 zT Az − b T z + 1 2 bT A −1 b= 1 2 (z −¯x)T A(z −¯x)= 1 2 ‖z −¯x‖2 A ,0 = F(¯x) = minz∈R n F(z).Zur Bestimmung von ¯x legt dies z. B. die „Methode des steilsten Abstiegs“[vgl. Abschnitt 5.4.1] nahe, die eine Folge x 0 → x 1 → ··· durcheindimensionale Minimierung von F in Richtung des negativen Gradientenerzeugt,x k+1 : F(x k+1 ) = minuF(x k + ur k ) mit r k :=−∇F(x k ) =−Ax k + b.Im cg-Verfahren wird stattdessen im Schritt x k → x k+1 eine (k + 1)-dimensionale Minimierung durchgeführt:(8.7.1.2)x k+1 :F(x k+1 ) = minu 0 ,...,u kF(x k + u 0 r 0 +···+u k r k ),r i := b − Ax i für i ≤ k.Es stellt sich heraus, daß die x k einfach berechnet werden können. Die r iwerden orthogonal sein, also linear unabhängig, solange r k ≠ 0. Bei exakterRechnung gibt es also ein erstes m ≤ n mit r m = 0, da im R n höchstens nVektoren linear unabhängig sind. Das zugehörige x m ist dann die gesuchteLösung von (8.7.1.1).Wir wollen zunächst das Verfahren beschreiben und anschließend seineEigenschaften verifizieren.

312 8 Iterationsverfahren für große lineare Gleichungssysteme(8.7.1.3) cg-Verfahren:Start: Wähle x 0 ∈ R n und setze p 0 := r 0 := b − Ax 0 .Für k = 0, 1, ...:1) Falls p k = 0, setze m := k und stop: x k ist die Lösung von Ax = b.Andernfalls2) berechnea k := r k T r kpk T Ap , x k+1 := x k + a k p k ,kr k+1 := r k − a k Ap k , b k := r k+1 T r k+1rk T r ,kp k+1 := r k+1 + b k p k .Bei der Durchführung des Verfahrens hat man also lediglich vier Vektorenzu speichern, x k , r k , p k und Ap k . In jedem Iterationsschritt fällt nur eineMatrix-Vektor-Multiplikation, Ap k , an, der restliche Aufwand entsprichtdem der Berechnung von sechs Skalarprodukten im R n : Der Gesamtaufwandist daher für dünn besetzte Matrizen A gering.Die wichtigsten theoretischen Eigenschaften des Verfahrens sind in folgendemSatz beschrieben:(8.7.1.4) Satz: Sei A eine positiv definite (reelle) n × n-Matrix und b ∈ R n .Dann gibt es zu jedem Startvektor x 0 ∈ R n eine kleinste ganze Zahl m,0 ≤ m ≤ n, mit p m = 0. Die Vektoren x k , p k , r k , k ≤ m, die von demcg -Verfahren (8.7.1.3) erzeugt werden, haben folgende Eigenschaften:a) Ax m = b: Das Verfahren liefert also nach spätestens n Schritten dieexakte Lösung der Gleichung Ax = b.b) r T jp i = 0 für 0 ≤ i < j ≤ m.c) riT p i = ri T r i für i ≤ m.d) pi T Ap j = 0 für 0 ≤ i < j ≤ m, pj T Ap j > 0 für j < m.e) r Tir j = 0 für 0 ≤ i < j ≤ m, r T j r j > 0 für j < m.f) r i = b − Ax i für i ≤ m.Aus Satz (8.7.1.4) folgt u. a., daß das Verfahren wohldefiniert ist, weil fürp k ≠ 0 stets r T k r k > 0, p T k Ap k > 0 gilt. Ferner sind wegen d) die Vektorenp k A-konjugiert, was den Namen des Verfahrens erklärt.Beweis: Wir zeigen als erstes durch vollständige Induktion nach k, daßfolgende Aussage (A k )für alle 0 ≤ k ≤ m gilt, wobei m der erste Indexmit p m = 0 ist:

8.7 Krylovraum-Methoden 313(A k )1) r T jp i = 0 für 0 ≤ i < j ≤ k,2) ri T r i > 0 für 0 ≤ i < k, riT p i = ri T r i für 0 ≤ i ≤ k,3) p T iAp j = 0 für 0 ≤ i < j ≤ k,4) r Tir j = 0 für 0 ≤ i < j ≤ k,5) r i = b − Ax i für 0 ≤ i ≤ k.(A 0 ) ist trivial richtig. Wir nehmen induktiv an, daß (A k ) für ein k mit0 ≤ k < m gilt und zeigen (A k+1 ):Zu 1): Es folgt aus (8.7.1.3)(8.7.1.5) rk+1 T p k = ( ) Tr k − a k Ap k pk = rk T p k − r k T r kpk T Ap pk T Ap k = 0kwegen (A k ), 2). Für j < k gilt analogr T k+1 p j = ( r k − a k Ap k) Tpj = 0wegen (A k ), 1), 3). Dies beweist (A k+1 ), 1).Zu 2): Es ist rk T r k > 0, denn sonst wäre r k = 0 und damit wegen(8.7.1.3)(8.7.1.6){r0 , falls k = 0,p k =b k−1 p k−1 , falls k > 0.Wegen k < m muß k > 0 sein, denn sonst hätte man p 0 = r 0 ≠ 0. Fürk > 0 folgt wegen p k ≠ 0 (weil k < m) aus (8.7.1.6) und (A k ),3)derWiderspruch 0 < p T k Ap k = b k−1 p T k Ap k−1 = 0. Also gilt r T k r k > 0 unddamit sind b k und p k+1 durch (8.7.1.3) wohl definiert. Es folgt daher aus(8.7.1.3)r T k+1 p k+1 = r T k+1(rk+1 + b k p k)= rTk+1 r k+1wegen (8.7.1.5). Dies zeigt (A k+1 ), 2).Zu 3): Nach dem eben Bewiesenen ist auch r k ≠ 0, also existieren a −1jfür j ≤ k. Aus (8.7.1.3) folgt daher für j ≤ k [wir benutzen dabei dieDefinition p −1 := 0]p T k+1 Ap j = r T k+1 Ap j + b k p T k Ap j= a −1jr T k+1(rj − r j+1)+ bk p T k Ap j= a −1jrk+1( T )pj − b j−1 p j−1 − p j+1 + b j p j + bk pk T Ap j{ 0 für j < k wegen (Ak ),3)und(A k+1 ), 1),=0 für j = k nach Definition von a k und b kund wegen (A k+1 ), 1), 2).

314 8 Iterationsverfahren für große lineare GleichungssystemeDies zeigt (A k+1 ), 3).Zu 4): Es ist wegen (8.7.1.3) und (A k+1 ),1)für i ≤ kr Ti r k+1 = ( p i − b i−1 p i−1) Trk+1 = 0.Zu 5): Man hat wegen (8.7.1.3) und (A k ),5)b − Ax k+1 = b − A(x k + a k p k ) = r k − a k Ap k = r k+1 .Damit ist (A k+1 ) bewiesen. Also gilt (A m ).Wegen (A m ), 2), 4) gilt r i ≠ 0für i < m und es bilden diese Vektorenein Orthogonalsystem in R n , also muß m ≤ n gelten. Aus p m = 0 folgtschließlich wegen (A m ),2)rm T r m = rm T p m = 0, also r m = 0, so daß x mLösung von Ax = b ist. Damit ist (8.7.1.4) vollständig bewiesen. ⊓⊔Mit den Hilfsmitteln von Satz (8.7.1.4) können wir schließlich (8.7.1.2)zeigen: Man sieht zunächst aus (8.7.1.3), daß für k < m die Vektoren r i ,i ≤ k, und p i , i ≤ k, die gleichen Teilräume des R n aufspannen:S k := { u 0 r 0 +···+u k r k | u i ∈ R } = { ρ 0 p 0 +···+ρ k p k | ρ i ∈ R } .Für die Funktiongilt aber für j ≤ kΦ(ρ 0 ,...,ρ k ) := F(x k + ρ 0 p 0 +···+ρ k p k )∂Φ(ρ 0 ,...,ρ k )∂ρ j=−r T p jmit r = b − Ax, x := x k + ρ 0 p 0 +···+ρ k p k .Für die Wahl{ak für j = k,ρ j :=0 für j < k,erhält man daher wegen (8.7.1.3) x = x k+1 , r = r k+1 und wegen (8.7.1.4) b)−rk+1 T p j = 0, so daß in der Tatmin Φ(ρ 0 ,...,ρ k ) = min F ( ) ( )x k + u 0 r 0 +···+u k r k = F xk+1ρ 0 ,...,ρ k u 0 ,...,u kgilt.Ebenso bestätigt man mit Hilfe der Rekursionsformel von (8.7.1.3) fürr k und p k sofortp k ∈ span[r 0 , Ar 0 ,...,A k r 0 ],so daßS k = span[p 0 ,...,p k ] = span[r 0 , Ar 0 ,...,A k r 0 ] = K k+1 (r 0 , A)

8.7 Krylovraum-Methoden 315gerade der (k+1)-te Krylovraum von A zum Vektor r 0 ist. Ersetzt man k+1durch k, so folgt wegen (8.7.1.2) und F(z) = 1 2 ‖z −¯x‖2 A , S k−1 = K k (r 0 , A),sofort x k − x 0 ∈ K k (r 0 , A) und(8.7.1.7) ‖x k −¯x‖ A = min{‖u −¯x‖ A | u ∈ x 0 + K k (r 0 , A)}.Bei exakter Rechnung wäre spätestens r n = 0 und damit x n die gesuchteLösung von (8.7.1.1). Wegen des Einflusses der Rundungsfehler ist dasberechnete r n in der Regel von Null verschieden. Man setzt deshalb inder Praxis das Verfahren einfach über die Iteration k = n hinaus fort, bisman ein genügend kleines r k (p k ) gefunden hat. Ein Algolprogramm für eineVariante dieses Algorithmus findet man in Wilkinson, Reinsch (1971), einenumfangreichen Bericht über numerische Erfahrungen in Reid (1971), sowieweitere Resultate in Axelsson (1976).Die Minimaleigenschaft (8.7.1.7) führt zu einer Abschätzung der Konvergenzgeschwindigkeitdes cg-Verfahrens (8.7.1.3). Bezeichnet man mite j := x j −¯x den Fehler von x j , so gilt r 0 =−Ae 0 und für u ∈ x 0 +K k (r 0 , A)u −¯x ∈ e 0 + span [Ae 0 , A 2 e 0 ,...,A k e 0 ],d. h. es gibt ein reelles Polynom p(t) = 1 + α 1 t +···+α k t k ,sodaßu −¯x = p(A)e 0 . Also folgt‖e k ‖ A = min{‖p(A)e 0 ‖ A | p ∈ ¯Π k },wobei ¯Π k die Menge aller reellen Polynome vom Grad ≤ k mit p(0) = 1bedeutet. Die positiv definite Matrix A besitzt nun n Eigenwerte λ 1 ≥ λ 2 ≥··· ≥ λ n > 0 und zugehörige orthonormale Eigenvektoren z i , Az i = λz i ,z T iz j = δ ij [Sätze (6.4.2), (6.4.4)]. Schreibt man e 0 in der Form e 0 = ρ 1 z 1 +···+ρ n z n ,soerhält manalso(8.7.1.8)‖e 0 ‖ 2 A = eT 0 Ae 0 =n∑‖p(A)e 0 ‖ 2 A = p(λ i ) 2 λ i ρi2i=1n∑λ i ρi2i=1‖e k ‖ A≤ min max |p(λ i )|≤min‖e 0 ‖ A p∈ ¯Π k iMit Hilfe der Tschebyscheff-Polynome≤ (maxip(λ i ) 2 ) ·‖e 0 ‖ 2 A ,maxp∈ ¯Π k λ∈[λ n ,λ 1 ]|p(λ)|.T k (x) := cos(k arccos x) = cos kθ, falls cos θ = x, k = 0, 1, ...,

316 8 Iterationsverfahren für große lineare Gleichungssystemefür die offensichtlich |T k (x)| ≤1für x ∈ [−1, 1] gilt, kann man nun einPolynom aus ¯Π k konstruieren, für das max{|p(λ)||λ ∈ [λ n ,λ 1 ]} klein wird(man erhält auf diese Weise sogar das beste Polynom): Durchλ ↦→ x = x(λ) := (2λ − (λ n + λ 1 ))/(λ 1 − λ n )wird das Intervall [λ n ,λ 1 ] auf [−1, 1] abgebildet. Das Polynomp k (λ) := T k(x(λ))T k (x(0))liegt deshalb in ¯Π k und es gilt(max |p k(λ)|=|T k (x(0))| −1 ∣ c + 1)∣ ∣∣−1= ∣T k ,λ∈[λ n ,λ 1 ] c − 1wobei c := λ 1 /λ n gerade die Kondition der Matrix A bezüglich der lub 2 (.)-Norm ist [s. Beispiel b) aus Abschnitt 4.4].Für x > 1 kann man T k (x) leicht abschätzen. Wegen T k (x) = (z k +z −k )/2, falls x = (z + z −1 )/2 und wegenc + 1c − 1 = 1 ( √ c + 1√ +2 c − 1erhält man schließlich die Ungleichung(‖e k ‖( A c + 1) ) −1(8.7.1.9)≤ T k‖e 0 ‖ A c − 1√ c − 1)√ c + 1(√ ) c − 1 k≤ 2 √ . c + 1Sie besagt, daß das cg-Verfahren umso schneller konvergiert, je kleiner dieKondition c von A ist.Dieser Sachverhalt wird bei den sog. Vorkonditionierungstechniken(preconditioning) zur Beschleunigung des cg-Verfahrens ausgenutzt. Manversucht hier, die positiv definite Matrix A durch eine andere positiv definiteMatrix B, die sog. Vorkonditionierungsmatrix (preconditioner), möglichstgut zu approximieren, so daß die Matrix B −1 A zum einen eine gute Approximationder Einheitsmatrix und deshalb die Kondition der zu B −1 Aähnlichen MatrixA ′ = B 1/2 (B −1 A)B −1/2 = B −1/2 AB −1/2eine positiv definite Matrix mit sehr viel kleinerer Kondition als A ist,c ′ = cond(A ′ ) ≪ c = cond(A). [Wir verwenden hier, daß es zu jeder positivdefiniten Matrix B eine positiv definite Matrix C =: B 1/2 mit C 2 = Bgibt: Dies folgt leicht aus Satz (6.4.2).] Darüber hinaus sollte man lineareGleichungssysteme Bq = r mit der Matrix B möglichst leicht lösen können.

8.7 Krylovraum-Methoden 317Dies ist z. B. der Fall, wenn für B = LL T eine Choleskyzerlegung bekanntist und L eine dünn besetzte Matrix ist, z. B. eine Bandmatrix.Nach Wahl von B ist der Vektor ¯x ′ := B 1/2 ¯x Lösung des zu Ax = bäquivalenten SystemsA ′ x ′ = b ′ , b ′ := B −1/2 b.Man wendet nun das cg-Verfahren (8.7.1.3) auf das System A ′ x ′ = b ′ ausgehendvon dem Startvektor x0 ′ := B1/2 x 0 an. Wegen (8.7.1.9) und c ′ ≪ ckonvergiert die Folge xk ′ , die das cg-Verfahren für A′ x ′ = b ′ erzeugt, sehrrasch gegen ¯x ′ . Statt aber die Matrix A ′ und die cg-Folge xk ′ explizit zu berechnen,konstruiert man direkt die den xk ′ entsprechende rücktransformierteFolge x k := B −1/2 xk ′ . Unter Verwendung der TransformationsregelnA ′ = B −1/2 AB −1/2 , b ′ = B −1/2 b,x ′ k = B1/2 x k , r ′ k = b′ − A ′ x ′ k = B−1/2 r k , p ′ k = B1/2 p kfindet man so aus den Formeln (8.7.1.3) für das gestrichene System sofortdie Regeln für den(8.7.1.10) cg-Algorithmus mit Vorkonditionierung:Start: Wähle x 0 ∈ R n , berechne r 0 := b − Ax 0 , q 0 := B −1 r 0 und p 0 := q 0 .Für k = 0, 1, ...:1) Falls p k = 0, stop: x k ist Lösung von Ax = b.Andernfalls,2) berechnea k := r k T q kpk T Ap , x k+1 := x k + a k p k ,kr k+1 := r k − a k Ap k , q k+1 := B −1 r k+1 ,b k := r k+1 T q k+1rk T q , p k+1 := q k+1 + b k p k .kVerglichen mit (8.7.1.3) hat man jetzt in jedem Schritt zusätzlich einlineares Gleichungssystem Bq = r mit der Matrix B zu lösen.Es bleibt das Problem, ein geeignetes B zu wählen, ein Problem, dasbereits bei der Bestimmung guter Iterationsverfahren in den Abschnitten8.1–8.3 in ähnlicher Form studiert wurde. Bei der Lösung der GleichungssystemeAx = b, die bei der Diskretisierung von Randwertproblemenfür elliptische Differentialgleichungen auftreten, etwa bei der Lösung desModellproblems in Abschnitt 8.4, hat es sich bewährt, als Vorkonditionierungsmatrizendie sog. SSOR-Matrizen [vgl. 8.3]

318 8 Iterationsverfahren für große lineare Gleichungssysteme(8.7.1.11) B = 1 ( 1)( 1) −1 ( 12 − ω ω D − E ω D ω D − E T)mit einem geeigneten ω ∈ (0, 2) zu wählen [s. Axelsson (1977)]. Hiersind D und E durch die Standardzerlegung (8.1.5) von A = D − E − E Tgegeben. Man beachte, daß der Faktor L = (1/ω)D − E von B eine untereDreiecksmatrix ist, die ebenso dünn besetzt ist wie A: L ist an den gleichenStellen wie A unterhalb der Diagonalen von Null verschieden.Von Meijerink und van der Vorst (1977) stammt der Vorschlag, geeigneteVorkonditionierungsmatrizen B und ihre Choleskyzerlegung durch eine„unvollständige Choleskyzerlegung“ von A zu bestimmen. Dabei betrachtenwir etwas allgemeiner als in Abschnitt 4.3 Choleskyzerlegungen der FormB = LDL T , wobei L eine untere Dreiecksmatrix mit l ii = 1 und D einepositiv definite Diagonalmatrix ist. Bei der unvollständigen Choleskyzerlegungkann man sogar die Besetzungsstruktur von L vorschreiben: Zu einerbeliebigen Menge G ⊂{(i, j) | j ≤ i ≤ n} von Indexpaaren mit (i, i) ∈ Gfür alle i kann man ein L mit der Eigenschaftl i, j ≠ 0 ⇒ (i, j) ∈ Gfinden. Das Verfahren ist allerdings nur für positiv definite Matrizen Adefiniert, die gleichzeitig M-Matrizen sind, d.h. Matrizen A mit a ij ≤ 0füri ≠ j und A −1 ≥ 0.M-Matrizen A kommen in den Anwendungen sehr häufig vor, und es gibteinfache hinreichende Kriterien für sie. Beispielsweise ist jede Matrix A = A T mita ii > 0, a ij ≤ 0für i ≠ j, die die Voraussetzungen des Satzes (8.2.9) erfüllt(schwaches Zeilensummenkriterium), eine M-Matrix (so z. B. die Matrix A (8.4.5)des Modellproblems): Man zeigt dies ähnlich wie in den Sätzen (8.2.9), (8.2.12)durch den Nachweis der Konvergenz der Neumannreihefür A = D(I − J).A −1 = (I + J + J 2 +···)D −1 ≥ 0Die unvollständige Choleskyzerlegung einer M-Matrix A zu gegebenemG erzeugt folgendermaßen die Faktoren der Matrix B = LDL T [vgl. dasProgramm für das Cholesky-Verfahren am Ende von Abschnitt 4.3]:(8.7.1.12) Unvollständige CholeskyzerlegungFür i = 1, ..., n :d i := a ii − ∑ i−1k=1 d klik2Für j = i + 1, ..., n:{d i l ji :=a ji − ∑ i−1k=1 d kl jk l ik falls (i, j) ∈ G,0 sonst.

8.7 Krylovraum-Methoden 319Der einzige Unterschied zum normalen Choleskyverfahren ist, daß manan den „verbotenen Stellen“ (i, j) /∈ G das Element l ij = 0 setzt.Das cg-Verfahren kann auch zur Lösung von linearen Ausgleichsproblemen(8.7.1.13) bestimme min x ‖Bx − c‖ 2mit (dünn besetzten) m×n-Matrizen B vom Rang n verwandt werden: NachAbschnitt 4.8.1 ist nämlich die Optimallösung ¯x von (8.7.1.13) auch Lösungder NormalgleichungenAx = b, A := B T B, b := B T c,wobei A positiv definit ist. Da auch für dünn besetztes B die Matrix A =B T B voll besetzt sein kann, liegt folgende Variante des cg-Algorithmus(8.7.1.3) zur Lösung von (8.7.1.13) nahe, die sich in der Praxis gut bewährthat:Start: Wähle x 0 ∈ R n und berechneFür k = 0, 1, ...:s 0 := c − Bx 0 , p 0 := r 0 := B T s 0 .1) Falls p k = 0, stop: x k ist Optimallösung von (8.7.1.13);andernfalls,2) berechneq k := Bp k , a k := r k T r kqk T q ,kx k+1 := x k + a k p k , s k+1 := s k − a k q k ,r k+1 := B T s k+1 , b k := r k+1 T r k+1rk T r ,kp k+1 := r k+1 + b k p k .Natürlich gilt dann für die Iterierten x k , die dieses Verfahren erzeugt,x k − x 0 ∈ K k (r 0 , B T B),‖x k −¯x‖ B T B = min{‖u −¯x‖ B T B | u ∈ x 0 + K k (r 0 , B T B)}.Wegen cond 2 (B T B) = cond 2 (B) 2 ist die Konvergenzgeschwindigkeit fürgroßes cond 2 (B) ≫ 1 dieser Variante des cg-Verfahrens zur Lösung vonAusgleichsproblemen nicht sehr hoch [vgl. die Überlegungen in Band I,Abschnitte 4.8.2 und 4.8.3].

320 8 Iterationsverfahren für große lineare GleichungssystemeDieses Verfahren kann auch verwandt werden, um lineare GleichungenBx = c mit einer quadratischen nichtsymmetrischen Matrix B zu lösen.In diesem Fall ist es aber besser, zur Lösung solcher Systeme eines derVerfahren GMRES, QMR, Bi-CGSTAB zu verwenden, die in den folgendenAbschnitten 8.7.2–8.7.4 beschrieben werden.Numerische Beispiele, in denen das vorkonditionierte cg-Verfahren(8.7.1.10) mit dem ursprünglichen Verfahren (8.7.1.3) verglichen wird, werdenin Abschnitt 8.10 angegeben.8.7.2 Der GMRES-AlgorithmusWir betrachten nun GleichungssystemeAx = bmit einer reellen, evtl. auch nichtsymmetrischen, aber nichtsingulären n×n-MatrixA und der Lösung ¯x = A −1 b. Die verschiedenen Bemühungen, cg-artigeVerfahren zur Lösung solcher nicht positiv definiter Systeme zu entwickeln,führten unter anderem zu dem GMRES-Verfahren (generalized minimumresidual method, siehe Saad und Schultz (1986)). Es handelt sich um eineKrylovraum-Methode, in der zu einem Startvektor x 0 ≠¯x mit dem Residuumr 0 := b − Ax 0 ≠ 0 iterativ weitere Näherungslösungen x k für dieLösung ¯x mit folgenden Eigenschaften erzeugt werden:(8.7.2.1)x k ∈ x 0 + K k (r 0 , A),‖b − Ax k ‖ 2 = min{‖b − Au‖ 2 | u ∈ x 0 + K k (r 0 , A)}.Ein wichtiges Hilfsmittel dazu ist die Kenntnis geeigneter orthonormalerBasen der Krylovräume K k (r 0 , A), k ≥ 1. Wegen r 0 ≠ 0 gilt nach Definitionvon K k (r 0 , A) = span[r 0 , Ar 0 , ···, A k−1 r 0 ]1 ≤ dim K k (r 0 , A) ≤ k,so daß es einen größten Index m mit 1 ≤ m ≤ n gibt mitdim K k (r 0 , A) = k für alle 1 ≤ k ≤ m.Gleichzeitig ist m die kleinste natürliche Zahl, für die der KrylovraumK m (r 0 , A) ein A-invarianter Teilraum ist, d.h.(8.7.2.2) AK m (r 0 , A) :={Ax | x ∈ K m (r 0 , A)}⊂K m (r 0 , A).Denn die A-Invarianz von K m (r 0 , A) = span[r 0 , Ar 0 , ···, A m−1 r 0 ] ist mitA m r 0 ∈ K m (r 0 , A)

8.7 Krylovraum-Methoden 321äquivalent, d.h. mitdim K m+1 (r 0 , A) = dim K m (r 0 , A)

322 8 Iterationsverfahren für große lineare Gleichungssystemefür k ≤ m liefert. Genauer besitzt v k für 1 ≤ k ≤ m sogar eine Darstellungder Formk∑(8.7.2.5) v k = γ j A j−1 r 0 mit γ k ≠ 0,j=1d.h. der Koeffizient γ k von A k−1 r 0 ist von 0 verschieden. Denn dies ist fürk = 1 nach Definition von v 1 = r 0 /β richtig. Falls (8.7.2.5) für ein k ≥ 1gilt, ist nach Induktionsvoraussetzung v i ∈ K k (r 0 , A) für i ≤ k und es folgtwegen (8.7.2.5)k∑Av k = γ j A j r 0 , γ k ≠ 0,und damitw k =j=1k∑γ j A j r 0 −j=1k∑h j,k v j .Nach Induktionsvoraussetzung besitzt jedes v j mit 1 ≤ j ≤ k eine Darstellungj∑v j = δ i A i−1 r 0 ,also hat w k die Formw k =i=1j=1k∑ǫ j A j r 0 mit ǫ k = γ k ≠ 0.j=1Falls nun h k+1,k =‖w k ‖ ̸= 0, folgt wegen v k+1 = w k /h k+1,k die Behauptung(8.7.2.5) für k + 1.Für w k = 0 ist also A k r 0 eine Linearkombination der A j r 0 mit j ≤ k−1,d.h. der Abbruchindex m = k des Arnoldi-Algorithmus ist der gleiche Indexm, der oben eingeführt wurde,m = max{k ≥ 1 | dim K k (r 0 , A) = k}.Die n × k-Matrizen V k := [v 1 ,v 2 ,...,v k ] besitzen orthonormale Spalten,V Tk V k = I k , die eine Basis von K k (r 0 , A) bilden,K k (r 0 , A) ={V k y | y ∈ R k }.Jedes x ∈ x 0 + K k (r 0 , A) besitzt also die Darstellung x = x 0 + V k y für einy ∈ R k .

8.7 Krylovraum-Methoden 323Die Rekursionen des Arnoldi-Verfahrens lassen sich kompakt mit Hilfeder (k + 1) × k-Hessenbergmatrizen⎡⎤h 1,1 h 1,2 ··· h 1,kh 2,1 h 2,2 ··· h 2,k¯H k :=0. .. . .. ., 1 ≤ k ≤ m,⎢⎥⎣.. .. . .. hk,k⎦0 ··· 0 h k+1,kund ihren k × k-Untermatrizen H k , die man durch Streichen der letztenZeile von ¯H k erhält, darstellen.Denn aus den Formeln der Schritte 3) und 5) des Algorithmus folgtsofort für 1 ≤ k < m∑k+1Av k = h i,k v i =i=1sowie für k = m wegen w m = 0Av m =Diese Beziehungen sind äquivalent zuk∑h i,k v i + w k ,i=1m∑h i,m v i .i=1(8.7.2.6) AV m = V m H mbzw. für 1 ≤ k < m(8.7.2.7)AV k = V k H k + w k e T k , eT k := (0, ···, 0, 1) ∈ Rk ,= V k+1 ¯H k .Aus diesen Formeln folgt sofort für 1 ≤ k ≤ m (wegen V Tk w k = 0)(8.7.2.8) H k = V Tk AV k.Wir notieren folgende Eigenschaft der H k :(8.7.2.9) Die Matrix H m ist nichtsingulär und es gilt rg ¯H k = k für k < m.Denn andernfalls gäbe es ein y ∈ R m , y ≠ 0, mit H m y = 0. Dann istz := V m y ≠ 0 und aus (8.7.2.6) folgt sofortAz = AV m y = V m H m y = 0,

324 8 Iterationsverfahren für große lineare Gleichungssystemeim Widerspruch zur Nichtsingularität von A. Der Beweis von rg ¯H k = k fürk < m folgt direkt aus dem Nichtverschwinden der Subdiagonalelementeh j+1, j , j = 1, 2, ···, k, von ¯H k für k < m.Mit Hilfe der Matrizen ¯H k , H k und V k läßt sich die Lösung x k von(8.7.2.1) leicht berechnen. Zunächst besitzt jedes x ∈ x 0 + K k (r 0 , A) dieForm x = x 0 + V k y mit einem Vektor y ∈ R k . Es folgt wegen r 0 = βv 1 =βV k+1 ē 1 , ē 1 = (1, 0, ···, 0) T ∈ R k+1 , Vk+1 T V k+1 = I , und (8.7.2.7) fürk < m‖b − Ax‖ 2 =‖b − Ax 0 − AV k y‖ 2=‖r 0 − V k+1 ¯H k y‖ 2=‖V k+1 (βē 1 − ¯H k y)‖ 2=‖βē 1 − ¯H k y‖ 2 .Die Lösung y k des linearen Ausgleichsproblems(8.7.2.10) miny∈R k ‖βē 1 − ¯H k y‖ 2liefert die Lösung x k von (8.7.2.1), x k = x 0 + V k y k .Für k = m zeigt man unter Verwendung von (8.7.2.6) auf die gleicheWeise für x ∈ x 0 + K m (r 0 , A)(8.7.2.11)‖b − Ax‖ 2 =‖r 0 − AV m y‖ 2=‖V m (βe 1 − H m y)‖ 2=‖βe 1 − H m y‖ 2 ,wobei jetzt e 1 = (1, 0,...,0) T ∈ R m . Man kann nun den Abbruchindex mvon (8.7.2.3) auf eine weitere Weise mit Hilfe der x k (8.7.2.1) charakterisieren:(8.7.2.12) Falls A nichtsingulär ist, ist x m = A −1 b die Lösung von Ax = b,und für alle k < m gilt x k ≠ A −1 b: Der Abbruchindex m ist der erste Indexk für den x k = A −1 b die Lösung von Ax = b ist.Beweis: Wir verwenden (8.7.2.8). Für k = m ist H m nichtsingulär, sodaß es genau ein y m ∈ R m mit H m y m = βe 1 gibt. Also ist wegen (8.7.2.11)das entsprechende x m := x 0 + V m y m Lösung von Ax = b.Für k < m sind alle Subdiagonalelemente h j+1, j , j = 1, 2,...,k, derHessenbergmatrix ¯H k von Null verschieden. Das lineare Gleichungssystem⎡h 1,1 ... h⎤1,k⎡ ⎤βh.¯H k y = ⎢ 2,1 .. .⎥⎣.. .. ⎦ y = ⎢ ⎥⎣hk,k0.⎦ = βē 10 ... h0k+1,k

8.7 Krylovraum-Methoden 325kann deshalb nicht lösbar sein: Denn die eindeutige Lösung der letzten kGleichungen ist wegen h j+1, j ≠ 0, nur der Nullvektor y = 0, der aberwegen β ≠ 0 keine Lösung der ersten Gleichung ist.⊓⊔Die linearen Ausgleichsprobleme (8.7.2.10) kann man mit Hilfe vonOrthogonalisierungsverfahren [siehe Band I, Abschnitt 4.8.2] lösen, wobeiman ausnutzt, daß ¯H k eine Hessenbergmatrix ist. Haupthandwerkszeug sind(k + 1)-reihige Givensrotationen Ω j = Ω j, j+1 ( j=1, 2, ..., k) vom TypΩ j, j+1 [siehe (6.5.2.1)]⎡⎤1⎢⎥Ω j, j+1 =⎢⎣. ..1c j−s js j c j1. ..1⎥⎦← j← j + 1 , c2 j + s 2 j = 1.Ihre Parameter c j , s j werden so gewählt, daß in der Folge von Matrizen¯H k → Ω 1 ¯H k → Ω 2 (Ω 1 ¯H k ) →···→Ω k (Ω k−1 ···Ω 1 ¯H k ) =: ¯R kalle Subdiagonalelemente der Reihe nach annulliert werden und eine obere(k + 1) × k-reihige Dreiecksmatrix⎡ ⎤[ ]x ... xRk¯R k = , R0 k = ⎣.. .. .⎦ ,0 ... xentsteht. Die gleichzeitige Transformation des Vektors ḡ 0 := βē 1 ∈ R k+1ḡ 0 → Ω 1 ḡ 0 →···→Ω k (Ω k−1 ···Ω 1 ḡ 0 ) =: ḡ kliefert schließlich einen Vektorḡ k :=[gk¯γ k+1], g k :=⎡ ⎤γ 1γ⎢ 2⎥⎣ ⎦.∈ Rkγ k(die Bezeichnung erklärt sich dadurch, daß sich die Komponenten γ 1 , ...,γ k von ḡ k im weiteren Verlauf des Verfahrens, k → k + 1 → ···, nichtmehr ändern werden).

326 8 Iterationsverfahren für große lineare GleichungssystemeWir illustrieren das Verfahren für k = 2. In der Skizze bedeutet B −→ Ω Cdie Linksmultiplikation mit der Matrix Ω, C := Ω B. Mit * werden die Elementebezeichnet, die sich bei den einzelnen Transformationen ändern.[ x x x[ ¯H 2 , ḡ 0 ] = x x 0x 0] [Ω1∗ ∗ ∗ ]Ω2−→ 0 ∗ ∗x 0[ x x x−→ 0 ∗ ∗0 ∗=]=[ R2 g] 2= [ ¯R0 ¯γ 2 ḡ 2 ] .3Nun ist Q k := Ω k Ω k−1 ···Ω 1 eine unitäre Matrix, so daß‖βē 1 − ¯H k y‖ 2 =‖Q k (βē 1 − ¯H k y)‖ 2 =‖ḡ k − ¯R k y‖ 2 .Man erhält deshalb die Lösung y k des Ausgleichsproblems (8.2.7.10) alsLösung von∥ [ ] [ ]∥∥ gk Rkmin ‖ḡ k − ¯R k y‖ 2 = min − y∥ ,yy ¯γ k+1 0 2und damit als Lösung y k := R −1kg k des linearen Gleichungssystems(8.7.2.13) g k = R k y.Dann ist x k := x 0 + V k y k die Lösung von (8.7.2.1) [man beachte, daß fürk < m wegen rg ¯H k = k auch rg ¯R k = rg (Q k ¯H k ) = k ist, so daß R knichtsingulär ist].Also ist die Größe des Residuums b − Ax k gegeben durch(8.7.2.14) ‖b − Ax k ‖ 2 =‖βē 1 − ¯H k y k ‖ 2 =‖ḡ k − ¯R k y k ‖ 2 =|¯γ k+1 |.Es ist nun wichtig, daß man sich beim Übergang k − 1 → k einen großenTeil der Rechenarbeit sparen kann: Der Grund ist, daß sich ¯H k von ¯H k−1im wesentlichen nur durch eine zusätzliche Spalte unterscheidet,nämlich um die letzte Spalte⎡h 1,1 ... h 1,k−1⎤h 1,k0 ... 0 h k+1,k h. 2,1 .. . .¯H k =0. .. hk−1,k−1 .,⎢⎣ ..⎥.. hk,k−1 h k,k⎦

h k :=⎡⎢⎣h⎤1,k.h k,kh k+1,k8.7 Krylovraum-Methoden 327⎥⎦ ,deren Komponenten in den Schritten 2) und 3) von (8.7.2.3) neu berechnetwerden. Die Matrix Q k−1 ¯H k , Q k−1 := Ω k−1 ···Ω 1 , besitzt nämlich dieForm[ Rk−1]r k[ ] rkQ k−1 ¯H k = 0 ρ =: ˜R k mit ρ := Q k−1 h k , r k ∈ R k−1 .0 σσEs muß also nur die letzte Spalte ˜r k von ˜R k mit Hilfe des Produkts[ ] rk(8.7.2.15) ˜r k = ρσ= Q k−1 h k = Ω k−1 Ω k−2 ···Ω 1 h kneu berechnet werden.Die Matrix ˜R k bringt man durch passende Wahl einer einzigen (k + 1)-reihigen Givensrotation Ω k des Typs Ω k,k+1 mit Parametern c k , s k auf obereDreiecksgestalt:˜R k =Folgende Wahl[ Rk−1 r k0 ρ0 σ](8.7.2.16) c k :=→ Ω k ˜R k =: ¯R k =[Rk0] [ Rk−1 r k= 0 r k,k0 0ρ√ρ2 + σ , s −σ2 k := √ρ2 + σ 2].leistet das Verlangte. Insgesamt gilt also für die letzte Spalte ¯r k von ¯R k⎡[ ]r⎤1,krk(8.7.2.17) ¯r k = r k,k = ⎢ . ⎥⎣ ⎦0 r = Ω k ˜r k , r k,k = √ ρ 2 + σ 2 .k,k0Skizze für k = 3:⎡ ⎤ ⎡ ⎤x x x x x x⎢ x x⎥˜R 2 = ⎣ρ⎦ Ω 3 ⎢ x x⎥−→ ⎣∗⎦ =: ¯R 3 .σ0

328 8 Iterationsverfahren für große lineare GleichungssystemeNun ist ē 1 ∈ R k+1 der erste Einheitsvektor in R k+1 . Setzt man ḡ 0 := βē 1 ,so besitzt der Vektor Q k−1 ḡ 0 (wegen ḡ k−1 ∈ R k−1 ) die Form⎡ ⎤γ 1[ ]ḡk−1.Q k−1 ḡ 0 = , mit ḡ0k−1 = ⎢. ⎥⎣ ⎦γ .k−1¯γ kAlso gilt für ḡ k := Ω k Ω k−1 ···Ω 1 ḡ 0d.h. es giltḡ k =⎡⎢⎣⎤γ 1.γ k¯γ k+1⎥⎦ := Ω k[ ]ḡk−10⎡= Ω k ⎢⎣(8.7.2.18) γ k = c k ¯γ k , ¯γ k+1 = s k ¯γ k .γ 1.γ k−1¯γ k0⎤⎥⎦ ,Illustration des Schritts k − 1 → k für k = 3:⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤γ[ ] 1 x x γ 1ḡ2 ⎢ γ= 0⎣ 2 ⎥ ⎢ x ⎥¯γ3⎦ = ⎣x⎦ Ω 3 ⎢ x ⎥ ⎢γ −→ ⎣∗⎦ = ⎣ 2 ⎥γ⎦ =: ḡ 3 .30 0 ∗ ¯γ4Die Größe des Residuums b − Ax k läßt sich also wegen (8.7.2.14) und(8.7.2.18) rekursiv berechnen, ‖b − Ax k ‖ 2 =|¯γ k+1 |=|s k ¯γ k |,sodaß‖b − Ax k ‖ 2 =|¯γ k+1 |=|s k s k−1 ···s 1 |β.Man kann deshalb die Größe des Residuums ‖b − Ax k ‖ 2 bestimmen, ohnevorher y k als Lösung von R k y = g k und x k = x 0 + V k y k zu berechnen.Dies kann man im GMRES-Algorithmus ausnutzen, indem man zu einergewünschten Genauigkeit ǫ> 0 erst dann die Lösung x k von (8.7.2.1)berechnet, wenn |¯γ k+1 |=|s k s k−1 ···s 1 |β ≤ ǫ ist.Wir wollen kurz zeigen, daß man auch die Vektoren x k rekursiv berechnenkann. Wegenx k = x 0 + V k y k = x 0 + V k Rk−1 g k =: x 0 + P k g kführen wir die Matrizen P k := V k Rk −1 = [p 1 ,...,p k ] mit den Spalten p i ein.Wegen[ ]Rk−1 rR k =k ,0 r k,k

erfüllt dann P k genau dann die Gleichung8.7 Krylovraum-Methoden 329[ ]Rk−1 rV k = [v 1 ,...,v k ] = P k R k = [P k−1 , p k ] k ,0 r k,kwenn v k = P k−1 r k +r k,k p k . Dies liefert folgende Rekursionsformel für die Vektorenp i :(8.7.2.19) p k = 1 ( ∑k−1v k − r i,k p i).r k,ki=1WegenP k g k = [P k−1 , p k ][ gk−1γ k]= P k−1 g k−1 + γ k p kerhält man die folgende Rekursionsformel für die x k(8.7.2.20) x k = x 0 + P k g k = x k−1 + γ k p k .Ihr Gebrauch ist aber i.allg. nicht ratsam: Man erspart sich zwar die Speicherungder Matrizen R k , sie erfordert aber wegen (8.7.2.19) die Speicherung und die mitwachsendem k immer teurere Berechnung der Vektoren p k , k ≥ 1. Wir werdenweiter unten sehen, daß die Situation sich ändert, wenn die ¯H k Bandmatrizen miteiner kleinen Bandbreite l ≪ n sind.Ein gewisser Nachteil des Arnoldi-Verfahrens (8.7.2.3) ist es, daß unterdem Einfluß der Rundungsfehler die berechneten Vektoren v i , i ≤ k,nicht exakt orthogonal sind und sich ihre Orthogonalität mit wachsendemk weiter verschlechtert [dies ist ein bekannter Nachteil des Gram-Schmidtschen Orthogonalisierungsverfahrens, siehe Band I, Abschnitt 4.7für eine Analyse des Phänomens]. Eine drastische Abhilfe besteht in derNachorthogonalisierung von v k+1 , in der ein frisch berechneter Vektor ṽ k+1noch einmal an den bereits akzeptierten Vektoren v 1 , ...,v k orthogonalisiertwirdk∑ṽ k+1 →ˆv k+1 :=ṽ k+1 − (vi T ṽ k+1 )v i ,bevor er akzeptiert wird, v k+1 :=ˆv k+1 /‖ˆv k+1 ‖ 2 . Natürlich bedeutet dieseine Verdoppelung des Rechenaufwands. Eine billigere Verbesserung derOrthogonalität der berechneten v i erhält man bereits ohne zusätzlichen Rechenaufwand,wenn man die Schritte 1)–3) des Arnoldi-Verfahrens (8.7.2.3)ersetzt durch1 ′ ) Berechne w := Av k .2 ′ ) Für i := 1, 2,...ki=1berechne h i,k := v T iw, w := w − h i,k v i .3 ′ ) Berechne h k+1,k :=‖w‖ 2 und setze w k := w.

330 8 Iterationsverfahren für große lineare GleichungssystemeEin sehr viel gewichtigerer Nachteil des GMRES-Verfahrens ist es,daß anders als im cg-Verfahren (8.7.1.3) der Rechenaufwand für den k-ten Schritt k − 1 → k wegen der Orthogonalisierung von Av k an den kVektoren v 1 ,..., v k linear mit k anwächst. Man führt deshalb das GMRES-Verfahren häufig mit ¯n-periodischen restarts entsprechend dem folgendenSchema durch, wobei 1 < ¯n ≪ n ( z.B. ¯n = 10):(8.7.2.21) GMRES(¯n):0) Gegeben x 0 , berechne r 0 := b − Ax 0 .1) Berechne x ¯n mittels des GMRES-Verfahrens.2) Setze x 0 := x ¯n , gehe zu 0).Nachteilig ist hier, daß die Informationen, die in den Vektoren v 1 , ...,v¯n stecken, bei jedem restart verloren gehen.Anstelle von restarts kann man auch die Anzahl der Orthogonalisierungenin Schritt 2) des Verfahrens künstlich begrenzen: die Vektoren Av kwerden dann nur noch an den letzten l Vektoren v k , v k−1 , ..., v k−l+1 orthogonalisiert,wobei l ≪ n eine fest gewählte Zahl ist (hier gehen also nur dieInformationen verloren, die in den alten Vektoren v k−i mit i ≥ l stecken).Man erhält so ein verkürztes GMRES-Verfahren, indem man in (8.7.2.3) dieSchritte 1)–3) ersetzt durch1 ′ ) Berechne w := Av k .2 ′ ) Für i = max{1, k − l + 1}, ..., kberechne h i,k := v T iw, w := w − h i,k v i .3 ′ ) Berechne h k+1,k :=‖w‖ 2 und setze w k := w.Das Verfahren erzeugt dann (k + 1) × k-Hessenbergmatrizen ¯H k der Bandbreitel, sowie k × k-Dreiecksmatrizen R k der Bandbreite l + 1.Skizze für k = 4 und l = 2:⎡ x x 0 0⎤⎡ ⎤x x x 0x x x 0¯H 4 = ⎢⎣ 0 x x x⎥⎦ , R ⎢ x x x⎥4 = ⎣x x⎦ .0 0 x xx0 0 0 xDie Relationen (8.7.2.7) bleiben erhalten, aber die Spalten der MatrizenV k = [v 1 ,...,v k ] sind nicht mehr orthogonal. Trotzdem sind für k ≤ m dieVektoren v 1 , ...v k linear unabhängig und bilden eine Basis von K k (r 0 , A)(s. (8.7.2.4), der dort gegebene Induktionsbeweis bleibt gültig), so daß jedesx ∈ x 0 + K k (r 0 , A) die Form x = x 0 + V k y besitzt. Wegen der fehlendenOrthogonalität der v i gilt aber für k < m nur

8.7 Krylovraum-Methoden 331‖b − Ax‖ 2 =‖b − Ax 0 − AV k y‖ 2=‖r 0 − V k+1 ¯H k y‖ 2=‖V k+1 (βē 1 − ¯H k y)‖ 2≠‖βē 1 − ¯H k y‖ 2 ,so daß die Minimierung von ‖βē 1 − ¯H k y‖ 2 nicht mehr mit der Minimierungvon ‖b − Ax‖ 2 äquivalent ist. Da die v i i.allg. näherungsweise orthogonalsind, ist es trotzdem sinnvoll, die Optimallösung y k vonminy‖βē 1 − ¯H k y‖ 2und den zugehörigen Vektor x k := x 0 + V k y k zu berechnen: x k wird dannzwar ‖b − Ax‖ 2 auf x 0 + K k (r 0 , A) nicht exakt minimieren, aber mit guterNäherung.Da die ¯H k und die Dreiecksmatrizen R k jetzt Bandmatrizen der Bandbreitel bzw. l + 1 sind, ist es für l ≪ n vorteilhaft, die Rekursionsformeln(8.7.2.19) und (8.7.2.20) zu verwenden: Für die Durchführung desVerfahrens muß man dann nur die letzten l Vektoren v k ,..., v k−l+1 undl zusätzliche Vektoren p k−1 , ..., p k−l speichern; die komplette Speicherungder Matrix R k entfällt, nur die letzte Spalte von R k wird benötigt.Die Formeln (8.7.2.15) und (8.7.2.19) vereinfachen sich wegen h i,k = 0füri ≤ k − l, r i,k = 0für i ≤ k − l − 1zu˜r k = Ω k−1 Ω k−2 ···Ω k−l h k ,p k = 1r k,k(vk −∑k−1i=max{1,k−l}r i,k p i).Insgesamt erhält man so das folgende quasi-minimale Residuen-Verfahren(QGMRES-Verfahren):(8.7.2.22) QGMRES(l):Gegeben ǫ>0, 2 ≤ l ≪ n ganz,und ein x 0 mit r 0 := b − Ax 0 ≠ 0.0) Setze β := ¯γ 0 :=‖r 0 ‖ 2 , v 1 := r 0 /β, k := 1.1) Berechne w := Av k .2) Für i = 1, 2, ..., k, berechne{ 0, falls i ≤ k − l,h i,k :=vi T w, sonst,w := w − h i,k v i .

332 8 Iterationsverfahren für große lineare Gleichungssysteme3) Berechne h k+1,k :=‖w‖ 2 ,und damit den Vektor ¯h k = [h 1,k ,...,h k+1,k ] T .4) Berechne ˜r k := Ω k−1 Ω k−2 ···Ω k−l ¯h k ,die Rotationsparameter c k , s k mittels (8.7.2.16),γ k , ¯γ k+1 mittels (8.7.2.18)und den Vektor [s. (8.7.2.17)]5) Berechne⎡¯r k = ⎢⎣r 1,k.r k,k0p k := 1r k,k(vk −⎤6) Setze x k := x k−1 + γ k p k .⎥⎦ := Ω k ˜r k .∑k−1i=max{1,k−l}r i,k p i).7) Falls |¯γ k+1 |≤ε, stop.Andernfallssetze v k+1 := w/h k+1,k , k := k + 1 und gehe zu 1).Für symmetrische, aber indefinite Matrizen A = A T ist das Arnoldi-Verfahrenmit dem Verfahren von Lanczos (6.5.3.1) identisch: Man kann wie in Abschnitt6.5.3 zeigen, daß dann alle Skalarprodukte h i,k = v T i Av k = 0für 1 ≤ i ≤ k − 2verschwinden und daßh k,k+1 = h k+1,k ,k = 1, 2,...n,gilt. In diesem Fall sind also die Matrizen⎡⎤h 1,1 h 1,2 0. hH k := ⎢ 2,1 .. . ..⎥⎣ . .. . .. ⎦ hk−1,k0 h k,k−1 h k,ksymmetrische Tridiagonalmatrizen. Es liegt also hier von Haus aus, ohne einekünstliche Verkürzung, die Situation l = 2 des QGMRES-Verfahrens vor. DasQGMRES-Verfahren vereinfacht sich dann zu dem SYMMLQ-Verfahren von Paigeand Saunders (1975), das hier aber nicht näher dargestellt werden soll: DasQGMRES-Verfahrens ist als Verallgemeinerung dieses Verfahrens anzusehen.Es ist ebenfalls möglich, die Konvergenz des GMRES-Verfahrens durchVorkonditionierungstechniken ähnlich wie beim cg-Verfahren (8.7.1.10) zu

8.7 Krylovraum-Methoden 333beschleunigen: Diese Techniken beruhen auf der Wahl einer geeignetenVorkonditionierungsmatrix B mit den folgenden Eigenschaften:1) B ist eine gute Approximation von A, sodaßB −1 A bzw. AB −1 guteApproximationen der Einheitsmatrix sind.2) Gleichungssysteme der Form Bu = v sind leicht lösbar, d.h. B −1 v istleicht berechenbar.Die Eigenschaft 2) ist z.B. dann erfüllt, wenn man eine LR-Zerlegungvon B = LR mit dünn besetzten Dreiecksmatrizen L und R kennt.Anders als beim cg-Verfahren kann man zu gegebenem B zwischenzwei Vorkonditionierungstechniken wählen: Bei der Linksvorkonditionierungwendet man das GMRES-Verfahren auf das zu Ax = b äquivalenteSystemB −1 Ax = B −1 b,und bei der Rechtsvorkonditionierung auf das SystemAB −1 u = bin den neuen Variablen u = Bx an. Wir gehen hier nur auf die Links-Vorkonditionierung ein. Man hat dann im GMRES-Verfahren lediglich dieMatrix A durch B −1 A und das Residuum r 0 = b − Ax 0 durch das neueResiduum q 0 := B −1 b − B −1 Ax 0 = B −1 r 0 zu ersetzen. Man erhält so statt(8.7.2.3) folgendes Verfahren:(8.7.2.23) GMRES mit Linksvorkonditionierung:Gegeben ǫ>0, x 0 mit r 0 := b − Ax 0 ≠ 0.0) Berechne q 0 := B −1 r 0 , β := ¯γ 0 :=‖q 0 ‖ 2 , v 1 := q 0 /βund setze k := 1.1) Berechne w := B −1 Av k .2) Für i = 1, 2, , kberechne h i¡k := v T iw, w := w − h i¡kv i .3) Berechne h k+1¡k :=‖w‖ 2 und ¯γ k+1 [s. (8.7.2.18)].4) Falls |¯γ k+1 | >ǫ,berechne v k+1 := w/h k+1¡k, setze k := k + 1und gehe zu 1).Andernfalls,5) bestimme die Lösung y k von (8.7.2.13), berechnex k := x 0 + V k y k , setze m := k und stop.

334 8 Iterationsverfahren für große lineare GleichungssystemeDie Krylovräume K k (q 0 , B −1 A), k = 1, 2, ..., besitzen jetzt die orthogonalenBasen v 1 ,..., v k und das Verfahren liefert schließlich als Resultatden ersten Vektor x m ∈ x 0 + K m (q 0 , B −1 A) mit‖B −1 (b − Ax m )‖ 2 = min{‖B −1 (b − Au)‖ 2 | u ∈ x 0 + K m (q 0 , B −1 A)}u≤ ǫ.8.7.3 Der Biorthogonalisierungsalgorithmus von Lanczosund das QMR-VerfahrenEs gibt weitere Krylovraum-Methoden zur Lösung allgemeiner linearer GleichungssystemeAx = b mit einer nichtsingulären n × n-Matrix A, die imUnterschied zu den bisher behandelten Methoden mit zwei Krylovräumen,K k (v 1 , A) = span[v 1 , Av 1 ,...,A k−1 v 1 ],K k (w 1 , A T ) = span[w 1 , A T w 1 ,...,(A T ) k−1 w 1 ],arbeiten.Sei x 0 wie bisher eine Näherungslösung von Ax = b mit r 0 = b− Ax 0 ≠0. Der folgende Biorthogonalisierungsalgorithmus von Lanczos (1950) gehtdann von dem speziellen Vektorv 1 := r 0 /β, β :=‖r 0 ‖ 2 ,und einem beliebigen weiteren Vektor w 1 ∈ C n mit ‖w 1 ‖ 2 = 1 aus (in derRegel wählt man w 1 := v 1 ). Er hat zum Ziel, eine möglichst lange Folgevon linear unabhängigen Vektoren v i bzw. linear unabhängigen Vektoren w i ,i = 1, 2, ..., zu erzeugen, die die Krylovräume K k (v 1 , A) bzw. K k (w 1 , A T ),k ≥ 1, aufspannen,span[v 1 ,...,v k ] = K k (v 1 , A), span[w 1 ,...,w k ] = K k (w 1 , A T ),und die folgende Biorthogonalitätseigenschaft besitzen:{wi T δj ≠ 0 für i = j,v j =0 sonst.(8.7.3.1) Biorthogonalisierungsverfahren:Gegeben x 0 mit r 0 := b − Ax 0 ≠ 0.0) Setze β :=‖r 0 ‖ 2 , v 1 := r 0 /β,wähle w 1 ∈ C n mit ‖w 1 ‖ 2 = 1, und setze v 0 := w 0 := 0, k := 1.1) Berechne δ k := w T k v k. Falls δ k = 0, setze m := k − 1 und stop.

Andernfalls,8.7 Krylovraum-Methoden 3352) berechne α k := w T k Av k/δ k , β 1 := ǫ 1 := 0 und für k > 1,sowieβ k := σ kδ kδ k−1,ǫ k := ρ kδ kδ k−1,ṽ k+1 := Av k − α k v k − β k v k−1 ,˜w k+1 := A T w k − α k w k − ǫ k w k−1 .3) Berechne ρ k+1 :=‖ṽ k+1 ‖ 2 , σ k+1 :=‖˜w k+1 ‖ 2 .Falls ρ k+1 = 0 oder σ k+1 = 0, setze m := k und stop.4) Andernfalls berechne v k+1 :=ṽ k+1 /ρ k+1 , w k+1 :=˜w k+1 /σ k+1 .Setze k := k + 1 und gehe zu 1).Der folgende Satz zeigt, daß die v k , w k die verlangten Eigenschaftenhaben:(8.7.3.2) Satz: Sei m der Abbruchindex von (8.7.3.1). Dann gilt für alle1 ≤ k ≤ m(8.7.3.3)sowie(8.7.3.4) w T k v j =span[v 1 ,...,v k ] = K k (v 1 , A),span[w 1 ,...,w k ] = K k (w 1 , A T ),{δj ≠ 0 für j = k,0 für j ≠ k, j = 1,...,m.Die Vektoren v 1 , ..., v m bzw. die Vektoren w 1 , ..., w m sind linear unabhängig.Beweis: Die Eigenschaft (8.7.3.3) folgt sofort aus den Schritten 2)–4)des Verfahrens. Die Biorthogonalität (8.7.3.4) zeigt man durch vollständigeInduktion. Wir nehmen dazu an, daß (8.7.3.4) für ein k mit 1 ≤ k < mgelte:w T i v j = 0, v T i w j = 0, 1 ≤ i < j ≤ k.Wegen k < m ist dann δ j ≠ 0für alle j ≤ k, esistρ k+1 ≠ 0, σ k+1 ≠ 0 undes sind v k+1 und w k+1 wohldefiniert. Wir wollen zeigen, daß dann auch dieVektoren v 1 , ..., v k+1 und w 1 , ..., w k+1 biorthogonal sind.Als erstes beweist man w T iv k+1 = 0für i ≤ k. Für i = k folgt nämlichaus der Definition von ṽ k+1 , der Induktionsvoraussetzung und der Definitionvon α k

336 8 Iterationsverfahren für große lineare Gleichungssystemew T k v k+1 = 1ρ k+1[w T k Av k − α k w T k v k − β k w T k v k−1]= 1ρ k+1[w T k Av k − α k w T k v k] = 0.Für i ≤ k−1 erhält man aus der Induktionsvoraussetzung und der Definitionvon ˜w k+1 zunächstw T i v k+1 = 1ρ k+1[w T i Av k − α k w T i v k − β k w T i v k−1 ]= 1ρ k+1[w T i Av k − β k w T i v k−1 ]= 1ρ k+1[v T k ( ˜w i+1 + α i w i + ǫ i w i−1 ) − β k w T i v k−1 ]= 1ρ k+1[(σ i+1 v T k w i+1 + α i v T k w i + ǫ i v T k w i−1) − β k w T i v k−1 ].Die Induktionsvoraussetzung liefert dann w T iv k+1 = 0für i < k − 1, undfür i = k − 1 wegen der Definition von β kw T i v k+1 = w T k−1 v k+1= 1ρ k+1[(σ k v T k w k + 0 + 0) − β k w T k−1 v k−1]= 1ρ k+1[(σ k δ k − β k δ k−1 )] = 0.Auf die gleiche Weise zeigt man v T iw k+1 = 0für alle i ≤ k. Schließlich ist(8.7.3.4) mit der MatrixgleichungW T m V m = D mmit den Matrizen V k := [v 1 ,...,v k ], W k := [w 1 ,...,w k ], und den DiagonalmatrizenD k := diag (δ 1 ,...,δ k ) identisch. Da D m nichtsingulär ist,folgt aus Wm T V m = D m sofort rg V m = rg W m = m.⊓⊔Ähnlich wie bei dem Arnoldi-Verfahren kann man die Rekursionsformelnvon (8.7.3.1) mit Hilfe der Matrizen V k , W k und der Tridiagonalmatrizen⎡⎤ ⎡⎤α 1 β 2 ... 0α 1 ǫ 2 ... 0ρ 2 α.2.. .σ 2 α.2.. .¯T k :=.. .. . .. βk, ¯S k :=. . .. . .. ǫk⎢⎥ ⎢⎥⎣ .. .. ⎦ ⎣ .αk. .. αk⎦0 ... ... ρ k+1 0 ... ... σ k+1

8.7 Krylovraum-Methoden 337und ihrer k-reihigen Untermatrizen T k bzw. S k , die man durch Streichen derletzten Zeile von ¯T k bzw. ¯S k erhält, ausdrücken: Man zeigt wie beim Beweisvon (8.7.2.6), (8.7.2.7) für k < mWegen W T k V k = D k , W T k ṽk+1 = V TkAV k = V k+1 ¯T k = V k T k +ṽ k+1 e T k ,A T W k = W k+1 ¯S k = W k S k +˜w k+1 e T k .W T k AV k = D k T k ,sowie wegen W T k AV k = (V Tk˜w k+1 = 0 folgtV Tk AT W k = D k S k ,AT W k ) T die weitere RelationS T k= D kT k D −1k,die man auch anhand der Definitionen der β k und ǫ k direkt verifizieren kann.Das Abbruchverhalten des Biorthogonalisierungsverfahrens (8.7.3.1) ist komplizierterals bei dem Arnoldi-Verfahren (8.7.2.3). Das Verfahren kann einmal in Schritt4) wegen ρ k+1 = 0 bzw. σ k+1 = 0 abbrechen. Wegen k = rg V k = dim K k (v 1 , A) =rg W k = dim K k (w 1 , A T ) ist dies äquivalent zudim K k+1 (v 1 , A) = k bzw. dim K k+1 (w 1 , A T ) = k,d.h. mit der A-Invarianz von K k (v 1 , A) bzw. der A T -Invarianz von K k (w 1 , A T ). DieSpalten von V k (bzw. W k ) liefern dann eine Basis dieser invarianten KrylovräumeK k (v 1 , A) (bzw. K k (w 1 , A T )). Es ist deshalb der Abbruchindex m von (8.7.3.1)kleiner oder gleich n.Leider kommt es auch vor, daß der Lanczos-Algorithmus vorzeitig in Schritt 1)wegen δ k = w T k v k = 0 abbricht (obwohl dann beide Vektoren v k und w k von 0 verschiedensind), bevor er eine Basis eines invarianten Krylovraums gefunden hat. Manspricht dann von einem „ernsthaften Kollaps“ („serious breakdown“) des Verfahrens.Für die Rechengenauigkeit gefährlich sind bereits Situationen, wenn |δ k |≈0 sehrklein wird und das Verfahren fast zusammenbricht („numerischer Kollaps“). DieseSituationen lassen sich aber (fast) alle mittels sog. look-ahead-Techniken entschärfen,wenn man die Biorthogonalitätsforderungen (8.7.3.4) abschwächt. So ist das QMR-Verfahren von Freund und Nachtigal (1991) eine Variante des Verfahrens (8.7.3.1),das (fast) alle ernsthaften Zusammenbrüche und zu kleine |δ k | vermeidet und trotzdemBasen v 1 , ..., v k und Basen w 1 , ..., w k der Krylovräume K k (v 1 , A) bzw.K k (w 1 , A T ) erzeugt, ohne die Struktur der Matrizen ¯T k (bzw. ¯S k ) wesentlich zubeeinträchtigen: diese Matrizen sind dann Blockmatrizen, ihre Blockkomponentenα i , β i , ρ i , ǫ i , σ i sind dann nicht mehr Zahlen, sondern einfache Matrizen mit einersehr geringen Zeilen- und Spaltenzahl. Ihre Dimension wird dabei im Verfahren sogesteuert, daß zu kleine |δ k | vermieden werden.Wir wollen hier lediglich das Prinzip des QMR-Verfahrens erläuternund verzichten deshalb der Einfachheit halber auf eine Darstellung dieserSteuerung, d.h. wir nehmen an, daß das Verfahren (8.7.3.1) nicht nach einemernsthaften Kollaps in Schritt 1) wegen δ k = 0 abbricht, sondern nur in

338 8 Iterationsverfahren für große lineare GleichungssystemeSchritt 4). Es ist dann δ k ≠ 0für alle k ≤ m + 1. Für k ≤ m liefern dieSpalten von V k eine Basis von K k (v 1 , A) = K k (r 0 , A) und es giltAV k = V k+1 ¯T k = V k T k +ṽ k+1 e T k .Jedes x ∈ x 0 + K k (r 0 , A) läßt sich also eindeutig in der Form x = x 0 + V k ymit einem y ∈ C k schreiben und es gilt wie in Abschnitt 8.7.2‖b − Ax‖ 2 =‖b − Ax 0 − AV k y‖ 2=‖r 0 − V k+1 ¯T k y‖ 2=‖V k+1 (βē 1 − ¯T k y)‖ 2 ,wobei ē 1 := [1, 0,...,0] T ∈ R k+1 . Statt ‖b − Ax‖ 2 auf x 0 + K k (r 0 , A) zuminimieren, bestimmt man wie im quasiminimalen Residuenverfahren y kals Lösung des Ausgleichsproblems(8.7.3.5) miny‖βē 1 − ¯T k y‖ 2und setzt x k := x 0 + V k y k .Das weitere Verfahren entspricht also genau dem verkürzten quasiminimalenResiduenverfahren QGMRES (8.7.2.22), wenn man dort dieHessenbergmatrix ¯H k der Bandbreite l durch die Tridiagonalmatrix ¯T k (siebesitzt die Bandbreite l = 2) ersetzt. Man hat deshalb in (8.7.2.22) lediglichl = 2zuwählen und den Vektor h k durch den Vektor⎡ ⎤⎡t⎤1,k0.t k = ⎣ ⎦. =⎢ β k ⎥⎣t k+1,k α⎦ ,kρ k+1die letzte Spalte von ¯T k , zu ersetzen.Insgesamt erhält man so die einfachste Form des QMR-Verfahrens, indem die Möglichkeit eines ernsthaften Zusammenbruchs von (8.7.3.1) nichtberücksichtigt wird, und dessen allgemeinere numerisch stabile Form vonFreund und Nachtigal (1991) beschrieben wurde.(8.7.3.6) QMR-Verfahren, einfache Form:Gegeben x 0 mit r 0 := b − Ax 0 ≠ 0 und ε>0.0) Berechne β :=‖r 0 ‖ 2 , v 1 = w 1 := r 0 /β und setze k := 1.1) Mittels (8.7.3.1) bestimme man α k , β k , ǫ k , ρ k+1 , σ k+1 ,v k+1 , w k+1 und damit die letzte Spalte t k von ¯T k .

2) Berechne ˜r k := Ω k−1 Ω k−2 t k (mit Ω −1 = Ω 0 := I ),8.7 Krylovraum-Methoden 339die Rotationsparameter c k , s k von Ω k wie in (8.7.2.16)und γ k , ¯γ k+1 wie in (8.7.2.18).3) Berechne die Vektoren⎡¯r k = ⎢⎣r 1,k.r k,k0⎤p k := 1r k,k(vk −4) Berechne x k := x k−1 + γ k p k .5) Falls |¯γ k+1 |≤ε, stop.⎥⎦ := Ω k ˜r k ,∑k−1i=k−2r i,k p i).Andernfalls setze k := k + 1 und gehe zu 1).Ähnlich wie im GMRES-Verfahren kann man auch die Konvergenz desQMR-Verfahrens mit Hilfe von Vorkonditionierungstechniken beschleunigen[eine Beschreibung dieser Techniken findet man in der Arbeit vonFreund und Nachtigal (1991)]. Vergleichende numerische Beispiele, dieauch das vorkonditionierte QMR-Verfahren illustrieren, werden in Abschnitt8.10 gegeben.8.7.4 Der Bi-CG und der Bi-CGSTAB AlgorithmusDas bikonjugierte Gradientenverfahren (Bi-CG-Verfahren, oder auch BCG-Verfahren) zur Lösung eines Gleichungssystem Ax = b mit einer nichtsymmetrischen(reellen) n × n-Matrix A verallgemeinert das klassische cg-Verfahren (8.7.1.3) von Hestenes und Stiefel. Es ist mit dem Biorthogonalisierungsverfahren(8.7.3.1) verwandt und stammt von Lanczos (1950); vonFletcher (1976) wurde es näher untersucht.In diesem Abschnitt bedeuten (v, w) und ‖v‖ stets das übliche Skalarprodukt(v, w) = v T w bzw. die zugehörige euklidische Norm ‖v‖ :=(v, v) 1/2 im R n .Die folgende Formulierung des Bi-CG-Verfahrens unterstreicht seineBeziehungen zum cg-Verfahren (8.7.1.3):(8.7.4.1) Bi-CG-Verfahren:Start: Gegeben sei ein x 0 ∈ R n mit r 0 := b − Ax 0 ≠ 0. Wähle ein ˆr 0 ∈ R nmit (ˆr 0 , r 0 ) ≠ 0 und setze p 0 := r 0 , ˆp 0 :=ˆr 0 .

340 8 Iterationsverfahren für große lineare GleichungssystemeFür k = 0, 1, ...:Berechne(1) a k = (ˆr k, r k )( ˆp k , Ap k ) , x k+1 := x k + a k p k ,r k+1 := r k − a k Ap k , ˆr k+1 :=ˆr k − a k A T ˆp k .(2) b k := (ˆr k+1, r k+1 ),(ˆr k , r k )p k+1 := r k+1 + b k p k , ˆp k+1 :=ˆr k+1 + b k ˆp k .Das Verfahren ist wohldefiniert, solange (ˆr k , r k ) und ( ˆp k , Ap k ) von Nullverschieden bleiben. Seine theoretischen Eigenschaften sind mit denen descg-Verfahrens vergleichbar [s. Satz (8.7.1.4)]:(8.7.4.2) Satz: Sei A eine reelle nichtsinguläre n × n-Matrix, b ∈ R n undx 0 ∈ R n , ˆr 0 Startvektoren mit (ˆr 0 , r 0 ) ≠ 0, r 0 := b − Ax 0 . Dann erzeugt(8.7.4.1) Vectoren x k , p k , ˆp k , r k , ˆr k mit folgenden Eigenschaften:Es gibt einen ersten Index m ≤ n mit (ˆr m , r m ) = 0 oder ( ˆp m , Ap m ) = 0, fürden die Aussagen (1)–(6) von (A m ) gelten:(A m ) (1) ( ˆp i , r j ) = (ˆr j , p i ) = 0 für i < j ≤ m,(2) (ˆr i , r i ) ≠ 0 für i < m,(ˆr i , p i ) = (ˆr i , r i ) = ( ˆp i , r i ) ≠ 0 für i ≤ m,(3) ( ˆp i , Ap j ) = (A T ˆp j , p i ) = 0 für i < j ≤ m,( ˆp i , Ap i ) ≠ 0 für i < m,(4) (ˆr i , r j ) = (ˆr j , r i ) = 0 für i < j ≤ m,(5) r i = b − Ax i für i ≤ m.(6) Für i ≤ m:span[r 0 , r 1 ,...,r i ] = span[p 0 , p 1 ,...,p i ] = K i+1 (r 0 , A),span[ˆr 0 , ˆr 1 ,...,ˆr i ] = span[ ˆp 0 , ˆp 1 ,..., ˆp i ] = K i+1 (ˆr 0 , A T ).Beweis: Der Beweis wird analog zum Beweis von Satz (8.7.1.4) durchInduktion geführt: Die Aussage (A 0 ) ist trivial richtig. Für jedes k ≥ 0 zeigtman wie im Beweis von (8.7.1.4) die Implikation(A k ), ( ˆp k , Ap k ) ≠ 0, (ˆr k , r k ) ≠ 0 ⇒ (A k+1 ),ein Beweis, der dem Leser überlassen ist. Aus (A k ), (2), (4) folgt insbesondere,daß die Vektoren r i , ˆr i für i < k nicht verschwinden und biorthogonalsind,(ˆr i , r j ) = (ˆr j , r i ) = 0 für i < j < k.Also sind die r i , i = 0, 1, ...k − 1, und auch die ˆr i , i = 0, 1, ...k − 1,linear unabhängige Vektoren im R n ,sodaßk ≤ n. Also existiert ein ersterIndex m ≤ n, für den (ˆr m , r m ) = 0 oder ( ˆp m , Ap m ) = 0 gilt. ⊓⊔

8.7 Krylovraum-Methoden 341Die Iterierten x i existieren für i = 0, 1, ..., m, aber sie besitzen keineMinimaleigenschaften bzgl. der Menge x 0 + K i (r 0 , A) (wie die Iteriertendes cg-Verfahrens, s. (8.7.1.7)), sondern nur die Galerkin-Eigenschaft(w, b − Ax i ) = 0 für alle w ∈ K i−1 (ˆr 0 , A T ).Diese folgt sofort aus (A m ) (1),(4).Das Verfahren besitzt ähnliche und sogar noch kompliziertere Abbrecheigenschaftenals das Biorthogonalisierungsverfahren (8.7.3.1) vonLanczos: Zunächst stoppt das Verfahren, falls ( ˆp m , Ap m ) = 0, auch wennbeide Vektoren p m und ˆp m nicht verschwinden: Man kann zeigen, daß diesgenau dann geschieht, wenn es kein x m+1 ∈ x 0 + K m+1 (r 0 , A) mit derGalerkin-Eigenschaft gibt. Das Verfahren stoppt aber auch, falls (ˆr m , r m ) =0, auch wenn beide Vektoren r m und ˆr m von Null verschieden sind: Diesgeschieht genau dann, wenn der Lanczos Algorithmus (8.7.3.1) für die Startwertev 1 := r 0 /‖r 0 ‖, w 1 :=ˆr 0 /‖ˆr 0 ‖ mit einem „serious break-down“ abbricht[siehe Abschnitt 8.7.3].Ein weiterer Nachteil ist es, daß die Größen ‖r i ‖ der Residuen miti erratisch schwanken können, bevor sie sich für großes i „beruhigen“.Ebenso leidet die Genauigkeit der berechneten Vektoren r k , ˆr k , p k , ˆp k , undx k erheblich unter dem Einfluß von Rundungsfehlern, wenn die kritischenGrößen(ˆr k , r k )‖ˆr k ‖‖r k ‖ , ( ˆp k , Ap k )‖ˆp k ‖‖Ap k ‖klein werden werden und das Verfahren „fast“ abbricht.Das erratische Verhalten der Residuen r k kann jedoch erheblich verbessertwerden. Auf der Basis von Resultaten von Sonneveldt (1989) hatvan der Vorst (1992) einen Algorithmus vorgeschlagen, das Bi-CGSTAB-Verfahren, der das Bi-CG-Verfahren stabilisiert. Zur Beschreibung diesesVerfahrens benötigen wir einige weitere Eigenschaften der Vektoren, diedas Bi-CG-Verfahren (8.7.4.1) erzeugt. Der folgende Hilfssatz wird ohneBeweis mitgeteilt (man beweist ihn leicht mit Hilfe von (8.7.4.1) durchInduktion bzgl. k):(8.7.4.3) Hilfssatz: Es gibt Polynome R k (µ), P k (µ), k = 1, 2, ..., m, desGrades k mit R k (0) = 1, R 0 (µ) ≡ P 0 (µ) ≡ 1, die die Eigenschaften}r k = R k (A)r 0 , ˆr k = R k (A T )ˆr 0k = 0, 1, ..., m,p k = P k (A)r 0 , ˆp k = P k (A T )ˆr 0besitzen und folgenden Rekursionsformeln genügen}R k+1 (µ) = R k (µ) − a k µP k (µ)(8.7.4.4)k = 0, 1, ..., m − 1.P k+1 (µ) = R k+1 (µ) + b k P k (µ)⊓⊔

342 8 Iterationsverfahren für große lineare GleichungssystemeAus den Rekursionen folgen explizite Formeln für die höchsten Termedieser Polynome für k = 1, 2, ..., m:(8.7.4.5)R k (µ) = (−1) k a 0 a 1 ···a k−1 µ k + O(µ k−1 )P k (µ) = (−1) k a 0 a 1 ···a k−1 µ k + O(µ k−1 )Außerdem folgt aus der Aussage (A m ) (4) von Satz (8.7.4.2) die Orthogonalitätsrelation(8.7.4.6) (Ri (A T )ˆr 0 , R j (A)r 0)=(ˆr0 , R i (A)R j (A)r 0)= 0 for i < j ≤ m.Wir führen nun neue Vektoren ein,¯r k := Q k (A)R k (A)r 0 = Q k (A)r k ,¯p k := Q k (A)P k (A)r 0 = Q k (A)p k ,k = 0, 1, ...,die durch die Wahl weiterer reeller Polynome Q k (µ) vom Grad k der FormQ k (µ) = (1 − ω 1 µ)(1 − ω 2 µ) ···(1 − ω k µ)definiert sind. Die Q k hängen noch von frei zu wählenden Parametern ω iab und genügen jedenfalls der Rekursionsformel(8.7.4.7) Q k+1 (µ) = (1 − ω k+1 µ) Q k (µ).Es wird sich herausstellen, daß man die Vektoren ¯r k und ¯p k (und die zugehörigenVektoren ¯x k mit den Residuen b − A¯x k =¯r k ) direkt berechnenkann, ohne die vom Bi-CG-Verfahren erzeugten Vektoren zu verwenden.Überdies kann der Parameter ω k von Q k so gewählt werden, daß die Größedes neuen Residuums ¯r k minimal wird.Um dies zu zeigen, bemerken wir zunächst, daß die Rekursionen(8.7.4.4) und (8.7.4.7) zu einer Rekursion für ¯r k und ¯p k führen:(8.7.4.8a)¯r k+1 = Q k+1 (A)R k+1 (A)r 0[]= (1 − ω k+1 A)Q k (A) R k (A) − a k AP k (A) r 0[]= Q k (A)R k (A) − a k AQ k (A)P k (A) r 0[]− ω k+1 A Q k (A)R k (A) − a k AQ k (A)P k (A)=¯r k − a k A ¯p k − ω k+1 A(¯r k − a k A ¯p k ),r 0sowie

8.7 Krylovraum-Methoden 343(8.7.4.8b)¯p k+1 = Q k+1 (A)P k+1 (A)r 0[]= Q k+1 (A) R k+1 (A) + b k P k (A)=¯r k+1 + (1 − ω k+1 A) [ b k Q k (A)P k (A) ] r 0=¯r k+1 + b k ( ¯p k − ω k+1 A ¯p k ).r 0Als nächstes zeigen wir, daß die a k und b k mit Hilfe der Vektoren ¯r jund ¯p j ausgedrückt werden können. Dazu führen wir neue Größen ρ k und¯ρ k ein,(8.7.4.9)ρ k :=(ˆr k , r k ),¯ρ k :=(ˆr 0 , ¯r k ) = (ˆr 0 , Q k (A)R k (A)r 0)= ( Q k (A T )ˆr 0 , R k (A)r 0).Nun besitzt Q k (µ) den führenden Term(−1) k ω 1 ···ω k µ k .Außerdem kann wegen (8.7.4.5) jede Potenz µ i mit i < k (≤ m) als Linearkombinationder Polynome R j (µ) mit j < k geschrieben werden. Alsoliefern die Orthogonalitätsrelationen (8.7.4.6) und (8.7.4.9)¯ρ k = (−1) k ω 1 ···ω k((A T ) k ˆr 0 , R k (A)r 0).Daraus folgt mit Hilfe der gleichen Orthogonalitätsargumente und (8.7.4.5),ρ k = (ˆr k , r k ) = ( R k (A T ))ˆr 0 , R k (A)r 0(8.7.4.10)= (−1) k a 0 ···a k−1((A T ) k ˆr 0 , R k (A)r 0),=¯ρ ka 0ω 1··· ak−1ω k.Also kann auch b k = (ˆr k+1 , r k+1 )/(ˆr k , r k ) wie folgt(8.7.4.11) b k = ¯ρ k+1¯ρ ka kω k+1berechnet werden.Als nächstes bestimmen wir mit Hilfe von (A m ) (3), (8.7.4.1) und(8.7.4.5) eine neue Formel für ( ˆp k , Ap k ):( ˆp k , Ap k ) = (ˆr k + b k−1 ˆp k−1 , Ap k )= (ˆr k , Ap k ) = ( R k (A T )ˆr 0 , AP k (A)r 0)Andererseits folgt ebenfalls aus (A m ) (3)= (−1) k a 0 ···a k−1((A T ) k ˆr 0 , AP k (A)r 0).

344 8 Iterationsverfahren für große lineare Gleichungssystemeso daß(ˆr 0 , A ¯p k ) = (ˆr 0 , AQ k (A)P k (A)r 0)= ( Q k (A T )ˆr 0 , AP k (A)r 0)= (−1) k ω 1 ···ω k((A T ) k r 0 , AP k (A)r 0),( ˆp k , Ap k ) = a 0ω 1··· ak−1ω k(ˆr 0 , A ¯p k ).Zusammen mit (8.7.4.10) liefert dies eine neue Formel fürnämlicha k = (ˆr k , r k )/( ˆp k , Ap k ),(8.7.4.12) a k = (ˆr 0, ¯r k )(ˆr 0 , A ¯p k ) = ¯ρ k(ˆr 0 , A ¯p k ) .Bisher ließen wir die Wahl von ω k+1 offen: Da wir an kleinen Residuen¯r i interessiert sind, ist es vernünftig, ω k+1 so zu wählen, daß die Größe‖¯r k+1 ‖ des neuen Residuums von [s. (8.7.4.8a)]¯r k+1 = s k − ω k+1 t k , wo s k :=¯r k − a k A ¯p k , t k := As k ,minimal wird. Dies führt zu der Wahlω k+1 := (s k, t k )(t k , t k ) .Falls ¯r k = b − a ¯x k das Residuum von ¯x k ist, dann ist wegen (8.7.4.8a)¯r k+1 das Residuum von(8.7.4.13) ¯x k+1 :=¯x k + a k ¯p k + ω k+1 (¯r k − a k A ¯p k ).Das Bi-CGSTAB-Verfahren von van der Vorst erhält man schließlichdurch eine Kombination der Formeln (8.7.4.8)–(8.7.4.13):(8.7.4.14) Bi-CGSTAB-Verfahren:Start: Gegeben sei ein ¯x 0 ∈ R n mit ¯r 0 := b − A¯x 0 ≠ 0. Wähle ein ˆr 0 ∈ R nmit (ˆr 0 , ¯r 0 ) ≠ 0, und setze ¯p 0 :=¯r 0 .For k = 0, 1, ...,:Berechne(1) a k := (ˆr 0, ¯r k )(ˆr 0 , Āp k ) ,v := A ¯p k , s := ¯r k − a k v, t := As,(s, t)(2) ω k+1 :=(t, t) ,¯x k+1 :=¯x k + a k ¯p k + ω k+1 s, ¯r k+1 := s − ω k+1 t,

8.8 Der Algorithmus von Buneman und Fouriermethoden 345Stop, falls ‖¯r k+1 ‖ hinreichend klein ist.Andernfalls,(3) berechneb k := (ˆr 0, ¯r k+1 ) a k,(ˆr 0 , ¯r k ) ω k+1¯p k+1 :=¯r k+1 + b k ( ¯p k − ω k+1 v).Man beachte, daß man (ˆr 0 , ¯r k ) in Schritt k nicht mehr bestimmen muß:es wurde bereits in Schritt k − 1 berechnet.Eine Abschätzung des Rechenaufwands zeigt folgendes: In jedem Schrittvon Bi-CGSTAB sind zwei Matrix-Vektor Produkte mit der n×n-Matrix A,vier Skalarprodukte und 12n zusätzliche Gleitpunktoperationen erforderlich,um verschiedene Vektoren der Länge n rekursiv neu zu berechnen. DieserAufwand pro Iteration ist auch für sehr große Probleme gering, wenn nur Aeine dünn besetzte Matrix ist, selbst für unsymmetrisches A. Bi-CGSTAB istdeshalb im Prinzip ein sehr leistungsfähiges Verfahren um selbst sehr großelineare Gleichungssysteme dieser Struktur zu lösen. Seine Effizienz kannman weiter steigern, wenn man Vorkonditionierungstechniken verwendet[s. van der Vorst (1992)].Obwohl das Stabilitätsverhalten von Bi-CGSTAB sehr viel besser alsdas von Bi-CG, sollte man nicht übersehen, daß auch Bi-CGSTAB immerdann abbricht, wenn das zugrunde liegende Bi-CG-Verfahren kollabiert. Bi-CGSTAB ist zwar viel einfacher als das QMR-Verfahren aber nicht so stabil:Anders als das QMR-Verfahren trifft Bi-CGSTAB keine Vorkehrungen gegeneinen ernsthaften oder einen numerischen Kollaps des Verfahrens [s.Abschnitt (8.7.3)]. Schließlich ist Bi-CGSTAB auch nicht gegen die Gefahrengefeit, die dann entstehen, wenn die Galerkinbedingungen einige Iteriertenur schlecht bestimmen. In Abschnitt 8.10 findet man vergleichendenumerische Resultate.8.8 Der Algorithmus von Buneman und Fouriermethodenzur Lösung der diskretisierten PoissongleichungIn leichter Verallgemeinerung des Modellproblems (8.4.1) betrachten wirdas Poisson-Problem(8.8.1)− u xx − u yy + σ u = f (x, y) für (x, y) ∈ Ω,u(x, y) = 0 für (x, y) ∈ ∂Ω

346 8 Iterationsverfahren für große lineare Gleichungssystemefür das Rechteck Ω := {(x, y) | 0 < x < a, 0 < y < b} ⊆R 2 mit demRand ∂Ω. Hier sind σ>0 eine Konstante und f : Ω ∪∂Ω → R eine stetigeFunktion.Diskretisiert man (8.8.1) auf die übliche Weise, so erhält man statt(8.8.1) für die Näherung z ij der u(x i , y j ), x i := i △ x, y j := j △ y, △x :=a/(p + 1), △y := b/(q + 1) die Gleichungen−z i−1, j + 2z ij − z i+1, j△x 2 + −z i, j−1 + 2z ij − z i, j+1△y 2 + σ z ij = f (x i , y j )für i = 1, 2, ..., p, j = 1, 2, ..., q. Zusammen mit den Randwertenz 0 j := z p+1, j := 0 für j = 0, 1,...,q + 1,z i0 := z i,q+1 := 0 für i = 0, 1,...,p + 1erhält man so für die Unbekannten⎡ ⎤z 1zz = ⎢ 2⎥⎣.⎦ , z j = [ ] T,z 1 j , z 2 j ,...,z pjz qein lineares Gleichungssystem, das man in der Form [vgl. (8.4.5)](8.8.2a)Mz = bmit⎡⎤A I 0I A. ..(8.8.2b) M = ⎢⎣ . .. . ⎥ .. I ⎦ ,0 I A⎡ ⎤b 1b = b 2⎢ .⎣⎥. ⎦ ,b qschreiben kann, wobei I = I p die p-reihige Einheitsmatrix, A eine p-reihigeHermitesche Tridiagonalmatrix der Form⎡⎤−2α 1 0(8.8.2c) A = ρ 2 ⎢ 1 −2α . . .⎥⎣ . .. . .. ⎦ 10 1 −2αmitρ := △y△x , α := 1 + 1 + σ△y2 /2ρ 2 ≥ 1,und M aus q Blockzeilen und -Spalten besteht.

8.8 Der Algorithmus von Buneman und Fouriermethoden 347In den letzten Jahren sind einige sehr effektive Verfahren zur Lösungvon (8.8.2) vorgeschlagen worden, die auch dem ADI-Verfahren [s. 8.6]überlegen sind. Alle diese Verfahren sind Reduktionsverfahren: unter Ausnutzungder speziellen Struktur der Matrix M wird die Lösung von (8.8.2)rekursiv auf die Lösung ähnlich gebauter Gleichungssysteme mit der halbenUnbekanntenzahl zurückgeführt und auf diese Weise die Zahl der Unbekanntensukzessive halbiert. Wegen seiner Einfachheit wollen wir hier nureines der ersten Verfahren, den Algorithmus von Buneman (1969) beschreiben[s. auch Buzbee, Golub und Nielson (1970), sowie Hockney (1970) undSwarztrauber (1977) für verwandte Verfahren.]Folgende Beobachtung ist für das Reduktionsverfahren von Bunemanwesentlich: Betrachtet man das Gleichungssystem (8.8.2), ausgeschrieben(8.8.3)Az 1 + z 2 = b 1 ,···z j−1 + Az j + z j+1 = b j , j = 2, 3,...,q − 1,···z q−1 + Az q = b q ,so kann man für alle geraden j = 2, 4, ...aus den drei aufeinanderfolgendenGleichungenz j−2 + Az j−1 + z j = b j−1 ,z j−1 + Az j + z j+1 = b j ,z j + Az j+1 + z j+2 = b j+1 ,die Variablen z j−1 und z j+1 eliminieren, indem man von der Summe derersten und dritten Gleichung das A-fache der zweiten Gleichung abzieht:z j−2 + (2I − A 2 )z j + z j+2 = b j−1 − Ab j + b j+1 .Für ungerades q erhält man so das reduzierte System(8.8.4)⎡2I − A 2I⎢⎣⎤⎡⎤ ⎡⎤Iz 2 b 1 + b 3 − Ab 2. .. . ..z 4. .. . ⎥⎢⎥.. I ⎦⎣. ⎦ = b 3 + b 5 − Ab 4⎢⎣⎥. ⎦I 2I − A 2 z q−1 b q−2 + b q − Ab q−1für z 2 , z 4 , ... . Kennt man die Lösung von (8.8.4), also die geradzahlig indiziertenTeilvektoren z 2 j , so kann man die ungeradzahlig indizierten Vektorenz 1 , z 3 , ...aus folgenden Gleichungen bestimmen, die sofort aus (8.8.3)für j = 1, 3, ...folgen:

348 8 Iterationsverfahren für große lineare Gleichungssysteme(8.8.5)⎡⎤ ⎡ ⎤ ⎡ ⎤A 0 z 1 b 1 − z 2Az 3b 3 − z 2 − z 4⎢A ⎣...⎥z 5=b 5 − z 4 − z 6.⎦ ⎢ ⎥ ⎢ ⎥⎣ . ⎦ ⎣ . ⎦0 A z q b q − z q−1Auf diese Weise hat man die Lösung von (8.8.2) auf die Lösung des reduziertenSystems (8.8.4) mit der halben Zahl von Unbekannten und dieanschließende Lösung von (8.8.5) zurückgeführt. Nun hat (8.8.4) wiederdie gleiche Struktur wie (8.8.2):mit⎡z (1) = ⎢⎣z (1)1z (1)2.z (1)q 1M (1) z (1) = b (1)⎡⎤A (1) I 0M (1) I. .. . ..= ⎢⎣ . .. . ⎥ .. I ⎦ , A(1) := 2I − A 2 ,0 I A (1)⎤ ⎡ ⎤ ⎡z 2b (1) ⎤ ⎡⎤1 b 1 + b 3 − Ab 2⎥⎦ := z 4⎢ ⎥⎣ . ⎦ , b (1)b(1) = ⎢ ⎥⎣2. ⎦ := b 3 + b 5 − Ab 4⎢⎣⎥. ⎦ ,z q−1 b q (1) b q−2 + b q − Ab q−1 1so daß man das eben beschriebene Reduktionsverfahren auch auf M (1) anwendenkann, usw. Allgemein erhält man so für q := q 0 := 2 k+1 − 1 eineFolge von Matrizen A (r) und Vektoren b (r)jnach der Vorschrift:(8.8.6).Start: Setze A (0) := A, b (0)j:= b j , j = 1, 2, ..., q 0 , q 0 := q = 2 k+1 − 1.Für r = 0, 1, 2, ..., k − 1:Setzea) A (r+1) := 2I − ( A (r)) 2,b) b (r+1)j:= b (r)2 j−1 + b(r) 2 j+1 − A(r) b (r)2 j , j = 1, 2, ...,2k−r − 1 =: q r+1 .Für jede Stufe r + 1, r = 0, ..., k − 1, erhält man so ein lineares GleichungssystemM (r+1) z (r+1) = b (r+1) ,ausgeschrieben:

8.8 Der Algorithmus von Buneman und Fouriermethoden 349⎡⎤ ⎡A (r+1) I 0I A (r+1) . ...⎢ .. . .. I ⎥ ⎢⎣⎦ ⎣0 I A (r+1)z (r+1)1z (r+1)2.z (r+1)q r+1⎤⎡=⎥ ⎢⎦ ⎣b (r+1)1b (r+1)2.b (r+1)q r+1Seine Lösung z (r+1) liefert die geradzahlig indizierten Teilvektoren derLösung z (r) des Gleichungssystems M (r) z (r) = b (r) der Stufe r:⎡ ⎤ ⎡ ⎤z (r)2z (r+1)1z (r)z :=⎢4.(r+1)2 ,⎥ ⎢ . ⎥⎣ ⎦ ⎣ ⎦z (r)q r −1z (r)q rz (r+1)q r+1während sich die ungeradzahlig indizierten Teilvektoren von z (r) durchLösung der folgenden Gleichungen ergeben:⎡⎤ ⎡ ⎤ ⎡⎤A (r) 0 z (r)1b (r)1− z (r)2A (r) z (r)3 b (r)3− z (r)2− z (r)4.⎢.....=⎥ ⎢ ⎥ ⎢.. ⎥⎣⎦ ⎣ ⎦ ⎣⎦0 A (r) − z (r)q r −1b (r)q r⎤.⎥⎦Man erhält so aus den Daten A (r) , b (r) , die durch (8.8.6) geliefert werden,schließlich die Lösung z := z (0) von (8.8.2) nach den folgenden Regeln:(8.8.7).0) Start: Bestimme z (k) = z (k)1durch Lösung des GleichungssystemsA (k) z (k) = b (k) = b (k)1 .1) Für r = k − 1, k − 2, ...,0:a) Setze z (r)2 j:= z (r+1)j, j = 1, 2, ..., q r+1 = 2 k−r − 1.b) Berechne für j = 1, 3, 5, ..., q r die Vektoren z (r)jdurch LösungvonA (r) z (r)j= b (r)j− z (r)j−1 − z(r) j+1 .2) Setze z := z (0) .In der Fassung (8.8.6), (8.8.7) ist der Algorithmus noch unvollständig under hat er schwerwiegende numerische Mängel: Zunächst ist die explizite

350 8 Iterationsverfahren für große lineare GleichungssystemeBerechnung von A (r+1) = 2I −(A (r) ) 2 in (8.8.6) a) sehr aufwendig: Aus derTridiagonalmatrix A (0) = A wird mit wachsendem r sehr rasch eine vollbesetzte Matrix [A (r) ist eine Bandmatrix der Bandbreite 2 r + 1], so daß dieBerechnung von (A (r) ) 2 und die Lösung der linearen Gleichungssysteme in(8.8.7) 1b) für größeres r immer teurer wird. Darüber hinaus kann man sichleicht überzeugen, daß die Größe der Matrizen A (r) exponentiell anwächst:z. B. ist für das Modellproblem (8.4.1)⎡⎤−4 1 0.A = A (0) 1 −4 ..= ⎢⎣ . .. . ⎥ .. 1 ⎦ , ∥ A (0)∥ ∥ ≥ 4,0 1 −4∥∥A (r)∥ ∥ ≈ ∥ ∥A (r−1)∥ ∥ 2 ≥ 4 2r ,so daß bei der Berechnung von b (r+1)jin (8.8.6) b) für größeres r große Genauigkeitsverlusteauftreten, weil i. allg. ‖A (r) b (r)2 j ‖≫‖b(r) 2 j−1‖, ‖b(r)2 j+1 ‖ giltund deshalb bei der Summation in (8.8.6) b) die in b (r)2 j−1 , b(r) 2 j+1 enthalteneInformation verloren geht.Beide Nachteile lassen sich durch eine Umformulierung des Verfahrensvermeiden. Die explizite Berechnung von A (r) läßt sich vermeiden, wennman A (r) als Produkt von Tridiagonalmatrizen darstellt:(8.8.8) Satz: Es gilt für alle r ≥ 0∏2 rA (r) [ (=− − A + 2 cosθ(r)j· I )]j=1mit θ (r)j:= (2 j − 1)π/2 r+1 für j = 1, 2, ..., 2 r .Beweis: Wegen (8.8.6) a) gilt mit A (0) = AA (r+1) = 2I − ( A (r)) 2,so daß es ein Polynom p r (t) vom Grad 2 r gibt mit(8.8.9) A (r) = p r (A).Offensichtlich gilt für die Polynome p ralso besitzt p r die Formp 0 (t) = t,p r+1 (t) = 2 − (p r (t)) 2 ,

8.8 Der Algorithmus von Buneman und Fouriermethoden 351(8.8.10) p r (t) =−(−t) 2r +···.Mit Hilfe der Substitution t =−2 cosθ und vollständiger Induktion folgt(8.8.11) p r (−2 cosθ) =−2 cos(2 r θ).Diese Formel ist für r = 0 trivial. Wenn sie für ein r ≥ 0 richtig ist, dannauch für r + 1 wegenp r+1 (−2 cosθ) = 2 − (p r (−2 cosθ)) 2= 2 − 4 cos 2 (2 r θ)=−2 cos(2 · 2 r θ).Wegen (8.8.11) besitzt p r (t) die 2 r verschiedenen reellen Nullstellen( ) 2 j − 1t j =−2 cos π =−2 cosθ (r)2 r+1 j, j = 1, 2,...,2 r ,und daher wegen (8.8.10) die Produktdarstellung∏2 r[p r (t) =− −(t − tj ) ] .j=1Daraus folgt wegen (8.8.9) sofort die Behauptung des Satzes.⊓⊔Den letzten Satz kann man nun in der Weise praktisch nutzen, daß mandie Lösung der verschiedenen GleichungssystemeA (r) u = bGlei-in (8.8.7) 1b) mit der Matrix A (r) rekursiv auf die Lösung von 2 rchungssystemen mit den TridiagonalmatrizenA (r)j:=−A − 2 cosθ (r)jI, j = 1, 2,...,2 r ,zurückführt:A (r)1 u 1 = b ⇒ u 1 ,(8.8.12) A (r)2 u 2 = u 1 ⇒ u 2 ,.A (r)2 u r 2 r = u 2 r −1 ⇒ u 2 r ⇒ u :=−u 2 r.

352 8 Iterationsverfahren für große lineare GleichungssystemeDa, wie man sich leicht überzeugt, die Tridiagonalmatrizen A (r)jfür dieangegebene Diskretisierung von Problem (8.8.1) positiv definit sind, kannman diese Systeme mittels Dreieckszerlegung von A (r)johne Pivotsuche [s.4.3] mit sehr geringem Aufwand lösen.Die numerische Instabilität, die in (8.8.6) b) wegen des exponentiellenWachstums der A (r) auftritt, kann man nach dem Vorschlag von Buneman sovermeiden, daß man statt der Größen b (r)jandere Vektoren p (r)j, q (r)j, j = 1,2, ..., q r , einführt, die mit den b (r)jauf folgende Weise zusammenhängen(8.8.13) b (r)j= A (r) p (r)j+ q (r)j, j = 1, 2,...,q r ,und die man numerisch stabiler als die b (r)jmit diesen Eigenschaften sind folgendermaßen rekursiv berechenbar:q (r)j(8.8.14).berechnen kann. Vektoren p (r)Start: Setze p (0)j:= 0, q (0)j= b j = b (0)j, j = 1, 2, ..., q 0 .Für r = 0, 1, ..., k − 1:Berechne für j = 1, 2, ..., q r+1 :a) p (r+1)jb) q (r+1)j:= p (r)2 j− ( A (r)) −1[p(r)2 j−1 + p(r) 2 j+1 − ] q(r) 2 j ,:= q (r)2 j−1 + q(r) 2 j+1 − 2p(r+1) j.Natürlich läuft die Berechnung von p (r+1)jin Teilschritt a) darauf hinaus,daß man wie eben beschrieben [s. (8.8.12)] zunächst die Lösung u desGleichungssystemsA (r) u = p (r)2 j−1 + p(r) 2 j+1 − q(r) 2 jmit Hilfe der Faktorisierung von A (r) von Satz (8.8.8) bestimmt, und dannmit Hilfe von u berechnet:p (r+1)jp (r+1)j:= p (r)2 j− u.Wir wollen durch Induktion nach r zeigen, daß die Vektoren p (r)j, q (r)j, diedurch (8.8.14) definiert sind, die Beziehung (8.8.13) erfüllen.Für r = 0 ist (8.8.13) trivial. Wir nehmen induktiv an, daß (8.8.13) fürein r ≥ 0 richtig ist. Wegen (8.8.6) b) und A (r+1) = 2I − (A (r) ) 2 gilt dannj,

(r+1)j8.8 Der Algorithmus von Buneman und Fouriermethoden 353= b (r)2 j+1 + b(r) 2 j−1 − A(r) b (r)2 j= A (r) p (r)2 j+1 + q(r) 2 j+1 + A(r) p (r)2 j−1 + q(r) 2 j−1 − A(r)[ A (r) p (r)2 j+ q (r)2 j= A (r)[ p (r)2 j+1 + p(r) 2 j−1 − ]q(r) 2 j+ A (r+1) p (r)2 j+ q (r)2 j−1 + q(r) 2 j+1 − 2p(r) 2 j= A (r+1) p (r)2 j+ ( A (r)) −1{[2I − A(r+1) ][ p (r)2 j+1 + p(r) 2 j−1 − q(r) 2 j+ q (r)2 j−1 + q(r) 2 j+1 − 2p(r) 2 j= A (r+1){ p (r)2 j− ( A (r)) −1[p(r)2 j−1 − p(r) 2 j+1 − q(r) 2 j+ q (r)2 j−1 + q(r) 2 j+1 − 2p(r+1) j= A (r+1) p (r+1)j+ q (r+1)j.Wegen (8.8.13) kann man die Vektoren b (r)jausdrücken und erhält z. B. aus (8.8.7) 1b) für z (r)jA (r) z (r)j= A (r) p (r)j+ q (r)j]}]}in (8.8.7) mit Hilfe der p (r)j, q (r)jdas Gleichungssystem− z (r)j−1 − z(r) j+1 ,so daß man z (r)jauf folgende Weise erhalten kann:Bestimme die Lösung u vonA (r) u = q (r)j− z (r)j−1 − z(r) j+1 ,[man verwende dazu wieder die Faktorisierung von Satz (8.8.8)] und setzeq (r)jz (r)j:= u + p (r)j.Wenn man so systematisch in (8.8.6), (8.8.7) die b (r)jersetzt, erhält man den(8.8.15) Algorithmus von Buneman.durch p (r)jVoraussetzung: Gegeben sei das Gleichungssystem (8.8.2), q = 2 k+1 − 1.0) Start: Setze p (0)j:= 0, q (0)j:= b j , j = 1, 2, ..., q 0 := q.1) Für r = 0, 1, ..., k − 1:Für j = 1, 2, ..., q r+1 := 2 k−r − 1:Berechne die Lösung u des GleichungssystemsA (r) u = p (r)2 j−1 + p(r) 2 j+1 − q(r) 2 j]und

354 8 Iterationsverfahren für große lineare Gleichungssystememittels der Zerlegung von Satz (8.8.8) und setzep (r+1)j:= p (r)2 j− u; q (r+1)j:= q (r)2 j−1 + q(r) 2 j+1 − 2p(r+1) j.2) Bestimme die Lösung u des GleichungssystemsA (k) u = q (k)1und setze z (k) := z (k)1:= p (k)1+ u.3) Für r = k − 1, k − 2, ...,0:a) Setze z (r)2 j:= z (r+1)jfür j = 1, 2, ..., q r+1 .b) Bestimme für j = 1, 3, 5, ..., q r die Lösung u des Gleichungssystemsund setze z (r)j4) Setze z := z (0) .A (r) u = q (r)j:= p (r)j+ u.− z (r)j−1 − z(r) j+1Dieses Verfahren ist sehr effizient: Wie eine Abzählung ergibt, benötigt manzur Lösung des Modellproblems (8.4.1) (a = b = 1, p = q = N = 2 k+1 −1)mit seinen N 2 Unbekannten ungefähr 3kN 2 ≈ 3N 2 log 2 N Multiplikationen,die Zahl der Additionen ist von derselben Größenordnung. Eine Untersuchungder numerischen Stabilität des Verfahrens findet man in Buzbee,Golub und Nielson (1970).Das Buneman-Verfahren ist ein sog. zyklisches Reduktions-Verfahren:Es reduziert wiederholt ein lineares System der Form (8.8.2) auf ein ähnlichstrukturiertes System (8.8.4) halber Größe. Der gleiche Rechenaufwand vonO(N 2 log 2 N) Operationen zur Lösung von (8.8.2) wird von einem „Fourier-Verfahren“ benötigt, das die Techniken der schnellen Fouriertransformationaus der trigonometrischen Interpolation verwendet [s. Bd. I, Abschnitte 2.3.1und 2.3.2]. Dabei wird die spezielle Struktur der Matrix A (8.8.2c) ausgenutzt:Wir beginnen mit der leicht zu bestätigenden Beobachtung, daß diep × p-Matrix⎡ ⎤0 1⎢1. .. . ..⎥⎣ . .. . .. 1⎦1 0die Eigenwerteµ k := 2 cosξ k , ξ k := kπ , k = 1, 2, ..., p,p + 1

8.8 Der Algorithmus von Buneman und Fouriermethoden 355mit den zugehörigen Eigenvektoren(8.8.16) x k := [ sin(ξ k ), sin(2 ξ k ),...,sin(p ξ k ) ] T , k = 1, 2, ..., pbesitzt. Diese Eigenvektoren sind zueinander orthogonal [Satz (6.4.2)] undbesitzen die gleiche euklidische Norm ‖x k ‖= √ (p + 1)/2, so daß dieMatrix√2 [ ]X := x1 , x 2 ,...,x pp + 1eine orthogonale Matrix ist, X −1 = X T . Also hat die Matrix A (8.8.2c) dieEigenwerte(8.8.17) λ k := ρ 2 (µ k − 2α) = 2ρ 2 (cos ξ k − α), k = 1, 2 ..., p,und die gleichen Eigenvektoren x k (8.8.16). Ihre Jordansche Normalform istdaherX T AX = Λ := diag(λ 1 ,...,λ p ).Nun ist das System (8.8.2) äquivalent zu (z 0 = z q+1 := 0)(8.8.18) z j−1 + Az j + z j+1 = b j , j = 1, 2, ..., q.Also gelten für die Vektoren y j := X −1 z j = X T z j und u j := X −1 b j = X T b jdie Gleichungen(8.8.19) y j−1 + Λy j + y j+1 = u j , j = 1, 2, ..., q.Seien nun y kj und u kj , k = 1, ..., p, die k-ten Komponenten von y j bzw.u j . Wegen (8.8.19) genügen dann für jedes k = 1, 2, ..., p, die y kj undu kj , j = 1, 2, ..., q, dem folgenden tridiagonalen System von Gleichungeny k, j−1 + λ k y kj + y k, j+1 = u kj , j = 1, 2, ..., q.Die rechten Seiten u kj , j = 1, ..., q, dieser Gleichungen, d.h. die Komponentenvon u j = X T b j sind dann gegeben durch√2p∑u kj =b lj sin(lξ k ), k = 1, 2, ..., p.p + 1l=1Da die Abszissen ξ k = kπ/(p + 1) äquidistant sind, können diese Summenmit Hilfe der Algorithmen der trigonometrischen Interpolation [s. Bd.I, Satz (2.3.1.12)] berechnet werden, z.B. mit den FFT-Algorithmen ausAbschnitt 2.3.2. Schließlich erhält man die Lösung z j von (8.8.18) durchdie Berechnung von z j = Xy j , wobei wiederum die Algorithmen der trigonometrischenInterpolation aus den Abschnitten 2.3.1 und 2.3.2 verwendetwerden können.

356 8 Iterationsverfahren für große lineare GleichungssystemeNun haben die Matrizen A (r) (8.8.6) des Buneman-Verfahrens die gleichenEigenvektoren x k wie A (8.8.2c). Also können wieder Fouriertechnikenverwendet werden, um die reduzierten Systeme M (r) z (r) = b (r) zu lösen,die in (8.8.7), 1)b) vorkommen. Man kann auf diese Weise ein kombiniertesVerfahren konstruieren, das aus l Reduktionsschritten vom Buneman-Typ,r = 1, 2, ..., l, und der anschließenden Lösung von Systemen niedrigererOrdnung durch Fouriermethoden besteht. Dies führt auf den FACR(l)- Algorithmusvon Hockney (1969) (FACR: Fourier analysis and cyclic reduction).Swarztrauber (1977) konnte zeigen, daß man bei einer geeigneten Wahl vonl ein Verfahren erhält, das nur O(N 2 log 2 log 2 N) Operationen benötigt, umdas Poisson-Problem auf einem N × N-Gitter mit p = q = N = 2 k+1 − 1zu lösen.In der vorliegenden Form dienen die Verfahren zur Lösung des diskretisiertenDirichletschen Randwertproblems für die Poisson-Gleichung aufeinem Rechteckgebiet. Es gibt Varianten der Verfahren zur Lösung analogerRandwertprobleme für die Helmholtzgleichung oder die biharmonischeGleichung auf Rechtecksgebieten.Reduktionsverfahren mit noch besseren Stabilitätseigenschaften zur Lösungsolcher Probleme wurden von Schröder, Trottenberg und Reutersberg(1973, 1976) angegeben und eingehend untersucht. Es gibt ferner kompliziertereVersionen dieser Verfahren zur Lösung der entsprechenden diskretisiertenRandwertprobleme für Nichtrechtecksgebiete [s. Buzbee und Dorr(1974), Buzbee et al. (1971), Proskurowski und Widlund (1976), O’Learyund Widlund (1979)]. Während diese Verfahren direkt, also nichtiterativsind, gibt es mittlerweile leistungsfähige Iterationsverfahren mit erheblichverbesserten Konvergenzeigenschaften. Zu ihnen gehören die Mehrgitterverfahren,deren Prinzipien wir im nächsten Abschnit kurz erläutern wollen,und die modernen Gebiets-Zerlegungs-Methoden: Hier sei der Leser aufdie Spezialliteratur verwiesen, etwa Chan, Glowinski, Periaux und Widlund(1989); Glowinski, Golub, Meurant und Periaux (1988); Keyes und Gropp(1987).8.9 MehrgitterverfahrenMehrgitterverfahren gehören zu den leistungsfähigsten Verfahren, um dielinearen Gleichungssysteme zu lösen, die man bei der Diskretisierung vonDifferentialgleichungen erhält. Wir wollen hier nur die Grundideen dieservielseitigen und variantenreichen Verfahren in einer sehr einfachen Situationstudieren, was aber schon die wesentlichen Prinzipien klar werden läßt. Füreine eingehende Behandlung muß auf die Spezialliteratur verwiesen werden,

8.9 Mehrgitterverfahren 357z. B. Brandt (1977), Hackbusch und Trottenberg (1982), insbesondere aufdie Monographie von Hackbusch (1985). Unsere Darstellung schließt sichan Briggs (1987) an. Anstelle von Randwertproblemen für partielle Differentialgleichungen,wo die Stärke von Mehrgitterverfahren erst recht zumTragen kommt, betrachten wir hier als Modellproblem nur die Randwertaufgabe[vgl. (7.4.1)](8.9.1)−y ′′ (x) = f (x)y(0) =y(π) = 0,für x ∈ Ω := (0,π),für eine gewöhnliche Differentialgleichung, die als eindimensionales Analogondes zweidimensionalen Modellproblems (8.4.1) anzusehen ist. Dieübliche Diskretisierung mit einer Schrittweite h = π/n führt zu einemeindimensionalen Gitter Ω h ={x j = jh | j = 1,...,n − 1} ⊂Ω undschließlich zu einem linearen Gleichungssystem(8.9.2)⎡⎤ ⎡ ⎤2 −1 0f (x 1 )A h u h = f h , A h := 1 ⎢ −1 2. ..⎥h 2 ⎣ . .. . .. ⎦ , f f (xh := ⎢ 2 )⎥⎣ ⎦ −1.,0 −1 2f (x n−1 )für einen Vektor u h = [u h;1 ,...,u h;n−1 ] T von Näherungswerten u h; j ≈y(x j ) für die exakte Lösung y auf dem Gitter Ω h . Der Index h deutet auchan, daß u h und f h als Funktionen auf dem Gitter Ω h aufzufassen sind: Diej-te Komponente u h; j von u h läßt sich so auch als Wert der Gitterfunktionu h (x) für x = x j ∈ Ω h schreiben, u h; j = u h (x j ), was wir gelegentlich tunwerden. Die Matrix A h ist eine (n−1)-reihige Matrix, deren Eigenwerte λ (k)hund Eigenvektoren z (k)hexplizit angegeben werden können [vgl. Abschnitt8.4]:(8.9.3)z (k)h:=[sin kh, sin 2kh,...,sin(n − 1)kh] T ,λ (k)h:= 1 h 4 kh 2 sin2 2 = 2 (1 − cos kh), k = 1, 2,...,n − 1.h2 Dies bestätigt man leicht durch Verifikation von A h z (k)h= λ (k)hz(k) h , k = 1,..., n − 1. Die Vektoren z (k)hbesitzen die euklidische Norm ‖z (k)h ‖=√ n/2und sind orthogonal zueinander [Satz (6.4.2)].Betrachtet man die Komponenten sin jkh = sin jkπ der Vektoren z (k)nhauf den Gitterpunkten x j von Ω h für j = 1, ..., n − 1, so sieht man, daßdie z (k) = z (k)hmit wachsendem k = 1, ..., n − 1 Schwingungen wachsender„Frequenz“ k beschreiben: Die Frequenz k gibt gerade die Anzahl derHalbwellen auf Ω h an (s. Fig. 24 für n = 6, k = 1).

358 8 Iterationsverfahren für große lineare Gleichungssysteme½ºº ºº¯¯¼ºº¯ºÜ ½ºÜ ¾ºÜ ¿ºÜ ºÜ ºººº¼º½º¯¯Fig. 24. Die Gitterfunktion z (2) .Um die Notation zu vereinfachen, lassen wir gelegentlich den Indexh fort, wenn es klar ist, zu welchen Schrittweiten h bzw. Gittern Ω h dieVektoren und Matrizen u = u h , f = f h , A = A h gehören.Eine der Motivationen für Mehrgitterverfahren liegt in dem Konvergenzverhaltender üblichen Iterationsverfahren (8.1.7), (8.1.8) zur Lösung vonAu = f . Wir wollen dies für das Jacobi-Verfahren (8.1.7) näher studieren.Die Standardzerlegung (8.1.5), (8.1.6)A h = D h (I − J h ), D h = 2 h 2 I,von A = A h führt zu der (n − 1)-reihigen Matrix⎡ ⎤0 1 0J = J h = I − h22 A h = 1 ⎢ 1 0. ..⎥2 ⎣ . .. . .. 1⎦0 1 0und der Iterationsformel des Jacobi-Verfahrensv (i+1) = Jv (i) + h22 f,das eine Folge v (i) (= v (i)h) von Näherungsvektoren für die exakte Lösungu = u h von (8.9.2) erzeugt. Der Fehler e (i) := v (i) − u genügt dann derRekursionsformele (i+1) = Je (i) = J i+1 e (0) .Die Iterationsmatrix J = J h = I − h22 A h besitzt die Eigenwerte

µ (k) = µ (k)h8.9 Mehrgitterverfahren 359= 1 − h22 λ(k) h= cos kh, k = 1,...,n − 1,und die gleichen Eigenvektoren z (k) = z (k)hwie A h . Wir analysieren dasVerhalten des Fehlers e nach einem Iterationsschritt e ⇒ ē = Je undzerlegen dazu e nach den Eigenvektoren von J = J h [s. 6.6.3]e = ρ 1 z (1) +···+ρ n−1 z (n−1) .Hier gibt das Gewicht ρ k an, wie stark die Schwingung der Frequenz k ane beteiligt ist. Es folgtē = ρ 1 µ (1) z (1) +···+ρ n−1 µ (n−1) z (n−1) .Wegen 1 >µ (1) >µ (2) > ··· >µ (n−1) =−µ (1) > −1 folgt, daß alleFrequenzen k = 1, 2, ..., n − 1 von e gedämpft werden, jedoch in unterschiedlichemMaße: Die extremen Frequenzen mit k = 1 und k = n − 1werden am schlechtesten gedämpft, die mittleren mit k ≈ n dagegen sehr2gut.Durch Einführung eines geeigneten Relaxationsfaktors ω in die Iterationsmatrixläßt sich das Dämpfungsverhalten für die hohen Frequenzennk mit ≤ k ≤ n − 1 erheblich verbessern. Dazu betrachten wir das2gedämpfte Jacobi-Verfahren (8.1.3), (8.1.4), (8.1.7) das zu der ZerlegungA = A h = B − (B − A) mit B := (1/ω)D gehört und zu den Iterationsformeln(8.9.4) v (i+1) = J(ω)v (i) + ω 2 h2 fmit der Matrix J h (ω) = J(ω) := (1 − ω)I + ωJ führt. Für ω = 1 erhältman das ursprüngliche Jacobi-Verfahren zurück, J(1) = J. J(ω) besitztoffensichtlich die Eigenwerte(8.9.5)µ (k)h (ω) = µ(k) (ω) := 1 − ω + ωµ (k) = 1 − 2ω sin 2 kh , k = 1,...,n − 1,2und wieder die Eigenvektoren z (k) = z (k)h .Ein Iterationsschritt transformiert den Fehler folgendermaßen:∑n−1∑n−1(8.9.6) e = ρ k z (k) ⇒ē = J(ω)e = ρ k µ (k) (ω)z (k) .k=1Wegen |µ (k) (ω)| < 1für alle 0

360 8 Iterationsverfahren für große lineare Gleichungssystememaxn2 ≤k≤n−1 |µ(k) (ω)|minimal, und es gilt dann |µ (k) (ω)| ≤ 1/3 für n ≤ k ≤ n − 1: Man2beachte, daß dieser Dämpfungsfaktor 1/3 für die hohen Frequenzen nichtvon h abhängt, während nach wie vor max k |µ (k) (ω)| =µ (1) (ω) = 1 −2ω sin 2 (h/2) = 1 − O(h 2 ) für kleines h ↓ 0 gegen 1 konvergiert, also auchdas gedämpfte Jacobi-Verfahren für h ↓ 0 immer schlechter konvergiert[vgl. die Diskussion in Abschnitt 8.4].Ein Nachteil des gedämpften Jacobi-Verfahrens ist es, daß es von einem richtigzu wählenden Parameter ω abhängt. In der Praxis zieht man parameterunabhängigeIterationsverfahren vor. Ein solches Verfahren ist das Gauß-Seidel-Verfahren (8.1.8),das zu der Zerlegung⎡ ⎤0 ... ... 0A h = D h − E h − F h , E h = Fh T := 1 . . 1 .. ..h 2 ⎢⎣.. .. . . ⎥.. .. ⎦ ,0 ... 1 0von A h gehört. Man erhält die Iterierte v (i+1) aus v (i) durch Lösung der linearenGleichungen(A h − E h )v (i+1) − F h v (i) = f h .Man kann zeigen, daß das Gauß-Seidel-Verfahren ähnliche Dämpfungseigenschaftenwie das gedämpfte Jacobi-Verfahren besitzt. Da die Theorie des gedämpften Jacobi-Verfahren einfacher ist, beschränken wir uns im folgenden auf die Analyse diesesVerfahrens.Durch relativ wenige Schritte des gedämpften Jacobiverfahrens kannman eine Iterierte v (i) = v (i)hfinden, deren Fehlere (i)h= v (i)h− u h = ρ (i)1 z(1) h+···+ρ (i)n−1 z(n−1) hpraktisch keine hochfrequenten Anteile mehr enthält,maxn/2≤k

8.9 Mehrgitterverfahren 361gröberen Gitter Ω 2h ={j · 2h | j = 1, 2,..., n − 1} (wir setzen hier2voraus, daß n eine gerade Zahl ist) mit Hilfe eines Projektionsoperators Ih2happroximieren:⎡⎤1 2 1g 2h := Ih 2h g h, Ih 2h := 1 ⎢ 1 2 1 ⎥⎣⎦ .4··· ···1 2 1Dabei ist Ih2h eine ( n 2 − 1) × (n − 1)-Matrix: Faßt man g h als Funktionauf Ω h und g 2h als Funktion auf dem „groben“ Gitter Ω 2h auf, so erhältman g 2h durch Mittelungg 2h ( j · 2h) = 1 4 g h((2 j − 1)h) + 2 4 g h(2 j · h) + 1 4 g h((2 j + 1)h)für j = 1, ..., n − 1 (s. Fig. 25 für n = 6).2¿ºº ººÆƺººº¾½ººº º º º º º º º º ºººººº ÆƺºººººººÆ ººº ºº¾ºº ºº ºº ºº º ƺº ºººººººÜ½ ܾ Ü¿ Ü ÜFig. 25. Projektion durch Mittelung.ºººAnstelle des oben beschriebenen Mittelungsoperators könnte man auch den einfacherenProjektionsoperator⎡⎤0 1 0Ih 2h ⎢ 0 1 0 ⎥= ⎣... ...⎦0 1 0wählen, der der Funktion g h auf Ω h die Funktion g 2h = Ih2hgh mitg 2h ( j · 2h) := g h (2 j · h), j = 1,..., n 2 − 1,auf Ω 2h zuordnet. Wir werden diese Möglichkeit aber nicht weiter diskutieren.

362 8 Iterationsverfahren für große lineare GleichungssystemeUmgekehrt kann man mit Hilfe eines Interpolationsoperators I h 2h jedeGitterfunktion g 2h auf dem groben Gitter Ω 2h durch Interpolation zu einerGitterfunktion g h = I h 2h g 2h auf dem feinen Gitter Ω h fortsetzen, wenn manI2h h z. B. definiert durch: ⎡12I2h h := 1 2⎢⎣1 12⎤1 . .. .1 ⎥⎦21Dabei ist I2h h eine (n − 1)×( n 2 − 1)-Matrix, g h wird durch Interpolationaus g 2h erhalten (g 2h (0) = g 2h (π) := 0), d. h. für j = 1, ..., n − 1 gilt{g2h ( j · 2h) falls j gerade,2g h ( jh) :=12 g 2h( j−1 · 2h) + 1 2 2 g 2h( j+1 · 2h) sonst.2(s. Fig. 26 für n = 6).¾½ºº ºººº ƺ ƺƺƺÆÆ ¾ºººººÜ½ ܾ Ü¿ Ü ÜFig. 26. Fortsetzung durch Interpolation.ººººDie einfachste Form eines Mehrgitterverfahrens besteht nun darin, imAnschluß an eine Reihe Glättungsschritte mit dem gedämpften Jacobi-Verfahren (8.9.4), die eine Näherungslösung v (i)hvon A h u h = f h mit demFehler e (i)hund dem Residuum r (i)hliefern, das Residuum r (i)h⇒ r (i)2h :=Ih2hr(i)hauf das gröbere Gitter Ω 2h zu projizieren, dann das lineare GleichungssystemA 2h e (i)2h =−r(i) 2h

8.9 Mehrgitterverfahren 363„auf dem groben Gitter“ zu lösen und schließlich die Lösung e (i)2h ⇒ẽ(i) h:=I2h h e(i) 2hauf das feine Gitter Ω h fortzusetzen. Man erwartet dabei, daß ẽ (i)hjedenfalls dann eine recht gute Approximation für die Lösung e (i)hvonA h e (i)h=−r (i)hist, falls e (i)hdeshalb v (i+1)hLösung u h ist als v (i):= v (i)hh .−ẽ (i)heine „langwellige“ Gitterfunktion ist, und daßeine sehr viel bessere Approximation für dieInsgesamt erhalten wir so ein einfaches Zweigitterverfahren (ZG), dasaus einer gegebenen Näherungslösung v (i)hvon A h u h = f h die nächsteNäherungslösung v (i+1)h:= ZG(v (i)h) nach folgender Vorschrift erzeugt:(8.9.7) Zweigitterverfahren: Sei v h ein Gittervektor auf Ω h .1) (Glättungsschritt) Führe ν Schritte des gedämpften Jacobi-Verfahrens(8.9.4) mit ω = ω 0 := 2/3 und dem Startvektor v h durch. Das Resultatsei der Vektor w h mit dem Residuum r h := f h − A h w h .2) (Projektionsschritt) Berechne r 2h := I 2hh r h.3) (Grobgitterlösung) Löse A 2h e 2h =−r 2h .4) (Interpolation und Feingitterkorrektur) Setze ZG(v h ) := w h − I h 2h e 2h.In unserem einfachen Modellproblem können wir das Verhalten des Fehlerse h := v h − u h →ē h :=¯v h − u hin einem Iterationsschritt v h ⇒¯v h := ZG(v h ) von (8.9.7) verhältnismäßigleicht analysieren. Nach den ν Dämpfungsschritten gilt für den Fehlerd h := w h − u h von w h wegen (8.9.6)d h = J(ω 0 ) ν e h , r h =−A h d h =−A h J(ω 0 ) ν e h .Weiter findet man aus (8.9.7),ohne Mühe die Formel(8.9.8)mit der (n − 1) × (n − 1)-MatrixA 2h e 2h =−r 2h =−Ih2h r h = Ih 2h A hd h ,ē h =¯v h − u h = d h − I2h h e 2h,ē h = ( I − I2h h A−1 2h I h 2h A h)dh=C h · J(ω 0 ) ν e hC h := I − I2h h A−1 2h I h 2h A h.Um die Fortpflanzung der einzelnen Frequenzen in e h nach ē h zu studieren,benötigen wir Formeln für die Abbildung C h z (k)hder Eigenvektoren z (k)hvon

364 8 Iterationsverfahren für große lineare GleichungssystemeA h . Mit den Abkürzungen c k := cos 2 (kh/2), s k := sin 2 (kh/2), k ′ := n − k,verifiziert man sofort durch einfaches Nachrechnen{c k z (k)(8.9.9) Ih2h z(k) h=2hfür k = 1,..., n 2 − 1,−s k ′z (k′ )2hfür k = n ,...,n − 1.2Dabei sind die z (k)2h ,1≤ k < n/2, gerade die Eigenvektoren von A 2h zu denEigenwertenλ (k)2h = 4(2h) 2 sin2 kh = 1 h 2 sin2 kh[s. (8.9.3)], so daßA −12h z(k) 2h = 1λ (k)2hEbenfalls durch Nachrechnen zeigt manz (k)2h , k = 1, 2,...,n 2 − 1.(8.9.10) I h 2h z(k) 2h = c kz (k)h− s k z (k′ )h, k = 1, 2,..., n 2 − 1.Durch Kombination dieser Resultate erhält man für k = 1,2,..., n 2 − 1I2h h A−1 2h I h2hUnter Verwendung vonλ (k)hλ (k) =2hA hz (k)h= λ (k)hI 2h h A−12h I h2hz(k) h= λ (k)hc k I2h h A−1 2h z(k) 2h= λ(k) hλ (k)2h= λ(k) hλ (k)2h4sin 2 kh/2h 2 1sin 2 kh = 4s ksin 2 kh ,h 2c k I h 2h z(k) 2hc k (c k z (k)h− s k z (k′ )h).bekommt man schließlich für k = 1, 2, ..., n 2 − 1(8.9.11) C h z (k)h= (I − I h 2h A−12h I h2hA h)z (k)hc ks k = 1 4 sin2 kh,= s k z (k)h+ s k z (k′ )h.Auf die gleiche Weise berechnet man auch die Wirkung von C h auf die„hochfrequenten“ Vektoren z (k′ )h:(8.9.12) C h z (k′ )h= c k z (k)h+ c k z (k′ )h, k = 1,..., n 2 .Wir können nun folgenden Satz zeigen:

8.9 Mehrgitterverfahren 365(8.9.13) Satz: Wählt man ν = 2, ω 0 = 2/3, so gilt nach einem Schritt von(8.9.7) für die Fehler e h := v h −u h , ē h :=¯v h −u h von v h und ¯v h := ZG(v h )die Abschätzung‖ē h ‖ 2 ≤ 0.782 ‖e h ‖ 2 .Das Zweigitterverfahren liefert also Vektoren v ( j+1)h= ZG(v ( j)h), derenFehler e ( j)h= v ( j)h−u h mit einer von h unabhängigen Konvergenzrate gegen0 konvergieren,‖e ( j)h ‖ 2 ≤ 0.782 j ‖e (0)h ‖ 2.Dies bemerkenswert, weil die Konvergenzraten aller bisher behandelten Iterationsverfahren[vgl. Abschnitt 8.4] von h abhängen und für h ↓ 0 immerschlechter werden.Beweis: Der Fehler e h = v h − u h besitze die Zerlegunge h = ρ 1 z (1)h+···+ρ n−1 z (n−1)h.Wir haben bereits gesehen (s. (8.9.5)), daß J(ω 0 ) ebenfalls die Eigenvektorenz (k)hzu den Eigenwerten µ (k)h (ω 0) = 1 − 2ω 0 s k , k = 1, ..., n − 1,besitzt. Nach Wahl von ω 0 gilt dann für k = 1, ..., n 2 , k′ := n − k|µ (k)h (ω 0)| < 1, |µ (k′ )h(ω 0 )|≤ 1 3 .Aus (8.9.6), (8.9.11) und (8.9.12) folgt für k = 1, ..., n 2C h J(ω 0 ) ν z (k)h= ( µ (k)h(ω 0) ) ν(sk z (k)h+ s k z (k′ )h) =: α k (z (k)h+ z (k′ )h),C h J(ω 0 ) ν z (k′ )h= ( µ (k′ )h(ω 0 ) ) ν(ck z (k)h+ c k z (k′ )h) =: β k (z (k)h+ z (k′ )h),wobei für die α k := (µ (k)h (ω 0)) ν s k , β k := (µ (k′ )h(ω 0 )) ν c k die Abschätzungen|α k |≤s k ≤ 1 2 , |β k|≤ 1 3 ν für k = 1,..., n 2gelten. Damit erhält man für den Fehler (δ n/2 := 1/2, sonst δ k := 1)ē h = C h J(ω 0 ) ν e hn/2∑= δ k (ρ k α k + ρ k ′β k )(z (k)h+ z (k′ )h).k=1Wegen der Orthogonalität der z (k)herhält man die Abschätzungund ‖z (k)h ‖2 = n/2 für k = 1, ..., n − 1

366 8 Iterationsverfahren für große lineare Gleichungssysteme[ ∑n/2]‖ē h ‖ 2 = n δ k (ρk 2 α2 k + ρ2 k ′β2 k + 2ρ kρ k ′α k β k )k=1[ ∑n/2]≤ n δ k (ρk 2 α2 k + ρ2 k ′β2 k + (ρ2 k + ρ2 k ′)|α kβ k |)k=1≤ n( 1 4 + 1n/22 · 3 ) ∑δ ν k (ρk 2 + ρ2 k ′)= ( 1 2 + 1 3 ν )‖e h‖ 2 .k=1Für ν = 2 folgt daraus die Behauptung des Satzes. ⊓⊔Für das Zweigitterverfahren stellt sich das Problem, wie man in Schritt3) von (8.9.7) das lineare Gleichungssystems A 2h e 2h =−r 2h auf demgröberen Gitter Ω 2h löst. Hier liegt die Idee nahe, das Zweigitterverfahrenauch zur Lösung dieses Systems zu verwenden unter Benutzung vonLösungen von Gleichungen auf dem nächstgröberen Gitter Ω 4h usw. Manerhält so Mehrgitterverfahren im engeren Sinne. Als einen wesentlichen Bestandteilder verschiedenen denkbaren Verfahren dieses Typs beschreibenwir hier noch den sog. Mehrgitter-V-Zyklus, der in jedem Schritt zur Lösungvon A h u h = f h auf dem feinsten Gitter Ω h alle GitterΩ h → Ω 2h →···→Ω 2 j h → Ω 2 j−1 h →···→Ω hder Reihe nach besucht. Der Name V-Zyklus rührt daher, daß man zunächstvom feinsten zum gröbsten Gitter „absteigt“ und dann wieder zum feinstenGitter „aufsteigt“. Während eines V -Zyklus wird eine Näherungslösung v hvon A h u = f h durch eine neue Näherungslösungv h ← MV h (v h , f h )ersetzt, wobei die Funktion MV h (v h , f h ) rekursiv definiert ist durch(8.9.14) Mehrgitter-V-Zyklus: Gegeben v h , f h . Setze H := h.1) Wende ν-mal das gedämpfte Jacobi-Verfahren (8.9.4) (mit ω = ω 0 =2/3) zur Lösung von A H u = f H mit dem Startvektor v H an und bezeichnedas Resultat wieder mit v H .2) Falls H = 2 j h, fahre fort mit 4). Andernfalls setzef 2H := I 2HH ( f H − A H v H ), v 2H := MV 2H (0, f 2H ).3) Berechne v H := v H + I H 2H v 2H .4) Wende ν-mal (8.9.4) zur Lösung von A H u = f H ausgehend vom Startwertv H an und nenne das Ergebnis wieder v H .

8.10 Vergleich der Iterationsverfahren 367Weitere Varianten sind in der Literatur beschrieben und analysiert worden[s. z. B. Brandt (1977), Hackbusch und Trottenberg (1982), Hackbusch(1985), McCormick (1987)]. Für die effektivsten unter ihnen kann manunter sehr allgemeinen Bedingungen zeigen, daß sie zur Lösung von Diskretisierungsgleichungenwie A h u h = f h mit N Unbekannten nur O(N)Operationen benötigen, um eine Näherungslösung v h zu finden, deren Fehler‖v h − u h ‖=O(h 2 ) von der Größenordnung des Diskretisierungsfehlersmax x∈Ωh ‖y(x) − u h (x)‖ =τ(h) = O(h 2 ) ist [vgl. Satz (7.4.10)]. Dadie exakte Lösung u h der diskretisierten Gleichung A h u h = f h sich vonder exakten Lösung y(x) des ursprünglichen Problems (8.9.1) durch denDiskretisierungsfehler τ(h) unterscheidet, hat es keinen Sinn, ein v h mit‖v h − u h ‖≪τ(h) zu bestimmen.Für das einfache Zweigitterverfahren (8.9.7) können wir mit Hilfe vonSatz (8.9.13) ein etwas schwächeres Ergebnis zeigen: Wegen N = n−1 undh 2 = π 2 /n 2 erfordert dieses Verfahren nach (8.9.13) j = O(ln N) Iterationen,um z. B. aus der Startlösung v (0)h= 0 ein v ( j)hmit ‖v ( j)h− u h ‖=O(h 2 )zu berechnen. Da die Lösung des tridiagonalen Gleichungssystems in Schritt3) von (8.9.7) O(N) Operationen erfordert, benötigt (8.9.7) insgesamtO(N ln N) Operationen, um eine Lösung akzeptabler Genauigkeit zu bestimmen.8.10 Vergleich der IterationsverfahrenZum Vergleich der Verfahren aus diesem Kapitel betrachten wir den Rechenaufwand,den diese Verfahren bei der Lösung des folgenden Randwertproblems(8.10.1)− u xx − u yy + γ xu x + γ yu y + δ u = f,u(x, y) = 0 for (x, y) ∈ ∂Ω,Ω :={(x, y) | 0 ≤ x, y ≤ 1 },δ, γ Konstante,auf dem Einheitsquadrat Ω des R 2 erfordern.Für δ = γ = 0 erhalten wir das Modellproblem von Abschnitt 8.4. Wiedort approximieren wir das Problem (8.10.1) durch Diskretisierung: Wirwählen eine Schrittweite h = 1/(N + 1), Gitterpunkte (x i , y j ) := (ih, jh),i, j = 0, 1, ..., N + 1, und ersetzen die Ableitungen u xx , u yy , u x , u y in(x i , y j ), i, j = 1, ..., N, durch zentrale Differenzen:−u xx (x i , y j ) − u yy (x i , y j ) ≈ 4u ij − u i+1, j − u i−1, j − u i, j+1 − u i, j−1h 2 ,u x (x i , y j ) ≈ u i+1, j − u i−1, j2h, u y (x i , y j ) ≈ u i, j+1 − u i, j−1.2h

368 8 Iterationsverfahren für große lineare GleichungssystemeDies liefert ein System von linearen Gleichungen(8.10.2) Az = bfür den Vektorz := [z 11 , z 21 ,...,z N1 ,...,z 1N , z 2N ,...,z NN ] Tder N 2 Unbekannten z ij , i, j = 1, ..., N, die u ij := u(x i , y j ) approximieren.Die Matrix A hängt von der Wahl von δ und γ ab. Für δ = γ = 0 istsie (bis auf den Faktor h 2 ) mit der positiv definiten Matrix A (8.4.5) desModellproblems identisch. Für γ = 0 und alle δ ist A noch symmetrisch,wird aber für genügend kleine negative Werte von δ indefinit. Schließlichist A für alle γ ≠ 0 nichtsymmetrisch.In einer ersten Gruppe von Tests vergleichen wir die Verfahren vonJacobi, Gauß-Seidel, die Relaxationsmethoden, die ADI-Verfahren und dasVerfahren von Buneman. Wir verwenden dazu die linearen Gleichungen(8.10.2), die zu dem Modellproblem gehören, weil für dieses Problem dieKonvergenzeigenschaften der Verfahren genau bekannt sind. Außerdem sinddie ADI-Verfahren und das Verfahren von Buneman auf die Behandlungdes Modellproblems (und einfacher Varianten davon) zugeschnitten. Dielinearen Gleichungen (8.10.2) zum Modellproblem werden auch im Testdes konjugierten Gradientenverfahrens verwandt, weil das cg-Verfahren diepositive Definitheit von A voraussetzt.In einer zweiten Gruppe von Tests benutzen wir zum Vergleich derübrigen Krylovraum-Methoden (GMRES, QMR, Bi-CGSTAB) die linearenGleichungen (8.10.2) mit einer nichtsymmetrischen Matrix A (γ ≠ 0und δ ≪ 0); diese Verfahren dienen ja zur Lösung solcher allgemeinererProbleme.Für die erste Gruppe von Tests, die zu dem Modellproblem gehören,verwenden wir als rechte Seite f von (8.10.1) die Funktionf (x, y) = 2π 2 sin π x sin πy.Die exakte Lösung u(x, y) von (8.10.1) ist dannu(x, y) := sin π x sin πyund als rechte Seite b von (8.10.2) erhält manwobeib := 2π 2 ūū := [u 11 , u 21 ,...,u N1 ,...,u 1N ,...,u NN ] T , u ij = u(x i , y j ).

8.10 Vergleich der Iterationsverfahren 369In Abschnitt 8.4 wurden die Eigenvektoren der Iterationsmatrix J desJacobiverfahrens angegeben, die zu A gehört. Man verifiziert sofort, daß bEigenvektor von J, und wegen A = 4(I − J)/h 2 auch Eigenvektor von Aist. Daher läßt sich auch die exakte Lösung z von (8.10.2) angeben: Wegenerhält man(8.10.3) z :=Jb = µb, mit µ = cos πh.h 2 π 22(1 − cos πh)ū .Für das Relaxationsverfahren wurden die optimalen Relaxationsparameterω b gewählt [s. Satz (8.3.17)], wobei für ρ(J) der exakte Wert (8.4.6)genommen wurde. Ebenso wurden im ADI-Verfahren die optimalen Parameteraus (8.6.23) gewählt, die zu m = 2 k , k = 2, 4, gehören, und dieParameter α und β wie in (8.6.24).Als Maß für den Fehler wurde die Größe¯r (i) := ∥ ∥Az (i) − b ∥ ∥∞genommen; die Iterationen wurden abgebrochen, sobald ¯r (i) auf die Größenordnung10 −4 reduziert war.Bei den Jacobi-, Gauß-Seidel-, Relaxations- und ADI-Verfahren wurdez (0) := 0 als Startvektor der Iteration benutzt. Dem entspricht das Startresiduum¯r (0) = 2π 2 ≈ 20. Die Ergebnisse findet man in Tabelle I, in derneben dem Wert N auch die Zahl i der Iterationen und das Endresiduum¯r (i) angegeben sind.Die Resultate von Tabelle I stehen im Einklang mit den Aussagenüber die Konvergenzgeschwindigkeit, die in Kapitel 8 hergeleitet wurden:das Gauß-Seidel-Verfahren konvergiert doppelt so schnell wie das Jacobi-Verfahren [Korollar (8.3.16)], die Relaxationsverfahren bringen eine weitereReduktion der Anzahl der Iterationen [Satz (8.3.17), (8.4.9)], und das ADI-Verfahren benötigt die wenigsten Iterationen [vgl. (8.6.28)].Da das Verfahren von Buneman [s. Abschnitt 8.8] nichtiterativ ist und(bei exakter Rechnung) die exakte Lösung von (8.10.2) in endlich vielenSchritten mit einem Aufwand [s. 8.8] von ca. 6N 2 log 2 N Gleitpunktoperationenliefert, sind die Rechenresultate für dieses Verfahren nicht angegeben.Um die iterativen Verfahren mit dem von Buneman zu vergleichen, beachteman, daß alle diese Verfahren nur die Lösung z von (8.10.2) berechnen.Diese Lösung z ist aber nur eine Approximation für die eigentlich gesuchteLösung u(x, y) von (8.10.1). In der Tat folgt aus (8.10.3) durch Taylorentwicklungnach Potenzen von h

370 8 Iterationsverfahren für große lineare GleichungssystemeVerfahren k N ¯r (i) iJacobi 5 3.5 × 10 −3 6010 1.2 × 10 −3 235Gauss-Seidel 5 3.0 × 10 −3 3310 1.1 × 10 −3 12725 5.6 × 10 −3 600Relaxation 5 1.6 × 10 −3 1310 0.9 × 10 −3 2825 0.6 × 10 −3 7750 1.0 × 10 −2 180ADI 2 5 0.7 × 10 −3 910 4.4 × 10 −3 1225 2.0 × 10 −2 164 5 1.2 × 10 −3 910 0.8 × 10 −3 1325 1.6 × 10 −5 1450 3.6 × 10 −4 14Tabelle I(π 2 h 2 )z −ū =2(1 − cos πh) − 1 ū = h2 π 212 ū + O(h4 ),so daß für den Fehler ‖z −ū‖ ∞ wegen ‖ū‖ ∞ ≤ 1 gilt‖z −ū‖ ∞ ≤ h2 π 212 + O(h4 ).Da man in den Anwendungen nicht an der Lösung z von (8.10.2), sondernan der Lösung u(x, y) von (8.10.1) interessiert ist, hat es wenig Sinn, dieLösung z von (8.10.2) genauer als mit einem Fehler der Größenordnungh 2 = 1/(N + 1) 2 zu approximieren. Weil der Startvektor z (0) = 0 einenFehler ‖z − z (0) ‖≈1 besitzt, benötigt man wegen (8.4.9) mit dem Jacobi-,Gauß-Seidel- und dem optimalen Relaxationsverfahren folgende IterationsundOperationszahlen (eine Iteration erfordert ca. 5N 2 Gleitpunktoperationen(flops, floating-point operations)), um z mit einem Fehler der Ordnungh 2 zu berechnen:

8.10 Vergleich der Iterationsverfahren 371Verfahren Iterationszahl flopsJacobi 0.467(N + 1) 2 log 10 (N + 1) 2 ≈ N 2 log 10 N 5N 4 log 10 NGauß-Seidel 0.234(N + 1) 2 log 10 (N + 1) 2 ≈ 1 2 N 2 log 10 N 2.5N 4 log 10 NSOR0.367(N + 1) log 10 (N + 1) 2 ≈ 0.72N log 10 N 3.6N 3 log 10 NZur Analyse des ADI-Verfahrens benutzt man (8.6.28): Man zeigt soleicht, daß zu gegebenem N die Zahl R (m)ADIfür m ≈ ln[4(N + 1)/π],m√ 4(N + 1)/π ≈ e, minimal wird. Das ADI-Verfahren mit optimaler Wahlvon m und optimaler Parameterwahl benötigt alsoR (m)ADI · log 10 (N + 1)2 ≈ 3.6(log 10 N) 2Iterationen, um die Lösung z von (8.10.2) mit einem Fehler der Größenordnungh 2 zu approximieren. Pro Iteration erfordert das ADI-Verfahren ca.16N 2 Gleitpunktoperationen, so daß die gesamte erforderliche Operationszahlungefähr57.6N 2 (log 10 N) 2beträgt. Das Buneman-Verfahren benötigt dagegen nach Abschnitt 8.8 nur6N 2 log 2 N ≈ 20N 2 log 10 NGleitpunktoperationen, um (8.10.2) exakt zu lösen.Als nächstes untersuchen wir die Krylovraum-Methoden aus den Abschnitten8.7.1–8.7.4. Die numerischen Resultate für diese Verfahren (Ausnahme:die unvollständige QMGRES(l)-Methode (8.7.2.22)) wurden mitHilfe von MATLAB unter Verwendung der MATLAB-FunktionenPCG,GM-RES, QMR and BICGSTAB gewonnen.Da das cg-Verfahren (8.7.1.3) nur für positiv definite Systeme anwendbarist, dienten zum Test die Gleichungen (8.10.2), die zum Modellproblemgehören (δ = γ = 0). Als rechte Seite von (8.10.2) wurde der Vektorb := Ae, e := [1,...,1] T ∈ R N 2 genommen, so daß z = e die exakteLösung von (8.10.2) ist. Als Startvektor wurde z (0) := 0 gewählt. Wirbeschreiben die numerischen Resultate für N = 50 [d.h. die Anzahl derUnbekannten in (8.10.2) ist N 2 = 2500] in Form eines Diagramms, das dieGrößen(8.10.4) rel i := ‖Az(i) − b‖ 2‖Az (0) − b‖ 2der relativen Residuen als Funktion der Iterationsnummer i angibt. Figur 27zeigt die Resultate für das cg-Verfahren (8.7.1.3) ohne Vorkonditionierung

372 8 Iterationsverfahren für große lineare Gleichungssysteme10 0 Fig. 27. Das cg-Verfahren mit und ohne Vorkonditionierung.10 −110 −210 −310 −410 −510 −610 −710 −80 100 200 300 400 500 600 700 800(durchgezogene Linie –– ) und das vorkonditionierte cg-Verfahren (8.7.1.10)(– – –), in dem zur Vorkonditionierung die SSOR-Matrix (8.7.1.11) mitω = 1 verwandt wurde.Die langsame Konvergenz des cg-Verfahrens ohne Vorkonditionierungwird durch die Abschätzung (8.7.1.9) erklärt: denn die Matrix A besitzt nach(8.4.10) die relativ große Konditionc = cond 2 (A) ˙= 4 π 2 (N + 1)2 ≈ 1054.Die langsame Konvergenz wird also durch die Vorkonditionierung erheblichbeschleunigt. Dabei ist ein Schritt des vorkonditionierten Verfahrens zwarteurer, aber nicht wesentlich teurer, wie die folgende Tabelle zeigt. In ihrwerden die Anzahl der Gleitpunktoperationen (flops) pro Iteration für beideVerfahren angegeben:ohne Vorkonditionierungmit Vorkonditionierungflops/Iteration 34.5N 2 47.5N 2Die Anzahlen der Iterationen (it) und Operationen (flops), die maninsgesamt zur Reduktion der Größe des Startresiduums um den Faktor 10 −7

8.10 Vergleich der Iterationsverfahren 373benötigt, sind:keine Vorkonditionierungmit Vorkonditionierungit 765 56flops 26378N 2 2662N 2In diesen Zusammenhang gehört ein theoretisches Resultat von Axelsson(1977): Er zeigte, daß das cg-Verfahren (8.7.1.10) mit der SSOR-Vorkonditionierung O(N 2.5 log N) Operationen erfordert, um eine Näherungslösung¯z der linearen Gleichungen (8.10.2) des Modellproblems zufinden, die genügend genau ist, ‖¯z −ū‖=O(h 2 ).Das Verhalten der übrigen Krylovraum-Methoden GMRES, QMR, undBi-CGSTAB, die in den Abschnitten 8.7.2–8.7.4 beschrieben wurden, wirddurch analoge Tabellen und Diagramme illustriert. Da diese Verfahrenprimär zur Lösung von linearen Gleichungen mit einer nichtsymmetrischenMatrix A dienen, wurden sie anhand der unsymmetrischen Systeme (8.10.2)getestet, die man aus (8.10.1) für δ := −100, γ := 40, N := 50, und denStartvektor z (0) = 0 erhält, aber nur für die vorkonditionierten Versionendieser Verfahren [es wurde die SSOR-Vokonditionierungsmatrix (8.7.1.11)mit ω = 1 zur Linksvorkonditionierung verwandt]. Figur 28 illustriert dasVerhalten der relativen Residuen rel i (8.10.4) in Abhängigkeit von i für folgendeVerfahren: die Restart-Version GMRES(25) (8.7.2.21) von GMRES(– – –) , das unvollständige GMRES-Verfahren QGMRES(30) (8.7.2.22)(– · – ·), das QMR-Verfahren aus Abschnitt 8.7.3 ( ), und das Bi-CGSTAB-Verfahren (8.7.4.14) (···). Der Restart-Parameter ¯n = 25 fürGMRES, und der Parameter l = 30 für QGMRES wurden minimal undzwar so gewählt, daß diese Methoden überhaupt in der Lage waren, eineIterierte z (i) mit rel i ≤ 10 −9 zu liefern.Die folgende Tabelle gibt wieder die Anzahl it der Iterationen und denRechenaufwand an, die diese Verfahren benötigen, um das Startresiduumrel 0 = 1 auf rel it ≤ 10 −9 zu reduzieren:GMRES(25) QGMRES(30) QMR Bi-CGSTABit 202 179 73 101flops 25199N 2 37893N 2 6843N 2 4928N 2flops/it 124.7N 2 211.7N 2 93.7N 2 48.8N 2Die numerischen Resultate für die Krylovraum-Methoden zeigen folgendes:Das QMR-Verfahren und das Bi-CGSTAB-Verfahren sind klar denverkürzten Versionen GMRES(¯n) (8.7.2.21) und QGMRES(l) (8.7.2.22) vonGMRES überlegen. Falls die Parameter ¯n und l klein sind, ist zwar derdurchschnittliche Rechenaufwand pro Iteration dieser Verfahren klein, aber

374 8 Iterationsverfahren für große lineare Gleichungssysteme10 410 210 010 −210 −410 −610 −810 −100 50 100 150 200 250Fig. 28. Verhalten der GMRES-, QMR- und Bi-CGSTAB-Verfahren.sie sind dann oft nicht mehr in der Lage, das Startresiduum in einer vertretbarenAnzahl von Iterationen substantiell zu reduzieren. Für größere Wertevon ¯n oder von l sind die Verfahren zwar fähig, genaue Lösungen zu liefernaber dann werden die Verfahren auch teuer, weil ihr durchschnittlicherAufwand pro Iteration mit ¯n und l rasch wächst.In unseren Tests benötigte QMR ungefähr 40% mehr Rechenoperationenaber 30% weniger Iterationen als Bi-CGSTAB, um eine Lösung hoher Genauigkeitzu berechnen. Die Resultate zeigen aber auch, daß die Residuender Iterierten bei QMR glatter konvergieren als bei Bi-CGSTAB, wo mangrößere Schwankungen beobachtet.Zum Schluß einige allgemeine Bemerkungen zu den Verfahren von Kapitel8. Die klassischen Verfahren (Jacobi, Gauß-Seidel, Relaxation) undalle Krylovraum-Methoden sind im Prinzip geeignet, lineare GleichungenAx = b mit einer dünn besetzten Matrix A beliebiger Herkunft iterativzu lösen. Dagegen sind die ADI-Verfahren, das Buneman-Verfahren unddie Fouriermethoden aus Abschnitt 8.8 nur geeignet, die linearen Gleichungenzu lösen, die man bei der Diskretisierung bestimmter Randwertproblemefür partielle Differentialgleichungen erhält (Varianten des Modellproblems).Verglichen mit diesen spezialisierten Methoden ist die Konvergenzder klassischen Verfahren zu langsam. Wegen ihrer besonderen

Übungsaufgaben zu Kapitel 8 375Dämpfungseigenschaften werden sie aber Rahmen anderer Algorithmen verwendet,so z.B. innerhalb des Dämpfungsschritts von Mehrgitterverfahren[s. Abschnitt 8.9, (8.9.7) und (8.9.14)].Im allgemeinen verwendet man heute Mehrgitterverfahren zur Lösungder großen linearen Gleichungssysteme, die man durch Diskretisierung vonRandwertproblemen für partielle Differentialgleichungen erhält. Unter sehrallgemeinen Voraussetzungen liefern diese Verfahren eine genügend genaueLösung der linearen Gleichungen mit einer Anzahl von Rechenoperationen,die lediglich linear (oder nur geringfügig langsamer) mit der Zahl der Unbekanntender linearen Gleichungen wächst. In dieser Hinsicht sind die spezialisierterenADI-Verfahren und die Methoden von Abschnitt 8.8 für dasModellproblem mit Mehrgitterverfahren vergleichbar, mit denen man abersehr viel allgemeinere Probleme lösen kann.Krylovraum-Methoden finden ihre natürliche Anwendung bei der Lösungder dünn besetzten linearen Gleichungssysteme, auf die, vereinfachtausgedrückt, Mehrgittermethoden nicht anwendbar sind. Solche Problemeerhält man z.B. bei der Behandlung von Netzwerkproblemen. Krylovraum-Methoden werden aber auch innerhalb von Mehrgitterverfahren verwandt,z.B. bei der Berechnung von „Grobgitterlösungen“ [s. (8.9.7)]. Für die Effizienzvon Kryloraum-Methoden sind Vorkonditionierungstechniken äußerstwichtig.Übungsaufgaben zu Kapitel 81. Man zeige:Hinweis: Man benutze Satz (6.9.2).ρ(A)

376 8 Iterationsverfahren für große lineare Gleichungssysteme¯x (0) := x (0) ; B := ¯L · ¯R;¯x (i+1) :=¯x (i) + B −1¯r (i) + a (i) ,mit ¯r (i) := b − A¯x (i) unda (i) := gl(¯x (i) + B −1¯r (i) ) − (¯x (i) + B −1¯r (i) ).(Mit Hilfe der Theorie in 4.5, 4.6 läßt sich ‖a (i) ‖ nach oben abschätzen.) Manzeige:a) Der Fehler ε (i) :=¯x (i) − x, x := A −1 b genügt der Rekursion(∗) ε (i+1) = (I − B −1 A)ε (i) + a (i) = Cε (i) + a (i) , C := I − B −1 A.Man leite daraus eine explizite Formel für ε (i) ab.b) Man zeige, daß die ‖ε (i) ‖ für i →∞beschränkt bleiben, falls ρ(C)

N∑A jk x k = b j , A jj m j × m j -Matrix,k= jzerlegen, wobei alle A jj unzerlegbar sind.Übungsaufgaben zu Kapitel 8 377N∑m j = n,8. (Varga (1962)) Man betrachte die gewöhnliche Differentialgleichung− d (p(x) d )dx dx y(x) + σ(x)y(x) = f (x), a ≤ x ≤ b,y(a) = α 1 , y(b) = α 2 ,p(x) ∈ C 3 [a, b], σ(x) stetig und σ(x) > 0, p(x) > 0 auf a ≤ x ≤ b.Man diskretisiere die Differentialgleichung zu der allgemeinen Intervallteilunga = x 0 < x 1 < x 2 < ···< x n < x n+1 = b, mitunter Verwendung vonh i := x i+1 − x i ,j=1(∗)(dp(x) d )dx dx y(x) =x=x ip i+1/2y i+1 − y ih i− p i−1/2y i − y i−1h i−1h i + h i−12mit ¯h i = max(h i , h i−1 ) und{ O(¯h i 2 +), falls h i = h i−1O(¯h i ), falls h i ≠ h i−1p i+1/2 = p(x i+1/2 ) = p(x i + h i /2), p i−1/2 = p(x i−1/2 ) = p(x i − h i−1 /2).Man zeige:a) mit Hilfe der Taylorentwicklung, daß (∗) gilt.b) Für die Matrix A des entstehenden linearen Gleichungssystems mit Ax = bgilt: A ist reell, tridiagonal mit positiver Diagonale und negativen Nebendiagonalelementen,sofern die h i für alle i hinreichend klein sind.c) A ist unzerlegbar und erfüllt das schwache Zeilensummenkriterium.d) Die Jacobi Matrix J ist unzerlegbar, J ≥ 0, 2-zyklisch, konsistent geordnetund es ist ρ(J)

378 8 Iterationsverfahren für große lineare Gleichungssysteme⎡ ⎤ ⎡ ⎤0 1 0 00 1 0 0⎢ 0 0 1 0⎥⎢ 0 0 1 1⎥A 5 = ⎣0 0 0 1⎦ , A 6 = ⎣0 1 0 1⎦ .1 0 0 01 0 0 0Welche Graphen G(A i ) sind 2-zyklisch?10. Gegeben sei die 9 × 9-Matrix A(∗) A =[ M −I] 0−I M −I , mit M =0 −I M[ 4 −2] 0−1 4 −1 .0 −1 6a) Man gebe die Zerlegungsmatrizen B, C von A = B − C an, die denfolgenden 4 Iterationsverfahren entsprechen:}(1) Jacobibzgl. der feinsten Partionierung,(2) Gauß-Seidel}(3) Jacobibzgl. der in (*) benutzten Partionierung π.(4) Gauß-Seidelb) Man zeige: A ist unzerlegbar, G(J) 2-zyklisch und A hat „property A“.c) Man zeige, daß die Verfahren (1) und (2) für A konvergieren, wobei (2)schneller als (1) konvergiert.d) Man zeige, daß (3) und (4) konvergieren.Hinweis: Man berechne nicht M −1 , sondern man leite einen Zusammenhangzwischen den Eigenwerten von J π bzw. H π und M her. Dabei beachte man,daß bei speziell partitionierten Matrizen S, wieS =[ 0 R] 0R 0 R ,0 R 0die Eigenwerte von S durch die von R ausgedrückt werden können, fallsman einen Eigenvektor für S ansetzt, der analog zu S partitioniert ist.11. Man zeige von folgender Matrix A, daß sie „property A“ besitzt und nichtkonsistent geordnet ist. Man gebe eine Permutation an, so daß die permutierteMatrix P T AP konsistent geordnet ist.⎡⎤4 −1 0 0 0 −1−1 4 −1 0 −1 0A =0 −1 4 −1 0 00 0 −1 4 −1 0.⎢⎥⎣ 0 −1 0 −1 4 −1 ⎦−1 0 0 0 −1 4

12. Man zeige: Alle BlocktridiagonalmatrizenÜbungsaufgaben zu Kapitel 8 379⎡⎤D 1 A 12A 21 D 2 A 23. .. . .. . ..⎢⎣. .. .⎥.. AN−1,N ⎦A N,N−1 D ND i nichtsinguläre Diagonalmatrizen, A ij ≠ 0 haben „property A“.13. Man zeige: (8.4.5) ist konsistent geordnet.14. Man weise nach: A ist konsistent geordnet, besitzt aber nicht die „property A“.A :=[ 1 −1] 01 1 0 .1 1 115. Man betrachte das Dirichletsche Randwertproblem auf dem Gebiet Ω (s. Fig.27 mit Ω h für h = 1.y ..32175 61 2 3 41 2 3 4 xFig. 27. Das Gebiet Ω.a) Man stelle das zugehörige Gleichungssystem Ax = b auf unter Benutzungder Diskretisierung (8.4.2) und gebe A an, wobei der Vektor xin der in Fig. 26 angegebenen Reihenfolge geordnet werden soll, d. h.x = [x 11 , x 21 , x 31 , x 41 , x 12 , x 22 , x 13 ] T .b) Man zeige: A ist unzerlegbar, symmetrisch, G(J) 2-zyklisch, A hat „propertyA“ und es ist ρ(J)

380 8 Iterationsverfahren für große lineare Gleichungssysteme16. Gegeben sei⎡⎤3 −1 0 0 0 −1−1 3 −1 0 −1 0A :=0 −1 3 −1 0 00 0 −1 3 −1 0.⎢⎥⎣ 0 −1 0 −1 3 −1 ⎦−1 0 0 0 −1 3a) Man zeige, daß die Gesamtschritt, Einzelschritt- und Relaxationsverfahrenkonvergieren.b) Welches dieser Verfahren ist vorzuziehen?c) Man gebe explizit die zu A und dem unter b) gewählten Verfahren gehörigeIteration an.17. Man vergleiche anhand des Modellproblems das einfache Relaxations- mit demBlockrelaxationsverfahren zu der in (8.4.5) angegebenen Partitionierung undzeige für N →∞:ρ(H π (ω b ))( κ, √≈ ρ H(ω))mit κ = 2.Hinweis: Man beachte die Angaben zum Modellproblem in 8.5.18. (Varga (1962)) Gegeben sei die Matrix A⎡ ⎤5 2 2A = ⎢ 2 5 3 ⎥⎣ ⎦ .2 3 5a. Man bestimme den Spektralradius ρ 1 der zu A gehörigen Gauß-Seidel-Matrix H 1 zur feinsten Partitionierung von A („Punkt-Gauß-Seidel-Methode“).b. Man bestimme ρ 2 = ρ(H 2 ), wobei H 2 die zum Block-Gauß-Seidel-Verfahren gehörende Matrix ist. Man benutze die oben angegebene Partitionierung.c. Man zeige 1 >ρ 2 >ρ 1 , d. h. das Block-Gauß-Seidel-Verfahren muß nichtschneller als die Punkt-Gauß-Seidel-Methode konvergieren.d. Man beantworte a), b) fürgilt wiederum 1 >ρ 2 >ρ 1 ?19. Man verifiziere (8.6.10)–(8.6.13).⎡⎤5 −2 −2Ā = ⎢ −2 5 −3 ⎥⎣⎦ ;−2 −3 5

Übungsaufgaben zu Kapitel 8 38120. (Varga (1962)) Man zeige:a)minr>0r − x2max=00cos 2(1 + sinπN + 1πN + 121. Man kann für (8.6.18) Näherungslösungen angeben, die in der Praxis für kleinem oft hinreichend gut die exakte Lösung approximieren. Peaceman, Rachfordhaben folgende Näherung vorgeschlagen:( ) α (2 j−1)/(2m)r j = β ·, j = 1, 2,...,m.β) 2.Man zeige:a)r j − x< 1, für alle j, α≤ x ≤ β.∣r j + x ∣b) β>r 1 > r 2 > ···> r m >αund für z := (α/β) 1/(2m) gilt:r k − x∣r k + x ∣ ≤ 1 − z für k = m, α ≤ x ≤ r m bzw. k = 1, β ≥ x ≥ r 1 .1 + z∣ ( ) 2 x − r i+1 x − r i ∣∣∣ 1 − z∣≤ , r i ≥ x ≥ r i+1 .x + r i+1 x + r i 1 + zc) Aus a) und b) folgt für (8.6.17)ϕ(r 1 ,...,r m ) ≤ 1 − z1 + z .[s. Young (1971) für Einzelheiten zu diesen Näherungsformeln].22. Man zeige für die in (8.6.21) erzeugte Folge α j , β j :vadjustα 0

382 8 Iterationsverfahren für große lineare Gleichungssystemeundlim α j = lim β j.j→∞ j→∞23. Man bestimme die Parameter r (4)i für m = 4, α = 0.5, β = 3.5 aus (8.6.23) undvergleiche sie mit den Näherungswerten der Formel von Peaceman-Rachfordin Aufgabe 21. Insbesondere vergleiche man ϕ(r 1 ,...,r 4 ) mit der in Aufgabe21 c) gegebenen Abschätzung.24. Man betrachte das Dirichletsche Problem zur Differentialgleichungu xx + u yy + 1 x u x + 1 y u y = 0{}in einem rechteckigen Gebiet Ω mit Ω ⊂ (x, y) | x ≥ 1, y ≥ 1 . Man gebeeine Differenzenapproximation des Problems, so daß das entstehende lineareGleichungssystem der Formdie Eigenschaft HV = VH besitzt.(H + V)z = b25. (Varga (1962)) Man betrachte die Differentialgleichungu xx + u yy = 0auf dem Rechtecksgebiet Ω :={(x, y) | 0 ≤ x, y ≤ 1} mit den Randbedingungenu(0, y) = 1, u(1, y) = 0, 0 ≤ y ≤ 1.∂u ∂u(x, 0) = (x, 1) = 0, 0 ≤ x ≤ 1.∂y ∂ya) Analog zu (8.4.2) diskretisiere man u xx +u yy für die Maschenweite h = 1/3für alle Gitterpunkte an denen die Lösung unbekannt ist. Die Randbedingungu y (x, 0) = u y (x, 1) = 0 berücksichtige man durch Einführung fiktiverGitterpunkte z. B. (x i , −h) und approximiere u y (x i , 0) durchu y (x i , 0) = u(x i, 0) − u(x i − h)h+ O(h), i = 1, 2.Man erhält so ein lineares Gleichungssystem Az = b in acht Unbekannten.Man gebe A und b an.b) Man bestimme die Zerlegung A = H 1 + V 1 entsprechend (8.6.3) und zeigeH 1 ist reell, symmetrisch, positiv definit,V 1 ist reell, symmetrisch, positiv semidefinit.c) Man zeige:H 1 V 1 = V 1 H 1 .d) Obwohl die Voraussetzungen von (8.6.9) nicht erfüllt sind, zeige manρ(T r ) 0 und man berechne r opt :ρ(T ropt ) = min ρ(T r ).r>0

Literatur zu Kapitel 8 383Als Ergebnis erhält man r opt = √ 3, mit√3 − 1ρ(T ropt ) ≤ √ .3 + 1Hinweis: Man benutze das Ergebnis von Aufgabe 20 a), die exakten Eigenwertevon H 1 und beachte den Hinweis zu Aufgabe 10 d).26. Man betrachte das lineare Gleichungssystem Az = b von Aufgabe 15, wennman die Unbekannten nicht in der in 15 a) angegebenen Reihenfolge {1, 2, 3, 4,5, 6, 7} (s. Fig. 22), sondern in der Reihenfolge {7, 5, 6, 1, 2, 3, 4} anordnet.a) Man zeige, daß mit dieser Ordnung A konsistent geordnet ist.b) Man gebe die zu (8.6.3) analoge ZerlegungA = H 1 + V 1an und zeige:α) H 1 , V 1 sind symmetrisch, reell, H 1 ist positiv definit, V 1 hat negativeEigenwerte.β) H 1 V 1 ≠ V 1 H 1 .Literatur zu Kapitel 8Arnoldi, W.E. (1951): The principle of minimized iteration in the solution of thematrix eigenvalue problem. Quart. Appl. Math. 9, 17–29.Axelsson, O. (1977): Solution of linear systems of equations: Iterative methods. In:Barker (1977).(1994): Iterative Solution Methods. Cambridge, UK: Cambridge UniversityPress.Barker, V.A. (Ed.) (1977): Sparse Matrix techniques. Lecture Notes in MathematicsVol. 572, Berlin-Heidelberg-New York: Springer.Braess, D. (1997): Finite Elemente. Berlin-Heidelberg-New York: Springer.Bramble, J.H. (1993): Multigrid Methods. Harlow: Longman.Brandt, A. (1977): Multi-level adaptive solutions to boundary value problems. Math.of Comput. 31, 333–390.Briggs, W.L. (1987): A Multigrid Tutorial. Philadelphia: SIAM.Buneman, O. (1969): A compact non-iterative Poisson solver. Stanford University,Institute for Plasma Research Report Nr. 294, Stanford, CA.Buzbee, B.L., Dorr, F.W. (1974): The direct solution of the biharmonic equation onrectangular regions and the Poisson equation on irregular regions. SIAM J. Numer.Anal. 11, 753–763., , F.W., George, J.A., Golub, G.H. (1971): The direct solution of thediscrete Poisson equation on irregular regions. SIAM J. Numer. Anal. 8, 722–736., Golub, G.H., Nielson, C.W. (1970): On direct methods for solving Poisson’sequations. SIAM J. Numer. Anal. 7, 627–656.Chan, T.F., Glowinski, R., Periaux, J., Widlund, O. (Eds.) (1989): Proceedings ofthe Second International Symposium on Domain Decomposition Methods. Philadelphia:SIAM.

384 8 Iterationsverfahren für große lineare GleichungssystemeFletcher, R. (1974). Conjugate gradient methods for indefinite systems. In: G.A. Watson(ed.), Proceedings of the Dundee Biennial Conference on Numerical Analysis1974, p. 73–89. New York: Springer-Verlag 1975.Forsythe, G.E., Moler, C.B. (1967): Computer Solution of Linear Algebraic Systems.Series in Automatic Computation. Englewood Cliffs, N.J.: Prentice Hall.Freund, R.W., Nachtigal, N.M. (1991): QMR: a quasi-minimal residual method fornon-Hermitian linear systems. Numerische Mathematik 60, 315–339.George, A. (1973): Nested dissection of a regular finite element mesh. SIAM J.Numer. Anal. 10, 345–363.Glowinski, R., Golub, G.H., Meurant, G.A., Periaux, J. (Eds.) (1988): Proceedings ofthe First International Symposium on Domain Decomposition Methods for PartialDifferential Equations. Philadelphia: SIAM.Hackbusch, W. (1985): Multigrid Methods and Applications. Berlin-Heidelberg-NewYork: Springer-Verlag., Trottenberg, U. (Eds.) (1982): Multigrid Methods. Lecture Notes in Mathematics.Vol. 960. Berlin-Heidelberg-New York: Springer-Verlag.Hestenes, M.R., Stiefel, E. (1952): Methods of conjugate gradients for solving linearsystems. Nat. Bur. Standards, J. of Res. 49, 409–436.Hockney, R.W. (1969): The potential calculation and some applications. Methods ofComputational Physics 9, 136–211. New York, London: Academic Press.Householder, A.S. (1964): The Theory of Matrices in Numerical Analysis. New York:Blaisdell Publ. Comp.Keyes, D.E., Gropp, W.D. (1987): A comparison of domain decomposition techniquesfor elliptic partial differential equations. SIAM J. Sci. Statist. Comput. 8,s166–s202.Lanczos, C. (1950): An iteration method for the solution of the eigenvalue problem oflinear differential and integral equations. J. Res. Nat. Bur. Standards. 45, 255–282.Lanczos, C. (1952): Solution of systems of linear equations by minimized iterations.J. Res. Nat. Bur. Standards. 49, 33–53.McCormick, S. (1987): Multigrid Methods. Philadelphia: SIAM.Meijerink, J.A., van der Vorst, H.A. (1977): An iterative solution method for linearsystems of which the coefficient matrix is a symmetric M-matrix. Math. Comp.31, 148–162.O’Leary, D.P., Widlund, O. (1979): Capacitance matrix methods for the Helmholtzequation on general three-dimensional regions. Math. Comp. 33, 849–879.Paige, C.C., Saunders, M.A. (1975): Solution of sparse indefinite systems of linearequations. SIAM J. Numer. Analysis 12, 617–624.Proskurowski, W., Widlund, O. (1976): On the numerical solution of Helmholtz’sequation by the capacitance matrix method. Math. Comp. 30, 433–468.Quarteroni, A., Valli, A. (1997): Numerical Approximation of Partial DifferentialEquations. 2nd Ed., Berlin-Heidelberg-New York: Springer.Reid, J.K. (Ed.) (1971a): Large Sparse Sets of Linear Equations. London, New York:Academic Press.(1971b): On the method of conjugate gradients for the solution of largesparse systems of linear equations. In: Reid (1971a), 231–252.Rice, J.R., Boisvert, R.F. (1984): Solving Elliptic Problems Using ELLPACK. Berlin-Heidelberg-New York: Springer.Saad, Y. (1996): Iterative Methods for Sparse Linear Systems. Boston: PWS PublishingCompany.

Literatur zu Kapitel 8 385, Schultz, M.H. (1986): GMRES: a generalized minimal residual algorithmfor solving nonsymmetric linear systems. SIAM J. Scientific and Statistical Computing,7, 856–869.Schröder, J., Trottenberg, U. (1973): Reduktionsverfahren für Differenzengleichungenbei Randwertaufgaben I. Numer.Math. 22, 37–68., , Reutersberg, H. (1976): Reduktionsverfahren für Differenzengleichungenbei Randwertaufgaben II. Numer. Math. 26, 429–459.Sonneveldt, P. (1989): CGS, a fast Lanczos-type solver for nonsymmetric linearsystems. SIAM J. Scientific and Statistical Computing 10, 36–52.Swarztrauber, P.N. (1977): The methods of cyclic reduction, Fourier analysis andthe FACR algorithm for the discrete solution of Poisson’s equation on a rectangle.SIAM Review 19, 490–501.van der Vorst (1992): Bi-CGSTAB: A fast and smoothly converging variant ofBi-CG for the solution of non-symmetric linear systems. SIAM J. Scientific andStatistical Computing 12, 631–644.Varga, R.S. (1962): Matrix Iterative Analysis. Series in Automatic Computation.Englewood Cliffs: Prentice Hall.Wachspress, E.L. (1966): Iterative Solution of Elliptic Systems and Application to theNeutron Diffusion Equations of Reactor Physics. Englewood Cliffs, N.J.: Prentice-Hall.Wilkinson, J.H., Reinsch, C. (1971): Linear Algebra. Handbook for Automatic Computation,Vol. II. Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen,Bd. 186. Berlin-Heidelberg-New York: Springer.Young, D.M. (1971): Iterative Solution of Large Linear Systems. Computer Scienceand Applied Mathematics. New York: Academic Press.

Namen- und Sachverzeichnis2-zyklisch 286A-konjugiert 312A-stabil 174absolut stabil 174absolute Normen 89Adams-Bashforth–, Verfahren von 139f.Adams-Moulton–, Verfahren von 139f., 158ADI-Verfahren 299ff., 368ff.adjungierte Variable 216Ähnlichkeitstransformation 5Ähnlichkeit von Matrizen 5, 284akzeptabel, numerisch 51algebraische Eigenwertprobleme 1ff.algebraische Vielfachheit 4Algorithmus von Buneman 270,345ff.Anfangsbedingung 109Anfangswertproblem 109, 115–, Abhängigkeit der Lösung vom Anfangswert112ff.–, Existenz- und Eindeutigkeitssatz111f., 198f.–, Vergleich von Verfahren 170ff.arithmetisch-geometrisches Mittel306Arnoldi 310, 321–, Verfahren von 329Asymptotische Entwicklungen 125,159Ausgleichsproblem 319Ausschließungssätze 84Axelsson 270, 315, 318, 373B-Splines 245Babuška 212Bader 176Bandmatrix 243, 329ff.Bank 179Barth 46Barton 187Bashforth 139Basisfunktionen für Variationsmethoden–, bei partiellen Differentialgleichungen240–, Hermitesche Funktionen 244–, Spline-Funktionen 243Bauer 86, 89BCG-Verfahren 339BDF-Verfahren 177Bendixson 97Bi-CGSTAB-Algorithmus 339ff., 373Bidiagonalform 78biharmonische Gleichung 356Biorthogonaliserungsalgorithmus 310,334Biorthogonalität 334Bisektionsverfahren 191Blocktridiagonalmatrix 285Bock 186Boisvert 384Bowdler 78Braess 271Bramble 271Brandt 357Briggs 357Broyden–, Approximation der Funktionalmatrixnach 210Buchauer 186Bulirsch 170, 179, 205, 247Buneman 270, 347, 352, 368–, Algorithmus von 368ff., 371

388 Namen- und SachverzeichnisBunse 106Bunse-Gerstner 106Butcher 111, 121Buzbee 347, 354, 356Byrne 178, 183Callies 222Canuto 245Caracotsios 186Cayley-Hamilton 11cg-Verfahren 270, 311ff., 371ff.–, mit Vorkonditionierung 316ff.Chan 356charakteristisches Polynom 3Cholesky-Verfahren 235, 241Cholesky-Zerlegung 83, 301, 317–, unvollständige 318f.Ciarlet 244, 256Clark 172Coddington 112Collar 16Collatz 120, 226Courant 95Crane 172Cullum 41Dahlquist 158, 177DASSL 183Davenport 267derogatorisch 9Design-Punkte 224Deuflhard 176, 179, 182, 212diagonalisierbar 9, 19Diekhoff 172Differential-algebraische Gleichungen179ff.Differentialgleichung(en)–, Eigenwertprobleme für 188f.–, gewöhnliche 109ff.–, gewöhnliche, m-ter Ordnung 110–, gewöhnliche, Systeme von 109–, implizite 178ff.–, partielle 250ff.–, steife 172ff.Differenzenverfahren 231, 246, 248Differenzengleichungen 145, 147ff.Dirichlet-Problem 250Dirichletsches Randwertproblem 290,356Diskretisierungsfehler–, asymptotische Entwicklung 125,179–, globaler 121, 143f.–, lokaler 118, 142DOPRI 5(4)-Verfahren 135, 137Dormand 135Dorr 356Drazin-Inverse 181Duncan 16Eberlein 36Eich 184Eigenlösung 1Eigenvektor 2f.Eigenwerte 1ff., 189Eigenwertabschätzungen 84ff.Eigenwertprobleme–, für Matrizen 1ff.–, für Differentialgleichungen 188f.einfache Vektoriteration 48Einfachschießverfahren 190, 200,246f.eingebettete Verfahren 134Einschließungssatz 84, 92Einschrittverfahren 115ff., 170–, Konsistenz von 118–, Konvergenz von 121ff.–, Ordnung von 119–, Rundungsfehler bei 128f.Einzelschrittverfahren 273, 278ff.,288, 293–, Block- 297EISPACK Guide 3Elementarteiler 9Eliminationsmatrizen 25Eliminationsverfahren 269Engl 185Enright 178Euler 116Euler–, Polygonzugverfahren von 116,159f., 173f.–,–, modifiziertes 120explizites Euler-Verfahren 174Extrapolationsverfahren 127, 168f.,FAC(l)-Algorithmus 356Feehery 187

Namen- und Sachverzeichnis 389Fehlberg 121, 132, 135Fellen 266Fike 86, 89finite-element-Methode 254, 270f.Fix 256Fletcher 339Forsythe 274Fortsetzungsmethode 210Fouriermethoden 345ff.Fox 172Francis 2, 56f., 75, 82Frazer, Duncan und Collar, Verfahrenvon 16freies Randwertproblem 217Freund 270, 310, 337f.Frobeniusmatrizen 12Frobeniussche Normalform 12, 14Galán 187Galerkin-Verfahren 236ff.Gantmacher 182Garbow 3, 82Gauß-Seidel-Verfahren 273, 295, 360,368f.–, Block- 297Gear 111, 167, 177f., 182f.Gebietszerlegungsmethoden 356gebrochene Iteration 50, 68geometrische Vielfachheit 4George 271Gerschgorin 228Gesamtschrittverfahren 273, 276, 282,288, 293–, Block- 296Gill 185Givens 32–, Verfahren von 32ff.–, -Rotation 32ff.globale Diskretisierungsfehler 121,125, 143Glowinski 356GMRES-Verfahren 270, 310, 320ff.–, verkürzte 330ff.Golub 2, 65, 78, 82, 347, 354, 356Gordon 111, 167Gottlieb 245Gragg 125, 162f., 168Gram-Schmidtsches Orthogonalisierungsverfahren329Graph einer Matrix 277Greensche Formel 251Griepentrog 182Grigorieff 111, 121, 173, 178Grimm 206, 214, 248Gropp 356Hackbusch 271, 357Hairer 121, 126, 162, 167, 178f., 182,186Hauptvektor 9Hausdorff 94Heim 185Helmholtzgleichung 356Henrici 111Hermitesche Funktionenräume 244Hermitesche Matrix 17f.Hessenberg-Gestalt,–, Reduktion auf 41Hessenbergmatrix 2, 25, 321Hestenes 216, 270, 309f.Heun, Verfahren von 119f.Hiltmann 186Hindmarsh 178, 183Hirsch, Satz von 84Hockney 347, 356Homotopie-Methode 210Horneber 179Householder 26, 33, 89, 93, 282–, Verfahren von 33, 76–, -matrizen 25Hull 172, 178Hyman 46implizite Shifttechnik 75implizite Trapezregel 177implizite Verfahren 139f., 174Index 180Interpolationsoperator 362inverse Iteration 44, 48, 50, 60, 77irreduzible Matrix 39, 45, 47, 276Iterationsverfahren 269ff.Iteration von Unterräumen 59Jacobi–, Verfahren von 32f., 273, 295, 358,368f.–, Funktionen 205–, Matrix 26

390 Namen- und SachverzeichnisJacobische elliptische Funktionen 194Jordansche Normalform 6ff.Kahan 281Kaniel 41, 106–, -Paige-Theorie 41Kaps 176f.Keller 111, 198, 205, 261Keyes 356Kiehl 186Kielbasinski 106Kollokationsmethoden 244Kondition des Eigenwertproblems 24,51ff., 92konjugierte Vektoren 311konjugiertes Gradientenverfahren311ff.konsistent geordnet 283f.konsistente Anfangswerte 181Konsistenz–, -bedingung 181–, -ordnung 142–, von Einschrittverfahren 118–, von Mehrschrittverfahren 142,154ff.kontinuierliches Runge-Kutta Verfahren137Kontraktion 198Konvergenz–, von Einschrittverfahren 121ff.–, von Iterationsverfahren 274ff.–, von Mehrschrittverfahren 143,154ff.Korrektor-Verfahren 140, 154, 157Kramer 186Krogh 167Kronseder 185Krylovraum 37, 309Krylovraum-Methoden 270, 309ff.,371ff.Krylovsequenz 13, 37Kröner 185Kublanovskaja 56Lagrangesche Interpolationsformel138Lambert 178Lanczos 37, 310, 334, 339–, Verfahren von 37–, Biorthogonalisierungsverfahren334ff.Laplace-Operator 250Leis 186Lindberg 178Linkseigenvektor 5Linksvorkonditionierung 333Lions 256Lipschitzbedingung 112Lory 265lokaler Diskretisierungsfehler 118,142look-ahead-Techniken 337LR-Verfahren 2, 56Lubich 126, 162, 179Maehly, Variante von 46März 182, 266Makrodiskretiserung 222MAPLE 3Martin 30, 43, 46, 78, 83MATHEMATICA 3MATLAB 3, 371Mehrfachschießverfahren:s. MehrzielmethodeMehrgitterverfahren 270, 356ff.–, V-Zyklus 366Mehrpunkt-Randwertprobleme 222ff.Mehrschrittverfahren 137, 141ff., 170–, explizite 140–, implizite 139–, Konsistenz von 142–, Konvergenz von 143, 149ff.–, lineare 154ff.–, Ordnung von 142–, Schrittweitensteuerung 163ff.–, Stabilität von 147mehrstufige Runge-Kutta-Verfahren120Mehrzielmethode 205ff., 246, 248–, praktische Realisierung 209ff.,221ff.Meijerink 318Merten 179Methode des steilsten Abstiegs 311Meurant 356midpoint-rule 120, 140Mikrodiskretisierung 222Milne, Verfahren von 140

Namen- und Sachverzeichnis 391Minimaleigenschaften 236Minimalpolynom 10Mittelpunktsregel 140, 159, 163, 168,175–, semiimplizite 175ff.Mittelungsoperator 361M-Matrizen 318Modellproblem 290, 367modifiziertes Euler-Verfahren 120Moler 83, 274Morrison 186Moulton 139multiple shooting method 205Murray 185Na 212Nachiteration 270, 273Nachorthogonalisierung 329Nachtigal 270, 310, 337f.Newton-Verfahren–, allgemeines 194f.Newton’sche Interpolationsformel 149Newton-Cotes-Formeln 138nichtderogatorisch 9, 11, 13Nielson 347, 354Norm 237normale Matrizen 17, 19Normalform–, Frobeniussche 12f.–, Jordansche 6ff.–, rationale 12ff.–, Schursche 17normalisierbar 9numerisch akzeptabler Eigenwert 51numerisch akzeptabler Eigenvektor 51Numerov 235Nystrøm, Verfahren von 140Nørsett 121, 167, 186Oberle 206, 214, 248Oden 256O’Leary 356Operator–, Differential- 237, 250–,–, positiv definiter 238–,–, symmetrischer 237Ordnung–, von Einschrittverfahren 119–, von Mehrschrittverfahren 142, 153Orszag 245Osborne 205Ostrowski 282Paige 41, 332Parlett 3, 36, 65Peaceman 299, 381Periaux 356Peters 55, 78, 83Petzold 179, 183Phasenmatrix 58Poisson-Problem 345Poissongleichung 345, 356Polygonzug-Verfahren von Euler 116,159Polynomnullstellen–, Abschätzungen für 97Poole 65positiv definit 19positiv definiter Operator 238positiv semidefinit 19Prädiktor 164–, -Verfahren 140, 154, 157preconditioner 316, 332ff.Prince 135Projektionsoperator 361property A 283f.Proskurowski 356Pseudoinverse 23QGMRES-Verfahren 331f.QMR-Verfahren 270, 310, 334ff.,373ff.QR-Verfahren 2, 56ff., 78–, mit Shifts 69QR-Zerlegung 58Quarteroni 256, 271Quasilinearisierung 226ff.quasiminimales Residuen-Verfahren331QZ-Verfahren 83r-Schritt-Verfahren 141–, lineares 154Rachford 299, 381Randbedingung 110, 187

392 Namen- und SachverzeichnisRandwertprobleme 110, 187, 231, 236–, Dirichletsche 290–, Existenz- und Eindeutigkeitssatz198ff.–, lineare 196–, Mehrpunkt- 222ff.–, mit freiem Rand 189–, singuläre 212ff.–, Vergleich von Verfahren für 246ff.Rang 1-Verfahren 210rationale Normalform 12, 14Rayleigh-Quotient 94Rayleigh-Ritz-Galerkin-Verfahren236ff., 250ff.Reaktionskinetik 172Re-entry Problem der Raumfahrt 214Rechtseigenvektor 3Rechtsvorkonditionierung 333Reddy 256Reduktion von Matrizen 24Reduktionsverfahren 347, 354reguläre Matrizenbüschel 181Reich 282Reid 315Reinsch 2, 3, 30, 308, 78, 82, 274,315Relaxationsparameter 280ff., 369Relaxationsverfahren 280ff., 295, 299,303, 369–, Block- 298f.Rentrop 176f., 179, 182reorthogonalisieren 41Residuum 273, 360restarts 330Reutersberg 356Rice 384RKF-Verfahren 171Roche 179, 182Rosenberg 280Rozenvasser 187Rückwärtsanalyse 212Rückwärtsdifferenzen 177Rundungsfehlereinfluß 128Runge-Kutta-Fehlberg-Verfahren 171,176Runge-Kutta-Verfahren 120f., 127,132, 161–, mehrstufige 120Rutishauser 2, 36, 56Saad 41, 270, 310, 320Safeguard-Verfahren 185Sargent 186Saunders 332Schaltfunktion 184, 224Schaltpunkte 184, 224Schiessverfahren–, einfaches 190, 200, 246f.–, Mehrfach- 205, 209ff., 246f.,221ff.Schloeder 186Schmidtsches Orthogonalisierungsverfahren321Schrittweite 111, 116Schrittweitensteuerung 130, 163Schröder 356Schultz 244, 270, 320Schulz 186, 310Schur 17Schursche Normalform 17schwach 2-zyklisch 286schwach instabil 163Schwarz 36, 256Schwarzsche Ungleichung 238Schwetlick 106Scott 41semi-implizit(e)–, Verfahren 175–, Mittelpunktsregel 176Sensitivitätsanalyse 185Sensitivitätsgleichungen 186separierte Randbedingungen 187Shampine 111, 167, 172Shanks 121Shiftstrategie 71f.Shift-Techniken 68ff.–, implizite 75ff.Shiftparameter 69Simpson-Regel 120singuläre Werte 2, 17, 20, 78–, -Zerlegung 21, 78Smith 3, 30, 43, 55, 78Sobolev-Norm 251, 256Sonneveldt 341Spaltensummenkriterium–, schwaches 277–, starkes 276Spektralmethoden 245Spektralradius 84, 234, 274

Namen- und Sachverzeichnis 393Spektrum 3Splinefunktion 242Sprungfunktion 184SSOR-Matrix 317, 372stabil, absolut 174Stabilitätsbedingung 150Stabilitätsfunktion 174Stabilitätsgebiet, absolutes 174Standardzerlegung einer Matrix 272Starttrajektorie–, Konstruktion einer 210steif 173Stein 280Steinebach 179, 182Stetter 111, 121Stewart 83, 186Stiefel 36, 270, 309f.Stoer 89, 170, 247Störempfindlichkeit der Eigenwerte89ff.Störmer 235Störungssatz 88Strang 261Sturmsche Kette 46Swarztrauber 347, 356symmetrischer Operator 237, 250SYMMLQ-Verfahren 332Tang 212Träger 245Trapezregel–, implizite 177Trapezsumme 120Triangulation 253Tridiagonalgestalt, Reduktion auf32ff.Tridiagonalmatrix 2, 26, 45trigonometrische Polynome 245Troesch 202Trottenberg 356f.Tschebyscheff-Polynome 315Übergangsfunktion 224Überrelaxation 281Unterraumiteration 59Unterrelaxation 281unvollständige Choleskyzerlegung318f.unzerlegbare Matrizen 45f., 67, 70,276, 286Valli 256, 271van der Vorst 318, 345Van Loan 2, 65Varga 244, 270, 280, 282ff., 287f.,305f., 380ff.Variationsrechnung 216Variationsverfahren 236ff., 249,250ff.Vektoriteration–, einfache 44, 48, 94, 97, 272–, inverse 44, 50ff., 94Velte 268verallgemeinertes Eigenwertproblem181Verschiebungsparameter 69Vielfachheit 4Vielfachheit eines Eigenwerts–, algebraische 4–, geometrische 4von Stryk 185Vorkonditionierungsmatrix 316Vorkonditionierungstechniken 316ff.,332, 371f.Wachspress 306Wagschal 251Wanner 121, 167, 178, 182, 186Watts 267Weinstein 94Wertebereich 94Weyl 95Widlund 356Wielandt,–, inverse Iteration von 44, 48, 50,68, 77Wilkinson 2f., 30f., 36, 43, 46, 55,62, 71ff., 83, 181, 274, 315Willoughby 41, 172, 178Wittmeyer 271Witzgall 89Wright 185Young 270, 283, 287f., 299, 305f.Zeilensummenkriterium–, schwaches 277–, starkes 276

394 Namen- und SachverzeichnisZlamal 254, 256Zugk 179, 182zusammenhängend 277Zweigitterverfahren 363ff.