aktuelles Skript

Inhaltsverzeichnis 

Krylov - Iterationsverfahren 

Bernhard Schmitt 

Wintersemester 2008/09 

1 Einleitung 3 

1.1 Normalformen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 

1.2 Das ursprüngliche Krylov-Verfahren . . . . . . . . . . . . . . . . . . . . . . 5 

2 Klassische Krylov-Verfahren 10 

2.1 Arnoldi- und GMRES-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . 10 

2.2 Lanczos-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 

2.3 Idealfall Symmetrie: Das CG-Verfahren . . . . . . . . . . . . . . . . . . . . 23 

MINRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 

2.4 Orthogonalpolynome und Fehlerschranken . . . . . . . . . . . . . . . . . . 30 

3 Verfahren mit kurzen Rekursionen 37 

3.1 BCG und QMR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 

3.2 CGS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 

3.3 BiCGStab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 

4 Ergänzungen 46 

4.1 Präkonditionierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 

Unvollständige LR-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . 47 

Iterations-Präkonditionierer . . . . . . . . . . . . . . . . . . . . . . . . . . 48 

Transformations-Präkonditionierer . . . . . . . . . . . . . . . . . . . . . . . 48 

Index 50 

Literatur: 

1. A. Greenbaum: Iterative methods for solving linear systems, SIAM Philadelphia, 

1997. 

1

INHALTSVERZEICHNIS 2 

2. Kelley, C.T.: Iterative methods for linear and nonlinear equations, SIAM Philadel- 

phia, 1995. 

3. Y. Saad: Iterative methods for sparse linear systems, PWS Publishing Co. 1996 

4. H. van der Vorst: Iterative Krylov methods for large linear systems, Cambridge 

Univ.Pr. 2003

1 EINLEITUNG 3 

1 Einleitung 

1.1 Normalformen 

Krylov-Verfahren dienen sowohl zur numerischen Lösung von großen Linearen Gleichungs- 

systemen 

Az = b, A ∈ R n×n , b, z ∈ R n , (1.1.1) 

als auch zur Approximation beim Eigenwertproblem (EWP) 

Ax = λx, A ∈ R n×n , x ∈ R n \ {0}, λ ∈ C. (1.1.2) 

Die (Rechts-) Eigenvektoren werden in diesem Abschnitt mit x (i) bezeichnet, die zugehöri- 

gen Eigenwerte mit λi. Dabei denkt man insbesondere an Größenordnungen der Dimen- 

sion n, wo direkte Verfahren, welche die volle n × n-Matrix speichern, nicht mehr sinnvoll 

einsetzbar sind. 

Obwohl sich die Vorlesung auf die Lösung von Gleichungssystmen konzentriert, sollen 

zunächst Querverbindungen zwischen Eigenwertproblem und Gleichungssystem angespro- 

chen werden. Außerdem wird das ursprüngliche Krylov-Verfahren vorgestellt. Die prinzi- 

pielle Bedeutung des EWPs besteht darin, dass sich in einer Basis von Eigenvektoren die 

Wirkung der linearen Abbildung x ↦→ Ax sehr einfach beschreiben läßt, sie reduziert sich 

nämlich auf eine einfache Streckung der Koordinaten: 

x = 

n� 

ξjx (j) 

j=1 

↦→ Ax = 

n� 

ξjλjx (j) . 

Eigenvektoren zu verschiedenen Eigenwerten sind linear unabhängig, aber leider besitzt 

nicht jede Matrix eine Basis von Eigenvektoren. Bei mehrfachen Eigenwerten müssen die 

Eigenvektoren evtl. durch Hauptvektoren mit 

j=1 

Ax (j) = λx (j) + x (j−1) 

zu einer Basis ergänzt werden. Setzt man alle zu einer regulären Basismatrix zusammen, 

bekommt man als Darstellung der Matrix die Jordan-Normalform 

� 

X := x (1) , . . . , x (n) 

� 

⇒ AX = XΛ ⇐⇒ A = XΛX −1 . (1.1.3) 

Dabei ist Λ im Wesentlichen die Diagonalmatrix der Eigenwerte 

⎛ 

λ1 

⎜ 

Λ = ⎜ 

⎝ 

θ1 

λ2 θ2 

. .. 

⎞ 

⎟ , 

⎠ 

� 

= 0 

mit θj 

∈ {0, 1} 

wenn λj+1 �= λj 

wenn λj+1 = λj. 

λn 

(1.1.4)


Die Existenz von Hauptvektoren (θj �= 0) erschwert viele Überlegungen. Man nennt daher 

eine Matrix diagonalisierbar, wenn sie eine Basis von Eigenvektoren besitzt, also Λ = 

diag(λi) in (1.1.4) diagonal ist. Die Zeilen der Matrix Y ∗ := X −1 enthalten dann übrigens 

eine Basis von Links-Eigenvektoren mit y ∗ A = λy ∗ . Die Basen X und Y sind biorthogonal, 

es gilt Y ∗ X = I. 

Als Grundlage numerischer Algorithmen eignet sich die Jordan-Normalform kaum, da 

Eigenvektoren beinahe parallel sein können, was zu einer sehr schlecht konditionierten 

Basismatrix X führt und große Rundungsfehler zur Folge haben kann. Günstiger ist die 

Verwendung einer Orthonormalbasis U ∈ R n×n mit einer unitären Matrix U ∗ U = I, d.h., 

U −1 = U ∗ , wobei U ∗ = Ū T . 

Lemma 1.1.1 (Schur-Normalform) Zu jeder Matrix A ∈ R n×n existiert eine unitäre 

Matrix U ∈ C n×n und eine obere Dreieckmatrix S ∈ C n×n mit 

A = USU ∗ , sjj = λj, j = 1, . . . , n. 

Beweis Zur regulären, komplexen Matrix X aus der Jordan-Normalform existiert die 

QR-Zerlegung X = UR mit unitärer Matrix U und regulärer Dreieckmatrix R. Damit ist 

A = XΛX −1 = U(RΛR −1 )U ∗ 

die Schur-Normalform, denn S := RΛR −1 hat obere Dreieckgestalt mit Diagonalelementen 

sjj = rjjλj/rjj = λj. 

An der Schur-Normalform liest man auch sofort ab, dass bei einer reell symmetrischen 

(hermiteschen) Matrix S = diag(λi) ∈ R n×n gilt, die EWe sind reell, die EVen bilden eine 

Orthonormalbasis. 

Wenn eine der Normalformen von A bekannt sind, können damit natürlich auch Lineare 

Gleichungssysteme gelöst werden: 

Az = XΛX −1 z = b ⇒ z = XΛ −1 (X −1 b) 

Az = USU ∗ z = b ⇒ z = US −1 (U ∗ b). 

(1.1.5) 

Die geklammerten Vektoren enthalten dabei gerade die Koeffizienten der entsprechen- 

den Basisentwicklung. Es ist natürlich nicht sinnvoll das (relativ einfache) Problem Glei- 

chungssystem über das schwierigere EWP zu behandeln. Allerdings bestimmen Krylov- 

Verfahren ”abgemagerte” Darstellungen bzw. Modelle der Matrix A, welche niederen Rang 

besitzen. Dabei kann man sich an der Jordan- oder Schur-NF orientieren. Bei der Jordan- 

form betrachtet man die Basismatrix Vk ∈ C n×k eines k-dimensionalen Unterraums. Dazu 

existiert natürlich keine Inverse, aber eine Komplementärbasis Wk ∈ C n×k mit W ∗ k Vk = Ik 

(Bi-Orthogonalsystem). Wenn die Spalten von Vk = Uk eine Orthonormalbasis bilden, gilt


das natürlich mit Wk = Uk = Vk. Als Verfahrensgrundlage für Gleichungsysteme orientiert 

man sich an (1.1.5), wenn ein Modell niederen Rangs für A vorliegt in der Form VkTkW ∗ k 

bzw. UkHkU ∗ k , erwartet man 

A ∼ = VkTkW ∗ k , W ∗ k Vk = Ik ⇒ z ∼ = VkT −1 

k W ∗ k b, 

A ∼ = UkHkU ∗ k , U ∗ k Uk = Ik ⇒ z ∼ = UkH −1 

k U ∗ k b, 

(1.1.6) 

wenn die quadratischen Modellmatrizen Tk, Hk regulär sind. Diese Matrizen Tk und Hk be- 

sitzen meist nur noch annähernd Diagonal- bzw. Dreieckgestalt. Ein Merkmal von Krylov- 

Verfahren ist auch, dass die Basen Vk induktiv über k aufgebaut werden, sodass tatsächlich 

eine (endliche) Folge von Lösungsapproximationen berechnet werden kann. Für große Di- 

mensionen n interessiert man sich dabei für die Genauigkeit der Approximationen schon 

für k ≪ n. Daher kommt die Bezeichnung Krylov-Iterationsverfahren. 

Abschließend seien im Zusammenhang mit den Eigenwerten noch der Spektralradius 

ϱ(A) := max{|λi| : i = 1, . . . , n} und die Spektral-Kondition ˆκ(A) = ϱ(A)ϱ(A −1 ) für 

reguläre Matrizen eingeführt. 

1.2 Das ursprüngliche Krylov-Verfahren 

Das von Alexei Nikolajewitsch Krylov (1863-1945) vorgeschlagene Verfahren dient zur 

Bestimmung der Koeffizienten αj des charakteristischen Polynoms 

p(λ) := det(λI − A) = 

n� 

αjλ j 

j=0 

(1.2.1) 

der Matrix A (αn = 1). Über dessen Nullstellen bekommt man (theoretisch) die Eigen- 

werte von A. Hintergrund ist das Theorem von Cayley-Hamilton, das besagt, dass jede 

Matrix durch ihr eigenes charakteristisches Polynom anulliert wird, 

p(A) = 0 mit (1.2.1). 

Tatsächlich gilt diese Aussage schon mit dem Minimalpolynom der Matrix A, dessen Grad 

bei mehrfachen EWen kleiner als n sein kann. Die Aussage p(A) = 0 bleibt natürlich auch 

bei Multiplikation mit einem beliebigen Vektor v �= 0 erhalten, 

0 = p(A)v = 

n� 

j=0 

αjA j v = α0v + α1Av + α2A 2 v + . . . + A n v (1.2.2) 

= 

⎛ 

� 

v, Av, A 2 v, . . . , A n−1 � ⎜ 

v ⎜ 

⎝ 

α0 

α1 

. 

αn−1 

⎞ 

⎟ 

⎠ + Anv.


Wenn also die Krylov-Matrix Kn mit 

� 

Kk = v, Av, A 2 v, . . . , A k−1 � 

v ∈ R n×k , 1 ≤ k ≤ n, (1.2.3) 

für k = n vollen Rang besitzt, kann man die charakteristischen Koeffizienten αi aus dem 

Linearen Gleichungssystem (1.2.2) berechnen. Die Regularitätsannahme an die Matrix Kn 

ist nicht unrealistisch, denn wenn v = � n 

j=1 ηjx (j) = Xη die Eigenvektor-Entwicklung des 

Startvektors v ist, gilt bei einer diagonalisierbaren Matrix A wegen A k X = XΛ k , dass 

� �n 

Kn = 

i=1 

ηiλ j 

i x(i) 

� 

⎛ 

⎜ 

= Xdiag(ηi) ⎝ 

1 λ1 λ2 1 . . . λ n−1 

1 

. 

. 

1 λn λ 2 n . . . λ n−1 

n 

⎞ 

⎟ 

⎠ . (1.2.4) 

Der letzte Faktor ist eine VanderMonde-Matrix, welche tatsächlich regulär ist bei n verschiedenen 

EWen. Wenn der Grad m des Minimalpolynoms µ(λ) = � m 

j=0 µjλ j von A aber 

kleiner als n ist, kann der Rang der Krylovmatrix diesen nicht übersteigen: 

µ(A) = 

m� 

µjA j = 0 ⇒ Rang Kk ≤ m. (1.2.5) 

j=0 

Für die Regularität von Kn müssen aber auch die Entwicklungskoeffizienten ηi �= 0∀i = 

1, . . . , n nichttrivial sein, also an dem Startvektor v alle EVen einen nichttrivialen Bei- 

trag beisteuern. Der Rang von Kk ist auch durch die Anzahl r der Koeffizienten ηi �= 0 

beschränkt, insgesamt ist 

Rang Kk ≤ min{m, r}. 

Anwendungen bei bekanntem Minimalpolynom (1.2.5): 

• Bestimmung von Eigenwerten: Alle Eigenwerte λi der Matrix A sind Nullstellen, 

µ(λi) = 0. 

• Lösung von Gleichungssystemen Ax = b: Für µ0 �= 0 folgt aus (1.2.5) 

0 = µ(A)b = 

m� 

j=0 

µjA j b ⇒ z = A −1 b = − 1 

µ0 

m−1 � 

j=0 

µj+1A j b, (1.2.6) 

die Lösung ist also darstellbar als Matrixpolynom µ[0, A]b vom Grad m − 1 mit der 

dividierten Differenz µ[0, λ] = (µ(0) − µ(λ))/(0 − λ) = � 1 

0 µ′ (λt)dt. Damit lassen 

sich Fehleraussagen auf den Vergleich von Polynomen zurückführen. 

Tatsächlich ist aber dieses ursprüngliche Krylov-Verfahren, außer bei sehr kleinen Di- 

mensionen, numerisch unbrauchbar aus folgenden Gründen:


• Die Kondition der Krylov-Matrix Kn ist oft sehr schlecht. Die Größenordnung der 

Vektoren A k−1 v wächst wie ϱ(A) k−1 mit dem Spektralradius ϱ(A). Beiträge von 

kleineren Eigenwerten |λi| ≪ ϱ(A) wirken sich daher nur in den hinteren Stellen der 

Zahldarstellung aus oder fallen bei starken Größenunterschieden ganz unter das Run- 

dungsniveau. Dann werden die Krylovvektoren A k−1 v numerisch linear abhängig. 

Durch unterschiedlich große Koeffizienten ηi kann sich dieses Problem verschärfen. 

Bei schlechter Kondition von Kn weisen aber die berechneten Koeffizienten αi große 

Fehler auf und verschärfen das folgende Problem. 

• Das charakteristische Polynom eignet sich nicht zur numerischen Berechnung der 

Eigenwerte! Der Grund ist die empfindliche Abhängigkeit der Nullstellen bei Stö- 

rung der Koeffizienten insbesondere für mehrfache Nullstellen oder höhere Polynom- 

Grade. Das sieht man etwa beim speziellen Polynom 

p20(t) = 

20� 

j=1 

�20 

(t − j) = ait i . 

Eine relative Änderung des Koeffizienten a15 wirkt sich um den Faktor 10 14 verstärkt 

auf einzelne (nicht-extremale) Nullstellen aus! Da nach der vorherigen Bemerkung 

bei den charakteristischen Koeffizienten αi aber mit merklichen Fehlern zu rechnen 

ist, kann man für die EWe i.d.R. keine akzeptable Genauigkeit mehr erwarten. 

Beispiel 1.2.1 Das Verfahren wird auf die Matrix 

⎛ 

86 −57.5 66 

⎞ 

−83.5 

⎜ −2 

A = ⎜ 

⎝ −6 

44.75 

32.5 

−33 

−22 

7.75 

6.5 

⎟ 

⎠ 

i=0 

50 −37.75 45 −52.75 

mit den Eigenwerten −2, 2, 24, 32 und dem charakteristischen Polynom p(λ) = λ 4 −56λ 3 + 

764λ 2 +224λ−3072 angewendet. Bei exakter Rechnung mit Startvektor v := (1, 1, −1, 1) T 

hat das Krylovsystem die Form 

⎛ 

1 −121 −4438 

⎞ ⎛ 

−172372 

⎜ 1 

⎜ 

⎝ −1 

167 

2 

55 

1501 

1674 

3622 

24172 

⎟ ⎜ 

⎟ ⎜ 

⎟ ⎜ 

⎠ ⎝ 

1 − 171 

2 

−2217 −86286 

α0 

α1 

α2 

α3 

⎞ 

⎟ 

⎠ + 

⎛ ⎞ 

−6232024 

⎜ −959564 

⎟ 

⎜ ⎟ = 0. 

⎝ 59304 ⎠ 

−3116004 

Wegen der einfachen Zahlen dürfte das Ergebnis auch bei numerischer Rechnung ähnlich 

aussehen. Die numerische Lösung des Systems (Maple, 8 Stellen) liefert das Polynom 

p(λ) = λ 4 − 56.000001λ 3 + 764.0002λ 2 + 224.008λ − 3071.6 und dessen Nullstellen ˜ λi = 

−1.9998421, 1.9998912, 24.000152, 31.999899, die teilweise nur auf 4 Stellen genau sind.


Historisch hatte das ursprüngliche Krylov-Verfahren daher nur eine geringe Bedeutung. 

Mit fortschreitender Computer-Entwicklung und dem Bedarf an Matrix-Algorithmen für 

immer größere Dimensionen wuchs das Interesse an der Klasse von Krylov-Verfahren aber 

wieder. Das gemeinsame Prinzip moderner Krylov-Verfahren ist tatsächlich die Verwen- 

dung von Krylov-Räumen 

Kk(A, v) := span{v, Av, A 2 v, . . . , A k−1 v}, (1.2.7) 

wobei man jedoch durch Verwendung anderer Basen den direkten Umgang mit der Krylov- 

Matrix (1.2.3) vermeidet. Natürlich ist Kk(A, v) = Rg(Kk). Die Krylovräume sind ge- 

schachtelt, Kk(A, v) ⊆ Kk+1(A, v), aus ihrem Aufbau folgt auch die triviale, aber wichtige 

Identität 

AKk(A, v) ⊆ Kk+1(A, v). (1.2.8) 

Die Attraktivität moderner Krylov-Verfahren hat folgende Gründe: 

1. Der schrittweise Aufbau der Krylov-Basis A k v = A(A k−1 v) erfordert nur je eine 

Multiplikation mit der Matrix/Abbildung A. Bei großen Problemen ist die Matrix 

oft dünn besetzt und hat wesentlich weniger als n 2 Einträge. Bei der Multiplikation 

x ↦→ Ax kann man dies auf triviale Weise zur Effizienzsteigerung berücksichtigen. 

Es muß auch tatsächlich nur diese Abbildung als Software implementiert werden, 

die zugehörige Matrix A selbst wird nicht benötigt. Dies ist ein Vorteil etwa, wenn 

komplexe Datenstrukturen verwendet werden, oder wenn A nicht explizit bekannt 

ist. Bei nichtlinearen Problemen etwa kann man im Newton-Verfahren die Wir- 

kung der Ableitungsmatrix A = f ′ (x) durch Differenzenquotienten approximieren 

(”Matrix-freie” Verfahren), 

Av = 

f(x + εv) − f(x) 

ε 

+ O(ε�v� 2 ). (1.2.9) 

Einige Krylovverfahren benötigen auch die transponierte Abbildung y ↦→ A T y. Hier 

läßt sich zwar noch die dünne Besetzung ausnutzen, die Implementierung erfordert 

aber zusätzlichen Aufwand beim Anwender, eine Approximation wie in (1.2.9) ist 

nicht möglich. Daher bevorzugt man Verfahren ohne Transponierte. 

2. Die Tatsache, dass der Krylov-Raum Kn(A, v) nicht die volle Dimension n erreicht, 

wenn nur r < n Koeffizienten ηi �= 0 sind in (1.2.4), kann bei Gleichungssystemen 

auch Vorteile bringen. Hat nämlich die rechte Seite b = Xη nur r nichttriviale Koef- 

fizienten in der EV-Basis X, gilt (1.2.6) mit Grad r, also z ∈ Kr(A, b) und geeignete 

Algorithmen brechen zwar vorzeitig, aber mit der exakten Lösung z ab (”günstiger 

Abbruch”, ”lucky breakdown”). Die Verfahren werden im Folgenden dabei immer


mit dieser rechten Seite b formuliert, eine Standardmethode zur Berücksichtigung 

einer Startnäherung x (0) ist aber der Übergang zum äquivalenten System 

A(x − x (0) ) = b − Ax (0) , 

welches möglicherweise einen kleineren Startdefekt �b − Ax (0) � ≪ �b� besitzt und 

mit weniger Iterationen gelöst werden kann. 

3. Elemente x ∈ Kk(A, v) sind Linearkombinationen der Form x = �k j=1 ξjAj−1v = 

� � 

�k 

j−1 ξjA v = qk−1(A)v mit einem Polynom qk−1 von Grad k − 1, kurz qk−1 ∈ 

j=1 

Pk−1. Daher ist also auch 

Kk(A, v) = {qk−1(A)v : qk−1 ∈ Pk−1}. (1.2.10) 

In diesem Zusammenhang sind die Rechenregeln für Ähnlichkeitstransformationen 

interessant. Analog zu (1.1.5) gilt etwa für die Jordan-Normalform auch A k = 

XΛ k X −1 und somit 

v = Xη ⇒ qk−1(A)v = Xqk−1(Λ)η. 

Wenn Λ diagonal ist, ist dies auch qk−1(Λ) = diag(qk−1(λi)). Mit Minimaleigenschaf- 

ten einiger Krylovverfahren lassen sich daher Fehlerschranken aus den Approxima- 

tionseigenschaften von Polynomen auf der Menge aller Eigenwerte in C herleiten, 

vgl. (1.2.6). Diese Querverbindung stellt ein mächtiges Hilfsmittel für die Analyse 

dar, welche wesentliche Einsichten in das Konvergenzverhalten von Krylovverfahren 

und damit Hinweise für deren Einsatz liefert. 

Die im Folgenden behandelten Krylov-Verfahren unterscheiden sich zunächst in der Art 

der verwendeten Basen, vgl. (1.1.6). Im unsymmetrischen Fall besitzen die robusten 

Grundverfahren aber auch Nachteile, wie einen mit der Krylovdimension k stark anwach- 

senden Rechenaufwand oder das Risiko eines vorzeitigen Abbruchs abseits der Lösung. 

Neuere Verfahren versuchen diese praktischen Nachteile zu umgehen, müssen dabei aber 

wesentliche theoretische Eigenschaften der Grundverfahren aufgeben.

2 KLASSISCHE KRYLOV-VERFAHREN 10 

2 Klassische Krylov-Verfahren 

Die beiden Verfahren, die in diesem Abschnitt besprochenen werden, entstanden um 1950 

und unterscheiden sich in der Frage, ob allgemeine oder Orthonormal-Basen verwendet 

werden, vgl. (1.1.6). 

2.1 Arnoldi- und GMRES-Verfahren 

Das Arnoldi-Verfahren (Quart.Appl.Math., 1951) kombiniert sehr geschickt die Multipli- 

kation mit der Matrix A und den Einsatz der Gram-Schmidt-Orthogonalisierung für den 

Aufbau einer Orthonormalbasis für Kk(A, v). Tatsächlich verwendet das Verfahren die 

Orthonormalbasis einer QR-Zerlegung UkRk = Kk für die Matrix aus (1.2.3) ohne die nu- 

merisch ungünstige Berechnung der Krylov-Vektoren A k−1 v. Der erste Basisvektor zeigt 

natürlich in Richtung von v, wenn Uk = (u (1) , . . . , u (k) ) ∈ R n×k der orthogonale Faktor 

dieser QR-Zerlegung ist, gilt mit β = �v�2 auch v = βu (1) = βU1 = βUke (1) . Mit einer 

oberen Dreieckmatrix Rk ∈ Rk×k gilt daher 

� 

UkRk = v, Av, A 2 v, . . . , A k−1 � 

v 

� 

= β Uke (1) , AUke (1) , A 2 Uke (1) , . . . , A k−1 Uke (1) 

� 

. 

(2.1.1) 

Also spannt Uk den Krylovraum auf, Rg(Uk) = Kk(A, v). Wegen (1.2.8) lassen sich die 

Spalten von AUk durch die von Uk+1 darstellen,kurz Rg(AUk) ⊆ Rg(Uk+1). Also existiert 

eine Matrix ¯ Hk ∈ R (k+1)×k mit 

AUk = Uk+1 ¯ Hk ⇒ ¯ Hk = U T k+1AUk. (2.1.2) 

Spaltenweise angewandt zeigt das Argument, dass gilt 

Au (j) ∈ Rg(Uj+1) ⇒ hij = 0∀i > j + 1. 

Daher besitzen alle Matrizen ¯ Hk Hessenberg-Form 

⎛ 

h11 

⎜ h21 

¯Hk 

⎜ 

= ⎜ 

⎝ 

h12 

h22 

h32 

. . . 

. . . 

. .. 

. .. 

h1k 

h2k 

. 

⎞ 

⎟ � 

⎟ Hk 

⎟ = 

⎟ 0 . . . 0 hk+1,k 

⎠ 

hk+1,k 

� 

. (2.1.3) 

Die quadratische Untermatrix Hk = U T k AUk hat auch Hessenbergform. Diese Gestalt folgt 

auch aus der Multiplikation von (2.1.1) mit U T k 

Rk = 

� 

β 

� 

= β 

, da 

e (1) , U T k AUke (1) , U T k A 2 Uke (1) , . . . , U T k A k−1 Uke (1) 

e (1) , Hke (1) , H 2 ke (1) , . . . , H k−1 

k 

e (1) 

� 

� 

(2.1.4)


obere Dreieckstruktur besitzt. Tatsächlich betrifft der Index k bei Uk und ¯ Hk nur die 

Dimension, bekannte Elemente werden nicht mehr verändert. Mit (2.1.3) läßt sich die 

Darstellung (2.1.2) auch ausführlicher schreiben 

AUk = UkHk + hk+1,ku (k+1) e (k)T 

Au (k) = k� 

⇒ 

� 

u 

i=1 

(i) hik + hk+1,ku (k+1) = k+1 

u 

i=1 

(i) hik. 

(2.1.5) 

Zusammen mit der Orthonormalität dient diese Identität zur Konstruktion von u (k+1) und 

ist Grundlage des Arnoldi-Verfahrens. 

Satz 2.1.1 (Arnoldi-Verfahren) Gegeben sei A ∈ R n×n und v ∈ R n \ {0}. Beginnend 

mit d := v und h10 := �v�2 wird für j = 1, 2, . . . und solange hj,j−1 �= 0 ist, berechnet: 

u (j) 

:= d/hj,j−1, d := Au (j) , 

d := d − u (i) hij, mit hij := u (i)T d, i = 1, . . . , j (2.1.6) 

hj+1,j := �d�2. 

Wenn dieser Algorithmus über k Schritte durchführbar war, dann gelten für die Matrizen 

Uk = (u (1) , . . . , u (k) ) und Hk := (hij) k 

i,j=1 

folgende Aussagen: 

Rg(Uk) = Kk(A, v), U T k Uk = Ik, Hk = U T k AUk ist Hessenberg-Matrix, 

und es gilt (2.1.5). 

Bemerkung: 1) In der ersten Zeile von (2.1.6) wird der Restvektor d zu u (j) normiert und 

erst dann mit A multipliziert. Die zweite Zeile verwendet die modifizierte Gram-Schmidt- 

Orthogonalisierung, bei der die Innenprodukte mit dem aktuellen Restvektor gebildet 

werden entsprechend der rechten Seite der Identität 

� 

I − 

j� 

i=1 

u (i) u (i)T� 

d = 

j� 

i=1 

� 

I − u (i) u (i)T� 

d. 

Dies verringert die Empfindlichkeit gegen Rundungsfehler. Es ist auch eine Variante zur 

Orthogonalisierung mit Householder-Spiegelungen bekannt [Walker, 1988]. 

2) Für hk+1,k = 0 bricht der Algorithmus und damit der Aufbau der Basis U ab. In diesem 

Fall gilt in (2.1.5) 

AUk = UkHk ⇒ AKk(A, v) ⊆ Kk(A, v), 

also ist RgUk = Kk(A, v) ein invarianter Unterraum von A und alle Eigenwerte von 

Hk sind EWe von A. Welche Auswirkungen ein solcher Abbruch (”breakdown”) auf die 

Lösung von Gleichungssystemen hat, ist eine wichtige Frage bei Krylovverfahren.


Beweis Die zweite Zeile in (2.1.6) berechnet bei exakter Rechnung den Restvektor 

d = (I − UjU T J )Au (j) = Au (j) − 

Hier sieht man, dass d im nächsten Krylovraum liegt, 

j� 

i=1 

u (i) u (i)T Au (j) . 

d ∈ AKj(A, v) + Kryj(A, v) ⊆ Kj+1(A, v) 

und sogar orthogonal ist zum aktuellen, d ⊥ Rg(Uj) = Kj(A, v). Für d �= 0 wächst daher 

die Dimension um eins und d = hj+1,ju (j+1) bestätigt (2.1.5). 

Der j-te Schritt im Algorithmus (2.1.6) besteht aus einer Matrix-Vektor-Multiplikation 

und j Innenprodukten, sowie Linearkombinationen. Durch Summation über k Schritte 

erhält man daher den Rechenaufwand für (2.1.5): 

k MV-Multiplikationen + k 2 n FLOP. (2.1.7) 

Insbesondere wächst der Aufwand quadratisch mit der Iterationszahl. Dies ist der Anlaß 

zur Betrachtung alternativer Verfahren. 

Die Lösung des Gleichungssystems Ax = b kann man durch Näherungen x (k) ∈ Kk(A, v) 

approximieren. Mit dem Ansatz x (k) = Uky (k) , y (k) = (y1, . . . , yk) T ∈ R k erhält man mit 

(2.1.5) folgendes Residuum 

b − Ax (k) = b − AUky (k) = b − Uk+1 ¯ Hky (k) = b − UkHky (k) − hk+1,kyku (k+1) . 

Hier sieht man, dass man den Bildpunkt b nur dann gut darstellen kann, wenn er im 

Krylovraum Kk+1(A, v) liegt. Dieses ist trivialerweise für alle k dadurch möglich, dass 

man die Krylovräume mit Startvektor b aufbaut, b = βu (1) = βUke (1) . Mit Rg(Uk+1) = 

Kk+1(A, b) hat das Residuum also die einfachere Gestalt 

res := b−Ax (k) � (1) βe − Hky 

= Uk+1 

(k) � 

−hk+1,ky (k) 

k 

= Uk(βe (1) −Hky (k) )−hk+1,ky (k) 

k u(k+1) , (2.1.8) 

und das Ziel von Verfahren ist, dieses ”klein” zu machen. Dazu gibt es zwei verschiedene 

Strategien: 

OrthoRes Man vernachlässigt den Term mit u (k+1) und löst das quadratische System 

Hky (k) = βe (1) . Dies macht durchaus Sinn, wegen u (k+1) ⊥ Kk(A, b) entspricht dieses 

Vorgehen dem bekannten Galerkin-Verfahren 

x (k) ∈ Kk(A, b) : b − Ax (k) ⊥ Kk(A, b). (2.1.9) 

Wenn die Lösung x (k) = Uky (k) existiert, ist das Residuum orthogonal zum Kry- 

lovraum, seine Größe ist hier 

�resArn�2 = �b − Ax (k) �2 = hk+1,k|y (k) 

k |.


MinRes Man minimiert das Residuum (2.1.8) 

x (k) = argmin{�b − Ax�2 : x ∈ Kk(A, b)}. (2.1.10) 

Nach Pythagoras wird das Minimum dort angenommen, wo b − Ax (k) ⊥ AKk(A, b) 

gilt, also eine Petrov-Galerkin-Bedingung. Wegen der Orthonormalität der Basis 

Uk+1 ist �Uk+1r�2 = �r�2 ∀r ∈ R k+1 und (2.1.10) entspricht für x (k) = Uky (k) der 

Minimierung durch 

y (k) � 

= argmin 

Die Graphik veranschaulicht die Situation der Re- 

siduen im Bildraum für beide Bedingungen mit 

b ∈ Kk(A, b). Bei OrthoRes wird die Lösung 

durch res ⊥ Kk(A, b), bei MinRes durch res ⊥ 

AKk(A, b) bestimmt. Die Kreise bezeichnen die 

Bilder Ax (k) der jeweiligen Näherung. Offensicht- 

lich spielen in beiden Fällen Orthogonalprojektio- 

nen eine Rolle. Damit arbeitet auch der folgende 

allgemeine Satz. 

�βe (1) − Hky� 2 2 + h 2 k+1,k|yk| 2 : y ∈ R k 

✻ 

� 

. 

AKk 

✘ ✲ 

✘✘✘✘✘ ✘✘✘ ✘✘✘ ✘✘✘✘✿ Kk 

� 

� 

� 

� 

� 

� 

� 

� 

� 

� ��✒ 

Ax 

MinRes ❜ 

❅ 

❅ 

❅ 

❅� 

b 

(k) 

❈ 

❈ 

❈ 

❈ 

❈ 

❈ 

OrthoRes 

❜ 

Satz 2.1.2 Das Gleichungssystem mit regulärer Matrix A ∈ R n×n und b ∈ R n besitze 

die Lösung ˆx. Mit Unterräumen S, S ′ ⊆ R n wird eine Näherungslösung durch folgende 

Petrov-Galerkin-Bedingung definiert 

˜x ∈ S : b − A˜x ⊥ S ′ . 

Es sei P ein Projektor auf den Raum S und P ′ ein Projektor mit Kern (S ′ ) ⊥ . Dann hat 

jede solche Näherung die Darstellung ˜x = Πˆx mit einem (Schief-) Projektor Π und für 

den Fehler ˆx − ˜x = (I − Π)ˆx gelten die Gleichungen 

P ′ AP (ˆx − ˜x) = −P ′ A(I − P )ˆx, (I − P )(ˆx − ˜x) = (I − P )ˆx. 

Bemerkung: a) Die beiden Fehleranteile P (x − ˆx) im Unterraum S und (I − P )(x − ˆx) 

in S ⊥ werden durch jeweils eine Gleichung charakterisiert. Auf den rechten Seiten tritt 

dabei vor allem (I − P )ˆx auf, sodass der Fehler i.w. durch den Abstand �(I − P )ˆx� der 

exakten Lösung vom Unterraum S bestimmt wird. 

b) Bei Galerkin-Verfahren ist S ′ = S. Dann und auch allgemein kann unter einfachen 

Zusatzvoraussetzungen P ′ = P T gewählt werden (mit S = Rg(P ), S ′ = Rg(P T )). 

Beweis Die Galerkinbedingung ist äquivalent mit P ′ (b − A˜x) = 0 und die Bedingung 

˜x ∈ S kann durch P ˜x = ˜x beschrieben werden. Daraus folgt 

0 = P ′ (b − A˜x) = P ′ A(ˆx − ˜x) = P ′ AP (ˆx − ˜x) + P ′ A(I − P )ˆx,


also die Darstellung für den Fehleranteil P (˜x− ˆx). Die für das Komplement (I −P )(˜x− ˆx) 

ist trivial. Die Zuordnung ˆx ↦→ e := ˆx − ˜x durch P AP P e = −P ′ A(I − P )ˆx, (I − P )e = 

(I − P )ˆx ist tatsächlich ein Projektor (wenn existent!), da idempotent. Denn für eine 

weitere Lösung f ∈ R n mit (I−P )f = (I−P )e, P AP P f = −P ′ A(I−P )e = −P ′ A(I−P )ˆx 

gilt offensichtlich f = e. 

Konkrete Darstellungen dieser Aussagen werden bei den einzelnen Verfahren angegeben. 

Die OrthoRes-Strategie führt auf die auch Arnoldi-Verfahren oder ”Full Orthogonalization 

Method” genannte Methode. 

Satz 2.1.3 (FOM) Die Matrix A ∈ R n×n sei regulär und b ∈ R n . Wenn das Arnoldi- 

Verfahren (2.1.6) mit Startvektor b = βu (1) bis zum Schritt k durchführbar war, und die 

Matrix Hk = U T k AUk regulär ist, hat die Galerkin-Näherung x (k) = Uky (k) die Form 

y (k) = βH −1 

k e(1) mit �resArn�2 = �b − Ax (k) � = hk+1,k|y (k) 

k |. 

Mit Pk = UkU T k und νk := �H −1 

k U T k A(I − Pk)�2 gilt die Fehleraussage 

�x (k) − ˆx�2 ≤ 

� 

1 + ν 2 k �(I − Pk)ˆx� = 

Beweis Mit x (k) = Uky (k) entspricht (2.1.9) der Identität 

� 

1 + ν 2 k min{�ˆx − x�2 : x ∈ Kk(A, b)}. 

0 = U T k (AUky (k) − b) = Hky (k) − βe (1) , 

welche die ersten Behauptungen zeigt. Jetzt werden die Größen aus Satz 2.1.2 explizit 

konstruiert. Dazu wird die ONB Uk ∈ R n×k durch U ′ k ∈ Rn×(n−k) ergänzt zu einer unitären 

Matrix (Uk, U ′ k ), wobei U ′ k e(1) = u (k+1) sei, wenn hk+1,k �= 0 ist. Damit entspricht (2.1.5) 

der Identität 

(Uk, U ′ k) T A(Uk, U ′ � 

Hk Bk 

k) = 

Ck Dk 

� 

, Ck = hk+1,ke (1) e (k)T . (2.1.11) 

Der untere Block Ck enthält nur ein einziges nichttriviales Element hk+1.k. Die exakte 

Lösung ˆx = Uk ˆy + U ′ k 

� � � 

Hk Bk ˆy 

Ck Dk 

ˆz erfüllt daher das System 

� � (1) � 

βe 

= 

ˆz 0 

Mit z (k) = 0 und dem Orthogonalprojektor P = UkU T k 

der Fehleraussage von Satz 2.1.2. Es folgt 

� (k) � 

ˆy − y 

ˆx − x (k) = (Uk, U ′ k) 

= (Uk, U ′ k) 

⇒ ˆy = βH −1 

k e(1) − H −1 

k Bkˆz = y (k) − H −1 

k Bkˆz. 

ˆz 

� −H −1 

k Bk 

I 

ist dies eine sparsamere Version 

= (Uk, U ′ � −1 

0 −Hk k) 

Bk 

� 

(U ′ k) T ˆx. 

0 I 

� � � 

ˆy 

ˆz 

(2.1.12)


Mit νk = �H −1 

k Bk�2 = �H −1 

k U T k A(I − P )�2 und �ˆz�2 = �(U ′ k )T ˆx�2 = �(I − P )ˆx�2 folgt 

die Fehlerschranke. 

Bemerkung: 1) Die Regularität der Matrix Hk muß hier explizit gefordert werden um 

die Näherung x (k) berechnen zu können. Allerdings beeinträchtigt dies das Verfahren nur 

unwesentlich, die nächste Näherung x (k+1) ist i.d.R. wieder wohldefiniert. Nur für hk+1,k = 

0 bricht das Verfahren ab, allerdings mit resArn = 0 und daher der exakten Lösung 

(günstiger Abbruch, lucky breakdown). Man beachte, dass zur Berechnung des Residuums 

nur nur der Komponentenvektor y (k) ∈ R k benötigt wird, die aufwändige Berechnung der 

Näherung x (k) = Uky (k) ∈ R n führt man nur einmal am Ende des Verfahrens durch. 

2) An der Darstellung (2.1.12) liest man die Gestalt des Projektors aus Satz 2.1.2 ab: 

x (k) = Πˆx, Π = (Uk, U ′ � 

I 

k) 

−1 

Hk Bk 

0 

� � T Uk 0 

� 

. 

(U ′ k )T 

nur für kleines νk ist Π nahezu symmetrisch, d.h. orthogonal. Ein großes νk ≫ 1 be- 

deutet eine starke Asymmetrie bzw. Nichtnormalität der Matrix A. Dies ist generell eine 

schwierigere Stuation. 

Die Verwendung der MinRes-Strategie beim Arnoldi-Prozess von 1952 wurde erst 1986 

von Saad und Schultz vorgeschlagen als ”Generalized Minimal RESidual method”. 

Satz 2.1.4 (GMRES-Verfahren) Die Matrix A ∈ R n×n sei regulär und b ∈ R n . Wenn 

das Arnoldi-Verfahren (2.1.6) mit Startvektor b = βu (1) bis zum Schritt k durchführbar 

war, ist die MinRes-Lösung 

x (k) ∈ Kk(A, b) : rk := �b − Ax (k) �2 = min{�b − Ax�2 : x ∈ Kk(A, b)} 

wohldefiniert, die Residuen fallen monoton, r1 ≥ r2 ≥ . . . ≥ rk und es gilt 

rk = min{�qk(A)b�2 : qk ∈ Pk, qk(1) = 0}. 

Beweis Für reguläres A hat ¯ Hk maximalen Rang k, daher existiert eine eindeutige 

Kleinste-Quadrate-Lösung 

min 

y �b − AUky�2 = min 

y �Uk+1(βe (1) − ¯ Hky)�2 = min 

y �βe (1) − ¯ Hky�2 = rk. 

Da die Minima über geschachtelte Räume wachsender Dimension gebildet werden, fallen 

natürlich die Werte rj. Mit (1.2.10) gilt für x ∈ Kk(A, b) auch x = qk−1(A)b, qk−1 ∈ Pk−1 

und damit b − Ax = (I − Aqk−1(A))b = qk(A)b mit dem Polynom qk(t) = 1 − tqk−1(t), 

das den Wert qk(0) = 1 annimmt. 

Die Polynomdarstellung von rk wird später zur Herleitung expliziter a-priori-Fehler- 

schranken genutzt. Allerdings erfordern solche konkreten Aussagen Annahmen an die 

Verteilung der Eigenwerte von A (z.B. reell positiv, Ellipse in C).


Praktische Aspekte 

• Die tatsächliche Berechnung der Näherungen läßt sich für FOM und GMRES ef- 

fizient mit einer QR-Zerlegung der Matrix ¯ Hk = Qk ¯ Rk durchführen. Denn wegen 

der Hessenbergstruktur kann jedes neue Subdiagonalelement hk+1,k mit einer 2 × 2- 

Givens-Rotation Gk eliminiert werden, es gilt Q T k = GkGk−1 · · · G1. Das Arnoldi- 

Verfahren (2.1.6) erzeugt im Schritt k die k-te Spalte ¯ hk ∈ R k+1 der Matrix ¯ Hk, 

verwendet sie danach aber nicht weiter. Daher kann man die QR-Zerlegung von 

¯Hk−1 = Qk−1 ¯ Rk−1, ¯ Rk−1 ∈ R (k−1)×(k−1) , direkt nach dem Arnoldischritt aktualisie- 

ren. Im Detail gilt nach dem Arnoldischritt 

Gk−1 · · · G1 ¯ ⎛ ¯Rk−1 

Hk = ⎝ 0T ⎞ 

� 

Gk−1 · · · G1hk Rk 

⎠ = 

0..0 hk+1,k 

hk+1,k 

� 

. (2.1.13) 

Auf den neuen Teilvektor hk ∈ R k sind also zunächst die früheren Rotationen an- 

zuwenden (mit etwas Kreativität bei der Dimensionierung der Gj). Danach kann 

hk+1,k mit einer neuen Rotation Gk eliminiert werden zu 

� 

¯Rk 

0T � 

= GkGk−1 · · · G1 ¯ ⎛ 

1 

⎜ 

Hk = ⎜ 

⎝ 

.. . 

ck sk 

−sk ck 

⎞ ⎛ 

⎟ ⎜ 

⎟ ⎜ 

⎠ ⎝ 

¯Rk−1 

0 T 

Gk−1 · · · G1hk 

0 . . . 0 hk+1,k 

Mit c 2 k + s2 k = 1 wird die Rotation Gk aus rkk = e (k)T Gk−1 · · · G1hk und hk+1,k 

gebildet, 

sk = 

hk+1,k 

� 

r 2 kk + h2 k+1,k 

das neue Hauptdiagonalelement ist ¯rkk = 

, ck = 

rkk 

⎞ 

⎟ 

⎠ 

� 

r2 kk + h2 , 

k+1,k 

� 

r2 kk + h2 k+1,k . Dabei wird jedes Element 

höchstens durch 2 Rotationen geändert, der Aufwand hierfür ist nur O(k). Gleich- 

zeitig kann man die rechte Seite βe (1) des Gleichungssystems umformen, durch An- 

wendung der Gj wird aus γ1 := β daher 

γk+1 := −skγk = (−1) k βs1 · · · sk−1sk, ¯γk := ckγk = (−1) k−1 βs1 · · · sk−1ck. 

So erhält man der Reihe nach die Komponenten der Vektoren 

gk = (¯γ1, . . . , ¯γk−1, γk) T := βQ T k−1e (1) . 

(2.1.14) 

Der Übergang bei den γ-Versionen sieht also so aus: 

⎛ ⎞ 

. 

⎜ ⎟ 

⎝ γk−1 ⎠ 

0 

Gk−1 

⎛ ⎞ ⎛ 

. 

. 

⎞ 

⎜ ⎟ Gk ⎜ ⎟ 

↦→ ⎝ ¯γk−1 ⎠ ↦→ ⎝ ¯γk−1 ⎠ . (2.1.15) 

� 

γk 

�� 

¯γk 

�� 

=gk 

=¯gk


• Für die Arnoldi-Lösung verwendet man den R-Faktor aus Hk = Qk−1Rk, vgl. 

(2.1.13), ohne letzte Rotation Gk und löst das System Rky (k) = gk. Insbesondere 

ist die letzte Komponente y (k) 

k = γk/rkk und bestimmt das Residuum aus Satz 2.1.3 

wesentlich mit. Den Defekt der MinRes-Lösung (2.1.10) bekommt man dagegen aus 

� ¯ Hky − βe (1) � = 

� � 

¯Rk 

�Qk y − βe 

0 

(1) � � 

¯Rk 

�2 = � y − gk+1�2 

0 

≥ |γk+1| =: ResGMR. (2.1.16) 

Die GMRES-Lösung erhält man also aus dem System ¯ Rky = ¯gk = (¯γ1, . . . , ¯γk) T . We- 

gen der Dreieckstruktur von Rk lautet die letzte Komponente der Arnoldi-Lösung 

(Orthores) y (k) 

k = γk/rkk. Damit hat man jetzt für beide Strategien folgenden Vergleich: 

OrthoRes/Arnoldi: ResArn = hk+1,k|γk| 

|rkk| 

MinRes/GMRES: ResGMR = |γk+1| = |γksk| = hk+1,k|γk| 

√ 

r2 kk +h2 . 

k+1,k 

Vor allem für hk+1,k > |rkk| kann das Minimale Residuum also erheblich kleiner sein 

als das Ortho-Residuum. Ein Fehlervergleich leitet sich daraus aber nicht ab, vgl. 

Bsp 2.1.6 

• Nachorthogonalisierung: Die Qualität der Näherungen hängt auch davon ab, dass Uk 

wirklich orthogonal ist. Die Gram-Schmidt-Orthogonalisierung ist aber bekannter- 

maßen anfällig für Rundungsfehler, insbesondere wenn ein neuer Vektor Au (j) bei- 

nahe schon in der bisherigen Basis Uj enthalten ist, d.h. für �(I − UjU T j )Au (j) � ≪ 

�Au (j) �. In diesem Fall wird oft ein einzelner Schritt der Nachorthogonalisierung 

empfohlen. Einen großen Fortschritt erreicht man aber oft schon alleine dadurch, 

dass man die i-Schleife in (2.1.6) umkehrt und zuerst nach u (j) selbst orthogo- 

nalisiert. Denn wenn die Matrix A einheitlich große Hauptdiagonalelemente be- 

sitzt (vgl. Beisp. 2.1.5), ist Au (j) = αu (j) + . . . ein wesentlicher Beitrag, der mit 

d := Au (j) − hjju (j) als Erstes entfernt werden sollte, da er sonst die viel kleineren 

Innenprodukte hij, i < j, unnötig verfälscht. 

Ein wiederkehrendes Thema bei allen Krylov-Verfahren sind die Quellen möglicher Ab- 

brüche (wegen Nulldivision). Daher werden diese jeweils am Ende nochmal tabellarisch 

zusammengefaßt: 

Abbruch wegen hk+1,k = 0 Hk singulär 

FOM günstig fortsetzbar 

GMRES günstig —


Beispiel 2.1.5 Für die Tests aller Verfahren wird der Spezialfall einer wichtigen Problem- 

klasse vorgestellt, bei der Krylovverfahren gut einsetzbar sind. Es handelt sich dabei um 

ein elliptisches Randwertproblem partieller Differentialgleichungen. Dieses wird definiert 

auf einem Grundgebiet, das hier das Einheitsquadrat Ω = (0, 1) 2 im R 2 sein soll. Die 

Lösung u(ξ, η) erfüllt die Dirichlet-Randbedingungen u = 0 auf dem Rand und die lineare 

Dgl 

im Gebiet. Dabei ist g : Ω → R vorgegeben und 

b ein (konstanter) Koeffizient. Zur Approxima- 

tion unterteilt man das Intervall [0, 1] in jeder 

Richtung in m+1 gleich große Teilintervalle und 

erhält so das skizzierte Gitter, auf dessen Rand 

(bei ξ0, ξm+1, η0, ηm+1) der Funktionswert von 

u durch null vorgegeben ist. Im jedem der in- 

neren Gitterpunkte approximiert man die Ab- 

leitungen der Funktion u durch symmetrische 

Differenzen, mit h = 1 

m+1 gilt 

− uξξ − uηη + 2buξ = g(ξ, η), (ξ, η) ∈ Ω (2.1.17) 

ηm+1 

ηm 

ηj 

� � � � � 

� � � � � 

� � � �N � 

� � �W �P �O 

� � � �S � 

η0 

ξ0 ξ1 ξi ξm+1 

uξ(ξ, η) = 1 

2h (u(ξ + h, η) − u(ξ − h, η)) + O(h2 ), 

uξξ(ξ, η) = 1 

h 2 (u(ξ + h, η) − 2u(ξ, η) + u(ξ − h, η)) + O(h 2 ), 

uηη(ξ, η) = 1 

h 2 (u(ξ, η + h) − 2u(ξ, η) + u(ξ, η − h)) + O(h 2 ). 

Bei Vernachlässigung der O(h 2 )-Fehler erhält man so im markierten Punkt P (in jedem 

Gitterpunkt) einen Differenzenstern, der den unbekannten Näherungswert uP ∼ = u(P ) mit 

seinen direkten Nachbarn verknüpft: 

1 

h 2 (4uP − uN − uO − uS − uW ) + b 

h (uO − uW ) = gP ⇐⇒ 

4uP − uN − uS − (1 − hb)uO − (1 + hb)uW = h 2 gP . (2.1.18) 

Wenn einer der Nachbarpunkte auf dem Rand liegt, entfällt dessen Beitrag wegen der 

Nullrandbedingung. Bei zeilenweiser Nummerierung der Unbekannten im Gitter bekommt 

man ein Gleichungssystem mit der Blockmatrix 

⎛ 

T −I 

⎞ ⎛ 

4 β 

⎜ −I 

⎜ 

A = ⎜ 

⎝ 

T 

−I 

−I 

T 

. .. 

−I 

. .. 

⎟ , 

. .. 

⎟ 

⎠ 

⎜ α 

⎜ 

T := ⎜ 

⎝ 

4 

α 

β 

4 

. .. 

β 

. .. 

−I T 

α 4 

⎞ 

⎟ , 

. ⎟ 

.. ⎠ 

mit α = −1 + hb, β = −1 − hb. Diese Matrix hat also Dimension n = m 2 , ist dünnbesetzt 

mit nur 5 nichttrivialen Diagonalen, ist schwach diagonaldominant für h|b| ≤ 2 und ihre


Kondition ist ˆκ(A) = O(1/h 2 ) = O(m 2 ) = O(n). Überdies läßt sich mit dem Koeffizienten 

b der Grad der Asymmetrie von A einstellen, nur für b = 0 ist A symmetrisch mit α = 

β = −1. Standard-Abbruchkriterium in allen Beispielen ist res ≤ 10 −8 . 

Beispiel 2.1.6 Beim Vergleich von FOM- und GMRES-Methode kann im Standardbei- 

spiel 2.1.5 sowohl der Grad der Asymmetrie als auch die Dimension variiert werden. 

Für n = 10 4 Punkte und b = 1 zeigen die 

Diagramme den Verlauf der Residuen (rot) 

und der zusätzlich berechneten Fehler (grün) 

von FOM (oben) und GMRES. Diese unnöti- 

ge Berechnung der Lösungen x (k) verlängert 

die Rechenzeiten übrigens um ca. 63%. We- 

gen des kleineren Residuums bricht dabei 

das GMRES-Verfahren bei einer Residuen- 

Toleranz von 10 −8 mit it = 211 Iteratio- 

nen (t = 6.97sec) zwar früher als FOM mit 

it = 219 ab, allerdings auch mit einem größe- 

ren Fehler errF OM = 6.3 · 10 −8 < errGMR = 

3.7 · 10 −7 . Den Schlenker beim Defekt der 

FOMethode weist GMRES zwar konstruktionsbedingt nicht auf, der Fehler stagniert aber 

genauso wie beim FOM an dieser Stelle. Zum genauen Vergleich werden in dem Effizienz- 

diagramm rechts die für eine Serie von Toleranzen tol ∈ {10 −2 , . . . , 10 −8 } erreichten ge- 

nauen Fehler für FOM (gefüllt) und GMRES (offen) 

gegenübergestellt. Nach rechts ist die Krylovdimension 

aufgetragen. Die FOM-Lösung ist meist um ein halbe 

Zehnerpotenz genauer bei etwas mehr Iterationen, al- 

le Werte liegen aber bei schärferen Toleranzen ungefähr 

auf einer Linie. 

Der Grad der Asymmetrie hat nur geringen Einfluß auf die Konvergenzgeschwindigkeit 

beider Verfahren. Die Kontraktion springt zwar bei FOM von ρ = 0.907 (b = 0) auf 0.936 

für b = 0.1, bleibt dann aber praktisch unabhängig von b ∈ [0.1, 5]. Allerdings ist die Kon- 

vergenz im symmetrischen Fall gleichmäßiger, für b �= 0 macht man am Anfang geringere 

Fortschritte, sodass das Ergebnis für schwächere Toleranzen tol ≥ 10 −4 evtl. eine stärkere 

Abhängigkeit von b zeigt. 

Der Orthogonal-Fehler �I − U T k Uk� liegt beim normalen modifizierten Gram-Schmidt- 

Verfahren bei 10 −6 , die Umkehrung des Schleifendurchlaufs i = j → 1 verkleinert diesen 

auf 10 −12 !


2.2 Lanczos-Verfahren 

Das allgemeine Lanczos-Verfahren (1950/52) arbeitet mit allgemeinen Basismatrizen Vk, Wk. 

Damit diese bei voller Dimension zueinenader invers sein können, Wn = V −1 

n , werden sie 

biorthogonal konstruiert: 

Vk := (v (1) , . . . , v (k) ), Wk := (w (1) , . . . , w (k) ) : w (i)T v (i) = δij, 1 ≤ i, j ≤ k, 

kurz W T k Vk = Ik. Bei Durchführbarkeit hatte man im Arnoldi-Verfahren die Darstel- 

lung A = UnHnU T n mit einer Hessenbergmatrix. Da die Basen Vk, Wk weniger stark 

eingeschränkt sind, ist jetzt (im Prinzip) eine Darstellung A = VnTnW T n erreichbar mit 

Tridiagonal-Matrizen 

⎛ 

⎜ 

Tk = ⎜ 

⎝ 

β1 γ2 

α2 β2 γ3 

. .. . .. 

. .. 

αk−1 βk−1 γk 

αk βk 

⎞ 

⎟ . (2.2.1) 

⎟ 

⎠ 

Mit W T n Vn = I erhält man aus A = VnTnWn die Bedingungen AVn = VnTn und A T Wn = 

W T n T T n . Betrachtet man davon jeweils die k-te Spalte, 1 < k < n, erhält man die Glei- 

chungen 

Av (k) = γkv (k−1) + βkv (k) + αk+1v (k+1) 

A T w (k) = αkw (k−1) + βkw (k) + γk+1w (k+1) . 

(2.2.2) 

Diese erinnern an die grundlegende Identität (2.1.5) des Arnoldi-Verfahrens und lassen 

sich analog zur Konstruktion von v (k+1) bzw. w (k+1) verwenden. Biorthogonalität liefert 

den Koeffizienten βk = w (k)T Av (k) = v (k)T A T w (k) , die Normierung 

1 ! = w (k+1)T v (k+1) = 

1 

(A 

αk+1γk+1 

T w (k) − αkw (k−1) − βkw (k) ) T (Av (k) − γkv (k−1) − βkv (k) ) 

legt aber nur das Produkt αk+1γk+1 fest. Das folgende Lanczos-Verfahren wählt beide Pa- 

rameter gleich groß. Die Größen d, f, δ in der folgenden Formulierung haben nur temporäre 

Bedeutung (”interne Variable”). 

Satz 2.2.1 (Lanczos-Biorthogonalisierung) Gegeben sei A ∈ R n×n und d, f ∈ R n 

mit f T d =: δ �= 0. Für j = 1, 2, . . . und solange δ �= 0 ist, wird berechnet 

αj := � |δ|, γj := δ/αj, 

v (j) := d/αj, w (j) := f/γj, 

d := Av (j) , f := A T w (j) , 

βj := w (j)T d, 

d := d − βjv (j) − γjv (j−1) , f := f − βjw (j) − αjw (j−1) , 

δ := f T d. 

(2.2.3)


Wenn dieser Algorithmus über k Schritte durchführbar war, bilden Vk = (v (1) , . . . , v (k) ), 

Wk = (w (1) , . . . , w (k) ) zueinander orthogonale Basen, 

W T k Vk = Ik ⇐⇒ w (i)T v (j) = δij, 1 ≤ i, j ≤ k. 

Diese sind Basen von Krylovräumen Rg(Vk) = Kk(A, v (1) ), Rg(Wk) = K(A T , w (1) ) und es 

gilt mit 

vgl. (2.2.1) 

Tk = W T k AVk : 

� 

AVk = VkTk + αk+1v (k+1) e (k)T 

A T Wk = WkT T k + γk+1w (k+1) e (k)T (2.2.4) 

Beweis Die Identitäten (2.2.4) sind einfach die Matrixdarstellungen der Gleichungen 

(2.2.2), die Aussagen zu den Krylovräumen folgen daraus wie beim Arnoldi-Verfahren. 

Die Biorthogonalität wird induktiv bewiesen, nach Konstruktion ist w (1)T v (1) = 1. Für 

j ≥ 1 gilt zunächst 

w (j)T v (j+1) = 1 

αj+1 

� 

w (j)T Av (j) − βj w (j)T v (j) 

� �� 

=1 

−γj w (j)T v (j−1) 

� 

� �� = 0 

=0 

nach Definition von βj. Zur Orthogonalität für 1 ≤ i < j trägt auch die adjungierte 

Rekursion bei: 

w (i)T v (j+1) = 

= 

= 

1 

αj+1 

1 

αj+1 

1 

αj+1 

� 

w (i)T Av (j) − βj w (i)T v (j) 

� �� 

=0 

� 

v (j)T A T w (i) − γjw (i)T v (j−1) 

� 

αi v (j)T w (i−1) 

+βi v (j)T w (i) 

� �� 

=0 

� �� 

=0 

−γjw (i)T v (j−1) 

� 

� 

+ γi+1v (j)T w (i+1) − γjw (i)T v (j−1) 

� 

. 

� �� 

=0, i


bei der das Residuum res = b − Ax (k) = −αk+1v (k+1) y (k) 

k 

orthogonal zu einem ande- 

ren Krylovraum ist. Für diesen, Kk(A T , f) ist ein zusätzlicher Startvektor zu wählen, 

oft verwendet man auch f = b. Das Tridiagonalsystem mit Tk kann natürlich effizient 

gelöst werden. Die Fehlerdarstellung aus Satz 2.1.3 überträgt sich. Mit Basisergänzungen 

(Wk, W ′ k ) = (Vk, V ′ 

k )−1 , ∈ R n×n gilt statt (2.1.11) jetzt 

(Wk, W ′ k) T A(Vk, V ′ 

� 

Tk Bk 

k) = 

Ck Dk 

� 

, Ck = αk+1e (1) e (k)T , Bk = γk+1e (k) e (1)T , 

in der Rechnung (2.1.12) sind nur die Basen zu ersetzen und führen auf die Darstellung 

des Lösungsprojektors aus Satz 2.1.2 

Πk = (Vk, V ′ 

k) 

� −1 

I Tk Bk 

� 

(Wk, W 

0 0 

′ k) T . 

Hier ist in T −1 

k Bk = γk+1T −1 

k e(k) e (1)T sogar nur eine Spalte besetzt. Allerdings kann jetzt 

wenig über die Kondition der Basis (Vk, V ′ 

k ) und damit die Konstante in der Fehlerschran- 

ke von Satz 2.1.3 ausgesagt werden. Im Vergleich mit dem Arnoldi-Verfahren sind auch 

folgende Eigenschaften wichtig. 

⊕ Der Rechenaufwand für k Schritte (2.2.3) ist 

2k MV-Multiplikationen + 12kn FLOP, 

und wächst daher nur noch linear. Dies ist der entscheidende Vorteil gegenüber 

dem Arnoldi-Verfahren, vgl. (2.1.7). In §3.1 wird sogar eine Methode vorgestellt 

(BCG-Verfahren), das die Näherungen x (k) induktiv berechnet ohne Speicherung 

der Gesamtbasen Vk, Wk. 

⊖ Das Verfahren benötigt die Multiplikation mit der Transponierten w ↦→ A T w, wel- 

che zur Durchführung zusätzlich implementiert werden muß. Der Aufwand dafür 

ist identisch mit der normalen Multiplikation, auch wenn A dünn besetzt ist. Der 

Krylovraum Kk(A T , w (1) ) wird aber nur zur Berechnung der Innenprodukte für 

βj, δ verwendet, aber nicht für die Lösungen x (k) . Diese ”Verschwendung” der A T - 

Multiplikationen vermeiden einige moderne Verfahren. 

⊖ Der Lanczos-Algorithmus (2.2.3) bricht ab, wenn δ = f T d = 0 ist. Dies kann aus 3 

Gründen geschehen: 

∗ d = Av (k) −βkv (k) −γkv (k−1) = 0: Dies ist ein günstiger Abbruch (”lucky break- 

down”) mit αk+1 = 0 wie beim Arnoldi-Verfahren, der Unterraum Kk(A, b) ist 

A-invariant, die Näherung Näherung x (k) exakt, das Residuum null.


∗ f = A T w (k) − βkw (k) − αkw (k−1) = 0: Hier ist der Krylovraum Kk(A T , w (1) ) 

jetzt A T -invariant und das Verfahren bricht ab, ohne dass man etwas über die 

Güte der Näherung x (k) aussagen kann (”serious breakdown”). 

∗ f ⊥ d = 0 mit nichttrivialen Vektoren f, d: dann sind zwar v (k+1) , w (k+1) 

nicht definiert, aber oft kann die Konstruktion mit späteren Vektoren, et- 

wa v (k+2) , w (k+2) fortgesetzt werden, durch eine Vorausschau (”look-ahead- 

Lanczos”). 

Übersicht: Abbruch wegen d = 0 f = 0 f T d = 0 

Lanczos günstig ernst (→ Vorausschau) 

⊖ Im Beweis von Satz 2.2.1 wurde vorgerechnet, dass die Bi-Orthogonalität im Algo- 

rithmus nur bei aufeinander folgenden Vektoren explizit erzwungen wird, ansonsten 

gilt sie induktiv. Bei numerischer Rechnung wird aber durch Rundungsfehler die- 

ses ”Gedächtnis” beeinträchtigt, insbesondere wenn durch kleine Innenprodukte δ 

große Skalierungsfaktoren bei der Bildung von v (j) , w (j) auftreten. Daher ist die 

Qualität der Lanczos-Lösungen i.d.R. nicht mit der der Arnoldi/GMRES-Lösungen 

vergleichbar (volle Orthogonalisierung). Diesen Nachteil kann man durch Nachor- 

thogonalisierung verringern auf Kosten des Rechenaufwands. 

Das Verfahren (2.2.3) benötigt zum Aufbau der Basen Vk, Wk der beiden Krylovräume nur 

direkt zuvor erzeugte Elemente. Für die Näherungslösung (2.2.5) werden aber scheinbar 

alle Basivektoren benötigt. Im Rahmen des BCG-Verfahrens (biconjugate gradient, §3.1) 

gelingt dies aber auch ohne Speicherung der vollständigen Basen Vk, Wk, analog zum 

symmetrischen Fall, der jetzt behandelt wird. 

2.3 Idealfall Symmetrie: Das CG-Verfahren 

Bei einer symmetrischen Matrix A = A T vereinfachen sich sowohl das Arnoldi-Verfahren 

(2.1.6) als auch das allgemeine Lanczos-Verfahren (2.2.3) zu einer einzigen, effizienten 

Methode. Beim Lanczos-Verfahren fallen natürlich die beiden Basen (bei gleichem Start- 

vektor) zusammen, Wk = Vk und beim Arnoldi-Verfahren hat die Symmetrie von A die 

der Hessenberg-Matrix 

H T k = (U T k AUk) T = U T k A T Uk = Hk 

zur Folge, wodurch Hk sogar tridiagonal wird. Daher sind bei der Orthogonalisierung nur 

2 Innenprodukte nichttrivial, aus (2.1.5) wird 

Au (u) = αku (k−1) + βku (k) + αk+1u (k+1) , (2.3.1)


also die Lanczos-Identität (2.2.2) mit symmetrischem Tk, (2.2.1). Das symmetrische Lanczos- 

Verfahren verkürzt sich dadurch sehr. Dabei wird mit Startvektor d ∈ R n , u (0) := 0, 

α1 := �d�, für j = 1, 2, . . . , und solange d �= 0 berechnet 

u (j) := d/αj, 

d := Au (j) − αju (j−1) , 

βj := u (j)T d, 

d := d − βju (j) , 

αj+1 := �d�2. 

(2.3.2) 

In exakter Arithmetik sind dann die Basen {u (j) } orthonormal und es gelten auch hier 

die Identitäten (2.1.5) und (2.2.4) etwas abgewandelt 

Tk = U T k AUk = T T k , AUk = UkTk + αk+1u (k+1) e (k)T . (2.3.3) 

Von besonderem Interesse ist jetzt aber, dass auch die Galerkin-Lösung bei geringem 

Rechen- und Speicheraufwand mit kurzen Rekursionen berechnet werden kann. Denn auf- 

grund der Tridiagonalstruktur von Tk kann man die Lösung x (k) = Uky (k) mit (2.1.9), 

also 0 ! = U T k (AUky (k) ) − b) = Tky (k) − βe (1) für d = b schrittweise anpassen. Dazu wird 

angenommen, dass die LR-Zerlegung Tk = LkRk in Bidiagonalmatrizen Lk, Rk existiert. 

Dann folgt 

x (k) = Uky (k) = UkT −1 

k e(1) β = UkR −1 

k 

� �� 

=:Pk 

L −1 

k e(1) β 

� �� 

=:v (k) 

=: Pkv (k) . (2.3.4) 

Im Vektor v (k) = (v1, . . . , vk) T werden einfach die Eliminationsschritte aus Lkv (k) = βe (1) 

mit der rechten Seite βe (1) angewendet, es ist v1 = β, vj = −lj,j−1vj−1, j ≥ 2. Da 

berechnete Komponenten vj unverändert bleiben, gilt mit Pk = (p (1) , . . . , p (k) ) für die 

neue Näherung die Iterationsformel 

x (k) = Pkv (k) = Pk−1v (k−1) + vkp (k) = x (k−1) + vkp (k) . (2.3.5) 

Dies ist eine iterative Darstellung für die Näherung x (k) , wo man ausgehend von x (k−1) 

in Richtung der Suchrichtung p (k) geht. Auch die Suchrichtungen kann man aufgrund der 

Definition PkRk = Uk einfach schrittweise berechnen durch 

p (k) = 1 

(u 

rkk 

(k) − p (k−1) rk−1,k). (2.3.6) 

Diese Richtungen besitzen eine bemerkenswerte Eigenschaft, die folgende Matrix ist of- 

fensichtlich symmetrisch, und mit LkRk = Tk = U T k AUk folgt 

P T k APk = (UkR −1 

k )TAUkR −1 

k = (R−1 

k )TTkR −1 

k = (R−1 

k )TLk. (2.3.7) 

Das letzte Produkt ist obere Dreieckmatrix und symmetrisch, also ist P T k APk diagonal! 

Diese Eigenschaft bekommt eine weitergehende Bedeutung, wenn A positiv definit ist.


Satz 2.3.1 Die Matrix A = A T ∈ R n×n sei positiv definit und b ∈ R n . Dann definiert 

(x, y)A := y T Ax, x, y ∈ R n 

ein Innenprodukt und �x�A := � (x, x)A eine Norm auf dem Rn. Die Lösung ˆx := A −1 b 

des Gleichungssystems Ax = b ist das eindeutige Minimum der (streng konvexen) Funk- 

tion 

ϕA(x) := 1 

2 xT Ax − b T x = 1 

2 �x − ˆx�2 A − 1 

2 �ˆx�2 A. 

Beweis Nach Voraussetzung ist (x, x)A = x T Ax > 0 ⇐⇒ x �= 0 und daher die 

Bilinearform (x, y)A definit, also ein Innenprodukt. Außerdem folgt mit b = Aˆx, dass 

ϕ(x) = 1 

2 xT Ax − ˆx T Ax + 1 

2 ˆxT Aˆx − 1 

2 �ˆx�2 A = 1 

2 �x − ˆx�2 A − 1 

2 �ˆx�2 A, 

und das Minimum wird genau für x = ˆx angenommen. 

In Bezug auf die Galerkin-Bedingung ist interessant, dass die Abstiegsrichtung 

−gradϕA(x) = b − Ax 

gerade der Defekt eines Punktes x im Gleichungssystem ist und mit einer Galerkinbedin- 

gung (2.1.9) und (2.3.3) ist das Residuum 

d (k) := b − Ax (k) = b − AUky (k) = Uk(βe (1) − Tky (k) ) 

� �� 

=0 

−αk+1y (k) 

k u(k+1) 

ein Vielfaches von u (k+1) ⊥ Uk. Daher sind die Defekte (Gradienten) orthogonal (konju- 

giert) zueinander. Diese Eigenschaft begründet den Namen des Verfahrens der konjugier- 

ten Gradienten (CG, conjugate gradient), das 1952 von Hestenes und Stiefel vorgeschlagen 

wurde. Außerden sind noch die Suchrichtungen A-orthogonal, denn (2.3.7) bedeutet 

(p (i) , p (j) )A = 0 ∀i �= j, 1 ≤ i, j ≤ k. (2.3.8) 

Das CG-Verfahren kann in einfacherer Gestalt direkt aus diesen beiden Orthogonalitäts- 

eigenschaften hergeleitet werden mit anders skalierten Größen. Zunächst überträgt sich 

die Schrittgleichung (2.3.5) auf die Defekte, 

x (k) := x (k−1) + tkp (k) ⇒ d (k) = d (k−1) − tkAp (k) , (2.3.9) 

für die umskalierten Suchrichtungen gelte 

p (k) = d (k−1) + sk−1p (k−1) . (2.3.10) 

Die Defektorthogonalität erfordert folgende Parameterwahl, etwas umgeformt: 

d (k) = d (k−1) − tkAp (k) ⊥ d (k−1) ⇒ tk = �d(k−1) � 2 2 

(d (k−1) , p (k) )A 

= �d(k−1) � 2 2 

(p (k) , p (k) )A 

(2.3.11)


Dabei wurde das gemischte Innenprodukt mit (2.3.10) und der A-Orthogonalität verein- 

facht zu 

(Ap (k) ) T d (k−1) = (Ap (k) ) T (p (k) − sk−1p (k−1) ) = p (k)T Ap (k) = (p (k) , p (k) )A. 

Analog erzwingt man die A-Orthogonalität, 

p (k+1) = d (k) + skp (k) ⊥A p (k) ⇒ sk = − (d(k) , p (k) )A 

(p (k) , p (k) )A 

= �d(k) �2 2 

�d (k−1) �2 . 

2 

Das gemischte Innenprodukt (d (k) , p (k) )A führt man mit der Defektgleichung (2.3.9), Ap (k) = 

(d (k) − d (k−1) )/tk zurück auf d (k)T Ap (k) = d (k)T (d (k) − d (k−1) )/tk = �dk� 2 2/tk und erhält so 

mit der Definition von tk den angegebenen Quotienten. Damit bekommt man das folgen- 

de CG-Verfahren, Start mit x (0) := 0, p (0) := 0, s0 := 0, d (0) := b. Für k = 1, 2, . . . und 

solange d (k−1) �= 0 berechne 

p (k) := d (k−1) + sk−1p (k−1) , 

tk := �d (k−1) � 2 2/p (k)T Ap (k) , 

x (k) := x (k−1) + tkp (k) , 

d (k) := d (k−1) − tkAp (k) , 

sk := �d (k) � 2 2/�d (k−1) � 2 2. 

(2.3.12) 

Zu den herausragenden Eigenschaften dieses Verfahrens gehört ein Zusammenhang mit 

der Zielfunktion ϕA aus Satz 2.3.1, der zunächst nicht offensichtlich ist. Betrachtet man 

deren Wert nämlich mit x (k−1) = Pk−1v (k−1) und der Schrittgleichung (2.3.9), so folgt 

ϕ(x (k) ) = ϕA(Pk−1v (k−1) + tkp (k) ) 

= ϕA(Pk−1v (k−1) ) + tk (Pk−1v (k−1) ) T Ap (k) 

� �� 

=0 

+ t2 k 

2 (p(k) , p (k) )A − tkb T p (k) 

= ϕA(x (k−1) ) + ϕA(tkp (k) ). (2.3.13) 

Der entscheidende Punkt dabei ist, dass wegen der A-Orthogonalität (2.3.8) der gemischte 

Term mit tk, v (k−1) entfällt und die Minimierung bezüglich t unabhängig von v (k−1) ist. 

Das Minimum von ϕ(tp (k) ) wird dabei tatsächlich im Wert tk aus (2.3.11) angenommen, 

denn für den Minimalpunkt ˆt von t ↦→ ϕA(tp (k) ) gilt wegen (2.3.9), b = d (0) = d (k−1) + 

� k−1 

j=1 tjAp (j) und (2.3.10) tatsächlich 

� 

ˆt(p (k) , p (k) )A = b T p (k) = (d (k−1) k−1 

+ tjAp (j) ) T p (k) = d (k−1)T p (k) 

j=1 

= d (k−1)T (d (k−1) + sk−1p (k−1) ) = �d (k−1) � 2 2, 

denn wegen (2.3.10) ist auch d (k−1) ⊥ RgPk−1. Daher erzeugt der lokale Minimierungs- 

schritt in (2.3.9) ein globales Minimum im Unterraum RgPk, der natürlich ein Krylovraum 

ist. Die wichtigsten Eigenschaften faßt der folgende Satz zusammen.


Satz 2.3.2 Die Matrix A ∈ R n×n sei symmetrisch, positiv definit, b ∈ R n . Wenn das 

CG-Verfahren (2.3.12) k Schritte mit dem Startdefekt d (0) = b durchgeführt hat, gelten 

für die berechneten Größen folgende Aussagen. 

a) Die Suchrichtungen p (1) , . . . , p (k) sind paarweise A-orthogonal, die Defekte d (0) , . . . , d (k−1) 

orthogonal und jeweils Basen des Krylovraums Kk(A, b), 

span{p (1) , . . . , p (k) } = span{d (0) , . . . , d (k−1) } = Kk(A, b) = span{b, Ab, A 2 b, . . . , A k−1 b}. 

b) Die Näherung x (k) minimiert das Funktional ϕA aus Satz 2.3.1 über dem Krylovraum, 

ϕA(x (k) ) = min{ϕA(x) : x ∈ Kk(A, b)}. 

Daher ist x (k) exakt, wenn ˆx ∈ Kk(A, b) gilt, also spätestens für k = n. 

c) In der A-Norm aus Satz 2.3.1 gilt mit ˆκ(A) = λmax(A)/λmin(A) die Fehlerschranke 

�x (k) − ˆx�A = min{ �gk(A)(x (0) − ˆx)�A : gk ∈ Pk, gk(0) = 1} 

�k ≤ 2 

�� ˆκ(A) − 1 

� ˆκ(A) + 1 

�x (0) − ˆx�A. (2.3.14) 

Bemerkung: Von den Autoren war das CG-Verfahren wegen Aussage b) als endliches 

Verfahren gedacht, eine Alternative zu Eliminationsverfahren. Da die Konvergenz aber 

wegen Rundungsfehlern meist nicht in endlicher Zeit zustande kommt, hatte das Verfah- 

ren zunächst nur geringen Erfolg. Neues Interesse wurde 1971 von Reid geweckt durch 

die Betrachtung als Iterationsverfahren mit der guten Konvergenz-Aussage (2.3.14). Die- 

se zeigt, das die Geschwindigkeit i.w. von der Wurzel der Spektralkondition ˆκ(A) = 

λmax(A)/λmin(A) ≥ 1 abhängt (bei einfachen Verfahren treten ähnliche Formeln mit 

ˆκ ≫ √ ˆκ auf). Dies liefert den Ansatzpunkt, das CG-Verfahren durch geeignete Um- 

formulierungen des LGS zu beschleunigen → §4.1. 

Beweis a) Die Orthogonalität wird durch Konstruktion erzwungen, die Unterraum- 

Aussagen folgen aus d (0) = p (1) = b = K1(A, b) induktiv, denn (2.3.10), (2.3.9) zeigen 

p (k) ∈ Kk(A, b) + Kk−1(A, b), d (k) ∈ Kk(A, b) + AKk(A, b) = Kk+1(A, b). 

Für d (k) �= 0 wächst die Dimension echt. 

b) Mit t1 = �b� 2 /b T Ab ist x (1) = t1b Minimalstelle von ϕA(tb). Induktiv folgt aus der 

Entkoppelung (2.3.13) die Aussage. 

c) Nach (1.2.10) ist x (k) = qk−1(A)b, qk−1 ∈ Pk−1. Mit b = Aˆx folgt daher für den Fehler 

x (k) − ˆx = qk−1(A)Aˆx − ˆx = −(I − Aqk−1(A))ˆx = gk(A)(x (0) − ˆx).


Mit �x − ˆx� 2 A = ϕA(x) + 1 

2 �ˆx�2 A 

entspricht die erste Fehleraussage gerade Teil b). Aus 

dieser Minimalcharakterisierung bekommt man mit jedem Polynom eine obere Schranke. 

Die (optimale) Wahl, welche auf die Behauptung führt, wird in §2.4 behandelt. 

Damit stehen alle Informationen zur Verfügung, um die günstigen Eigenschaften des 

CG-Verfahrens (2.3.12) zusammenzufassen: 

• Rechenaufwand pro Schritt: 

eine Matrix-Vektor-Multiplikation +10n Operationen. 

• Speicherbedarf: 4 n-Vektoren. 

• Konvergenz: O( � ˆκ(A)) Schritte. 

Da das CG-Verfahren wegen (2.3.13) einen echten Minimierungsschritt in Richtung der 

Suchrichtung p (k) macht mit ϕA(x (k) ) = ϕA(x (k−1) ) − 1 

2 t2 k �p(k) � 2 A 

bei exakter Rechnung, 

erzeugt es auch bei Rundungsfehlern meist noch einen Abstieg und ist daher relativ robust. 

Insbesondere der nur linear mit k wachsende Rechenaufwand und der feste Speicher- 

bedarf sind günstiger als im FOM/GMRES-Verfahren, beim Lanczos-Verfahren hat man 

dagegen keine Minimaleigenschaft. Dies führte zu einer intensiven Suche nach vergleichbar 

guten Verfahren für unsymmetrische Matrizen. Leider kann es solche nicht geben (→ §3), 

bei den später diskutierten Varianten müssen Nachteile in Kauf genommen werden. 

Für unsymmetrische Matrizen könnte man das CG-Verfahren natürlich einsetzen bei 

den abgewandelten Problemen 

A T Ax = A T b, 

AA T y = b, x = A T y, 

(2.3.15) 

da beide symmetrische Matrizen haben und für reguläres A äquivalent sind zu Ax = b. 

Diese Systeme sind sogar von Interesse für allgemeine Gleichungssysteme mit A ∈ R m×n . 

Denn mit der ersten Version in (2.3.15) kann man im Prinzip überbestimmte (m > n) und 

mit der zweiten unterbestimmte (m < n) Systeme lösen. In diesen Fällen macht das CG- 

Verfahren in den CGNR bzw. CGNE genannten Versionen auch Sinn. Es gibt auch etwas 

stabilere Varianten, die mit Vektoren Ap (k) statt A T Ap (k) arbeiten. Im regulären Fall ist 

aber die Kondition ˆκ(A T A) = ˆκ(AA T ) = (ˆκ(A)) 2 ≫ ˆκ(A) das Quadrat der usprüngli- 

chen Kondition und man verliert damit einen wesentlichen Vorteil der CG-Iteration, die 

vergleichsweise hohe Konvergenzgeschwindigkeit nur abhängig von √ ˆκ. 

MINRES 

Bei einer symmetrischen, aber indefinten Matrix A kann das CG-Verfahren vorzeitig ab- 

brechen, wenn p (k)T Ap (k) = 0 ist. Dann ist nämlich die Tridiagonalmatrix Tk in (2.3.4) sin- 

gulär und die OrthoRes-Lösung existiert nicht. Dann kann aber immer noch eine Lösung


mit minimalem Residuum berechnet werden, denn für den Defekt eines Elements Uky gilt 

mit b = βu (1) und ¯ Tk = U T k+1 AUk die Darstellung 

�b − AUky� = �b − Uk+1 ¯ Tky� = �Uk+1(βe (1) − ¯ Tky)� 

= �βe (1) − ¯ Tky�. (2.3.16) 

Zur Minimierung dieser Norm verwendet man jetzt anstelle der LR-Zerlegung von Tk 

in (2.3.4) eine QR-Zerlegung von ¯ Tk = ¯ Qk ¯ Rk mit orthogonaler Matrix ¯ Qk ∈ R (k+1)×k 

und quadratischer, regulärer Dreieckmatrix ¯ Rk ∈ R k×k . Diese Zerlegung läßt sich wie 

bei GMRES-Verfahren und Arnoldi-Verfahren (2.1.13) begleitend zum Aufbau von ¯ Tk 

in (2.3.2) mit einzelnen Rotationen berechnen. Im hier betrachteten symmetrischen Fall 

besitzt der R-Faktor aber nur drei nichttriviale Diagonalen. Die Minimalstelle in (2.3.16) 

ist also y (k) = β ¯ R −1 

k ¯ Q T k e(1) und die zugehörige Lösung 

x (k) = Uk ¯ R −1 

k 

� �� 

Pk 

¯Q T k e (1) β 

� �� 

=¯gk 

= Pk¯gk. 

Der Vektor ¯gk entspricht wieder (2.1.15), für die Suchrichtungen aus Pk = (p (1) , . . . , p (k) ) = 

Uk ¯ R −1 

k gilt aber nun die kurze Drei-Term-Rekursion 

p (k) = 1 

(u 

˜rkk 

(k) − p (k−1) ˜rk−1,k − p (k−2) ˜rk−2,k), 

für k = 2 entfällt natürlich der Term mit p (0) . Damit ändert sich die Lösung gegenüber 

dem vorherigen Schritt einfach gemäß 

x (k) = Pk¯gk = x (k−1) + ¯γkp (k) 

und das Residuum dieser Lösung ist wie beim GMRES-Verfahren gerade |γk+1|. Daher 

gilt auch die Residuendarstellung des Satzes 2.1.4. Der entscheidende Unterschied zu 

GMRES ist also nur die praktische Durchführung, welche keine Speicherung der Krylov- 

Basis erfordert und pro Schritt einen konstanten Aufwand besitzt. 

Beispiel 2.3.3 Im Standardbeispiel mit n = 10 4 Unbekannten liefern CG (links) und 

MINRES-Verfahren ähnliche Konvergenzdiagramme. Wie beim Vergleich von FOM und 

GMRES bricht dabei MINRES wegen des kleineren Residuums etwas früher ab (109 Iter.), 

dafür ist der Fehler aber mit 6.810 − 8 wieder größer als beim CG-Verfahren (1.510 − 8 bei 

113 Iter.). Dennoch ist die Laufzeit des CG-Verfahren etwas kürzer als bei MINRES. Das 

Diagramm von MINRES ist übrigens identisch mit dem des GMRES-Verfahrens, aller- 

dings ist die Laufzeit von MINRES mit 0.17 sec nur ein Zehntel der Rechenzeit (1.68sec) 

von GMRES.


Da in der Literatur für unsymmetrische Probleme auch Sparvarianten des Arnoldi-Verfah- 

rens mit einer begrenzten Anzahl von Orthogonalisierungen (IOM: incomplete orthogo- 

nalization) betrachtet werden, ist es interessant, das Verhalten von CG und MINRES bei 

leichter Asymmetrie zu testen. Das MINRES-Verfahren hat schon mit b = 0.1 Probleme 

und stagniert bei res = 10 −5 . Die Konvergenz beim CG-Verfahren leidet zwar auch unter 

der Asymmetrie, für b = 0.1 (linkes Diagramm) aber nur unmerklich. Auch bei b = 0.5 

(rechtes Diagramm) erreicht CG bei Begrenzung auf 250 Iterationen noch ein Residuum 

von 10 −5 mit einem Fehler von 510 − 4. 

Die unvollständige Orthogonalisierung ist eine Möglichkeit zur Kappung des O(k 2 n)- 

Aufwands beim FOM/GMRES-Verfahren, für das allerdings keine allgemeinen Kriterien 

angegeben werden können. Ein anderer Ansatz ist GMRES(m), bei dem nach jeweils m 

Schritten ein Neustart vom GMRES für das System A(x − x (m) ) = b − Ax (m) erfolgt. 

Auch hier gibt es keine Aussagen zur Wahl von m, die Konvergenz kann sehr kritisch von 

dessen Wert abhängen. 

2.4 Orthogonalpolynome und Fehlerschranken 

Da man im CG-Verfahren eine Lösung im Krylovraum Kk(A, b) sucht, hat diese die Form 

x (k) = qk−1(A)b mit qk−1 ∈ Pk−1 und auch für die Defekte gilt eine analoge Darstellung 

d (k) = b − Ax (k) = b − Aqk−1b = φk(A)b, φk ∈ Pk, φk(0) = 1. 

Die Defekt-Orthogonalität beim CG-Verfahren, d (k)T d (j) = 0, i �= j, bedeutet damit aber 

auch, dass gilt 

b T φk(A)φj(A)b = 0 ∀k �= j. (2.4.1) 

Dies ist offensichtlich eine Orthogonalitätsrelation unter den Polynomen φk mit der Bi- 

linearform (φ, ψ) ↦→ b T φ(A)ψ(A)b. Wenn die Eigenvektoren von A mit y (j) bezeichnet


werden, folgt für die zugehörige quadratische Form 

b = 

n� 

j=1 

βjy (j) ⇒ b T φ(A)φ(A)b = b T φ 2 (A)b = 

n� 

j=1 

β 2 j φ(λj) 2 ≥ 0. (2.4.2) 

Diese ist offensichtlich dann auf Pk definit, wenn in der rechten Seite b mindestens k ver- 

schiedene Eigenwerte λj vertreten sind. Da diese Zahl bei exakter Rechnung auch gerade 

die maximale Krylovdimension angibt, läßt sich zusammenfassen: 

Das CG-Verfahren erzeugt eine Orthogonalfamilie 

von Polynomen zum Innenprodukt (2.4.1). 

Tatsächlich spielen die Defektpolynome eine wesentliche Rolle bei der Konstruktion mo- 

derner Verfahren in §3. 

Im folgenden wird aber eine spezielle Orthogonalfamilie von Polynomen eingesetzt, 

welche bei Abschätzung der speziellen Norm (2.4.2) durch �b�2 maxj φ 2 (λj) den zweiten 

Faktor klein macht. Die Polynome mit minimaler Supremumnorm auf dem Intervall [−1, 1] 

sind die Tschebyscheff-Polynome 

� 

Tk(z) = 

cos (k arccos(z)), 

cosh (k Arcosh(z)), 

z ∈ [−1, 1], 

|z| > 1. 

(2.4.3) 

Hier wurde die Definition gleich um den Fall |z| > 1 ergänzt, da später solche Werte 

benötigt werden. Gemeinsam ist beiden Darstellungen die (von k unabhängige) Rekursi- 

onsgleichung 

Tk+1(z) = 2zTk(z) − Tk−1(z), k ≥ 1, 

mit den Anfangswerten T0(z) ≡ 1, T1(z) = z. Diese Drei-Term-Rekursion erinnert an 

die des Lanczos-Verfahrens und folgt aus den Additionstheoremen der trigonometrischen 

Funktionen (|z| ≤ 1) bzw. Hyperbelfunktionen 

cosh(k ± 1)ζ = cosh(kζ) cosh(ζ) ± sinh(kζ) sinh(ζ), 

mit cos 0 = cosh 0 = 1. Für z ∈ [−1, 1] ⊆ R gilt trivialerweise |Tk(z)| ≤ 1, zum Einsatz bei 

den Krylovverfahren muß aber das Verhalten außerhalb des Intervalls, auch in C studiert 

werden. Dazu wird z = cosh ζ = 1 

2 (eζ + e −ζ ) = 1 

2 (w + w−1 ) mit w = e ζ gesetzt. Es folgt 

Tk(z) = 1 

2 (eζk + e −ζk ) = J(w k ) = 1 

2 (wk + w −k ) mit (2.4.4) 

J(w) = 1 

2 (w + w−1 ) = z, w ±1 = z ± √ z 2 − 1. (2.4.5) 

Im Reellen ist dabei die Größe w = w +1 = e ζ , ζ > 0, in (2.4.5) die größere Lösung der 

quadratischen Gleichung 1 

2 (w+w−1 ) = z und w −1 die kleinere. Aus der Darstellung (2.4.5)


erhält man für das Argument ˆz = (β + α)/(β − α) = (κ + 1)/(κ − 1), κ = β/α ≥ 1, den 

Wert w = (κ + 1 + 2 √ κ)/(κ − 1). Hier kann ein Linearfaktor gekürzt werden und man 

erhält die untere Schranke 

� 

κ + 1 

� 

Tk = 

κ − 1 

1 

�� 

2 

√ κ + 1 

�k � 

√ + 

κ − 1 

√ κ − 1 

�k� √ ≥ 

κ + 1 

1 

� 

2 

√ κ + 1 

�k √ . (2.4.6) 

κ − 1 

Damit lassen sich im positiv definiten Fall a-priori-Fehlerschranken für die Verfahren 

aus §2.3 angeben. Dazu werden die Tschebyscheffpolynome auf das von den Eigenwerten 

überdeckte Intervall [α, β] = [λmin(A), λmax(A)] verschoben und durch den Funktionswert 

in null normiert. In der Schranke selbst tritt aber nur der Quotient der Intervallgrenzen, 

die Konditionszahl ˆκ(A) = β/α auf. 

Satz 2.4.1 Die Matrix A ∈ R n×n sei symmetrisch positiv definit und das CG-Verfahren 

bzw. MINRES-Verfahren über k Schritte durchführbar. 

a) Dann gilt für den Fehler der CG-Näherung in der A-Norm 

�x (k) �� k ˆκ(A) − 1 

− ˆx�A ≤ 2 � �x 

ˆκ(A) + 1 

(0) − ˆx�A. 

b) Dann gilt für das Residuum der MINRES-Näherung 

�b − Ax (k) �� k ˆκ(A) − 1 

�2 ≤ 2 � �b − Ax 

ˆκ(A) + 1 

(0) �2. 

Beweis Hintergrund der Schranken sind die Minimalcharakterisierungen in Satz 2.3.2c) 

und Satz 2.1.4. Durch Entwickung nach den orthonormalen Eigenvektoren y (j) wird beim 

CG-Verfahren mit x (0) = 0 

n� 

�x (k) − ˆx� 2 A = 

und bei MINRES 

j=1 

≤ min 

gk 

λj(y (j)T (x (k) − ˆx)) 2 = min 

gk 

max gk(λj) 

j 

2 

�b − Ax (k) �2 = min 

φk 

n� 

j=1 

�φk(A)b� ≤ min 

φk 

n� 

j=1 

λj(ˆx T y (j) ) 2 = min 

gk 

λjgk(λj) 2 (ˆx T y (j) ) 2 

max |φk(λj)|�b�2. 

j 

max gk(λj) 

j 

2 �ˆx� 2 A 

Dabei ist in beiden Fällen das Minimum über Polynome gk, φk ∈ Pk mit gk(0) = φk(0) = 1 

zu bilden. Eine obere Schranke erhält man somit durch Einsetzen eines beliebigen Poly- 

noms. Gut geeignet sind verschobene Tschebyscheff-Polynome der Form 

� 

β + α − 2ζ 

�� 

β + α 

� � 

β/α + 1 − 2ζ/α 

�� 

gk(λ), φk(ζ) = Tk 

Tk = Tk 

Tk(q) 

β − α β − α 

β/α − 1


mit q := (ˆκ(A) + 1)/(ˆκ(A) − 1). Für ζ ∈ [α, β] gilt |Tk((β + α − 2ζ)/(β − α))| ≤ 1 und 

daher gilt |φk(λj)| ≤ 1/|T (q)|, |gk(λj)| ≤ 1/|T (q)|. Die untere Schranke (2.4.6) füt T (q) 

liefert beide Behauptungen. 

Beim CG-Verfahren beobachtet man im praktischen Einsatz oft sogar eine superlineare 

Konvergenz, bei der die Kontraktion �d (k+1) �/�d (k) � mit der Zeit sogar abnimmt. Dahinter 

steht die Eigenschaft, dass extremale Eigenwerte der im symmetrischen Lanczos-Verfahren 

(2.3.2) berechneten Matrizen Tk sehr schnell gegen die von A konvergieren. Danach richtet 

sich die Konvergenz nur nach dem Intervall der restlichen Eigenwerte. 

Das wichtigste Einsatzgebiet von GMRES ist der unsymmetrische Fall, bei dem von 

komplexen Eigenwerten auszugehen ist. Zur theoretischen Abschätzung der Minimal- 

schranke aus Satz 2.1.4, die mit jedem eingesetzten Polynom pm eine obere Schran- 

ke liefert, konzentriert man sich wieder auf die Eigenwerte des Matrixpolynoms, d.h. 

auf maxi |p(λi)|. Je nach Annahme über die Lage der Eigenwerte kann man dazu ver- 

schiedene Aussagen herleiten, einen gößeren Problemkreis deckt man aber wieder mit 

Tschebyscheff-Polynomen Tk ab. Dazu ist zunächst das Verhalten dieser Polynome Tk(z) 

im Komplexen, z ∈ C, zu untersuchen. Dazu eignet sich die Darstellung (2.4.5) mit 

Tk(z) = J(w k ) = 1 

2 (wk +w −k ) und z = J(w). Dazu studiert man die Abbildung w ↦→ J(w) 

aus (2.4.5) detailliert im Komplexen. Die Gleichung 1 

2 (w+w−1 ) = z hat jeweils zwei Lösungen, 

welche zueinander invers sind, w1w2 = 1. Daher liefern beide in J(w k ) den gleichen 

Wert. Für große k dominiert in der Summe 1 

2 (wk + w −k ) der betragsgrößere Summand, es 

gilt |Tk(z)| ≥ 1 

2 (|w|k − 1) mit der Lösung |w| > 1. Für das Verhalten der Tschebyscheff- 

Polynome ist daher der Betrag der Funktion 

z ↦→ w = J −1 (z) 

entscheidend, also der der Umkehrabbildung von J. Werte auf einem Kreis {w : |w| = 

ρ > 0} führen zu gleichem asymptotischem Verhalten von |Tk|, k → ∞, insbesondere 

für ρ > 1. Das Bild eines solchen Kreises unter J ist eine Ellipse in der z-Ebene. Die 

Zusammenhänge lassen sich im folgenden Diagramm darstellen 

z ✲ w ✲ Tk(z) 

✛ 

✲ 

J(w) 

J(wk Ellipsen Kreise Kreise asympt. 

) 

Eine Ellipse mit Mittelpunkt µ und horizontaler bzw. vertikaler Halbachse ξ, η wird be- 

schrieben durch 

E(µ, ξ, η) := {z ∈ C : (Re (z − µ)/ξ) 2 + (Im (z − µ)/η) 2 = 1}.


Satz 2.4.2 Für ρ > 0 wird der Kreis {w ∈ C : |w| = ρ} durch die Abbildung J(w) = 

1 

2 (w + w−1 ) abgebildet auf die Ellipse E(0, ξ, η) (in der z-Ebene) mit 

ξ = 1 

2 

(ρ + 1 

ρ 

1 1 

) = J(ρ), η = |ρ − 

2 ρ |. 

Beweis Mit w = ρe it , t ∈ [0, 2π) wird der Kreis parametrisiert. Hieraus folgt 

J(w) = 1 

2 (ρeit + 1 

ρ e−it ) = 1 

2 

(ρ + 1 

ρ 

) cos t + i1 

2 

1 

(ρ − ) sin t 

ρ 

Dies ist die Parameterdarstellung der angegebenen Ellipse E(0, ξ, η). 

In der Definition ist ξ die horizontale und η < ξ die vertikale Halbachse der Ellipse E(ξ, η), 

die Brennpunkte im Satz sind ±1. Kreise mit Radius ρ und 1/ρ werden auf die gleiche El- 

lipse abgebildet. Im Grenzübergang ρ → 1 wird aus der Ellipse das reelle Intervall [−1, 1]. 

Im Bild rechts sind die Höhenlinien von |T5(z)| in 

[−2, 2] × [−2, 2] gezeigt. Die Höhenlinie |T5| = 1 ist 

das knotenförmige Gebilde und hat keine Ähnlichkeit 

mit Ellipsen. Für wachsenden Betrag r > 1 ähneln die 

Höhenlinien |T5| = r aber immer mehr den Ellipsen aus 

Satz 2.4.2. Der Radius ρ > 1 des Bildkreises unter J −1 

kann direkt aus dem Achsenverhältnis der Ellipse E be- 

rechnet werden. Aus Satz 2.4.2 folgt für ξ > η 

η 

ξ = ρ2 − 1 

ρ2 � 

ξ/η + 1 

⇐⇒ ρ = . (2.4.7) 

+ 1 ξ/η − 1 

Kreise (ξ = η) fallen hier aus dem Rahmen (ρ → ∞). Man kann zeigen, dass bei Verteilung 

des Spektrums von A in einem Kreis mit Mittelpunkt µ das Polynom pk(z) = (1 − z/µ) k 

kleinste Norm besitzt. In diesem Fall ist also die einfache Iteration 

x (k+1) = x (k) + ω(b − Ax (k) ), k = 0, 1, . . . , 

mit festem Parameter ω = 1/µ nicht zu verbessern. 

Im Fall ξ > η kann Satz 2.4.2 analog zu Satz 2.4.1 zur Konstruktion eines speziellen 

Polynoms φk verwendet werden, welches in der Defektdarstellung von Satz 2.1.4 einen 

kleinen Wert ergibt. Dazu soll φk auf den Eigenwerten von A möglichst kleine Werte im 

Vergleich zum Normierungswert φk(0) = 1 annehmen. Der folgende Satz enthält dabei 

keine Optimalitätsaussage mehr, die angegebenen (Tschebyscheff-) Polynome sind nur 

noch asymptotisch optimal (k → ∞).


Satz 2.4.3 Gegeben sei eine Ellipse E(µ, ξ, η), µ ∈ R, mit |µ| > ξ > η, d.h. 0 �∈ 

E(µ, ξ, η). Mit γ := � ξ 2 − η 2 gilt dann für das Polynom 

die Schranke 

φk(z) := Tk((z − µ)/γ) 

Tm(−µ/γ) 

max 

z∈E |φk(z)| 

� 

≤ 2 

ξ + η 

|µ| + � µ 2 − ξ 2 + η 2 

Beweis Mit der verwendeten Variablentranformation ändern sich in (2.4.5) die Definition 

für w zu z − µ = γJ(w). Für die Achsen der Ellipse E(µ, ξ, η) folgt aus Satz 2.4.2 der 

Zusammenhang ξ = γJ(ρ), η = γ 

|ρ − 1/ρ|, das Verhältnis bleibt also unverändert und 

2 

ergibt mit (2.4.7) den Wert ρ. Mit diesem folgt die Gestalt von γ = ξ/J(ρ) = � ξ2 − η2 . 

Mit den jeweils betragsgrößeren Lösungen w aus γJ(w) = z −µ und w0 ∈ R aus γJ(w0) = 

−µ folgt aus (2.4.4) 

|φk(z)| = |wk + w −k | 

|w k 0 + w −k 

0 | 

� 

ρ 

�k ≤ 2 . 

|w0| 

Im Zähler wurde nach oben abgeschätzt mit |w| = ρ und im Nenner der betragskleinere 

Wert vernachlässigt. Mit der Darstellung (2.4.7) von ρ und |w0| = (|µ| + � µ 2 − γ 2 )/γ 

bekommt man nun γρ = � ξ 2 − η 2� (ξ + η)/(ξ − η) = ξ + η und mit 

ρ 

|w0| = 

� k 

. 

γρ 

|µ| + � µ 2 ξ + η 

= 

− γ2 |µ| + � µ 2 < 1. 

− γ2 Mit komplexen Werten µ, γ können auch andere Ellipsen behandelt werden. Entscheidend 

für die Güte der Konvergenz bei Krylov-Verfahren ist überraschenderweise die Exzentri- 

zität des Gebiets, in dem die Eigenwerte liegen. Im Extremfall einer Linie (kleine Halb- 

achse η = 0, ξ = (β − α)/2, µ = (α + β)/2) hängt die Konvergenz nur ab von � β/α. 

Bei einer kreisförmigen Verteilung (ξ = η) der Eigenwerte ist dagegen keine Verbesserung 

möglich. Die Verwendung dieser Tschebyscheff-Polynome in den früheren Sätzen liefert 

Aussagen für FOM und GMRES. 

Satz 2.4.4 Die Matrix A ∈ R n×n sei diagonalisierbar mit Jordan-Normalform A = 

XΛX −1 und ihre Eigenwerte in einer Ellipse E(µ, ξ, η) enthalten mit µ ∈ R, |µ| > ξ > η. 

Wenn FOM- und GMRES-Verfahren jeweils eine Näherungslösung x (k) , k ∈ N, liefern, 

dann gilt mit den Bezeichungen aus Satz 2.1.3 für den Fehler der FOM-Lösung die Schran- 

ke 

�x (k) � 

− ˆx�2 ≤ 2 

ξ + η 

|µ| + � µ 2 − ξ 2 + η 2 

� k � 

1 + ν 2 k �X��X−1 ˆx�2, (2.4.8) 

und für das Residuum der GMRES-Lösung 

�b − Ax (k) � 

ξ + η 

�2 ≤ 2 

|µ| + � µ 2 − ξ2 + η2 �k �X��X −1 b�2. (2.4.9)


Beweis Für das FOM-Verfahren wird in Satz 2.1.3 die Jordan-Normalform eingesetzt. 

Mit x (k) ∈ Kk(A, b) ist der Fehler 

ˆx − pk−1(A)Aˆx = φk(A)ˆx = Xφk(Λ)X −1 ˆx, 

vgl. (1.2.10), mit φk ∈ Pk und φk(0) = 1. Da hierbei ein minimales Polynom gemeint ist, 

liefert das Tschebyscheff-Polynom aus Satz 2.4.3 die obere Schranke aus der Behauptung. 

Beim GMRES-Verfahren erhält man mit den JNF in Satz 2.1.4 wieder 

b − Ax (k) = b − Apk−1(A)b = qk(A)b = Xqk(Λ)X −1 b, 

mit einem minimalen Polynom qk ∈ Pk und qk(0) = 1. Die spezielle Wahl nach Satz 2.4.3 

liefert wieder die Behauptung. 

In den Abschätzungen taucht eine neue Konstante auf, die feste, aber unbekannte Norm 

�X�2 oder Kondition �X�2�X −1 �2 der Eigenvektorbasis. Undurchsichtiger ist die Situa- 

tion bei dem OrthoRes-Lanczos-Verfahren. Hier bekommt man zwar aus (2.2.5) die Feh- 

lerdarstellung 

ˆx − x (k) = (I − Πk)ˆx = (Vk, V ′ 

� −1 

−Tk k) 

Bk 

� 

(W 

I 

′ k) T ˆx = (I − Πk)(I − VkW T k )ˆx. 

Wegen der unbekannten Kondition der Basen Vk, Wk ist schon die Größe der Norm �I−Πk� 

schwierig einzuschätzen. Außerdem wird die Approximierbarkeit der Lösung ˆx aus dem 

Krylovraum Kk(A, b) jetzt durch den Schiefprojektor I − VkW T k 

Bild (I − VkW T k 

)ˆx es keine einfache Minimalitätsaussage gibt. 

beschrieben für dessen

3 VERFAHREN MIT KURZEN REKURSIONEN 37 

3 Verfahren mit kurzen Rekursionen 

Der günstige Aufwand beim CG-Verfahren im Vergleich zum GMRES-Verfahren rührt 

daher, dass die schnell konvergente Näherungsfolge x (k) mit Hilfe einer ”kurzen Rekursion” 

berechnet wird. Die Suche nach Verallgemeinerungen mit vergleichbaren Eigenschaften im 

unsymmetrischen Fall führte zu einer rasanten Entwicklung mit vielen Varianten. Leider 

konnten Faber und Manteuffel 1984 zeigen, dass solche Verfahren nicht existieren für 

allgemeine Matrizen. Das Problem reduziert sich auf die Frage, ob es bei allgemeinener 

Matrix A ein Innenprodukt (., .) gibt mit nur wenigen nichttrivialen Arnoldi-Koeffizienten, 

(Av (j) , v (i) ) = 0, j ≥ i + s. 

Dies ist i.w. nur im Spezialfall A T = q(A) der Fall mit q ∈ Ps−1. 

Die neuen Verfahren basieren auf einer Umformulierung des Lanczos-Verfahrens aus 

§2.2, wobei Optimalitätskriterien abgeschwächt werden. Bei allen Verfahren gibt es daher 

leider mehrere Möglichkeiten eines ungünstigen Abbruchs (Nulldivision) zusätzlich zum 

günstigen mit �d (k) � ≤ tol. Im Interesse einer übersichtlichen Darstellung werden diese bei 

der Formulierung der Algorithmen nicht berücksichtigt, sondern im Anschluß tabellarisch 

dargestellt und diskutiert. 

3.1 BCG und QMR 

Das BCG-Verfahren (biconjugate gradient, Fletcher, 1976) entsteht durch Übertragung 

der Herleitung (2.3.4) des CG-Verfahrens aus der LR-Zerlegung der Tridiagonalmatrix Tk 

auf das unsymmetrische Lanczos-Verfahren (2.2.3). Wieder unter der Voraussetzung, dass 

die LR-Zerlegung Tk = LkRk der Matrix Tk aus (2.2.4) existiert, setzt man mit b = βv (1) 

x (k) = VkT −1 

k e(1) β = VkR −1 

k 

� �� 

=:Pk 

L −1 

k e(1) β = PkL −1 

k e(1) β. 

Offensichtlich gilt für die Komponenten des Vektors L −1 

k e(1) β wieder eine zweistufige Rekursion 

und auch für die Vektoren p (k) = Pke (k) . Da Tk selbst nicht mehr bestimmt wird, 

müssen zusätzlich aber auch die adjungierten Vektoren aus 

Qk := (q (1) , . . . , q (k) ) := Wk(L T k ) −1 

berechnet werden. Diese bilden mit den p (j) ein A-konjugiertes System, denn es gilt 

Q T k APk = L −1 

k W T k AVkR −1 

k 

−1 

= L−1 

k TkRk = I. (3.1.1) 

Bei diesem Verfahren ist ein zusätzlicher Startvektor f (0) mit f (0)T d (0) �= 0 zu wählen 

(etwa f (0) = b). Mit x (0) = p (0) = q (0) := 0, s0 := 1 berechnet man im BCG-Verfahren für


k = 1, 2, . . . solange �d (k−1) � > tol gilt: 

p (k) := d (k−1) + sk−1p (k−1) , q (k) := f (k−1) + sk−1q (k−1) 

tk := f (k−1)T d (k−1) /q (k)T Ap (k) , 

x (k) := x (k−1) + tkp (k) , 

d (k) := d (k−1) − tkAp (k) , f (k) := f (k−1) − tkA T q (k) , 

sk := f (k)T d (k) /f (k−1)T d (k−1) . 

(3.1.2) 

Bemerkung: 1) Etwa die Hälfte des Aufwands beim BCG-Verfahren wird durch die ad- 

jungierte Rekursion für f (k) , q (k) verursacht (man könnte damit ein unabhängiges System 

A T y = f (0) lösen, etwa beim Simplexverfahren). In die Lösung x (k) gehen diese Vektoren 

aber nicht als Ganzes ein, sondern nur partiell in die Skalare tk, sk über Innenprodukte. 

Aus dieser Beobachtung wird in §3.2 ein Verfahren entwickelt, das (mit Abstrichen) die 

adjungierte Rekursion einspart. 

2) Die Beziehung zwischen den Richtungen p (k) und q (k) ist nicht die einzige Konjugiert- 

heit im Verfahren. Es sei daran erinnert, dass die Lösungen durch eine Petrov-Galerkin- 

Bedingung (2.2.5) definiert werden und daher die Defekte {d (k) } sowie {f (j) } biorthogo- 

nal sind. Für aufeinander folgende Vektoren rechnet man dies analog zum Beweis von 

Satz 2.2.1 direkt nach, 

f (k)T d (k−1) = (f (k−1)T − tkq (k)T A)d k−1) 

= f (k−1)T d (k−1) − tkq (k)T Ap (k) 

� �� 

=0 

+sk−1tk q (k)T Ap (k−1) 

= 0. 

� �� 

=0 

Da diese Vektoren jeweils die Krylovräume K(A, b) bzw. K(A T , f (0) ) aufspannen, folgt 

eine wichtige, später benötigte Konsequenz 

d (k) ⊥ Kk−1(A T , f (0) ), f (k) ⊥ Kk−1(A, b). (3.1.3) 

3) Bei der Implementierung muß man natürlich die Möglichkeit eines ungünstigen Ab- 

bruchs beachten und Division durch zu kleine Werte in den Quotienten bei tk, sk in (3.1.2) 

verhindern. Dabei ist aber zu beachten, dass die Norm der Vektoren selbst, mit denen 

die Innenprodukte f (k−1)T d (k−1) und q (k)T Ap (k) gebildet werden (hoffentlich) gegen null 

geht. Bei resk := �d (k) �2 ist dies klar, da Verfahrensziel, somit ist bei guter Konvergenz 

|sk| < 1. Die Definition p (k) = d (k−1) + sk−1p (k−1) zeigt, dass dann auch �p (k) �2 ∼ = resk−1 

klein wird. Daher sollte der ungünstige Abbruch immer relativ zu res getestet werden 

durch |f (k)T d (k) | ≤ ɛ · resk bzw. |q (k)T Ap (k) | ≤ ɛ · resk mit einem geeigneten ɛ > 0. 

Abbruch wegen d (k) = 0 f (k) = 0 f (k)T d (k) = 0 q (k)T Ap (k) 

BCG günstig ernst (behebbar) ??


Die Lanczos-Basis Vk und die Tridiagonalmatrix Tk = W T k AVk erfüllen nach (2.2.4) die 

Gleichung 

AVk = VkTk + αk+1v (k+1) e (k)T = Vk+1 ¯ Tk, ¯ Tk = 

� 

Tk 

0 . . . 0 αk+1 

Ein beliebiges Krylovraum-Elements Vky, y ∈ R k hat mit b = βv (1) daher den Defekt 

b − AVky = βv (1) − Vk+1 ¯ Tky = Vk+1(βe (1) − ¯ Tky). 

Die Lanczos-Näherung aus §2.2 und damit auch die BCG-Näherung erhielt man daraus 

durch die Petrov-Galerkin (2.2.5), die die ersten k Komponenten zu null macht, βe (1) − 

Tky = 0, analog zum Arnoldi-Verfahren. Wenn man jetzt analog zum GMRES-Verfahren 

das Residuum �b − AVky� = �Vk+1(βe (1) − ¯ Tky)� minimieren will, stört der Basisfaktor 

Vk+1, der nicht mehr orthogonal ist. Eine einfache Abhilfe ist das Ignorieren, das QMR- 

Verfahren (Quasi-Minimal Residuum) minimiert nur das Quasi-Residuum, 

y ↦→ �βe (1) − ¯ Tky�2. 

Dieses Minimum kann man wieder mit einer QR-Zerlegung von ¯ Tk = ¯ QkRk, ¯ Qk ∈ R (k+1)×k , 

berechnen, wobei wegen der Tridiagonalstruktur Rk ∈ R k×k nur 2 obere Nebendiagonalen 

besitzt. Der Defekt hat die Form 

�βe (1) − ¯ Tmy� 2 2 = �βe (1) − ¯ QkRky� 2 = �β ¯ Q T k e (1) − Rky� 2 + β 2 �(I − ¯ Qk ¯ Q T k )e (1) � 2 2 

und ist minimal in 

x (k) = VkR −1 

k 

� �� 

=:Pk 

¯Q T k e (1) β 

� �� 

=:¯gk 

Wie im Arnoldi-Prozeß besteht ¯ Qk aus Givens-Rotationen, (2.1.13), die der Reihe nach 

auf die rechte Seite βe (1) anzuwenden sind, es ist ¯gk = (¯γ1, . . . , ¯γk) T aus (2.1.14). Da ¯gk 

die entgültigen Werte ¯γj enthält, ist die neue Lösung 

x (k) = Pk¯gk = Pk−1¯gk−1 + ¯γkp (k) = x (k−1) + ¯γkp (k) . 

Für die Spalten der Matrix Pk = VkR −1 

k löst man das Dreiecksystem PkRk = Vk wieder 

schrittweise auf, 

p (k) = 1 

(v 

rkk 

(k) − p (k−1) rk−1,k − p (k−2) rk−2,k). 

Das Quasi-Residuum beim QMR-Verfahren ist nie größer als im BCG-Verfahren. Daher 

erwartet man beim QMR-Verfahren in der Praxis einen Vorteil, auch wenn dieser oft 

gering sein dürfte. Tatsächlich kann man das Residuum von QMR mit dem des GMRES- 

Verfahrens in Beziehung setzen 

ResQMR ≤ κ2(Vk+1) ResGMR, 

. 

� 

.


mit der schwer zu bestimmenden Kondition der Basismatrix. Wegen der orthogonalen 

Transformationen ist das Verfahren komplizierter als BCG und wird wegen der geringen 

Unterschiede nicht ausformuliert. 

Beispiel 3.1.1 Vergleich von BCG- und GMRES-Verfahren beim Standardproblem mit 

n = 10 4 Gitterpunkten bei Variation der Asymmetrie b. Im linken Bild ist die Asymmetrie 

gering (b = 0.5), die Laufzeit des BCG-Verfahrens betrug mit 0.75 sec (225 Iterationen) 

nur ein Zehntel der GMRES-Laufzeit (8.3 sec, 206 Iter.). Allerdings fällt schon hier der 

unruhige Verlauf der Residuen auf, die um mehrere Größenordnungen schwanken. Der 

Fehler variiert dabei nicht ganz so stark. Eine stärkere Asymmetrie (b = 2) beeinflußt 

GMRES nur wenig, die Laufzeit erhöht sich auf 10.4 sec (217 Iter.). Das BCG-Verfahren 

stagniert hier zunächst (ca. 100 Schritte) und fällt dann wieder mit starken Schwankungen 

steiler ab. Allerdings bricht das Verfahren schließlich wegen eines zu kleinen Innenprodukts 

f (k)T d (k) nach 183 Schritten ab mit einem Residuum von 2.510 − 7 und Fehler 610 − 6 ab. 

Hier könnte man das Verfahren mit der aktuellen Näherung ˜x für das Gleichungssystem 

A(x − ˜x) = b − A˜x neu starten. 

3.2 CGS 

Schon bei der Formulierung (3.1.2) des BCG-Verfahrens wurde darauf hingewiesen, dass 

von den Rekursionen 

p (k) := d (k−1) + sk−1p (k−1) , q (k) := f (k−1) + sk−1q (k−1) 

d (k) := d (k−1) − tkAp (k) , f (k) := f (k−1) − tkA T q (k) , 

(3.2.1) 

nur die linke Spalte in die Lösung x (k) = x (k−1) + tkp (k) eingeht und die adjungierte 

Rekursion mit A T nur zur Berechnung der Koeffizienten sk−1, tk dient. Dies ist aus An- 

wendersicht besonders unbequem, da dafür die adjungierte Abbildung q ↦→ A T q zusätzlich 

implementiert werden muss und dabei auch keine einfache Approximation wie in (1.2.9) 

möglich ist.


Mit den Startwerten d (0) = b, p (0) = 0, sowie f (0) = b, q (0) := 0 liegen alle Vektoren 

d (k) , p (k) , f (k) , q (k) in Krylovräumen, beide Rekursionen verwenden identische Koeffizien- 

ten. Daher gibt es Polynome φk, ψk ∈ Pk mit d (k) = φk(A)b und p (k+1) = ψk(A)b, welche 

genauso auch bei f (k) := φk(A T )f (0) und q (k+1) = ψk(A T )f (0) auftreten. Für die Innen- 

produkte bei den Koeffizienten sk−1, tk erhält man so über 

f (k)T d (k) = (φk(A T )f (0) ) T φk(A)b = f (0)T φ 2 k(A)b, 

q (k)T Ap (k) = (ψk−1(A T )f (0) ) T Aψk−1(A)b = f (0)T Aψ 2 k−1(A)b 

Innenprodukte, die ganz ohne die Transponierte A T auskommen. Mit dieser Beobachtung 

konstruierte Sonneveld 1989 das CGS-Verfahren (conjugate gradient squared). Es erfordert 

die induktive Konstruktion von Vektoren, die sich über die Quadrate φ2 k (A)b, ψ2 k (A)b der 

CG-Polynome ergeben. Dazu überträgt man die Rekursionen (3.2.1) auf die Polynome 

und erhält durch Quadrieren 

d (k) = φk(A)b : φk(λ) = φk−1(λ) − tkλψk−1(λ), 

p (k+1) = ψk(A)b : ψk(λ) = φk(λ) + sk ψk−1(λ), 

φ2 k (λ) = φ2k−1 (λ) − 2tkλ φk−1(λ)ψk−1(λ) +t2 kλ2ψ 2 k−1 (λ), 

� �� 

? 

ψ2 k (λ) = φ2k (λ) + 2sk φk(λ)ψk−1(λ) +s2 kψ2 k−1 (λ). 

� �� 

? 

(3.2.2) 

Ohne die markierten gemischten Terme wäre dies eine Rekursion für die Quadrate. Die 

Schwierigkeit läßt sich einfach dadurch umgehen, dass man für beide eine zusätzliche 

Rekursion einführt (in der Literatur wird teilweise nur eine aufwändige Zusatzrekursion 

eingeführt, bei anschließenden Zusammenfassungen entsteht dann doch wieder diese). 

Durch Ausnutzung von (3.2.2) erhält man für die Produkte φkψk−1 = (φk−1−tkλψk−1)ψk−1 

und φk−1ψk−1 = φ 2 k−1 + sk−1φk−1ψk−2. Für die 4 Polynome (ohne Argument λ) ergibt sich 

somit 

φkψk−1 = φk−1ψk−1 − tkλψ 2 k−1 → q (k) , 

φ 2 k = φ2 k−1 − tkλ(2φk−1ψk−1 − tkλψ 2 k−1 ), 

= φ 2 k−1 − tkλ(φk−1ψk−1 + φkψk−1) → d (k) , 

φkψk = φ 2 k + skφkψk−1 → u (k+1) 

ψ 2 k = φkψk + sk(φkψk−1 + skψ 2 k−1 ) → p(k+1) . 

(3.2.3) 

Am rechten Rand sind die (neuen!) Namen der Vektoren angegeben, die im folgenden 

Algorithmus die zu den Polynomen gehörenden Krylovraum-Elemente enthalten. Nur d (k) 

stellt weiter den Defekt dar und liefert formal durch Betrachtung von ˆx − A −1 d (k) auch 

die Rekursion für die Näherungen x (k) .


So entsteht das CGS-Verfahren (conjugate gradient squared), f := f (0) �= 0 beliebig, 

x (0) := p (0) := q (0) := 0, s0 := 1, d (0) := b. Man berechnet für k = 1, 2, . . . solange 

�d (k−1) � > tol gilt: 

u (k) := d (k−1) + sk−1q (k−1) 

p (k) := u (k) + sk−1(q (k−1) + sk−1p (k−1) ), tk := f T d (k−1) /f T Ap (k) , 

q (k) := u (k) − tkAp (k) 

x (k) := x (k−1) + tk(u (k) + q (k) ), 

d (k) := d (k−1) − tkA(u (k) + q (k) ), sk := f T d (k) /f T d (k−1) . 

(3.2.4) 

In der linken Spalte sind die Vektor-Operationen, rechts die Innenprodukte gruppiert. An- 

stelle der Multiplikation mit A T in (3.2.1) ist jetzt eine zweite mit der Matrix A getreten, 

die Transponierte A T wird nicht mehr benötigt! 

Wegen der Herleitung aus dem BCG-Verfahren gibt es natürlich wieder die Gefahr eines 

ungünstigen Abbruchs bei f T d (k) ∼ = 0 oder f T Ap (k) ∼ = 0. Auch hier ist die Überprüfung 

relativ zu resk durchzuführen. Überblick: 

Abbruch wegen d (k) = 0 f T d (k) = 0 f T Ap (k) = 0 

CGS günstig ernst ernst 

Im Schritt k liegen alle indizierten Vektoren im Krylovraum K2k(A, b), der Defekt 

d (k) = φ2 k (A)b ist i.w. das Quadrat desjenigen im BCG-Verfahren. Bei guter Konvergenz 

konvergiert das CGS-Verfahren daher (bei doppeltem Aufwand) ungefähr doppelt so 

schnell wie das BCG-Verfahren. Wenn allerdings beim BCG-Verfahren die Defekte stark 

schwanken, verstärkt sich das beim CGS-Verfahren und kann wegen der wechselnden 

Größenordnungen zu numerischen Instabilitäten führen. 

Beispiel 3.2.1 Beim Standardbeispiel mit Asymmetrie b = 1 und n = 10 4 Gitterpunkten 

steigt das Residuum beim CGS-Verfahren nach einer zwischenzeitlichen Reduktion auf 

10 −5 später wieder an, nach 500 Iterationen ist der Defekt größer als zu Beginn. 

Bei Reduktion der Größe auf n = 2500 Gitterpunkte be- 

kommt man beim Vergleich von GMRES-, BCG- und CGS- 

Verfahren die gezeigten Ergebnisse. Das BCG-Verfahren 

bricht wieder vorzeitig ab, allerdings erst bei res ∼ = 10 −7 

nach 110 Iterationen (gleiche Schrittzahl wie GMRES). 

Die Residuen verhalten sich dabei etwas unruhig. Bei CGS 

kommt es zunächst zu einem erheblichen Anstieg der Resi- 

duennorm auf weit über 10 2 , bevor dann Konvergenz ein- 

setzt und nach 198 Schritten zum geregelten Abbruch mit 

res ≤ 10 −8 führt, der Endfehler ist 310 − 7. Allerdings ist 

das Verhalten so irregulär, dass die Folge der Residuen wie 

eine diffuse Punktwolke erscheint.


Das nächste Verfahren versucht, diese starken Schwankungen zu verringern. 

3.3 BiCGStab 

Dieses Verfahren von Van der Vorst (1992) modifiziert die Idee des CGS-Verfahrens, 

indem es beim in (3.2.3) neu definierten Defekt d (k) = φ 2 k (A)b = φk(A)φk(A)b einen 

der Polynomfaktoren durch einen anderen ersetzt 

c (k) = χk(A)φk(A)b. 

Das Ziel ist natürlich, die Defektschwankungen des CGS-Verfahrens zu verkleinern durch 

eine bessere Wahl von χk ∈ Pk. Dabei wird χk aus Linearfaktoren aufgebaut, welche 

schrittweise im Verfahren bestimmt werden, 

χk(λ) = (1 − wkλ)χk−1(λ). (3.3.1) 

Vom Gesamtpolynom betrachtet man den Teil χk−1φk und erhält dafür mit (3.2.2) die 

Rekursion 

χk−1φk 

� �� = χk−1(φk−1 − tkλψk−1) 

= (1 − ωk−1λ) χk−2φk−1 

� �� −tkλ χk−1ψk−1 

� �� 

? 

→ u (k) . (3.3.2) 

Hier wird also wieder eine zweite Rekursion für χk−1ψk−1 benötigt, mit (3.2.2) gilt 

χkψk 

� �� = χk(φk + skψk−1) 

� 

= (1 − wkλ) χk−1φk 

� �� +sk 

� 

χk−1ψk−1 

� �� 

→ p (k+1) . (3.3.3) 

Also kann man für die zugehörigen Vektoren c (k) = (I − wkA)u (k) , u (k) = χk−1(A)φk(A)b, 

p (k+1) = χk(A)ψk(A)b folgende Rekursion angeben, 

u (k) = c (k−1) − tkAp (k) , 

c (k) = (I − wkA)u (k) , 

p (k+1) = c (k) + sk(I − wkA)p (k) . 

(3.3.4) 

Durch Multiplikation der Defektbeziehung mit A −1 läßt sich auch die Näherung x (k) fort- 

schreiben: 

c (k) = u (k) − wkAu (k) = c (k−1) − tkAp (k) − wkAu (k) 

⇒ x (k) = x (k−1) + tkp (k) + wku (k) . 

(3.3.5)


Der freie Paramter wk sollte den Defekt möglichst klein machen. Daher ist folgende Wahl 

naheliegend, die bei gegebenem u (k) die Norm in der mittleren Zeile von (3.3.4) bezüglich 

w minimiert: �c� 2 = �u − wAu� 2 = �u� 2 − 2wu T Au + w 2 �Au� 2 ! = min, was für 

wk = u(k)T Au (k) 

�Au (k) � 2 2 

der Fall ist. Obwohl jetzt alle Größen des Verfahrens beschrieben sind, ist es noch nicht 

durchführbar, da der zur Berechnung der Parameter sk, tk erforderliche Vektor d (k) = 

φ2 k (A)b aus dem CGS-Verfahren nicht mehr mitgeführt wird. Zum Glück kann man die 

Parameter wegen der Bi-Orthogonalität von φk(A)b und φj(AT )f (0) auch aus 

ϱk := 

� 

χk(A T �T )f φk(A)b = f T χk(A)φk(A)b = f T c (k) 

berechnen. Denn wegen (3.1.3) fallen im Innenprodukt mit φk(A)b alle niederen Potenzen 

von χk(A T )f oder φk(A T )f weg, 

ϱk = 

� 

χk(A T �T )f 

= χ(k) 

k 

φ (k) 

� 

φk(A 

k 

T �T )f 

φk(A)b = χ(k) 

k 

φk(A)b = χ(k) 

k 

k! ((AT ) k f) T φk(A)b 

φ (k) 

k 

f T φ 2 k(A)b = χ(k) 

k 

φ (k) 

k 

f T d (k) . 

Dabei ist χ (k) 

k /k! einfach der höchste Koeffizient des Polynoms χk. Wegen des Ansatzes 

(3.3.1) und der Rekursion für φk gilt 

χ (k) 

k 

Daraus folgt für den ersten Parameter 

(k−1) 

(k−1) 

= −kwkχ k−1 , φ(k) 

k = −ktkφ k−1 . 

sk = f Td (k) 

f T tkϱk 

= 

d (k−1) 

wkϱk−1 

= tk 

wk 

f Tc (k) 

f T . (3.3.6) 

c (k−1) 

Analog kann man bei der Berechnung von tk vorgehen, nur die höchsten Terme bleiben 

übrig, jetzt aufgrund der A-Konjugiertheit (3.1.1) im BCG-Verfahren. Außerdem sind die 

führenden Koeffizienten von φk und ψk gleich. Damit gelten für tk aus (3.1.2) bzw. (3.2.4) 

folgende Umformungen. Bei gleichzeitigem Übergang zwischen Polynomen in Zähler und 

Nenner kürzen sich dabei die Ausgleichsfaktoren weg: 

tk = (φk−1(A T )f) T φk−1(A)b 

(φk−1(A T )f) T Aψk−1(A)b = (χk−1(A T )f) T φk−1(A)b 

(χk−1(A T )f) T Aψk−1(A)b 

= f T χk−1(A)φk−1(A)b 

f TAχk−1(A)ψk−1(A)b = f Tc (k−1) 

f T ϱk−1 

= 

Ap (k) f TAp (k) .


Nach dieser aufwändigen Herleitung bekommt man den recht überschaubaren Algorithmus 

des BiCGStab-Verfahrens. Mit f �= 0, u (0) = p (0) = x (0) = 0, s0 := 1, ϱ0 := f T b und 

c (0) := b, für k = 1, 2, . . ., solange �c (k−1) � > tol: 

p (k) := c (k−1) + sk−1(I − wk−1A)p (k−1) , tk := ϱk−1/f T Ap (k) , 

u (k) := c (k−1) − tkAp (k) , wk := u (k)T Au (k) /�Au (k) � 2 2, 

x (k) := x (k−1) + tkp (k) + wku (k) , 

c (k) := (I − wkA)u (k) , ϱk = f T c (k) , 

sk := tkϱk/(wkϱk−1), 

(3.3.7) 

Tatsächlich benötigt man für den Vektor u (k) keinen Speicherplatz, man kann mit ihm den 

Defekt c (k−1) in den Zeilen 2—4 überschreiben. Somit wird nur für 3 Vektoren Speicher- 

platz benötigt. Auch dieses Verfahren nutzt zwei Matrix-Vektor-Multiplikationen mit A, 

keine mit A T . Zu den bisherigen Gründen für einen ungünstigen Abbruch, f T Ap (k) ∼ = 0, 

f T c (k) ∼ = 0 kommt noch der mit wk ∼ = 0 hinzu. Für u �= 0 ist u T Au = 0 möglich, wenn 

A nicht definit ist. Dann gilt für jedes w leider �c (k) � > �u (k) �2, aber evtl. kann man das 

Verfahren mit einem willkürlichen Ersatzwert fortsetzen. 

Abbruch wegen c (k) = 0 f T c (k) = 0 f T Ap (k) = 0 u (k)T Au (k) = 0 

BiCGStab günstig ernst ernst ?? 

Beispiel 3.3.1 Hier wird wieder das Beispiel mit 

der Standardgröße n = 10 4 und b = 1 betrach- 

tet. Die Graphik zeigt den Vergleich von BCG-, CGS- 

und BiCGStab-Verfahren. Wie oben erwähnt konver- 

giert CGS hier nicht (mittleres Diagramm), umso be- 

eindruckender ist die gute Konvergenz von BiCGStab 

aufgrund der dämpfenden Wirkung des Polynoms χk. 

BiCGStab (unten) benötigt nur 146 Schritte (0.5sec), da 

das Residuum am Ende abrupt unter 10 −8 fällt, während 

BCG nach 180 Schritten (0.7sec) bei res = 810 − 7 ab- 

bricht. BiCGStab ist auch das einzige der ”schnellen” 

Verfahren, das auch das größere Problem mit n = 40000 

Punkten noch löst in 289 Schritten (4 sec.). GMRES 

benötigt 2:20 Minuten und 400 Schritte. 

Es gibt noch einen weiteren Abkömmling des CGS-Verfahrens das TFQMR-Verfahren 

(transpose-free quasi-minimal residual) von Freun (1993). Dessen Herleitung und Darstel- 

lung ist etwas aufwändiger und wird daher aus Zeitgründen nicht behandelt.

4 ERGÄNZUNGEN 46 

4 Ergänzungen 

Beim praktischen Einsatz von Krylov-Verfahren spielen weitere Aspekte eine Rolle, die 

hier kurz behandelt werden. Der wichtigste ist zunächst die Verringerung der Matrix- 

Kondition zur Beschleunigung der Konvergenz durch eine äquivalente Umformulierung 

des Gleichungssystems (Präkonditionierung). Außerdem tritt (im Rahmen anderer nume- 

rischer Verfahren) häufiger die Situation auf, dass Systeme mit mehreren rechten Seiten 

gleichzeitig oder nacheinander zu lösen sind. Direkte Lösungsverfahren profitieren hier von 

einer Wiederverwendung der berechneten LR- oder QR-Zerlegung, bei Krylov-Methoden 

ist dies schwieriger. 

4.1 Präkonditionierung 

Ein wesentlicher Aspekt der Konvergenzaussage aus Kapitel 2 in Satz 2.4.1 und Satz 2.4.4 

war die überwiegende Abhängigkeit der Konvergenzgeschwindigkeit von der Kondition der 

Matrix, etwa ˆκ(A) = λmax(A)/λmin(A) beim CG-Verfahren. Diese kann durch Übergang 

zu einem geeigneten äquivalenten System mit regulärer Matrix M verringert werden, denn 

M −1 Ax = M −1 b ⇐⇒ Ax = b. (4.1.1) 

Dies gilt trivialerweise mit M = A, da dann ˆκ(M −1 A) = 1 gilt, ist aber keine Hilfe. Die 

Umformulierung macht nur dann Sinn, wenn die Lösung von Systemen mit der Matrix M 

billiger ist als die mit A und sich (i.w.) die Kondition ˆκ(M −1 A) genügend verkleinert. Ge- 

nau genommen nennt man (4.1.1) Links-Präkonditionierung, Rechts-Präkonditionierung 

entspricht der Lösung von 

Ax = (AM −1 )Mx = b ⇐⇒ (AM −1 )y = b, x = M −1 y. (4.1.2) 

Die Betrachtung beider Varianten macht Sinn, da z.B. beim CG-Verfahren die Symme- 

trie der Matrix erhalten bleiben muß. Dies ist der Fall, wenn linker und rechter Faktor 

Transponierte sind 

(L −T AL −1 ) Lx = L −T b. (4.1.3) 

Die Entwicklung von solchen ”Präkonditionierern” ist ein breites und aktuelles Forschungs- 

gebiet, da Präkonditionierung sich an den Matrixeigenschaften des konkreten Anwen- 

dungsproblems orientiern muss, die Entwicklung also problemabhängig ist. Es gibt einige 

breiter einsetzbare Methoden, die hier angesprochen werden. Als Beispiel für eine pro- 

blemspezifischen Präkonditionierung wird kurz eine für das Standardbeispiel 2.1.5 geeig- 

nete vorgeführt.


Unvollständige LR-Zerlegung 

Ein Hauptgrund für den hohen Aufwand beim Gauß-Algorithmus für die Lösung großer, 

dünnbesetzter Systeme ist das Auffüllen bei der Elimination, welches zu einer wesentlich 

größeren Zahl nichttrivialer Matrixelemente in der LR-Zerlegung als in der Ausgangsma- 

trix führt. Allerdings stellt man v.a. bei diagonaldominanten Matrizen fest, dass die Größe 

dieser neuen Elemente (”fill-in”) oft kleiner ist als die der Elemente in A. Denn jede neue 

Generation von Auffüllelementen wird durch ein Pivotelement dividiert. Mit der (nicht 

optimalen) zeilenweisen Numerierung von Variablen im Standardbeispiel hat man etwa 

Bandstruktur mit folgendem Generationsschema (m = 4): 

⎛ 

⎜ 

⎝ 

0 0 0 

0 0 0 1 0 

0 0 0 2 1 0 

0 0 0 3 2 1 0 

0 0 0 4 3 2 1 0 

0 0 5 4 3 2 1 0 

0 1 2 3 4 5 0 0 4 3 2 1 0 

0 1 2 3 4 0 0 0 4 3 2 1 0 

. . . 

Diese Beobachtung legt die Nutzung einer unvollständigen LR-Zerlegung ILU(g) nahe. 

Dabei werden neue Elemente ab der Generation g + 1 einfach ignoriert. Bei ILU(0) wären 

das alle ab Generation eins, d.h. ℓij, rij mit aij = 0. Für die so berechneten Faktoren gilt 

dann nur 

. . . 

˜L ˜ R = A + F 

mit einer Fehlermatrix F . Die Präkonditionierungsmatrix M := ˜ L ˜ R erfüllt damit die 

Anforderungen von oben, da die Hilfssysteme wie y = Mx = ˜ L( ˜ Rx) einfach zu lösen 

sind. Im symmetrisch definiten Fall ersetzt man die LR-Zerlegung durch die symmetrische 

(unvollständige) Cholesky-Zerlegung 

˜L ˜ L T = A + F. 

Dann führt die Präkonditionierung (4.1.3) wieder auf ein symmetrisches Problem, bei dem 

das CG-Verfahren eingesetzt werden kann. Tatsächlich benötigt man bei Verwendung des 

neuen Skalarprodukts (x, y) ↦→ y T Mx im CG-Verfahren die Faktorisierung von M nicht 

explizit. Wenn bei der unvollständigen Zerlegung wirklich nur kleine Elemente ignoriert 

wurden und �F � klein ist, häufen sich die Eigenwerte von 

( ˜ L ˜ R) −1 A = I − M −1 F 

in einer Umgebung von eins und führen zu einer wesentlich schnelleren Konvergenz der Ite- 

ration. Wegen der besonderen Konvergenzeigenschaften von Krylovverfahren stören dabei 

auch einzelne Ausreißer nicht, da diese exponierten Eigenwerte schnell approximiert wer- 

den und die Konvergenzgeschwindigkeit sich dann wieder nach den restlichen Eigenwerten 

richtet. 

. . . 

⎞ 

⎟ 

⎠


Iterations-Präkonditionierer 

Die Matrix M des Präkonditionierers (4.1.1) muß nicht explizit bekannt sein, hier kann 

durchaus auch ein anderes Iterationsverfahren eingesetzt werden, dessen Konvergenz nicht 

auf einem Krylovraum-Hintergrund beruht. Dazu gehören Gesamtschritt-, Einzelschritt- 

oder SOR-Verfahren. Hier ist das Gesamtschrittverfahren nicht sehr attraktiv, es ent- 

spricht i.w. eine Diagonal-Präkonditionierung mit M = D = diag i(aii), welche nur bei un- 

terschiedlichen Größenordnungen der Elemente einen Effekt hat. Anderes gilt für Einzel- 

schritt- und insbesondere SOR-Verfahren. Diese beruhen auf der Zerlegung der Matrix 

A = L + D + R in die Hauptdiagonale D = diag(aii), die Elemente unter der Hauptdiago- 

nale L und über der Hauptdiagonale: R. Durch einen Schritt des SOR-Verfahrens erreicht 

man Präkonditionierung mit der Matrix D + ωL, wobei ω der Relaxatinsparameter ist, 

ω = 1 entspricht dem Einzelschrittverfahren. Da diese untere Dreieckmatrix nicht symme- 

trisch ist, verbietet sich der Einsatz beim CG-Verfahren für symmetrisches A. Dem kann 

man aber durch Kombination mit umgekehrtem Schleifendurchlauf abhelfen, zum SSOR- 

Verfahren (symmetric successive overrelaxation) gehört die Präkonditionerungsmatrix 

M = Mω = (D + ωL)D −1 (D + ωL T ), L T = R. 

Gerade beim Modellbeispiel, wo man gute Parameter ω kennt, führt dies zu einer er- 

heblichen Beschleunigung der Krylov-Iteration. Im Standardbeispiel 2.1.5 kann man die 

Konvergenzraten explizit berechnen, im symmetrischen Fall (b = 1) bekommt man für 

CG-Verfahren ohne und mit SSOR-Präkonditionierung die Konvergenzaussagen 

fehlerCG ∼ 

� 

1 − π 

m 

Transformations-Präkonditionierer 

� k 

, fehlerCG−SSOR ∼ 

� 

1 − 4 

3 

� π 

m 

Zu Beginn wurde in (1.1.5) der Einsatz des Eigensystems einer Matrix zur Lösung von 

linearen Gleichungssystemen erwähnt. Dabei ist natürlich die numerische Berechnung der 

Basis unsinnig. In einigen interessanten Fällen kann man aber das Eigensystem einer 

Matrix M = XΛX −1 ∼ = A explizit angeben. Dies ist z.B. beim Standard-Beispiel 2.1.5 

der Fall, für die Differenzendiskretiserung des (negativen) Laplaceoperators auf einem 

Rechteck mit Dirichlet-Randbedingungen (als Beispiel) sind die diskreten Funktionen mit 

u(ξi, ηj) = sin ikπ jℓπ 

sin 

m + 1 m + 1 

(orthogonale) Eigenfunktionen. Die Parameter k, ℓ ∈ N haben die Bedeutung von Fre- 

quenzen, der zugehörige Eigenwert ist ∼ = (k 2 + ℓ 2 )π 2 . Überdies kann man die Multiplika- 

tion mit den Basismatrizen X −1 , X sehr effizient über die schnelle Fouriertransformati- 

on durchführen. Daher eignet sich diese Präkonditionierung für Systeme von Reaktions- 

Diffusionsgleichungen auf Rechteckgebieten. 

� k 

.


Im genannten Beispiel hat die Fouriertransformation den Nachteil, dass sie mit komple- 

xen Zahlen arbeitet, die numerisch einen vielfach höheren Aufwand als reelle Rechnung 

zur Folge haben. Als Alternative bietet sich die schnelle Hartley-Transformation an. Sie 

verwendet die Funktion cas(x) := cos(x) + sin(x) mit der Additionsregel 

Mit φn := 2π/n lautet die Transformation 

cas(x + y) = cas(x)cas(y) − 2 sin(−x) sin(y). 

�n−1 

u = Hx ⇐⇒ uk = xjcas(kjφn), xj = 1 �n−1 

ukcas(kjφn). (4.1.4) 

n 

j=0 

Die zugehörige Matrix ist symmetrisch H = HT , H−1 = 1 H. Besonders interessant ist, 

n 

dass die Multiplikation (4.1.4) für n = 2ℓ sehr schnell mit O(n log n) reellen Operationen 

durchgeführt werden kann. Außerdem läßt sich eine Variante in 2 Ortsdimensionen aus 

eindimensionalen H-Transformationen zusammensetzen. Für die Präkonditionierung bei 

Differenzenmatrizen ist die Hartley-Transformation interessant wegen der Eigenschaft 

⎛ 

−2 1 1 

⎞ 

⎜ 

T := ⎜ 

⎝ 

1 −2 

1 

1 

−2 

. .. 

1 

. .. 

⎟ 

. .. 

⎟ 

⎠ 

⇒ HT H = Dn = 2n diagj( cos(jφn) − 1). 

1 1 −2 

Diese Matrix T unterscheidet sich von der eindimensionalen Differenzenmatrix zu (2.1.18) 

i.w. nur durch ihre zyklische Struktur, die zu periodischen Randbedingungen gehört. Da- 

her kann man mit der Inversen HD −1 

n H und der Variante mit 2 Ortsdimensionen das 

Randwertproblem nicht lösen, aber gut präkonditionieren. Der algebraische Zusammen- 

hang zwischen einer und zwei Ortsdimensionen wird durch ein Matrix-Tensorprodukt 

hergestellt. In einem einfachen Beispiel bei einem System von Randwertproblemen 

� � � � 

ν∆u u − v 

+ 

= 0 

ν∆v u + 2v 

auf einem Gitter mit 128 2 Punkten und Diffusionskoeffizient ν = 0.5 erreicht das un- 

präkonditionierte GMRES-Verfahren nach 200 Iterationen nur eine Fehlerreduktion um 

den Faktor 10 −5 , die präkonditionierte Iteration konvergiert dagegen schon nach 8 Itera- 

tionen (res = 2 · 10 −9 bei Startresiduum 10 2 ). 

k=0

Index 

Abbruch, 11, 17, 23, 37, 38, 42, 45 

günstiger, 15, 22 

Arnoldi-Verfahren, 11, 14–16, 20–23, 29, 

39 

BCG-Verfahren, 22, 37–40, 42, 44 

BiCGStab-Verfahren, 45 

biorthogonal, 4, 20, 38 

Cayley-Hamilton, 5 

CG-Verfahren, 26–28, 30, 32, 33, 37, 46, 

47 

CGS-Verfahren, 41–45 

Cholesky-Zerlegung, 47 

diagonalisierbar, 4, 35 

Differentialgleichung, 18 

Differenzenstern, 18 

Eigenwert, 6, 11, 31–33, 35, 47 

Ellipse, 33 

FOM, 14, 35 

Galerkin-Verfahren, 12 

GMRES(m), 30 

GMRES-Verfahren, 15, 29, 30, 33, 35, 39, 

49 

Hartley-Transformation, 49 

Hessenberg, 10, 11, 16, 23 

ILU(g), 47 

IOM, 30 

Kondition, 5 

Lanczos, 33 

-Verfahren, 20, 23, 24 

biorthogonal, 20, 22, 23, 37 

50 

LR-Zerlegung 

unvollständige, 47 

Minimalpolynom, 6 

MINRES-Verfahren, 29, 32 

Normalform 

Jordan-, 3, 35 

Schur-, 4 

Orthogonal-Polynome, 31 

Orthogonalisierung, 10, 11, 17, 30 

Orthonormalbasis, 4 

Petrov-Galerkin, 13, 21 

Präkonditionierung, 46 

QMR-Verfahren, 39 

QR-Zerlegung, 4, 10, 16, 29, 39 

Residuum, 12 

SOR-Verfahren, 48 

Spektralradius, 5, 7 

superlinear, 33 

TFQMR-Verfahren, 45 

tridiagonal, 20, 22–24, 29 

Tschebyscheff-Polynom, 31–33, 35, 36 

unvollständig, 47 

VanderMonde-Matrix, 6

aktuelles Skript

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?