Fachbereich Mathematik - GSI

6.1 Das Newton-Verfahren
• Liegt der Startwert N0 nahe am Minimum der χ 2 -Funktion, dann konvergiert
das NV in der Regel schnell. Bei bestimmten Voraussetzungen liegt sogar quadratische
Konvergenz 1 vor [Ulb07]. Die guten Konvergenzeigenschaften erhält
man allerdings nur in einer lokalen Umgebung des Minimums.
• Nachteil des NVs ist, dass in jedem Iterationsschritt die Hesse-Matrix ∇ 2 χ 2 ( Nk)
aufgestellt und gespeichert werden muss. Das Aufstellen der Hesse-Matrix kann
viel Rechenzeit beanspruchen. Der Speicheraufwand kann bei hochdimensionalen
Problemen mehrere Gigabytes erfordern.
• Neben dem hier beschriebenen "Standard"-NV gibt es noch die Newton-artigen-Verfahren,
die inexakten NV und die Quasi-Newton-Verfahren. Bei den
Newton-artigen-Verfahren wird die Hesse-Matrix ∇ 2 χ 2 ( Nk) in jedem Iterationsschritt
k approximiert. Der Begriff der inexakten NV wird weiter unten
in diesem Abschnitt erklärt. Mit den Quasi-Newton-Verfahren, zu denen das
BFGS-Verfahren gehört, beschäftigt sich der nächste Abschnitt ausführlicher.
Die Berechnung der Newton-Richtung
dk = − ∇ 2 χ 2 ( −1 Nk) · ∇χ 2 ( Nk) (6.7)
erfordert in jedem Iterationsschritt k das Invertieren der Hesse-Matrix ∇ 2 χ 2 ( Nk)
und die anschließende Multiplikation mit dem Gradienten ∇χ 2 ( Nk). Dieses Vorgehen
wäre numerisch nicht sinnvoll, da das Invertieren einer Matrix mit einem großen
Rechenaufwand verbunden ist [EMR96]. Daher wird der Ausdruck (6.7) in den folgenden
überführt
∇ 2 χ 2 ( Nk) · dk = −∇χ 2 ( Nk) , (6.8)
der als Newton-Gleichung bezeichnet wird. Die Newton-Gleichung ist ein lineares
Gleichungssystem mit der gleichen Ordnung wie die Dimension des Optimierungsproblems
(hier also der Ordnung p). Die Koeffizientenmatrix ist die Hesse-Matrix
der Zielfunktion und die rechte Seite der negative Gradient der Zielfunktion. Das
Gleichungssystem (6.8) ist symmetrisch, da die Hesse-Matrix nach dem Satz von
Schwarz symmetrisch ist [Heu83]. Wird das Gleichungssystem nur näherungsweise
gelöst, dann handelt es sich um ein inexaktes NV. Dabei wird in der Regel die
Konvergenzgeschwindigkeit des NVs niedriger, auf der anderen Seite kann viel Rechenzeit
gespart werden. Für die Konvergenzordnung von inexakten NV als auch
Newton-artigen-Verfahren spielt die Dennis-Moré-Bedingung eine fundamentale Rolle
[Ulb07].
Es gibt prinzipiell zwei Ansätze um ein lineares Gleichungssystem zu lösen, die
direkten und iterativen Methoden/Verfahren [Sch93]. Die direkten Verfahren, z.B.
1 Die Definition von quadratischer Konvergenz und anderen Konvergenzgeschwindigkeiten, wie
z.B. die lineare oder superlinerae Konvergenz, findet sich in fast allen Lehrbüchern zur numerischen
Mathematik.
65