Fachbereich Mathematik - GSI

6 BFGS-Verfahren
miert werden:
χ 2 ( N) ≈ Q( N) = χ 2 ( N0) + ( N − N0) T · ∇χ 2 ( N0)
+ 1
2 · ( N − N0) T · ∇ 2 χ 2 ( N0) · ( N − N0) .
(6.2)
Ist die Hesse-Matrix ∇ 2 χ 2 ( N0) positiv definit, so ist die Funktion Q( N) streng konvex
und ihr eindeutiges Minimum kann analytisch folgendermaßen berechnet werden:
NMin, Q := ∇Q( N) = 0 , (6.3)
=⇒ ∇χ 2 ( N0) + ∇ 2 χ 2 ( N0) · ( N − N0) = 0 , (6.4)
=⇒ NMin, Q =
N0 − ∇ 2 χ 2 ( −1 N0) · ∇χ 2 ( N0) . (6.5)
Bei (6.3) handelt es sich um die notwendige Optimalitätsbedingung 1. Ordnung.
D.h., man sucht einen stationären Punkt der Funktion Q. Für den Fall, dass die
Approximation in (6.2) gut ist, so liegt das Minimum NMin, Q näher an dem Minimum
der χ2-Funktion als der Punkt N0. Durch wiederholtes Anwenden dieser Prozedur,
immer ausgehend von dem neu erhaltenen Punkt, kann in den meisten Fällen die
Näherung an das gesuchte Minimum NOpt stets verbessert werden. Daraus ergibt
sich im NV der sogenannte Newton-Schritt:
Nk+1 =
Nk − ∇ 2 χ 2 ( −1 Nk) · ∇χ 2 ( Nk) . (6.6)
Hier ist dk die sog. Newton-Richtung. Diese und der Newton-Schritt können leicht
in das allgemeine Linesearch-Verfahren aus Kapitel 4.1 eingebaut werden.
Bemerkungen:
64
• Bei der Anwendung auf ein Minimierungsproblem wird das NV manchmal
auch "Minimierung mit quadratischer Form" genannt [Bra99].
• Man ersetzt beim NV somit die Aufgabe der Minimierung der χ 2 -Funktion
durch das einfachere quadratische Optimierungsproblem (6.3) und löst dieses
analytisch. Ist die Hesse-Matrix ∇ 2 χ 2 ( Nk) positiv definit, dann liegt ein eindeutiges
Minimum des quadratischen Problems vor und die Suchrichtung dk
ist eine Abstiegsrichtung. Weiteres zu quadratischen Optimierungsproblemen
findet sich z.B. in [Alt02, Ulb07].
• Das NV, welches in diesem Abschnitt beschrieben wird, wird als "Standard"oder
"gewöhnliches"-NV bezeichnet [Hor79]. Bei diesem wird die Schrittweite
µk = 1∀k verwendet. In diesem Fall kann bei einer schlechten Wahl des
Startpunktes N0 das NV sogar divergieren. Durch eine geeignete Schrittweitensteuerung
kann globale Konvergenz (sog. Globalisierung des Verfahrens)
erreicht werden.
dk