Fachbereich Mathematik - GSI

6 BFGS-Verfahren
führe Schritt 7 aus und überspringe Schritt 8.
Ist (6.23) nicht erfüllt, dann verwende als Suchrichtung
und mache weiter mit Schritt 8.
7. Berechne die Startschrittweite µmax,k über (4.12).
dk = −∇χ 2 ( Nk) (6.25)
8. Berechne die Startschrittweite µmax,k über µBio aus (4.10).
9. Bestimme eine Schrittweite µk über das Armijo-Verfahren.
10. Berechne einen neuen Teilchenzahlenvektor Nk+1 = Nk + µk dk.
11. Berechne sk = Nk+1 − Nk und yk = ∇χ 2 ( Nk+1) − ∇χ 2 ( Nk).
12. Berechne H −1
k+1 nach dem inversen BFGS-Update (6.21).
13. Setze k := k + 1 und gehe zurück zu Schritt 4.
Bei (6.23) handelt es sich um den sogenannten Winkeltest. Dabei wird der Winkel
zwischen dem negativen Gradienten der χ2-Funktion an der Stelle Nk und der
BFGS-Suchrichtung dBFGS k berechnet. Der negative Gradient der Zielfunktion steht
orthogonal auf den Höhenlinien. Ist der Winkel zwischen −∇χ2 ( Nk) und dBFGS k exakt
90 ◦ , dann würde das den Fall repräsentieren, dass man mit der BFGS-Suchrichtung
anfangs entlang der Höhenlinie läuft. In dem entsprechenden Iterationsschritt könnte
dann die Zielfunktion nicht minimiert werden. Ist der Winkel nahe bei 90 ◦ (z.B.
zwischen 80 ◦ und 90 ◦ ), würde man mit dem Schritt die Zielfunktion wahrscheinlich
nur geringfügig minimieren können. Mit dem Winkeltest kann dies verhindert
werden. Die Idee dabei ist, dass wenn die berechnete BFGS-Suchrichtung zu nahe
an den Höhenlinien liegt, dass diese dann verworfen wird und in dem aktuellen Iterationsschritt
der negative Gradient als Suchrichtung verwendet wird. Man ersetzt
damit in einem Iterationsschritt den BFGS-Schritt mit einem Schritt des GRVs.
In dem hier angegebenen BFGS-Algorithmus wird τ = 0.15 als kritischer Winkel-
wert verwendet. Es gilt4 arccos(0.15) ≈ 81, 373. D.h., dass zwischen dem negativem
Gradienten der Zielfunktion an der Stelle Nk und der BFGS-Suchrichtung dBFGS k ein
Winkel von 81, 37◦ noch toleriert wird. Ist der Winkel größer (und damit ziemlich
nahe an der entsprechenden Höhenlinie), dann wird die BFGS-Suchrichtung mit der
Suchrichtung vom GRV überschrieben.
Der Winkeltest ist bei Newton-artigen-Verfahren als auch bei Quasi-Newton-
Verfahren sinnvoll, obwohl man ihn selten in der Literatur findet. Bei beiden Verfahren
werden in jedem Iterationsschritt Approximationen für die Hesse-Matrix verwendet.
Ist in einem Iterationsschritt die Approximation schlecht, dann kann die
4 Für den Winkel φ zwischen den Vektoren v und w gilt:
70
〈v,w〉
||v||·||w|| = cos φ.