4. Übung zu „Nichtlineare Optimierung: Grundlagen“ (WS 2009 ... - M1

Technische Universität München
Zentrum Mathematik, M1
Prof. Dr. Boris Vexler
Dr. Dominik Meidner
4. Übung zu „Nichtlineare Optimierung: Grundlagen“ (WS 2009/10)
Aufgabe 4.1 (8 Punkte: -1/0/1 Punkte für falsche/keine/richtige Antwort): In der
Gesamtwertung dieser Aufgabe können keine negativen Punkte erzielt werden, d. h. bei einer
negativen Gesamtpunktzahl wird diese Aufgabe mit null Punkten bewertet.
In dieser Aufgabe sei f : R n → R eine stetig differenzierbare Funktion.
a) Es sei x 0 ∈ R n ein Punkt mit ∇f(x 0 ) ≠ 0. Weil der negative Gradient eine Abstiegsrichtung
ist, gilt für x 1 := x 0 − ∇f(x 0 ): f(x 1 ) ≤ f(x 0 ). wahr □ falsch □
b) Es seien x ∈ R n und s ∈ R n , wobei s keine Abstiegsrichtung von f im Punkt x sei. Dann
gilt: ∄τ > 0 mit f(x + σs) < f(x) ∀σ ∈ (0, τ]. wahr □ falsch □
c) Für eine vom Gradientenverfahren erzeugte Folge (x k ) gilt
‖∇f(x k+1 )‖ 2 < ‖∇f(x k )‖ 2 ∀k ∈ N. wahr □ falsch □
d) Wendet man das Gradientenverfahren mit Armijoregel (Algorithmus 2.3.5) auf f an, so gilt:
Das Verfahren terminiert endlich oder erzeugt eine Folge, die mindestens einen Häufungspunkt
besitzt. wahr □ falsch □
e) Wir wenden ein allgemeines Abstiegsverfahren (Algorithmus 2.4.1), das zur Schrittweitenbestimmung
die Armijoregel verwendet, auf f an. Dann gilt: Die erzeugte Schrittweitenfolge
(σ k ) ist zulässig. wahr □ falsch □
f) Wir betrachten das allgemeine Abstiegsverfahren. Als Abstiegsrichtung s k wählen wir stets
den negativen Gradienten, d. h. s k = −∇f(x k ) ∀k ≥ 0. Der Algorithmus terminiere nicht
endlich. Dann gilt: Jede Teilfolge (s k ) K ist zulässig. wahr □ falsch □
g) Es sei (σ k ) eine Folge effizienter Schrittweiten. Dann gilt: Die Folge (σ k ) ist zulässig.
wahr □ falsch □
h) Die Armijoregel und die Powell-Wolfe-Regel kann zu Schrittweiten führen, die größer als
Eins sind. wahr □ falsch □
Aufgabe 4.2 (ca. 6 Punkte): Wir betrachten das allgemeine Abstiegsverfahren mit stetig
differenzierbarer Zielfunktion f : R n → R und Suchrichtungen s k = −2 −k ∇f(x k ).
a) Weisen Sie nach, dass jede Teilfolge von Suchrichtungen (s k ) K zulässig ist.
b) Zeigen Sie, dass die Armijo-Regel für die oben genannten Suchrichtungen im allgemeinen
keine zulässigen Schrittweiten σ k erzeugt. Verwenden Sie hierfür das Beispiel
f(x) = x2
8 , Startpunkt x0 > 0
und zeigen Sie, dass es keine zulässige Teilfolge (σ k ) K gibt.
Seite 1 von 3

c) Wodurch wird die Unzulässigkeit der Schrittweiten verursacht
Aufgabe 4.3 (ca. 10 Punkte): (Klausur „Nichtlineare Optimierung: Grundlagen“ WS 2008/09)
Es sei f : R n → R eine stetig differenzierbare Funktion. Wir betrachten das folgende Abstiegsverfahren:
1: Wähle β ∈ (0, 1), γ ∈ (0, 1) und einen Startpunkt x 0 ∈ R n .
2: for k = 0, 1, 2, . . . do
3: if ∇f(x k ) = 0 then
4: STOP
5: end if
6: Bestimme s k ∈ R n durch
(
s k = − ∇f(x k )
)j · e j = − ∂f (x k ) · e j ,
∂x j
wobei e j ∈ R n den j-ten kanonischen Einheitsvektor bezeichnet und j ∈
{1, 2, . . . , n} ein Index ist mit
∂f
∣ (x k )
∂x ∣ = max
∂f
j 1≤i≤n∣
(x k )
∂x ∣ .
i
7: Ermittle die Schrittweite σ k ∈ (0, 1] mit Hilfe der Armijoregel (Parameter β und
γ).
8: Setze x k+1 = x k + σ k s k .
9: end for
a) Zeigen Sie, dass die Ermittlung der Schrittweite in Zeile 7 wohldefiniert ist.
b) Zeigen Sie, dass jede Teilfolge von Suchrichtungen (s k ) K zulässig ist.
c) Zeigen Sie, dass f(x k+1 ) < f(x k ) für alle k gilt.
d) Zeigen Sie, dass für jede beschränkte Teilfolge von Iterierten (x k ) K die entsprechende
Schrittweitenteilfolge (σ k ) K zulässig ist.
Hinweis: Begründen Sie zunächst, dass der angegebene Algorithmus ein Spezialfall des
allgemeinen Abstiegsverfahrens (Algorithmus 2.4.1) ist. Benutzen Sie dann Satz 2.5.2 aus
der Vorlesung
e) Es sei (x k ) eine durch den angegebenen Algorithmus erzeugte Folge von Iterierten. Begründen
Sie, dass jeder Häufungspunkt von (x k ) ein stationärer Punkt von f ist.
Aufgabe 4.4 (ca. 10 Punkte): Wir betrachten das allgemeine Abstiegsverfahren mit stetig
differenzierbarer Zielfunktion. Implementieren Sie das Gradientenverfahren aus der Vorlesung
(Algorithmus 2.3.5) mit der Armijo-Schrittweitenregel in Matlab. Teilen Sie dazu das Verfahren
in zwei Funktionen auf:
1. Eine Funktion Armijo, die bei gegebenen Daten die Schrittweite berechnet und zurück gibt:
function[sigma] = Armijo(f,gfx,x,s,beta,gamma)
Seite 2 von 3

mit Eingabeparameter
• f: Ein Funktionshandle auf die Funktion f (vgl. hierzu feval in der Matlab-Hilfe)
• gfx: Der Gradient ausgewertet an der Stelle x
• x: Die aktuelle Iterierte
• s: Die Suchrichtung
• beta, gamma: Die Parameter der Armijo-Suche.
2. Eine Funktion GradientenVerf, welche die Funktion Armijo verwendet und folgendes Interface
hat:
function[x,steps] = GradientenVerf(f,gf,x0,eps,maxsteps)
Die Eingabeparameter sind:
• f, gf: Ein Funktionshandle auf die Funktion f bzw. den Gradienten von f
• x0: Der Startpunkt x 0
• eps: Die Abbruchtoleranz für die Norm des Gradienten: ‖∇f(x k )‖ 2 ≤ ε
• maxsteps: Die maximale Anzahl an Schritten, die durchgeführt werden sollen.
a) Testen Sie Ihre Implementierung am Beispiel der Rosenbrockfunktion
f(x) := 100(x 2 − x 2 1) 2 + (1 − x 1 ) 2
mit Startpunkt x 0 = (−1.2, 1) T und Parametern maxsteps = 10 000, β = 0.5 und γ = 10 −4 .
Führen Sie das Verfahren für ε = 10 −1 , 10 −2 , 10 −3 , 10 −4 , 10 −5 aus. Für ε = 10 −3 sollte das
Verfahren ca. 5231 Iterationen benötigen und den Punkt x = (0.9992, 0.9984) T zurückgeben.
b) Stellen Sie anhand ihrer numerischen Ergebnisse eine Vermutung auf, gegen welchen Punkt
das Verfahren konvergiert.
i) Ist dieser Punkt, wie von der Theorie vorhergesagt, stationär
ii) Zeigen Sie, dass es sich bei diesem Punkt um ein Minimum handelt.
iii) Ist das Minimum lokal oder global
iv) Gibt es weitere (lokale oder globale) Minima
Bitte geben Sie bei der Beantwortung der Fragen auch Begründungen an.
c) Lassen Sie die Höhenlinien der Rosenbrockfunktion zeichnen (Matlab-Befehl contour).
Können Sie erklären, warum das Gradientenverfahren so ineffizient ist
Geben Sie bitte Ihren Quellcode und die Ausgabe ab.
Abgabe:
• T1, T2, T3, T7: Fr, 18.12.2009 bis 12 Uhr
• T4, T5, T6, T8: Fr, 08.01.2010 bis 12 Uhr
Seite 3 von 3