4. Übung zu „Nichtlineare Optimierung: Grundlagen“ (WS 2012 ... - M1

Technische Universität München
Zentrum Mathematik, M1
Prof. Dr. Boris Vexler
Dr. Dominik Meidner
4. Übung zu „Nichtlineare Optimierung: Grundlagen“ (WS 2012/13)
Aufgabe 4.1 (ca. 8 Punkte):
als
Wir betrachten die quadratische Funktion f : R n → R, gegeben
f(x) = 1 2 xT Ax + b T x
mit einer symmetrischen, positiv definiten Matrix A ∈ R n×n und b ∈ R n . Weiter sei s ∈ R n
eine Abstiegsrichtung von f im Punkt x ∈ R n und ¯σ = arg min σ≥0 ϕ(σ) mit ϕ(σ) = f(x + σs)
bezeichne die durch die Minimierungsregel gelieferte Schrittweite.
a) Erläutern Sie, warum ¯σ > 0 gilt.
b) Stellen Sie die Taylor-Entwicklung von ϕ um σ = 0 auf und folgern Sie, dass ¯σ wohldefiniert
und eindeutig bestimmt ist.
c) Zeigen Sie, dass ¯σ für alle γ ∈ (0, 1 2 ] der Armijo-Bedingung f(x + ¯σs) − f(x) ≤ ¯σγ∇f(x)T s
genügt, aber für kein γ > 1 2 .
d) Zeigen Sie, dass ¯σ außerdem für jedes η ≥ 0 die zweite Bedingung der Powell-Wolfe-Schrittweitenregel
∇f(x + ¯σs) T s ≥ η∇f(x) T s erfüllt.
Aufgabe 4.2 (ca. 2.5 Punkte): Bewertung: -0.5/0/0.5 Punkte für falsche/keine/richtige
Antwort. In der Gesamtwertung dieser Aufgabe können keine negativen Punkte erzielt werden,
d. h. bei einer negativen Gesamtpunktzahl wird diese Aufgabe mit null Punkten bewertet.
In dieser Aufgabe sei f : R n → R stets eine stetig differenzierbare Funktion.
a) Wir wenden das Gradientenverfahren mit Armijo-Regel (Algorithmus 7.1) auf f an. Sei
¯x ein Häufungspunkt von (x k ) und (x k ) K eine Teilfolge mit (x k ) K → ¯x. Dann gilt: Die
Schrittweitenteilfolge (σ k ) K ist zulässig. wahr □ falsch □
b) Die Armijo-Regel kann zu Schrittweiten führen, die größer als Eins sind.
wahr □
c) Die Powell-Wolfe-Regel kann zu Schrittweiten führen, die größer als Eins sind.
wahr □
falsch □
falsch □
d) Die Powell-Wolfe-Regel garantiert, dass die Richtungsableitung von f in Richtung s k im
Punkt x k kleiner ist als die Richtungsableitung von f in Richtung s k im Punkt x k+1 .
wahr □ falsch □
e) Algorithmus 9.3 kann keine Schrittweiten generieren, die aus R \ Q sind.
wahr □
Hinweis: Diese Aufgabe ist nicht relevant für den Notenbonus!
falsch □
Seite 1 von 2

Aufgabe 4.3 (ca. 3 Punkte):
f : R 2 → R gegeben durch
Wir betrachten das Optimierungsproblem min x∈R 2 f(x) mit
f(x) = 1 8 x4 1 − 3 4 x2 1 + x 1 x 2 + x 2 2 + 2x 2 .
Zur Lösung nutzen wir ein allgemeines Abstiegsverfahren mit Startpunkt x 0 = (0, −1) T und
Suchrichtung s k = −∇f(x k ).
a) Zeigen Sie, dass die Armijo-Schrittweitenregel im ersten Schritt für jedes γ ∈ (0, 1) die
Schrittweite σ0
A = 1 generiert.
b) Es sei nun sogar γ ∈ (0, 1 2
) und zudem η ∈ (0, 1) mit γ < η gegeben. Zeigen Sie, dass die
Schrittweite σ0
A = 1 nicht die Powell-Wolfe-Bedingungen erfüllt. Gibt es überhaupt eine
Schrittweite σ0 PW > 0, welche die Powell-Wolfe-Bedingungen erfüllt? Begründen Sie Ihre
Antwort!
Aufgabe 4.4 (ca. 10 Punkte): Es sei f : R n → R stetig differenzierbar und x 0 ∈ R n so, dass
die Niveaumenge N f (x 0 ) = { x ∈ R n | f(x) ≤ f(x 0 ) } kompakt ist. Weiter sei x ∈ N f (x 0 ) und
s ∈ R n eine Abstiegsrichtung von f in x. Die Curry-Schrittweitenregel berechnet ¯σ > 0 als den
kleinsten positiven stationären Punkt der Funktion ϕ: R → R definiert durch ϕ(σ) = f(x + σs):
¯σ := min { σ > 0 | ϕ ′ (σ) = 0 } .
a) Zeigen Sie die Wohldefiniertheit der Curry-Regel.
Hinweis: Gehen Sie hierzu zunächst davon aus, dass kein positiver stationärer Punkt von ϕ
existiert und verwenden Sie den Mittelwertsatz, um einen Widerspruch zur Kompaktheit
der Niveaumenge N f (x 0 ) zu erzeugen. Zeigen Sie dann weiter, dass es unter den positiven
stationären Punkten von ϕ tatsächlich einen kleinsten gibt.
b) Zeigen Sie nun mit dem Zwischenwertsatz, dass ein kleinstes 0 < ˆσ < ¯σ existiert mit
∇f(x + ˆσs) T s = 1 2 ∇f(x)T s.
c) Zeigen Sie mit Hilfe von Teil b): f(x) − f(x + ¯σs) ≥ − 1 2 ˆσ∇f(x)T s.
d) Nutzen Sie aus, dass N f (x 0 ) kompakt und ∇f stetig ist, um mit Hilfe von Teil b) zu zeigen,
dass für ε > 0 ein von x und s unabhängiges δ(ε) > 0 existiert mit
− 1 ∇f(x) T s
≥ ε =⇒ ‖ˆσs‖ ≥ δ(ε)
2 ‖s‖
e) Verwenden Sie nun die Teile c) und d), um zu zeigen, dass jede Schrittweitenteilfolge (σ k ) K ,
die durch Algorithmus 8.1 mit Startpunkt x 0 und der Curry-Schrittweitenregel erzeugt wird,
zulässig ist.
Hinweis: Schauen Sie sich die Beweise der Sätze 9.1 und 9.5 an.
Abgabe:
• Bis Donnerstag, 20.12.2012, 16:00 Uhr im Briefkasten.
Seite 2 von 2