Kuhn-Tucker-Bedingung - imng

Kuhn-Tucker-Bedingung
Ist x ∗ ein lokales Minimum einer skalaren Funktion f unter den
Nebenbedingungen g i (x) ≥ 0 und sind die Gradienten der aktiven
Gleichungen g i (x ∗ ) = 0, i ∈ I , linear unabhängig, dann existieren
Lagrange-Multiplikatoren λ i ≥ 0, so dass
grad f (x ∗ ) = ∑ i∈I
λ i grad g i (x ∗ ) .
Für ein lokales Maximum ist entsprechend λ i ≤ 0.
Kuhn-Tucker-Bedingungen 1-1

Kuhn-Tucker-Bedingung
Ist x ∗ ein lokales Minimum einer skalaren Funktion f unter den
Nebenbedingungen g i (x) ≥ 0 und sind die Gradienten der aktiven
Gleichungen g i (x ∗ ) = 0, i ∈ I , linear unabhängig, dann existieren
Lagrange-Multiplikatoren λ i ≥ 0, so dass
grad f (x ∗ ) = ∑ i∈I
λ i grad g i (x ∗ ) .
Für ein lokales Maximum ist entsprechend λ i ≤ 0.
Die Indexmenge I lässt sich auch implizit durch die Bedingungen
λ t g(x ∗ ) = 0 , λ ≥ 0 ,
festlegen. Ist g k (x ∗ ) > 0, so folgt λ k = 0, d.h. die nichttrivialen
Multiplikatoren entsprechen den aktiven Nebenbedingungen.
Kuhn-Tucker-Bedingungen 1-2

grad f
g i = 0
grad g i
Kuhn-Tucker-Bedingungen 1-3

grad f
g i = 0
grad g i
Geometrisch bedeutet die Kuhn-Tucker Bedingung für ein Minimum, dass
der Gradient der Zielfunktion f in dem durch die Gradienten der aktiven
Nebenbedingungen aufgespannten Kegel (gestrichelt) liegt.
Kuhn-Tucker-Bedingungen 1-4

Beweis:
inaktive Nebenbedingungen (g j (x ∗ ) > 0, j /∈ I ) irrelevant, da in Umgebung
von x ∗ keine Einschränkung
f ebenfalls auf der kleineren Menge, die durch die Gleichungsbedingungen
g i (x) = 0 beschrieben wird, minimal
Kuhn-Tucker-Bedingungen 2-1

Beweis:
inaktive Nebenbedingungen (g j (x ∗ ) > 0, j /∈ I ) irrelevant, da in Umgebung
von x ∗ keine Einschränkung
f ebenfalls auf der kleineren Menge, die durch die Gleichungsbedingungen
g i (x) = 0 beschrieben wird, minimal
Satz über Lagrange-Multiplikatoren =⇒ behauptete Identität mit λ i ∈ R
Kuhn-Tucker-Bedingungen 2-2

Beweis:
inaktive Nebenbedingungen (g j (x ∗ ) > 0, j /∈ I ) irrelevant, da in Umgebung
von x ∗ keine Einschränkung
f ebenfalls auf der kleineren Menge, die durch die Gleichungsbedingungen
g i (x) = 0 beschrieben wird, minimal
Satz über Lagrange-Multiplikatoren =⇒ behauptete Identität mit λ i ∈ R
zu zeigen: λ i ≥ 0
Kuhn-Tucker-Bedingungen 2-3

Beweis:
inaktive Nebenbedingungen (g j (x ∗ ) > 0, j /∈ I ) irrelevant, da in Umgebung
von x ∗ keine Einschränkung
f ebenfalls auf der kleineren Menge, die durch die Gleichungsbedingungen
g i (x) = 0 beschrieben wird, minimal
Satz über Lagrange-Multiplikatoren =⇒ behauptete Identität mit λ i ∈ R
zu zeigen: λ i ≥ 0
Indirekter Beweis: Annahme λ k < 0 für ein k ∈ I
Kuhn-Tucker-Bedingungen 2-4

Beweis:
inaktive Nebenbedingungen (g j (x ∗ ) > 0, j /∈ I ) irrelevant, da in Umgebung
von x ∗ keine Einschränkung
f ebenfalls auf der kleineren Menge, die durch die Gleichungsbedingungen
g i (x) = 0 beschrieben wird, minimal
Satz über Lagrange-Multiplikatoren =⇒ behauptete Identität mit λ i ∈ R
zu zeigen: λ i ≥ 0
Indirekter Beweis: Annahme λ k < 0 für ein k ∈ I
lineare Unabhängigkeit der Gradienten =⇒
∃v : (grad g k (x ∗ )) t v = 1, (grad g i (x ∗ )) t v = 0, i ∈ I \k
(v in Tangentialebene der durch g i , i ≠ k, definierten Fläche S)
Kuhn-Tucker-Bedingungen 2-5

wähle t ↦→ x(t) ∈ S mit Anfangspunkt x(0) = x ∗ und Anfangsrichtung
x ′ (0) = v
g k (x(t)) = g k (x ∗ ) + ( (grad g k (x ∗ )) t v ) t + O(t 2 ) = 0 + t + O(t 2 ), t → 0
Kuhn-Tucker-Bedingungen 2-6

wähle t ↦→ x(t) ∈ S mit Anfangspunkt x(0) = x ∗ und Anfangsrichtung
x ′ (0) = v
g k (x(t)) = g k (x ∗ ) + ( (grad g k (x ∗ )) t v ) t + O(t 2 ) = 0 + t + O(t 2 ), t → 0
also x(t) für hinreichend kleines t > 0 zulässig:
g k (x(t)) ≥ 0,
g i (x(t)) = 0, i ∈ I \ k
Konstruktion von v und Identität für grad f =⇒
d
dt f (x(t)) |t=0 = (grad f (x ∗ )) t v = λ k (grad g k (x ∗ )) t v = λ k < 0
Kuhn-Tucker-Bedingungen 2-7

wähle t ↦→ x(t) ∈ S mit Anfangspunkt x(0) = x ∗ und Anfangsrichtung
x ′ (0) = v
g k (x(t)) = g k (x ∗ ) + ( (grad g k (x ∗ )) t v ) t + O(t 2 ) = 0 + t + O(t 2 ), t → 0
also x(t) für hinreichend kleines t > 0 zulässig:
g k (x(t)) ≥ 0,
g i (x(t)) = 0, i ∈ I \ k
Konstruktion von v und Identität für grad f =⇒
d
dt f (x(t)) |t=0 = (grad f (x ∗ )) t v = λ k (grad g k (x ∗ )) t v = λ k < 0
Abnahme von f entlang der Kurve
Kuhn-Tucker-Bedingungen 2-8

wähle t ↦→ x(t) ∈ S mit Anfangspunkt x(0) = x ∗ und Anfangsrichtung
x ′ (0) = v
g k (x(t)) = g k (x ∗ ) + ( (grad g k (x ∗ )) t v ) t + O(t 2 ) = 0 + t + O(t 2 ), t → 0
also x(t) für hinreichend kleines t > 0 zulässig:
g k (x(t)) ≥ 0,
g i (x(t)) = 0, i ∈ I \ k
Konstruktion von v und Identität für grad f =⇒
d
dt f (x(t)) |t=0 = (grad f (x ∗ )) t v = λ k (grad g k (x ∗ )) t v = λ k < 0
Abnahme von f entlang der Kurve
Widerspruch zur Minimalität von f (x ∗ )
Kuhn-Tucker-Bedingungen 2-9

Beispiel:
Extrema der Funktion
f (x, y) = y 2 − x
auf der durch
y − x 2 ≥ 0 , 2 − x 2 − y 2 ≥ 0
definierten hellgrauen Menge D:
2
f = 9 4
1
0
f = −3
4 4/3
−1 0 1
Kuhn-Tucker-Bedingungen 3-1

Kuhn-Tucker-Bedingung
(−1, 2y) = λ(−2x, 1) + µ(−2x, −2y)
λ(y − x 2 ) + µ(2 − x 2 − y 2 ) = 0
mit Lagrange-Multiplikatoren λ und µ gleichen Vorzeichens
Gradienten der aktiven Nebenbedingungen für alle zulässigen Punkte linear
unabhängig (nicht Null und an den Schnittpunkten der Randkurven nicht
parallel) Kuhn-Tucker-Bedingung für alle Extrema notwendig
verschiedene Fälle je nach dem welche Nebenbedingungen aktiv sind:
(i) λ = 0 , µ = 0 (keine Nebenbedingung aktiv):
(−1, 2y) = (0, 0)
nicht erfüllbar, keine Extrema von f im Inneren von D
Kuhn-Tucker-Bedingungen 3-2

(ii) λ = 0 , µ ≠ 0 (2 − x 2 − y 2 ≥ 0 aktiv):
(−1, 2y) = µ(−2x, −2y)
2 − x 2 − y 2 = 0
=⇒ µ = −1 < 0 (y = 0 wegen (± √ 2, 0) /∈ D nicht möglich), x = −1/2
und y = √ 7/2
=⇒ Kuhn-Tucker-Bedingung für ein lokales Maximum erfüllt
Kuhn-Tucker-Bedingungen 3-3

(ii) λ = 0 , µ ≠ 0 (2 − x 2 − y 2 ≥ 0 aktiv):
(−1, 2y) = µ(−2x, −2y)
2 − x 2 − y 2 = 0
=⇒ µ = −1 < 0 (y = 0 wegen (± √ 2, 0) /∈ D nicht möglich), x = −1/2
und y = √ 7/2
=⇒ Kuhn-Tucker-Bedingung für ein lokales Maximum erfüllt
(iii) λ ≠ 0 , µ = 0 (y − x 2 ≥ 0 aktiv):
=⇒
(−1, 2y) = λ(−2x, 1)
y − x 2 = 0
λ = 2y = 2x 2 ≥ 0 , −1 = (2x 2 )(−2x) ⇔ x = 4 −1/3 und y = 4 −2/3
Kuhn-Tucker-Bedingung für ein lokales Minimum ist erfüllt
Kuhn-Tucker-Bedingungen 3-4

(iv) λ ≠ 0 , µ ≠ 0 (y − x 2 ≥ 0 und 2 − x 2 − y 2 ≥ 0 aktiv):
y = x 2 ∧ x 2 + y 2 = 2
=⇒ (x, y) = (1, 1) oder (x, y) = (−1, 1)
Kuhn-Tucker-Bedingungen 3-5

(iv) λ ≠ 0 , µ ≠ 0 (y − x 2 ≥ 0 und 2 − x 2 − y 2 ≥ 0 aktiv):
y = x 2 ∧ x 2 + y 2 = 2
=⇒ (x, y) = (1, 1) oder (x, y) = (−1, 1)
Einsetzen in die Gleichung für grad f
bzw.
(−1, 2) = λ(−2, 1) + µ(−2, −2) =⇒ λ = 1 , µ = − 1 2
(−1, 2) = λ(2, 1) + µ(2, −2) =⇒ λ = 1/3 , µ = − 5 6
keine Extremstellen wegen verschiedenen Vorzeichens der
Lagrange-Multiplikatoren
Kuhn-Tucker-Bedingungen 3-6

(iv) λ ≠ 0 , µ ≠ 0 (y − x 2 ≥ 0 und 2 − x 2 − y 2 ≥ 0 aktiv):
y = x 2 ∧ x 2 + y 2 = 2
=⇒ (x, y) = (1, 1) oder (x, y) = (−1, 1)
Einsetzen in die Gleichung für grad f
bzw.
(−1, 2) = λ(−2, 1) + µ(−2, −2) =⇒ λ = 1 , µ = − 1 2
(−1, 2) = λ(2, 1) + µ(2, −2) =⇒ λ = 1/3 , µ = − 5 6
keine Extremstellen wegen verschiedenen Vorzeichens der
Lagrange-Multiplikatoren
Existenz von Extrema auf kompakten Mengen =⇒
Typbestimmung anhand des Vorzeichen der Langrange-Multiplikatoren
möglich oder auch durch Vergleichen der Funktionswerte
Kuhn-Tucker-Bedingungen 3-7

(iv) λ ≠ 0 , µ ≠ 0 (y − x 2 ≥ 0 und 2 − x 2 − y 2 ≥ 0 aktiv):
y = x 2 ∧ x 2 + y 2 = 2
=⇒ (x, y) = (1, 1) oder (x, y) = (−1, 1)
Einsetzen in die Gleichung für grad f
bzw.
(−1, 2) = λ(−2, 1) + µ(−2, −2) =⇒ λ = 1 , µ = − 1 2
(−1, 2) = λ(2, 1) + µ(2, −2) =⇒ λ = 1/3 , µ = − 5 6
keine Extremstellen wegen verschiedenen Vorzeichens der
Lagrange-Multiplikatoren
Existenz von Extrema auf kompakten Mengen =⇒
Typbestimmung anhand des Vorzeichen der Langrange-Multiplikatoren
möglich oder auch durch Vergleichen der Funktionswerte
Maximum von f bei (−1/2, √ 7/2) und Minimum bei ( 4 −1/3 , 4 −2/3)
Kuhn-Tucker-Bedingungen 3-8

Beispiel:
f (x) → min ,
a i ≤ x i ≤ b i
Kuhn-Tucker-Bedingung für ein lokales Minimum
grad f (x ∗ ) = ∑ i
(λ i − µ i ) e i
mit e i dem i-ten Einheitsvektor
λ i , µ i ≥ 0
λ t (x ∗ − a) + µ t (b − x ∗ ) = 0
Kuhn-Tucker-Bedingungen 4-1

Beispiel:
f (x) → min ,
a i ≤ x i ≤ b i
Kuhn-Tucker-Bedingung für ein lokales Minimum
grad f (x ∗ ) = ∑ i
(λ i − µ i ) e i
λ i , µ i ≥ 0
λ t (x ∗ − a) + µ t (b − x ∗ ) = 0
mit e i dem i-ten Einheitsvektor
±∞ als Intervallgrenzen zugelassen
Kuhn-Tucker-Bedingungen 4-2

(i) a i < x ∗,i < b i : Lagrange-Multiplikatoren λ i und µ i Null und damit auch
die i-te Komponente g i von grad f (x ∗ )
Kuhn-Tucker-Bedingungen 4-3

(i) a i < x ∗,i < b i : Lagrange-Multiplikatoren λ i und µ i Null und damit auch
die i-te Komponente g i von grad f (x ∗ )
(ii) eine der Ungleichungen für x i aktiv entsprechender
Lagrange-Multiplikator bestimmt Vorzeichen von g i :
x ∗,i = a i → g i ≥ 0 ; x ∗,i = b i → g i ≤ 0
Kuhn-Tucker-Bedingungen 4-4

x 2
a 1
b 2
Kuhn-Tucker-Bedingungen 4-5
b 1
a 2
x 1

x 2
a 1
b 2
b 1
a 2
x 1
mögliche Richtungen von grad f (x ∗ ) für bivariate Zielfunktionen und
Minima auf den Seiten und an den Ecken von [a 1 , b 1 ] × [a 2 , b 2 ]
Kuhn-Tucker-Bedingungen 4-6

x 2
a 1
b 2
b 1
a 2
x 1
mögliche Richtungen von grad f (x ∗ ) für bivariate Zielfunktionen und
Minima auf den Seiten und an den Ecken von [a 1 , b 1 ] × [a 2 , b 2 ]
grad f (x ∗ ) = 0 für Minima im Inneren
Kuhn-Tucker-Bedingungen 4-7

Beispiel:
Lineares Programm:
Minimierung einer linearen Funktion
unter linearen Nebenbedingungen
mit einer m × n-Matrix A
(c 1 , . . . , c n )x → min
Ax ≥ b
Kuhn-Tucker-Bedingungen 5-1

Beispiel:
Lineares Programm:
Minimierung einer linearen Funktion
unter linearen Nebenbedingungen
mit einer m × n-Matrix A
(c 1 , . . . , c n )x → min
Ax ≥ b
Kuhn-Tucker-Bedingungen für eine Lösung x ∗ ∈ R n
c t = λ t A, λ t (Ax ∗ − b) = 0
mit λ i ≥ 0 (entsprechend λ i ≤ 0 für ein Maximum)
Kuhn-Tucker-Bedingungen 5-2

z.B.
ist
x + y → min, x ≥ 2, y ≥ 1, x + 2y ≥ 8
⎛ ⎞ ⎛ ⎞
( 1 0
2
1
c = , A = ⎝0 1⎠ , b = ⎝1⎠
1)
1 2
8
Kuhn-Tucker-Bedingungen 5-3

z.B.
ist
x + y → min, x ≥ 2, y ≥ 1, x + 2y ≥ 8
⎛ ⎞ ⎛ ⎞
( 1 0
2
1
c = , A = ⎝0 1⎠ , b = ⎝1⎠
1)
1 2
8
=⇒ Kuhn-Tucker-Bedingungen
1 = λ 1 +λ 3 , 1 = λ 2 +2λ 3 , λ 1 [x −2]+λ 2 [y −1]+λ 3 [x +2y −8] = 0
mit λ i , [. . . ] ≥ 0
Kuhn-Tucker-Bedingungen 5-4

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
Kuhn-Tucker-Bedingungen 5-5

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
Kuhn-Tucker-Bedingungen 5-6

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
Kuhn-Tucker-Bedingungen 5-7

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
Kuhn-Tucker-Bedingungen 5-8

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
Kuhn-Tucker-Bedingungen 5-9

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
Kuhn-Tucker-Bedingungen 5-10

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
aktive Nebenbedingungen (x, y) = (2, 3)
Kuhn-Tucker-Bedingungen 5-11

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
aktive Nebenbedingungen (x, y) = (2, 3)
Kuhn-Tucker-Bedingungen für ein Minimum erfüllt
Kuhn-Tucker-Bedingungen 5-12

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
aktive Nebenbedingungen (x, y) = (2, 3)
Kuhn-Tucker-Bedingungen für ein Minimum erfüllt
λ 3 = 0:
Kuhn-Tucker-Bedingungen 5-13

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
aktive Nebenbedingungen (x, y) = (2, 3)
Kuhn-Tucker-Bedingungen für ein Minimum erfüllt
λ 3 = 0:
aktive Nebenbedingungen (x, y) = (2, 1) (ausserhalb des zulässigen
Bereichs)
Kuhn-Tucker-Bedingungen 5-14

Bedingungen =⇒ genau einer der Lagrange-Multiplikatoren gleich null,
drei Fälle (jeweils zwei Nebenbedingungen aktiv)
λ 1 = 0:
=⇒ λ 3 = 1, λ 2 = −1
kein Extremum, da verschiedenes Vorzeichen
λ 2 = 0:
=⇒ λ 3 = 1/2, λ 1 = 1/2
aktive Nebenbedingungen (x, y) = (2, 3)
Kuhn-Tucker-Bedingungen für ein Minimum erfüllt
λ 3 = 0:
aktive Nebenbedingungen (x, y) = (2, 1) (ausserhalb des zulässigen
Bereichs)
f auf zulässigem Bereich nach unten beschränkt =⇒
globales Minimum bei (2, 3)
Kuhn-Tucker-Bedingungen 5-15

y
5
4
3
(2, 3)
2
1
1 2 3 4 5 6 7 8
x + y = c
x
geometrische Konstruktion der Lösung: Niveaulinie der Zielfunktion
berührt den zulässigen Bereich in (2, 3)
Kuhn-Tucker-Bedingungen 5-16

y
5
4
3
(2, 3)
2
1
1 2 3 4 5 6 7 8
x + y = c
x
geometrische Konstruktion der Lösung: Niveaulinie der Zielfunktion
berührt den zulässigen Bereich in (2, 3)
Zielfunktion steigt (fällt), wenn die Niveaugeraden den zugelassenen
Bereich schneiden (nicht schneiden)
Kuhn-Tucker-Bedingungen 5-17