Klassifikation von Mustern

36 KAPITEL 1. EINFÜHRUNG (VK.1.3.3, 16.03.2003)
1.6.2 Iterative Optimierung
Eine Basis vieler iterativer Optimierungsverfahren ist durch den Fixpunktsatz von BANACH gegeben.
Er besagt, dass unter einigen Bedingungen ein kontraktiver Operator g, bzw. vereinfacht
eine geeignete Funktion g, einen eindeutigen Fixpunkt x ∗ besitzt. Er wird als Grenzwert der
Folge x0 = x, xi+1 = g(xi), i = 1, 2, . . . bestimmt.
Gradienten- und Koordinatenabstieg
Wenn das lokale Extremum einer Funktion h(x) gesucht ist, so führt die Anwendung der Beziehung
x = g(x) auf die Gleichungen
0 = ∂h(x)
∂x
x = x + β ∂h(x)
∂x
xi+1 = xi + β ∂h(x)
∂x
= β ∂h(x)
∂x ,
= g(x) ,
xi+1 = xi + βiri . (1.6.7)
Die iterative Bestimmung eines lokalen Extremwertes ist also möglich, indem man mit einer
geeigneten Schrittweite βi in eine geeignete Richtung ri geht. Die Bestimmung der Schrittweite
wird in der Regel experimentell vorgenommen. Als Richtung wird beim Gradientenabstieg
wie im obigen Beispiel der Gradient der zu minimierenden Funktion verwendet. Eine Alternative
ist der Koordinatenabstieg, bei dem der Extremwert für eine Koordinate bestimmt wird,
dann für die nächste usw. Eine Anwendung des Gradientenabstiegs ist z. B. der Fehlerrückführungsalgorithmus
zum Training neuronaler Netze in Satz 4.17, S. 389.
1.6.3 Lokale Optimierung mit Nebenbedingungen
Die allgemeine Form der Optimierung mit Nebenbedingungen ist
g ∗ = min
x g(x) , mit x ∈ S , (1.6.8)
d. h. es kommen nur Lösungen aus einer gegebenen Menge S in Frage; diese Einschränkung
entfiel in (1.6.1).
Definition 1.11 Ist g(x) eine konvexe Funktion und S eine konvexe Menge, so liegt ein Problem
der konvexen Optimierung vor.
Die Funktion g(x) ist konvex, wenn
g(λx + (1 − λ)y) ≤ λg(x) + (1 − λ)g(y) , ∀x, y ∈ R n . (1.6.9)
Die Menge S ⊆ R n ist konvex, wenn
x, y ∈ S , λ, µ ≥ 0 , λ + µ = 1 ⇒ λx + µy ∈ S . (1.6.10)
Die Menge S ist ein konvexer Kegel, wenn
x, y ∈ S , λ, µ ≥ 0 ⇒ λx + µy ∈ S . (1.6.11)