Klassifikation von Mustern

1.6. OPTIMIERUNGSVERFAHREN 35
Probleme stehen Lösungsansätze unterschiedlicher Komplexität zur Verfügung. Im Folgenden
werden einige wichtige Optimierungsverfahren kurz vorgestellt, wobei natürlich auf Einzelheiten
verzichtet wird, da dieses kein Buch über Optimierungsverfahren ist.
1.6.1 Lokale Optimierung ohne Nebenbedingungen
Der einfachste und praktisch auch sehr wichtige Fall ist die Bestimmung des Minimums einer
Funktion g(x) mit stetigen ersten und zweiten Ableitungen
g ∗ = min g(x) ,
x
oder (1.6.1)
x ∗ = argmin g(x) .
x
(1.6.2)
Die Untersuchung von Minimierungsproblemen reicht, da die Maximierung auf eine Minimierung
zurückgeführt werden kann durch
g ∗ = max
x
x ∗ = argmax
x
g(x) = − min −g(x) , oder (1.6.3)
x
g(x) = argmin
x
−g(x) . (1.6.4)
Ein Minimum kann lokal oder global sein. Das Finden globaler Minima ist wesentlich schwieriger
als das lokaler.
Satz 1.1 Hinreichende Bedingungen für ein lokales Minimum sind
∇xg(x ∗ ⎛
∂g
⎞
) =
⎜
⎝
∂x1
. . .
∂g
⎟ = 0 ,
⎠
(1.6.5)
∂xn
y T ∇ 2 xg(x ∗ )y = y T
⎛
∂
⎜
⎝
2g ∂
. . .
∂x1∂x1
2g ∂x1∂xn
. . . . . . . . .
∂2g ∂
. . .
∂xn∂x1
2g ∂xn∂xn
Beweis: s. z. B. [Fletcher, 1987], Chap. 2.
⎞
⎟ y > 0 , ∀y = 0 . (1.6.6)
⎠
Die Matrix ∇ 2 g(x ∗ ) in (1.6.6) ist die HESSE-Matrix. Die Bedingungen (1.6.5), (1.6.6) bedeuten,
dass im Punkt x ∗ die Funktion g die Steigung Null und nicht negative Krümmung in
jeder Richtung haben muss. Die Bedingung (1.6.6) besagt auch, dass die HESSE-Matrix für
x = x ∗ positiv definit sein muss; dies ist z. B. der Fall, wenn alle ihre Eigenwerte positiv sind.
Eine wichtige Klasse von Gütefunktionen sind die, die den mittleren quadratischen Fehler
zwischen einer geschätzten und einer idealen Größe bewerten. Bei quadratischen Gütefunktionen
bietet zudem das Orthogonalitätsprinzip (vgl. S. 167) eine elegante Alternative.
Beispiele für diese Verfahren sind die Wahl der Quantisierungskennlinie bei der Puls Code
Modulation, Satz 2.5, S. 71, der Entwicklungskoeffizienten einer Reihenentwicklung, Satz 3.1,
S. 167, oder der Parametermatrix eines verteilungsfreien Klassifikators, Satz 4.16, S. 372.