Klassifikation von Mustern

4.3. SUPPORT VEKTOR MASCHINEN (VA.1.1.3, 13.04.2004) 365
Diese Definition eines optimalen Klassfikators vergleiche man mit der in (4.1.33), S. 314.
Dort wurde als Optimierungskriterium die Minimierung der mittleren Kosten verwendet, hier
die Maximierung des Abstandes der beiden oben eingeführten Ebenen.
4.3.3 Zur Lösung des Optimierungsproblems
Für die Lösung des in Definition 4.11 eingeführten Optimierungsproblems (4.3.14) mit den N
Nebenbedingungen (4.3.15) werden positive LAGRANGE-Multiplikatoren ϑ = (ϑ1, . . . , ϑN) T
eingeführt (s. Abschnitt 1.6). Dadurch werden die Nebenbedingungen reduziert auf Nebenbedingungen
für die LAGRANGE-Multiplikatoren, die einfacher zu handhaben sind. Bei Nebenbedingungen
ni > 0 werden diese mit positiven LAGRANGE-Multiplikatoren multipliziert und
von der Optimierungsbedingung subtrahiert. Damit ergibt sich die LAGRANGE-Gleichung
L(a, ϑ) = 1
2 |a|2 −
N
ϱ=1
ϑϱ yϱ
ϱc
T
a + a0 − 1 , (4.3.17)
die bezüglich a, a0 zu minimieren ist mit der Nebenbedingung, dass die Ableitungen nach ϑ
verschwinden. Diese Aufgabe ist als konvexe quadratische Optimierung bekannt. Wegen Einzelheiten
zu ihrer Lösung wird auf die in Abschnitt 4.11 zitierte Literatur verwiesen.
Die KARUSH–KUHN–TUCKER-Bedingungen (s. Satz 1.3, S. 38) für die Optimierung von
L sind
∂L
∂a
∂L
∂a0
= a −
= −
N
ϑϱyϱ ϱ c = 0 , (4.3.18)
ϱ=1
N
ϑϱyϱ = 0 , (4.3.19)
ϱ=1
0 ≤ ϑϱ , ϱ = 1, . . . , N (4.3.20)
0 ≤
ϱc
T
yϱ a + a0 − 1 , ϱ = 1, . . . , N (4.3.21)
0 =
ϱc T
ϑϱ yϱ a + a0 − 1 , ϱ = 1, . . . , N . (4.3.22)
Sie sind notwendig und hinreichend für die Lösung des Optimierungsproblems.
Statt des primären Problems (4.3.17) kann auch ein duales Problem betrachtet werden, insbesondere
wenn dieses einfacher lösbar ist; dieses ist die übliche Vorgehensweise bei SVM. Das
duale Problem besteht darin, (4.3.17) zu maximieren mit der Nebenbedingung, dass die Ableitungen
nach a verschwinden. Diese Ableitungen aus (4.3.18) und (4.3.19) in (4.3.17) eingesetzt
ergeben das duale Problem
Ld(ϑ) =
N
ϱ=1
0 ≤ ϑϱ ,
N
0 =
ϱ=1
ϑϱ − 1
2
ϑϱyϱ .
N
N
ϱ=1 σ=1
ϑϱϑσyϱyσ
ϱc Tσ c ,
(4.3.23)