Klassifikation von Mustern

368 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
y
2
1
–1 1 2 3
x
–1
–2
4
y
–4 –3 –2 –1 0 1
x
8
6
2
4
y
–4 –3 –2 –1 0 1
x
Bild 4.3.3: von links nach rechts: Beispiele für Trennfunktionen (Polynome) (4.3.44) vom Grad
1, 2 und 3
Trennebene d = c T a + a0 hat man dann eine nichtlineare Trennfunktion d ′ = φ(c) T a ′ + a ′ 0.
Beispiele für resultierende Trennfunktionen im R 1 zeigt Bild 4.3.3.
In Abschnitt 3.8.3, (3.8.49) – (3.8.53), S. 234, wurde gezeigt, dass man die Berechnung des
Skalarprodukts in einem hochdimensionalen Raum immer dann vermeiden kann, wenn es eine
geeignete Kernfunktion gibt mit der Eigenschaft
K( i c, j c) = φ( i c) T φ( j c) . (4.3.41)
Beispiele für solche Kernfunktionen wurden in Abschnitt 3.8.3 angegeben. Das duale Optimierungsproblem
in (4.3.36) lässt sich mit der Kernfunktion kompakt angeben zu
Ld(ϑ) = e T ϑ − 1
2 ϑT Qϑ (4.3.42)
sowie den Nebenbedingungen (4.3.37) und (4.3.38). Dabei ist e ein Vektor, dessen Komponenten
alle Eins sind, und Q ist eine Matrix mit Elementen qij = yiyjK( i c, j c).
Wenn beim Training einer SVM Ns Support Vektoren ϱ cs berechnet wurden, ist der Gewichtsvektor
in Verallgemeinerung von (4.3.39)
Ns
a = ϑϱyϱφ( ϱ cs) , (4.3.43)
ϱ=1
und die Klassifikation erfolgt in Verallgemeinerung von (4.3.40) mit der nichtlinearen Trennfunktion
T ∗ : d ea =
Ns
ϱ=1
ϑϱyϱK(c, ϱ cs) + a0 . (4.3.44)
Die Rechenkomplexität ist damit für die Kernfunktionen (3.8.50) – (3.8.52) praktisch genauso
groß wie im linearen Fall (4.3.40). Klassifikatoren auf dieser Basis haben erfahrungsgemäß eine
ausgezeichnete Leistung.
Zur Verwendung normierter Kernfunktionen der Form
Kn( i c, j c) =
K( i c, j c)
K( i c, i c)K( j c, j c)
wird auf die zitierte Literatur verwiesen.
8
6
2
–2
(4.3.45)