Klassifikation von Mustern

4.3. SUPPORT VEKTOR MASCHINEN (VA.1.1.3, 13.04.2004) 363
Teststichprobe aufweist.
Definition 4.10 Die Support Vektor Maschine arbeitet so, dass die Abschätzung des empirischen
Risikos in (4.3.4) minimiert wird.
Man vergleiche diese Definition mit der in Definition 4.1, S. 305. Dort wird das Risiko minimiert;
das erfordert vollständige statistische Information, wie in (4.1.1), S. 306, vorausgesetzt,
bzw. eine im Sinne von (1.3.1), S. 19, repräsentative, d. h. genügend große Stichprobe. Die Abschätzung
des Risikos in (4.3.4) berücksichtigt den Einfluss einer kleinen Stichprobe im Term
φ. Dieser geht mit wachsendem Stichprobenumfang gegen Null, sodass beide Definitionen ineinander
übergehen.
4.3.2 Linear separierbare Stichprobe
Wir betrachten zunächst ein Zweiklassenproblem und nehmen an, dass die Klassen mit einer
Hyperebene exakt trennbar sind; dieses ist die sog. lineare Separierbarkeit. Von den beiden
Klassen sei eine klassifizierte Stichprobe gemäß (4.3.1) gegeben. Nach Voraussetzung liegt damit
eine linear separierbare Stichprobe vor. Im Folgenden werden Muster ϱ f mit yϱ = 1 bzw.
mit yϱ = −1 als „positive Stichprobenelemente“ bzw. „negative Stichprobenelemente“ bezeichnet.
Wenn eine Hyperebene mit Parametern a = (a0, a1, . . . , an) T gegeben ist, die die positiven
exakt von den negativen Stichprobenelementen trennt, gelte für alle Muster aus der Stichprobe
ϱ c T a + a0 ≥ +1, wenn yϱ = +1 , (4.3.7)
ϱ T
c a + a0 ≤ −1, wenn yϱ = −1 , (4.3.8)
ϱ
≥ 1 , ∀ c ∈ ω . (4.3.9)
ϱcT yϱ a + a0
Es wird daran erinnert, dass für die Hyperebene in (4.3.6) die Beziehungen
n = −a
√ a T a = −a
|a|
s0 = −a0
|a|
sc = −(aT c + a0)
|a|
, (Normalenvektor mit Betrag Eins), (4.3.10)
, (Ebenenabstand vom Ursprung), (4.3.11)
, (Ebenenabstand von Punkt c), (4.3.12)
gelten. Ein Abstand von der Hyperebene ist positiv, wenn der Punkt in Richtung der Normalen
von der Ebene abliegt. Offensichtlich kann man die Ebenenparameter so normieren, dass für
den Punkt c ′ , der der Hyperebene am nächsten liegt, |c ′T a + a0| = 1 gilt, da die Gleichungen
a T c + a0 = 0 bzw. γ(a T c + a0) = 0 die gleichen Ebenen definieren. Die Beziehungen (4.3.7)
und (4.3.8) entsprechen also einer geeigneten Skalierung des Vektors a.
Wir betrachten nun positive bzw. negative Stichprobenelemente aus ω, für die in (4.3.7)
bzw. (4.3.8) das Gleichheitszeichen gilt. Sie liegen also auf den Hyperebenen ϱ c T a + a0 = 1
bzw. ϱ c T a + a0 = −1. Die Ebenen haben beide den Normalenvektor a, d. h. sie sind parallel.
In Bild 4.3.2 sind dies die beiden parallelen gestrichelten Linien. Die Beträge ihrer senkrechten
Abstände vom Ursprung sind |1−a0|/|a| bzw. |−1−a0|/|a|. Die beiden Ebenen haben also voneinander
den Abstand 2/|a|. Zwischen den beiden Ebenen liegen keine Stichprobenelemente,
da lineare Separierbarkeit vorausgesetzt wurde. Ein sinnvolles Optimierungskriterium zur Wahl