Klassifikation von Mustern

360 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
4.3 Support Vektor Maschinen (VA.1.1.3, 13.04.2004)
Klassifikation mit sog. Support Vektor Maschinen (SVM) ist verglichen mit den statistischen
Klassifikatoren ein noch relativ neuer Ansatz. Bei diesem wird eine für die Klassifikation wesentliche
Teilmenge der Stichprobenelemente in der Trainingsmenge – eben die „Support Vektoren“
– durch konvexe quadratische Optimierung in der Lernphase so bestimmt, dass die Klassentrennung
im Merkmalsraum möglichst gut ist. Während insbesondere in Abschnitt 4.1 davon
ausgegangen wurde, dass die erforderlichen statistischen Kenngrößen entweder exakt oder zumindest
hinreichend genau bekannt sind, d. h. mit einer repräsentativen Stichprobe geschätzt
wurden, wird hier ausdrücklich der Einfluss einer endlichen Stichprobe berücksichtigt. Die Basis
dafür geht aus dem nächsten Abschnitt hervor. Bei der gesamten Diskussion wird nur ein
Zweiklassenproblem betrachtet. Die beiden zu trennenden Klassen werden, wie in der Darstellung
der SVM üblich, mit den Indizes +1 bzw. −1 versehen. Für mehr als zwei Klassen gibt es
eine Reihe von Vorschlägen.
Ein k–Klassenproblem kann auf k Zweiklassenprobleme zurückgeführt werden, indem man
k Klassifikatoren trainiert, die jeweils eine Klasse von den k − 1 verbleibenden unterscheiden,
die Strategie „eine gegen alle anderen“. Der erste Klassifikator unterscheidet also die Klasse Ω1
von den Klassen {Ω2, . . . , Ωk}, der zweite die Klasse Ω2 von den Klassen {Ω1, Ω3, . . . , Ωk},
usw.
Ein weiterer Ansatz zur Rückführung des allgemeinen Klassifikationsproblems auf Zweiklassenprobleme
ist charakterisiert durch die Kurzform „eine gegen eine“. Dabei werden alle
verschiedenen Paare von Klassen unterschieden, d. h. k(k − 1)/2 Klassifikatoren zur Unterscheidung
von ωκ und ωλ, κ = 2, . . . , k, λ = 1, . . . , κ − 1 realisiert. Für jede Klasse gibt es damit
mehrere binäre Entscheidungen, sodass sich die Frage nach der endgültigen Entscheidung
erhebt. Eine einfache und nach experimentellen Ergebnissen sehr wirksame Strategie besteht
darin, bei jeder der durchgeführten Klassifikationen der dabei ausgewählten Klasse einen Punkt
zu geben und sich dann endgültig für die Klasse mit maximaler Punktezahl zu entscheiden.
Obwohl hier mehr Klassifikatoren trainiert werden müssen als bei der Vorgehensweise „eine
gegen alle anderen“, ist der Rechenaufwand für Training und Test bei dieser Strategie wegen
der kleineren Stichprobenumfänge geringer, soweit den in den Literaturhinweisen erwähnten
Vergleichen zu entnehmen ist. Die Strategie „eine gegen eine“ ist danach für das Mehrklassenproblem
zu bevorzugen, zumal sie auch ausgezeichnete Erkennungsraten liefert.
Ein dritter Ansatz besteht darin, jeweils eine Klasse von den restlich noch verbleibenden
zu unterscheiden, d. h. es werden (k − 1) Klassifikatoren zur Unterscheidung von ω1 und
{ω2, ω3, . . . , ωk}, von ω2 und {ω3, ω4, . . . , ωk}, . . . , und von ωk−1 und ωk realisiert. Die Trennbarkeit
der Klassen hängt hier i. Allg. von der gewählten Reihenfolge der Klassen ab.
Schließlich gibt es Ansätze, das Mehrklassenproblem, ähnlich wie bei den statistischen
Klassifikatoren, „in einem Schritt“ zu lösen. Da diese in einem experimentellen Vergleich nicht
überzeugend abschnitten, wird dafür auf die Literatur verwiesen.
4.3.1 Die VC–Dimension
Von zwei zu trennenden Klassen sei eine klassifizierte Stichprobe von Mustern ϱ f, repräsentiert
durch ihre Merkmale ϱ c ∈ R n , gegeben
ω = {{ ϱ c, yϱ}, ϱ = 1, 2, . . . , N, yϱ ∈ {−1, 1}} . (4.3.1)