Klassifikation von Mustern

4.3. SUPPORT VEKTOR MASCHINEN (VA.1.1.3, 13.04.2004) 361
Die Merkmalsvektoren haben eine (unbekannte) Verteilungsfunktion P (c, y) und werden statistisch
unabhängig aus einer Grundgesamtheit mit dieser Verteilung entnommen. Mit irgendeiner
Menge T von Trennfunktionen T = {d ea(c)}, parametrisiert durch einen Parametervektor a,
werden die Stichprobenelemente einer der beiden Klassen zugewiesen. Die mittleren Kosten
bzw. das Risiko der Klassifikation wird definiert mit
V (dea) =
1
2 |dea( ϱ c) − y| dP (c, y) . (4.3.2)
Man vergleiche diese Definition mit der in (4.1.10), S. 309. Da die Verteilungsfunktion P (c, y)
unbekannt ist, liegt es nahe, das Risiko durch das empirische Risiko
Ve(dea) = 1
N
N
ϱ=1
1
2 |dea( ϱ c) − yϱ| (4.3.3)
zu ersetzen. Bei endlichem, und insbesondere kleinem, Stichprobenumfang wird allerdings die
Minimierung des empirischen Risikos i. Allg. nicht zu einer guten Klassifikationsleistung an
einer neuen, von der Trainingsstichprobe disjunkten, Teststichprobe führen. Auf dieses Problem
der Generalisierung wurde bereits in Abschnitt 1.3 hingewiesen.
Der Einfluss einer endlichen Stichprobe wird sich dadurch bemerkbar machen, dass das Risiko
V größer ist als das empirische Risiko Ve. Der Unterschied ist durch folgende Abschätzung
gegeben:
Satz 4.12 Für jede Trennfunktion dea und jedes N > h gilt mit der Wahrscheinlichkeit 1 − η
V (dea)
h
φ ,
log η
N N
≤
=
h
Ve(dea) + φ ,
log η
,
N N
h
(4.3.4)
log
2N
η
+ 1 − log h
4
.
N
(4.3.5)
Dabei ist h die sog. VAPNIK–CHERVONENKIS-Dimension (VC–Dimension).
Beweis: s. z. B. [Vapnik, 1995]
Die obige Abschätzung ist unabhängig von der Verteilung P (c, y). Die linke Seite wird
i. Allg. unbekannt bleiben, während die rechte bei bekanntem h für ein d ea berechnet werden
kann. Bei entsprechender Wahl von η, h, N kann φ > 1 werden, d. h. die Abschätzung ist dann
sicher nicht eng.
Die VC–Dimension h ist ein Maß für die Kapazität der Menge {d ea|a ∈ Rea} von Trennfunktionen.
Ein Maß für die Kapazität eines Klassifikators gibt (4.10.5), S. 444. Für ein Zweiklassenproblem
gibt h die maximale Zahl von Mustern an, die durch diese Funktionen in alle
möglichen 2h Partitionen zerlegt werden können. Diese Zerlegung muss nicht für alle Punktmengen
vom Umfang h möglich sein, sondern für mindestens eine. Für jede mögliche Zerlegung
gibt es also eine Trennfunktion, die diese korrekt durchführt. Eine spezielle Menge von
Trennfunktionen ist die der orientierten Hyperebenen
dea(c) = c T
a0
a + a0 , mit a = , (4.3.6)
a
mit denen für Punkte c entschieden werden kann, ob sie auf der positiven oder negativen Seite
der Ebene liegen oder genau auf dieser Ebene. Die orientierten Ebenen d ea = c T a + a0 und