Klassifikation von Mustern

362 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Bild 4.3.1: Zur VC–Dimension orientierter Geraden; a) drei Punkte in der Ebene lassen sich
durch orientierte Geraden in alle acht Partitionen zerlegen; gezeigt sind vier Fälle, die anderen
vier entstehen durch Vorzeichenumkehr; b) vier Punkte lassen sich nicht durch Geraden in alle
2 4 = 16 Partitionen zerlegen
d ′ ea = −cT a − a0 sind verschieden, da sie Punkten, die nicht auf der Ebene liegen, gerade
unterschiedliche Vorzeichen zuordnen.
Satz 4.13 Die VAPNIK–CHERVONENKIS-Dimension der Menge orientierter Hyperebenen
im R n ist h = n + 1.
Beweis: s. z. B. [Burges, 1998]
Bild 4.3.1 illustriert das in der Ebene. Es gibt drei Punkte, die sich durch eine geeignete
orientierte Gerade in alle 2 3 = 8 Partitionen zerlegen lassen, jedoch nicht vier Punkte – also
ist h = 3, wie auch aus obigem Satz hervorgeht. Man wird erwarten, dass h umso größer ist,
je mehr freie Parameter die Menge {d ea} hat. Hierzu gibt es jedoch Gegenbeispiele, die zeigen,
dass dieses nicht i. Allg. zutrifft.
Der Term φ in (4.3.5) kennzeichnet den Unterschied zwischen dem tatsächlichen Risiko
V und dem empirischen Risiko Ve und ist in dem Sinne ein Maß für das Konfidenzintervall
des empirischen Risikos Ve, d. h. φ sollte klein sein. Das wird bei gegebenem Umfang N der
Trainingsstichprobe ω durch eine kleine VC–Dimension h erreicht. Dagegen erwarten wir vom
empirischen Risiko Ve, d. h. auch von der Fehlerrate auf der Trainingsstichprobe, dass es umso
kleiner wird, je größer h wird. Von den beiden Termen in (4.3.4) nimmt also Ve mit wachsendem
h ab, während φ mit wachsendem h zunimmt. Bei geeigneter Wahl von h sollte sich also
ein minimaler Wert der rechten Seite von (4.3.4) ergeben, und damit eine optimale Generalisierung
und eine minimale Fehlerrate auf einer neuen Teststichprobe. Dieser Beobachtung liegt die
sog. Minimierung des strukturellen Risikos zugrunde, die unten betrachtet wird. Allerdings gilt
i. Allg. nicht, dass eine große VC–Dimension notwendig eine schlechte Klassifikationsleistung
zur Folge hat. Ein Gegenbeispiel dazu ist der nächste Nachbar Klassifikator in Abschnitt 4.2.7.
Sein empirisches Risiko ist Ve = 0, seine VC-Dimension h = ∞. Trotzdem arbeitet er erfahrungsgemäß
sehr gut.
Die Minimierung des strukturellen Risikos geht von (4.3.4) aus. Der Konfidenzterm φ hängt
über h von der gewählten Menge {d ea} von Trennfunktionen ab. Der Term Ve hängt von der
speziell durch Training aus {d ea} bestimmten Funktion ab. Man geht z. B. so vor, dass man eine
„Struktur“ vorprägt, indem man eine Menge T von Trennfunktionen, z. B. Polynome in c vom
Grade q, in geschachtelte Teilmengen T1 ⊂ T2 ⊂ . . . ⊂ Tn mit h1 < h2 < . . . < hn zerlegt.
Für jedes Ti trainiert man einen Klassifikator, der das empirische Risiko minimiert. Dann wählt
man unter den n Klassifikatoren den aus, der die Abschätzung des Risikos in (4.3.4) bzw. die
Fehlerrate auf einer disjunkten Teststichprobe minimiert. Von diesem kann man erwarten, dass
er auch eine gute Generalisierungsleistung hat, d. h. eine geringe Fehlerrate auf einer neuen