Klassifikation von Mustern

304 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Zur Definition eines Klassifikators gibt es unterschiedliche Ansätze, von denen hier vier
vorgestellt werden, nämlich der statistisch optimale Klassifikator in Abschnitt 4.1 und Definition
4.2, die Support Vektor Maschine in Abschnitt 4.3 und Definition 4.10, der Polynomklassifikator
in Abschnitt 4.4 und Definition 4.13 sowie das Mehrschichtperzeptron in Abschnitt 4.5
mit dem Fehlermaß (4.5.13). Nach experimentellen Befunden sind alles sehr leistungsfähige
Ansätze für die Klassifikation; ihre Einzelheiten gehen aus den genannten Abschnitten hervor.
Es wird daran erinnert, dass die Probleme der Klassifikation und Regression eng verwandt
sind, wie bereits in Abschnitt 1.3 kurz erwähnt wurde. In beiden Fällen kommt es darauf an, aus
einer Stichprobe mit Zusatzinformation y gemäß (1.3.1), S. 19, eine Funktion zu berechnen, mit
der die Zusatzinformation für nicht in der Stichprobe enthaltene Muster möglichst zuverlässig
geschätzt werden kann, d. h. die eine möglichst gute Generalisierung erlaubt. Bei der Klassifikation
ist die zu schätzende Zusatzinformation die Musterklasse, also y ∈ {1, 2, . . . , k}; bei der
Regression ist sie ein Funktionswert, also y ∈ R oder allgemeiner y ∈ R n . Die Schätzfunktion
hat i. Allg. die Form y = d(f, a), wobei a ein wählbarer Parametervektor ist. Zur Berechnung
der Schätzfunktion gibt es im Wesentlichen zwei grundsätzliche Vorgehensweisen, von denen
jede wieder zahlreiche Varianten aufweist.
1. Man ermittelt zunächst ein stochastisches Modell der Beobachtungen f in Form der klassenbedingten
Verteilungsdichten der Muster f bzw. der daraus extrahierten Merkmale c.
Wenn die Verteilungsdichten bekannt sind, lassen sich Klassifiaktions– und Regressionsproblem
lösen. Diese Vorgehensweise ist die Basis der statistischen Klassifikatoren.
2. Man bestimmt die Schätzfunktion direkt, insbesondere ohne vorher Verteilungsdichten
von Beobachtungen zu bestimmen. Dieses ist die Vorgehensweise bei Support Vektor
Maschinen, Polynomklassifikatoren und Mehrschichtperzeptrons.
Satz 4.14, S. 371, zeigt, dass es zwischen beiden Vorgehensweisen Beziehungen gibt. Daraus
geht auch hervor, dass die allgemeine Lösung des Regressionsproblems ebenfalls statistische
Information in Form von Verteilungsdichten (zur Berechnung des in Satz 4.14 auftretenden Erwartungswertes)
erfordert. Zur Vereinfachung analytischer und numerischer Rechnungen wird
allerdings oft statt der allgemeinen Schätzfunktion y = d(f, a) eine spezielle im Parametervektor
a lineare Schätzfunktion y = d(f, a) = a T ϕ(f) gewählt. In diesem Falle kann man die
Schätzfunktion auch direkt aus der Stichprobe berechnen.