Klassifikation von Mustern

246 KAPITEL 3. MERKMALE (VK.2.3.3, 13.04.2004)
3.9 Merkmalsbewertung und –auswahl (VA.1.2.3, 13.04.2004)
3.9.1 Anliegen und Probleme
Mit den heuristischen Verfahren von Abschnitt 3.2 – Abschnitt 3.5 ist es relativ leicht möglich,
eine große Zahl n ′ von Merkmalen zu erzeugen. Der Aufwand für die Klassifikation steigt mit
der Zahl dieser Merkmale an. Das ist intuitiv unmittelbar klar und geht auch aus den speziellen
Klassifikationsverfahren von Kapitel 4 hervor. Außerdem verursacht auch die Gewinnung jedes
einzelnen Merkmals einen gewissen Aufwand. Aus diesen Gründen wird man stets bestrebt
sein, dass die Zahl n < n ′ der tatsächlich verwendeten Merkmale so klein wie möglich ist, um
den Gesamtaufwand für die Klassifikation in erträglichen Grenzen zu halten. Damit ergibt sich
die Aufgabe, eine Menge mit n ′ vorgegebenen Merkmalen durch eine Merkmalsauswahl auf
eine Untermenge mit n „möglichst geeigneten“ Merkmalen zu reduzieren.
Definition 3.16 Eine „beste“ Untermenge von Merkmalen hat die Eigenschaft, dass es keine
andere mit höchstens genau so vielen Merkmalen gibt, wobei die Merkmale dieser anderen
Untermenge eine Klassifikation mit geringerer Fehlerwahrscheinlichkeit erlauben.
Aus zwei Gründen, die in den folgenden beiden Absätzen erläutert werden, ist es i. Allg.
nicht möglich, diese beste Untermenge zu bestimmen. Daher muss man sich mit suboptimalen
Ansätzen begnügen oder mit „möglichst geeigneten“ Merkmalen. Ein einwandfreies Kriterium
zur Messung der Güte von Merkmalen ist die in einem bestimmten Klassifikationssystem
erreichte Fehlerwahrscheinlichkeit, wie auch in Abschnitt 3.8.1 ausgeführt wurde. Um den Aufwand
bei der Merkmalsauswahl zu reduzieren, werden jedoch meistens Kriterien oder Gütemaße
verwendet, die unabhängig vom Klassifikator berechnet werden können. Beispiele für solche
Gütemaße folgen im nächsten Abschnitt. Damit wird die Bewertung der Merkmale als eigenes
Problem, ohne Beachtung der sonstigen Moduln des Klassifikationssystems, durchgeführt. Das
vereinfacht das Problem, führt aber i. Allg. dazu, dass die so bestimmten Merkmale nicht die
für das Gesamtsystem besten sind.
Auch wenn man annimmt, dass geeignete Maße zur Beurteilung der Güte von Merkmalen
bekannt sind, ist die Bestimmung einer geeigneten Untermenge ein schwieriges Problem.
Wegen der in der Regel vorhandenen statistischen Abhängigkeiten zwischen den Merkmalen
müsste man bei einer vollständigen Suchmethode alle Untermengen beurteilen, um die optimale
zu finden. Zu einer vorgegebenen Menge mit n ′ Merkmalen gibt es genau n ′
verschiedene
n
Untermengen mit n < n ′ Merkmalen. Hat man beispielsweise n ′ = 300 Merkmale vorge-
geben und will aus Aufwandsgründen nur n = 30 verwenden, so gibt es 300
41
≈ 1, 7 · 10
30
verschiedene Untermengen mit 30 Merkmalen. Abgesehen von einigen einfachen Spezialfällen
mit sehr kleinen Werten für n ′ und n wird es also schwierig sein, die optimale Untermenge zu
bestimmen. Daher muss man nach Festlegung eines Gütemaßes für Merkmale auch noch ein
Auswahlverfahren festlegen, mit dem man eine möglichst geeignete Untermenge mit erträglichem
Aufwand finden kann.
Natürlich kann man statistische Abhängigkeiten zwischen Merkmalen zur Vereinfachung
vernachlässigen und als beste Untermenge mit n Merkmalen die n am besten bewerteten wählen;
tatsächlich wird häufig so verfahren. Man kann aber Beispiele dafür konstruieren, dass
selbst bei klassenweise statistisch unabhängigen Merkmalen dieses Verfahren nicht immer optimal
ist. Bewertet man jedes der n ′ Merkmale einzeln für sich und wählt die n einzeln am
besten bewerteten aus, so ist das nicht notwendig die beste Untermenge mit n Merkmalen.