Klassifikation von Mustern

3.9. MERKMALSBEWERTUNG UND –AUSWAHL (VA.1.2.3, 13.04.2004) 257
4.2 Es seien bereits l Merkmale, l = 0, 1, . . . , n ′ − n − 1 eliminiert. Man berechne
n
Gκλ =
′ −l
Gκλν . (3.9.44)
ν=1
4.3 Man bestimme das Klassenpaar mit dem kleinsten Wert von Gκλ und eliminiere das
Merkmal, das zu diesem Gκλ den kleinsten Einzelbeitrag Gκλν liefert.
4.4 Man wiederhole Schritt 4.2 und 4.3 bis von den anfänglichen n ′ Merkmalen nur noch n
übrig sind.
Die Auswahlverfahren 1 und 4 sind rechnerisch am einfachsten, da jedes Merkmal nur für
sich allein bewertet wird. Die Verfahren 2 und 3 berücksichtigen auch Beziehungen zu den
schon ausgewählten Merkmalen. Im Verfahren 2 müssen insgesamt n(n ′ − (n − 1)/2) Untermengen
mit einer von 1 bis n wachsenden Zahl von Merkmalen durchsucht werden. Für das
Beispiel von Abschnitt 3.9.1 mit n ′ = 300, n = 30 bedeutet das statt 1, 7 · 10 41 Untermengen
„nur“ 8565. Allerdings wird man i. Allg. mit keinem dieser Auswahlverfahren die im Sinne von
Definition 3.16 beste Untermenge finden. Abgesehen von der Zahl der zu durchsuchenden Untermengen
hängt der erforderliche Aufwand auch vom verwendeten Gütekriterium ab, wie aus
dem vorigen Abschnitt hervorgeht. Wählt man als Gütekriterium die mit dem NN–Klassifikator
ermittelte Erkennungsrate 1 − pN und speichert die erforderlichen Abstandsquadrate
dn−1( j c, k n−1
c ) =
ν=1
( j cν − k cν) 2
(3.9.45)
in einer Abstandsmatrix, so lässt sich diese bei Hinzunahme eines weiteren n–ten Merkmals
iterativ auffrischen gemäß
dn( j c, j c ) =
n
ν=1
( j cν − k cν) 2 = dn−1( j c, k c ) + ( j cn − k cn) 2 . (3.9.46)
Damit wird der Aufwand für die wiederholte Berechnung von pN mit unterschiedlicher Zahl
von Merkmalen wesentlich reduziert, jedoch muss man die Abstandsmatrix speichern. Die Auswahlverfahren
3 und 4 eignen sich dann, wenn die über alle Klassen gemittelten Gütemaße nicht
genügend aussagekräftig sind, weil sehr starke Unterschiede in den Werten Gκλ für einzelne
Klassenpaare auftreten.
Weitere heuristische Auswahlverfahren erhält man durch Vergrößerung der Zahl der durchsuchten
Untermengen. In Bild 3.9.2d wird nicht nur das beste einzeln bewertete, sondern auch
das am zweitbesten bewertete in die weitere Suche mit einbezogen. In Bild 3.9.2e wird zunächst
die beste Untermenge mit zwei Merkmalen durch vollständige Suche über alle n ′
Untermen-
2
gen bestimmt, dann die beste Untermenge mit vier Merkmalen, welche die zwei schon ausgewählten
enthält, usw. Es wurde wieder eine Umordnung analog Bild 3.9.2c2 angenommen.
Neben den obigen heuristischen Auswahlverfahren gibt es auch systematische Auswahlverfahren
auf der Basis der dynamischen Programmierung und der „branch–and–bound“ Suche.
Bei geeigneten Gütekriterien lässt sich mit der branch–and–bound Suche sogar die beste Untermenge
finden, d. h. die beste im Sinne des Gütekriteriums, das i. Allg. nicht die Fehllerrate ist.
Daher wird dieses Verfahren als nächstes und dann ein auf der dynamischen Programmierung
beruhendes erläutert.