Klassifikation von Mustern

3.9. MERKMALSBEWERTUNG UND –AUSWAHL (VA.1.2.3, 13.04.2004) 259
Bei der „branch–and–bound“ Suche wird, wie in Bild 3.9.2f angedeutet ist, diejenige Untermenge
mit n = n ′ − n Merkmalen bestimmt, deren Komplement die beste Untermenge mit
n Merkmalen liefert, d. h. es werden n Merkmale eliminiert. Alle n ′ n ′ n ′
= = Un-
n n ′ −n n
termengen sind für n ′ = 5, n = 2 wieder durch Kantenzüge dargestellt. Der dick gezeichnete
Kantenzug gehört z. B. zur eliminierten Untermenge (c2, c3), deren Komplement die ausgewählte
Merkmalsmenge (c1, c4, c5) ergibt. Das Netzwerk von Bild 3.9.2f ist in Bild 3.9.2g als Baum
gezeichnet. Jeder Untermenge entspricht ein Kantenzug von der Wurzel zu den Blättern. Diese
Darstellung wird gewählt, weil die Suche durch eine Baumstruktur einfacher ist als durch einen
allgemeinen Graphen.
Die Idee besteht darin, ein monotones Gütemaß zu verwenden. Damit ist gemeint, dass die
Güte Gj einer Menge mit j Merkmalen nicht kleiner ist als die Güte Gj−1 einer Menge, die
aus diesen j Merkmalen minus einem besteht (s. (3.9.47)). Es ist bekannt, dass die Fehlerwahrscheinlichkeit
diese Monotonieeigenschaft i. Allg. nicht besitzt, jedoch ist offensichtlich
der MAHALANOBIS-Abstand (3.9.35) in diesem Sinne monoton, und das gilt auch für den
BHATTACHARYYA-Abstand (3.9.14) und die Divergenz (3.9.15). Wir nehmen nun an, es sei
eine Teilmenge {cµ(1), . . . , cµ(n)} mit n Merkmalen bereits eliminiert worden. Die Güte der
verbleibenden Merkmale, d. h. des Komplements, sei G. Als Alternative dazu werde die Eliminierung
einer Teilmenge {cν(1), . . . , cν(k)} mit k < n untersucht; die Güte der Komplementmenge
sei G ′ . Da in der zweiten Teilmenge noch nicht n Merkmale eliminiert wurden, würde
im nächsten Schritt ein weiteres Merkmal eliminiert werden; die Güte der nun resultierenden
Komplementmenge sei G ′′ . Wegen der Monotonie ist klar, dass dann G ′ ≥ G ′′ ist. Wenn nun bereits
G ≥ G ′ ist, dann ist von vornherein klar, dass wegen der Monotonie auch G ≥ G ′′ ist. Das
bedeutet, dass die Elimination weiterer Merkmale sich erübrigt, da die Güte der resultierenden
Merkmalsmenge nur noch schlechter werden kann. Die weitere Suche durch Vergrößerung der
Menge {cν(1), . . . , cν(k)} kann abgebrochen werden und damit frühzeitig viele nutzlose Alternativen
von der Suche ausgeschlossen werden. Die Effizienz der Suche wird dadurch gesteigert,
dass man am Anfang bereits eine möglichst hoch bewertete Merkmalsmenge bereitstellt, weil
damit viele Alternativen frühzeitig von der weiteren Suche ausgeschlossen werden. Diese Idee
wird im Folgenden zusammengefasst.
5. branch–and–bound Suche zur Eliminierung der Untermenge C mit n Merkmalen, deren
Komplement die beste Untermenge mit n Merkmalen ergibt.
5.1 Bezeichnung: G j
µ(1),µ(2),... ist die Bewertung der Untermenge mit j Merkmalen, die man
erhält, wenn man die Merkmale cµ(1), cµ(2), . . . eliminiert. Beispielsweise ist G3 4,5 die Bewertung
derjenigen Untermenge mit drei Merkmalen, die man erhält, wenn man aus der
vorgegebenen Menge mit n ′ = 5 Merkmalen die Merkmale c4 und c5 eliminiert.
5.2 Man wähle ein monotones Gütemaß mit
G n′ −1
µ(1) ≥ Gn′ −2
µ(1),µ(2) ≥ . . . ≥ Gn′ −n
µ(1),...,µ(n) = Gn µ(1),...,µ(n) . (3.9.47)
Dieses gilt z. B. für den MAHALANOBIS-Abstand.
5.3 Ordne die Merkmale der ersten Ebene des Baumes so an, dass die Bewertungen von links
nach rechts zunehmen. Die erste Ebene enthält n + 1 Merkmale (Knoten). In Bild 3.9.2f,g
ist angenommen, dass die Merkmale in diesem Sinne geordnet wurden.
5.4 Beginne mit dem am weitesten rechts liegenden Knoten, und gehe an ihm in n − 1 Schritten
durch weitere Eliminierungen in die Tiefe. Das ergibt eine erste eliminierte Untermenge
C mit n Merkmalen. Das Komplement von C ergibt eine Menge mit n Merkmalen; ihre
Güte sei G.