Klassifikation von Mustern

254 KAPITEL 3. MERKMALE (VK.2.3.3, 13.04.2004)
Häufigkeiten analog zu Abschnitt 2.2.2, approximieren. Zur Bestimmung von Verteilungsdichten
wird auch auf Abschnitt 4.2 verwiesen.
Die Beschränkung auf einzelne Merkmale cν und die Schätzung der Verteilungsdichten mit
dem Histogramm hat den weiteren Vorteil, dass sich die Integrale in (3.9.14) – (3.9.22) dann auf
einfach auszuwertende Summen reduzieren. Als Beispiel wird hier nur die Transinformation
G T in (3.9.16) betrachtet. Das Merkmal cν möge jeweils einen von m möglichen diskreten
Werten cνj, j = 1, . . . , m annehmen. Wie in Abschnitt 2.1.3 erörtert wurde, lässt sich ein
kontinuierlicher Wertebereich für cν stets in dieser Weise quantisieren. Damit geht (3.9.16)
über in die diskrete Form
G T =
k
m
κ=1 j=1
pκp(cνj |Ωκ) log p(cνj |Ωκ)
p(cνj)
. (3.9.40)
Wenn eine genügend große klassifizierte Stichprobe gegeben ist, bereitet die Schätzung von
p(cνj |Ωκ) keine Probleme. Die obige Diskussion zeigt, dass man unter Umständen nur die
Güte einzelner Merkmale cν für sich beurteilen wird. Sind aber cµ und cν zwei Merkmale und
gilt für eine reelle, nicht abnehmende Funktion g die Beziehung
p(cν = g(cµ)) = 1 , (3.9.41)
dann kann man auf cν verzichten. Es lässt sich zeigen, dass es dann stets eine nur von cµ abhängige
Entscheidungsregel gibt, welche Muster mit gleicher Fehlerwahrscheinlichkeit wie eine
von cµ und cν abhängige Entscheidungsregel klassifiziert. Es ist also nützlich, nicht solche
Merkmale zu verwenden, zwischen denen Abhängigkeiten bestehen. Mit dem Korrelationskoeffizienten
ρµν =
E{(cµ − E{cµ})(cν − E{cν})}
E{(cµ − E{cµ}) 2 }E{(cν − E{cν}) 2 }
lassen sich wenigstens lineare Abhängigkeiten der Form
(3.9.42)
cν = acµ + b (3.9.43)
zwischen zwei Merkmalen bewerten. Natürlich werden solche auch vom MAHALANOBIS-
Abstand (3.9.35) erfasst. Dieser ist also geeignet, eine Menge von Merkmalen bzw. einen Merkmalsvektor
unter Berücksichtigung linearer statistischer Abhängigkeiten zu bewerten, wenn
dieser, wie schon gesagt, näherungsweise normalverteilt ist.
3.9.3 Auswahlverfahren
Im Abschnitt 3.9.1 wurde dargelegt, dass zur exakten Bestimmung der besten Untermenge von
n Merkmalen alle n ′
Untermengen durch Schätzung der Fehlerrate zu bewerten sind und die
n
mit der kleinsten auszuwählen ist. Diese Methode scheidet i. Allg. wegen des damit verbundenen
Aufwandes aus. Bild 3.9.2a verdeutlicht die vollständige Suchmethode. Jeder Kantenzug
von links nach rechts enthält die Bewertung einer Untermenge mit n = 3 Merkmalen, z. B.
der dick gezeichnete die der Menge c1, c3, c4. Entsprechend den n ′ n ′
Untermengen gibt es n
n
Kantenzüge. Das triviale Verfahren der zufälligen Auswahl von n aus n ′ Merkmalen scheidet
wegen der i. Allg. unbefriedigenden Qualität der so gefundenen Untermenge aus. Zwischen
diesen beiden Extremen liegen die im Folgenden diskutierten Auswahlverfahren.