Klassifikation von Mustern

248 KAPITEL 3. MERKMALE (VK.2.3.3, 13.04.2004)
Mit dem Vektor der a posteriori Wahrscheinlichkeiten wird der sog. BAYES-Abstand
B =
Rc
k
p 2 (Ωκ |c )p(c ) dc (3.9.1)
κ=1
definiert. Dabei ist
p(c ) =
k
pκp(c|Ωκ) (3.9.2)
κ=1
die Verteilungsdichte der Merkmalsvektoren. Der BAYES-Abstand ist also der Erwartungswert
des Betragsquadrates des Vektors
π = (p(Ω1 |c ), . . . , p(Ωκ|c )) T . (3.9.3)
Ein großer Wert von B bedeutet, dass im Mittel eine sichere Klassifikation möglich ist, dass
also die Merkmale geeignet sind. Die kleinstmögliche Fehlerwahrscheinlichkeit pB erreicht der
oben erwähnte Klassifikator, und es gilt die Abschätzung
1 − B
2 ≤ 1 − √ B ≤
k − 1
k
1 −
kB − 1
k − 1
≤ pB ≤ 1 − B . (3.9.4)
Ist pB klein, etwa pB 0, 1, so werden mit guter Näherung die drei unteren Schranken für pB
gleich, und es gilt die besonders einfache Abschätzung
1 − B
2 ≤ pB ≤ 1 − B . (3.9.5)
Ein anderes Abstandsmaß ist die bedingte Entropie oder Equivokation
k
H = − pκ p(c|Ωκ) ln p(Ωκ|c ) dc . (3.9.6)
Rc
κ=1
Für diese erhält man die Abschätzung
pB ≤ (1 − B) ≤ H
2 . (3.9.7)
Die Maße in (3.9.1), (3.9.6) haben den Vorteil, dass sie direkt den allgemeinen Fall von k
Musterklassen erfassen. Aus (3.9.7) geht hervor, dass man mit dem BAYES-Abstand i. Allg. eine
bessere Abschätzung erhält als mit der Equivokation. Es wurde sogar die Vermutung geäußert,
dass man wahrscheinlich keine besseren Abschätzungen als die in (3.9.7) wird finden können.
Die obigen engen Abschätzungen haben den Nachteil, dass sie numerisch in geschlossener
Form nicht auswertbar sind. Es ist im Prinzip möglich, den BAYES-Abstand B oder die Equivokation
H mit einer Stichprobe von Mustern zu schätzen. Ein Schätzwert B für B ist z. B.
B = 1
N
N
ϱ=1 κ=1
k
p 2 (Ωκ| ϱ c ) . (3.9.8)