Klassifikation von Mustern

3.9. MERKMALSBEWERTUNG UND –AUSWAHL (VA.1.2.3, 13.04.2004) 251
8. Der PATRICK–FISHER-Abstand
G P
κλ = (pκp(c|Ωκ) − pλp(c|Ωλ)) 2 dc . (3.9.21)
9. Der quadratische Abstand (Spezialfall von (3.9.21))
G Q
κλ =
(p(c|Ωκ) − p(c|Ωλ)) 2 dc . (3.9.22)
Alle Integrale sind oben als bestimmte Integrale über den gesamten n–dimensionalen Merkmalsraum
Rc zu verstehen. Obwohl die Liste der Gütemaße nicht vollständig ist, mag sie hier
genügen. Allen Maßen, mit Ausnahme der Transinformation (3.9.16), ist gemeinsam, dass jeweils
ein Paar von Klassen betrachtet wird (und nicht k Klassen gemeinsam). Die Maße Gκλ
nehmen kleine Werte an für p(c|Ωκ) = p(c|Ωλ) und pκ = pλ, und sie nehmen große Werte
an, wenn p(c|Ωκ) = 0 für p(c|Ωλ) = 0. Diese Eigenschaft ist nützlich, da im ersten Falle
die Merkmale zur Unterscheidung der Klassen ungeeignet sind, im zweiten Falle gestatten sie
eine vollkommene Unterscheidung. Es handelt sich bei den Gκλ um Größen, die den „Abstand“
zwischen den bedingten Dichten p(c|Ωκ) und p(c|Ωλ) messen, und je größer dieser Abstand,
desto besser die Merkmale. Diese Idee wird im BHATTACHARYYA-Abstand G B κλ
in (3.9.14)
direkt umgesetzt.
Sowohl die Divergenz G D κλ in (3.9.15) als auch die Transinformation GT in (3.9.16) gehen
auf informationstheoretische Begriffe zurück, die hier kurz ohne weitere Beweise angeführt
werden. Die Entropie H(Ω) der Klassen Ωκ ist definiert durch
H(Ω) = −
pκ log2 pκ . (3.9.23)
κ
Sie ist ein Maß für die Unsicherheit über das Auftreten von Werten von Ω, bzw. ein Maß für
die Information, die man gewinnt, wenn ein Wert von Ω (eine Klasse) beobachtet wird. Die
bedingte Entropie H(Ω|c) wurde bereits in (3.9.6) eingeführt und ist
H(Ω|c) = −
p(c, Ωκ) log2 p(Ωκ |c) dc . (3.9.24)
Rc
κ
Die Transinformation (wechselseitige Information) GT (Ω; c) ist definiert durch
G T (Ω; c) = G T (c; Ω) = −
p(c, Ωκ)
p(c, Ωκ) log
κ Rc
p(c)pκ
= H(c) − H(c|Ω) = H(Ω) − H(Ω|c)
= H(c) + H(Ω) − H(c, Ω) .
(3.9.25)
Die Minimierung der bedingten Entropie entspricht also bei konstanten a priori Wahrscheinlichkeiten
pκ der Maximierung der wechselseitigen Information. Im Hinblick auf (3.9.26) lässt
sich GT auch als ein Maß für den Abstand der Dichten p(c, Ωκ) und p(c)pκ auffassen. Die
relative Entropie oder der KULLBACK–LEIBLER-Abstand zwischen zwei Verteilungsdichten
p1 = p(c|Ω1), p2 = p(c|Ω2) ist definiert durch
D(p1; p2) = p1 ln p1
dc . (3.9.26)
p2