Klassifikation von Mustern

4.2. STATISTISCHE KLASSIFIKATOREN (VA.3.3.4, 29.09.2004) 355
wobei N der Umfang der Stichprobe ω und m die Zahl der Muster im Volumen V ist, so ist ein
Schätzwert der a posteriori Wahrscheinlichkeit
p(Ωκ|c) = pκ p(c|Ωκ)
p(c)
= mκ
m
. (4.2.145)
Um zuverlässige Schätzungen zu erhalten, müssen mκ und m genügend groß sein. Es lässt
sich aber zeigen, dass schon der nächste Nachbar, also nur ein Stichprobenelement, eine recht
zuverlässige Klassifikation erlaubt.
Zur Durchführung der NN Klassifikation wird eine beliebige Metrik d(c, j c) gewählt, mit
der der Abstand eines neuen Musters c von einem Stichprobenelement j c gemessen wird. Eine
Klasse von Metriken sind beispielsweise
d (r) (c, j c) =
n
ν=1
|cν − j cν | r
1
r
, r = 1, 2, . . . . (4.2.146)
Bekannte Spezialfälle sind für r = 1 die Cityblock Metrik, für r = 2 der EUKLID-Abstand und
für r = ∞ die Maximumnorm. Die NN Klassifikation arbeitet nach der Vorschrift
wenn d(c, ϱ c) = min
j d(c, j c) und ϱ c ∈ ωκ , dann entscheide c ∈ Ωκ . (4.2.147)
Ein Beispiel ist in Bild 4.2.6 gezeigt. Die Fehlerwahrscheinlichkeit pf dieser NN–Regel kann relativ
zur Fehlerwahrscheinlichkeit pB des optimalen BAYES-Klassifikators (4.1.33) abgeschätzt
werden, wobei diese Abschätzung unabhängig von der bedingten Verteilungsdichte der Merkmalsvektoren
ist.
Satz 4.11 Unter sehr allgemeinen Voraussetzungen gilt für jede Metrik und nahezu beliebige
bedingte Verteilungsdichten für N → ∞ und k Klassen die Abschätzung
k
pB ≤ pf ≤ pB 2 − pB . (4.2.148)
k − 1
Die obigen Grenzen sind so eng wie möglich.
Beweis: s. z. B. [Duda und Hart, 1972b, Cover und Hart, 1967]
Da obiger Satz für praktisch alle Familien von Verteilungsdichten gilt, enthält er eine im obigen
Sinne echt nichtparametrische Aussage. Ist die Fehlerwahrscheinlichkeit klein, also pB ≪ 1, so
geht (4.2.148) näherungsweise über in
pB ≤ pf ≤ 2pB . (4.2.149)
Wenn man statt des einen nächsten Nachbarn die gesamte Stichprobe vom Umfang N → ∞
zur Klassifikation heranzieht, kann man also die Fehlerwahrscheinlichkeit bestenfalls noch halbieren.
In diesem Sinne kann man sagen, dass die halbe Information im nächsten Nachbarn
steckt. Es ist wichtig, dass (4.2.148) und daher auch (4.2.149) nur für sehr großen Stichprobenumfang
gelten. Praktisch kann man die NN–Regel (4.2.147) natürlich nur für endliches N
auswerten. Es ist zu vermuten, dass auch für kleine Stichproben die Fehlerrate der NN–Regel
einen Anhaltspunkt für die mit irgendeinem Klassifikator erreichbare gibt. Während mit den parametrischen
Klassifikatoren, z. B. dem Normalverteilungsklassifikator von Abschnitt 4.2 oder