Klassifikation von Mustern

356 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
✻ c2
△
ω2
△
△
ω1
❜ ❜
❜
❜
❜
. ... .
△
△
△
✷
.
✷
✷
ω3
✠
✒∗
c
dmin → c ∈ Ω3
.✛
Bild 4.2.6: Zerlegung des Merkmalsraumes in Klassenbereiche durch die Nächster–Nachbar–
Regel
dem Polynomklassifikator von Abschnitt 4.4, nur relativ einfache Trennflächen realisiert werden,
ergeben sich bei der NN–Regel i. Allg. komplizierte nichtlineare Flächen, wie Bild 4.2.6
verdeutlicht. Verwendet man in (4.2.147) den EUKLID-Abstand, so gilt
✷
✷
d(c, j c) = (c − j c) T (c − j c) . (4.2.150)
Die Lage des Minimums von d bezüglich j ändert sich nicht, wenn in (4.2.147) statt d eine
monoton zunehmende Funktion verwendet wird. Man kann also auch
d 2 (c, j c) = c T c − 2c T j c + j c T j c (4.2.151)
berechnen. Definiert man Vektoren
c T = (−0.5, c1, c2, . . . , cn) (4.2.152)
j c T = ( j c T j c, j c1, j c2, . . . , j cn) ,
so kann man auch das Maximum von
j c ∈ ω ,
uj = j c T c , j = 1, . . . , N (4.2.153)
bezüglich j ermitteln und das neue Muster der Klasse zuordnen, die das Muster aus ω mit
maximalem Wert von uj hat.
Eine naheliegende Verbesserung der NN–Regel besteht darin, statt nur des nächsten Nachbarn
die m nächsten Nachbarn zu bestimmen. Diese mNN–Regel arbeitet nach der Vorschrift
bestimme die m nächsten Nachbarn eines neuen Musters c;
ordne c der Klasse zu, der die meisten der m Nachbarn angehören. (4.2.154)
Es lässt sich zeigen, dass für sehr große m und N die Fehlerwahrscheinlichkeit der mNN–Regel
gegen die des BAYES-Klassifikators strebt. Ein guter Wert von m kann durch Verwendung
einer von Trainings– und Teststichprobe disjunkten Validierungsstichprobe bestimmt werden.
Praktisch werden oft Werte m = 3 bis m = 13 verwendet. Mit der mNN–Regel lassen sich
also bessere Ergebnisse erzielen als mit der NN–Regel. Dieses ist wegen (4.2.145) plausibel, da
der Schätzwert der a posteriori Wahrscheinlichkeit umso zuverlässiger wird, je größer m wird.
Auch dieses Ergebnis gilt i. Allg. nur im Grenzfalle N → ∞.
✷
✲ c1