Klassifikation von Mustern

444 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
mit einem Klassifikator mit m Parametern auch realisieren kann, ist
D(N, m)
PNm =
2N ⎧ m ⎨
1−N N−1
2 j
=
j=0
⎩
1
:
:
N > m
N ≤ m
. (4.10.3)
Setzt man N = l(m + 1), l = 1, 2, . . . , so gilt
lim
m→∞ Pl(m+1),m =
⎧
⎨
⎩
1 : l < 2
0, 5 : l = 2
0 : l > 2
. (4.10.4)
Für große Werte von m (etwa ab m ≥ 30) nähert sich also der Verlauf von PNm einer Sprungfunktion.
Die Zahl
Nc = 2(m + 1) (4.10.5)
wird auch als Kapazität des Klassifikators bezeichnet. Trainiert man für k = 2 Klassen einen
Klassifikator mit m Parametern unter Verwendung von N < Nc Mustern, so kann man fast
sicher sein, dass die gesuchte Klassenzuordnung realisierbar ist bzw. dass die Stichprobe separierbar
ist. Wird N > Nc , so kann man fast sicher sein, dass die Stichprobe nicht separierbar
ist. Eine realistische Aussage über die Eigenschaften eines Klassifikators ist also i. Allg. nur zu
erwarten, wenn er mit N > Nc Mustern trainiert wurde. Der Vorteil dieser Aussage ist, dass sie
völlig unabhängig von speziellen Funktionen ϕj in (4.10.1) oder von Annahmen über Verteilungsdichten
der Merkmale ist. Ein Maß für die Kapazität von Trennfunktionen gibt Satz 4.12,
S. 361. Diese Allgemeinheit ist allerdings auch eine Schwäche, da keinerlei Bezug auf spezielle
Eigenschaften eines Problemkreises genommen wird. Beispielsweise genügt bei der speziellen
Struktur der Muster in Bild 3.9.1, S. 247, links bereits je ein Muster aus Ω1 und Ω2, um einen
linearen Klassifikator so zu trainieren, dass alle Muster richtig klassifiziert werden. Die Forderung
N > Nc ist daher nur als ein Anhaltspunkt zu betrachten, der durch weitere Überlegungen
zu ergänzen ist.
Typ des Klassifikators und Merkmalszahl
Der erwähnte allgemeine Zusammenhang zwischen verschiedenen Einflussgrößen hat erhebliche
Aufmerksamkeit gefunden. Je nach Voraussetzungen ergeben sich „optimistische“ bzw.
„pessimistische“ Ergebnisse, d. h. die geschätzte Fehlerrate ist kleiner bzw. größer als die
tatsächliche. Für den Fall von k = 2 Klassen lässt sich eine Beziehung zwischen dem erforderlichen
Stichprobenumfang Nκ je Klasse (κ = 1, 2 ), der Zahl der Merkmale n, dem
MAHALANOBIS-Abstand der Klassen (3.9.35), S. 253, und der Zuverlässigkeit der geschätzten
Fehlerwahrscheinlichkeit hergestellen. Nach dem Training des Klassifikators mit Nκ Mustern
je Klasse ergibt sich aus der Klassifikation einer unabhängigen Stichprobe ein Schätzwert
pf (s. (4.10.7)), dessen Erwartungswert E{pf} berechnet werden kann. Mit einer sehr großen
Stichprobe, Nκ → ∞, erhält man einen Schätzwert p∞, der bei optimaler Klassifikation mit
pB identisch ist. Das Verhältnis β = E{pf}/p∞ wird als Maß für die Zuverlässigkeit der
Schätzung verwendet. Bild 4.10.1 zeigt die Abhängigkeit zwischen Nκ, κ = 1, 2, und n für
den MAHALANOBIS-Abstand 5,5, da dieser große Wert zu einer kleinen Fehlerwahrscheinlichkeit
(etwa 0,3%) gehört, deren zuverlässige Schätzung wiederum eine große Stichprobe
erfordert. Die Kurven wurden für den quadratischen Klassifikator (Q) in (4.2.118), S. 349, und