Klassifikation von Mustern

4.10. DIMENSIONIERUNGSPROBLEME (VA.1.1.3, 13.04.2004) 447
zu schätzen, daher genügt es, diese zu betrachten. In Bild 4.10.2d sind Konfidenzintervalle des
Korrelationskoeffizienten ϱ über der näherungsweise normalverteilten transformierten Variablen
z = 0, 5 log[(1 + ϱ)/(1 − ϱ)] aufgetragen. Man sieht, dass mit 1000 Mustern der richtige
Wert |ϱ| ≤ 0, 06 ist, wenn der Schätzwert ϱ = 0 ist.
Aufteilung der Stichprobe
In der Regel muss eine gegebene Stichprobe zur Schätzung der Parameter und der Fehlerwahrscheinlichkeit
herangezogen werden. Dafür gibt es folgende Methoden.
1. Die Dimensionierung des Klassifikators (Lernphase) erfolgt mit der gesamten Stichprobe,
anschließend wird mit der gleichen Stichprobe die Fehlerwahrscheinlichkeit geschätzt.
Abgesehen von wirklich repräsentativen Stichproben sind die so ermittelten Schätzwerte
optimistisch, d. h. der Schätzwert pf ist zu klein.
2. Von der Stichprobe mit N Mustern werden (N − 1) zum Training genommen, und dann
wird das eine ausgelassene Muster klassifiziert, das Ergebnis notiert (“leave–one–out”).
Dieses wird für alle N Muster wiederholt. Der Schätzwert ergibt sich analog aus (3.9.9)
und ist besonders zuverlässig. Die Methode ist recht aufwendig, da N verschiedene Klassifikatoren
zu berechnen sind. Da sich aber nur jeweils ein Muster ändert, kann die Berechnung
rekursiv mit (4.2.59), (4.2.62), (4.4.36) erfolgen.
3. Als Kompromiss zwischen 1. und 2. wird die Stichprobe mit Nκ Mustern je Klasse
ωκ, κ = 1, . . . , k in L disjunkte Blöcke mit je Nκ/L Mustern zerlegt, wobei Nκ/L
zweckmäßigerweise ganzzahlig sein sollte. Der Klassifikator wird mit (L − 1) Blöcken
trainiert und mit einem Block zu je Nκ/L Mustern getestet; dieses wird L–mal mit jeweils
verschiedenen Blöcken zum Test und dem Rest zum Training wiederholt. Statt N
Klassifikatoren sind nur L zu realisieren. Ein Spezialfall ist L = 2 , d. h. die Stichprobe
wird in je eine gleich große Lern– und Teststichprobe zerlegt. Die für L = 2 gewonnenen
Schätzwerte sind „pessimistisch“, d. h. pf ist zu groß.
4. In manchen Fällen, z. B. beim Training neuronaler Netze, wird neben der Trainings– und
Teststichprobe noch eine Validierungsstichprobe verwendet, d. h. die gegebene Stichprobe
in drei Untermengen zerlegt. Die obige Blockzerlegung kann dafür herangezogen werden.
Von den L Blöcken werden L−2 zum Training, einer zur Validierung und einer zum
Test verwendet und das Ganze L–mal wiederholt.