Klassifikation von Mustern

4.8. UNÜBERWACHTES LERNEN (VA.1.2.3, 13.04.2004) 423
S(N, k) B(N)
N k = 2 k = 4 k = 10
4 7 1 0 15
10 511 34 105 1 1, 16 · 10 5
20 5, 24 · 10 5 4, 52 · 10 10 5, 92 · 10 12 5, 17 · 10 13
50 5, 63 · 10 14 5, 29 · 10 28 2, 62 · 10 43 1, 86 · 10 47
Tabelle 4.1: Einige Beispiele für STERLING-Zahlen und BELL-Zahlen
Minimierung einer Kostenfunktion
Das Prinzip vieler Verfahren zur Ermittlung von Häufungsgebieten lässt sich kurz damit zusammenfassen,
dass eine Kostenfunktion vorgegeben wird, welche die Kosten einer bestimmten
Klasseneinteilung der Muster einer Stichprobe bewertet, sowie ein Optimierungsalgorithmus
angegeben wird, der die Muster so auf Klassen verteilt, dass die Kosten minimiert werden.
Bei der Wahl der Kostenfunktion ergibt sich analog die in Bild 4.8.1 angedeutete Problematik,
dass man mehr oder weniger intuitiv die Vorstellungen eines menschlichen Betrachters
bzw. die Erfordernisse einer Anwendung in den gewählten Kosten erfassen muss. Dabei gibt
es Kostenfunktionen, die nur Parameter bis zur Ordnung zwei enthalten, also Mittelwert und
Kovarianzmatrix wie in (4.8.26), und solche, die auf im Prinzip beliebigen Verteilungsdichten
basieren, wie z. B. Mischungen von Normalverteilungen (s. (4.2.15), S. 327) oder der (nichtparametrischen)
PARZEN-Schätzung (s. (4.2.142), S. 354); ein Beispiel dafür ist das informationstheoretisch
basierte Maß in (4.8.44). Solche Kostenfunktionen können auch als Abstände
von Verteilungsdichten aufgefasst werden, wofür Beispiele bereits in (3.9.14) – (3.9.22), S. 251,
gebracht wurden.
Ähnlich wie beim Problem der Merkmalsbewertung und –auswahl in Abschnitt 3.9 ist es
auch hier aus Komplexitätsgründen nicht möglich, alle möglichen Zuordnungen von Mustern
in Klassen systematisch auszuprobieren, um die im Sinne der Kostenfuntkion optimale zu finden.
Man ist daher auf heuristische suboptimale Verfahren angewiesen, für die Beispiele in
Bild 4.8.2 und Bild 4.8.3 angegeben werden. Dazu kommt das in (4.8.50) angegebene Beispiel
für hierarchische Zerlegungen.
Die Zahl der Zerlegungen (Partitionen) einer Stichprobe vom Umfang N in genau k Klassen
ist gleich der STERLING-Zahl zweiter Art S(N, k). Die Zahl der Zerlegungen einer Stichprobe
in 1, 2, . . . , oder N Klassen ist gleich der BELL-Zahl B(N). Es gilt
S(N, k) = 0 , für k > N ,
S(N, 1) = S(N, N) = 1 ,
S(N + 1, k) = S(N, k − 1) + kS(N, k) , (4.8.25)
N
B(N) = S(N, κ) .
κ=1
Tabelle 4.1 gibt einige Beispiele, die zeigen, dass schon bei kleinem Stichprobenumfang die
Zahl der Zerlegungen so groß wird, dass ein systematisches Ausprobieren aller Möglichkeiten
zur Optimierung einer Kostenfunktion keine praktikable Lösung ist.