Klassifikation von Mustern

4.8. UNÜBERWACHTES LERNEN (VA.1.2.3, 13.04.2004) 429
(4.8.44) zu behalten. Der verbleibende Parameter σ in (4.8.37) ist empirisch zu wählen. Er hängt
von der mittleren Distanz der Merkmalsvektoren in der Stichprobe ab.
Hierarchische Zerlegungen
Um einen günstigen Kompromiss zwischen der Zahl der Klassen und der Homogenität der
Muster in einer Klasse zu finden, eignen sich hierarchische Zerlegungen, die ähnlich wie in
Bild 4.6.2b eine Folge zunehmend verfeinerter Zerlegungen liefern. Unter einer Hierarchie H
von Zerlegungen wird eine Folge von (m + 1) Zerlegungen A 0 , A 1 , . . . , A m der Stichprobe ω
verstanden, wobei
A 0 = {{ 1 c}, { 2 c}, . . . , { N c}} ,
A m = {ω} (4.8.46)
ist. Die Zerlegung A 0 enthält N Klassen mit je einem Muster, die Homogenität jeder Klasse ist
maximal; dagegen enthält A m nur eine Klasse mit N Mustern, die Homogenität dieser Klasse
ist minimal. Weiterhin sei A ν−1 eine feinere Zerlegung als A ν , ν = 1, . . . , m, d. h., dass die
Klassen aus A ν immer durch Vereinigung von zwei oder mehr Klassen aus A ν−1 entstehen.
Die zu einer Zerlegung A ν gehörigen Klassen seien disjunkt. Die Hierarchie H besteht also
aus Teilmengen ω1, ω2, . . . , ωl von ω mit den oben angegebenen Eigenschaften. Ein Maß h zur
Bewertung einer Hierarchie H ist eine für alle Teilmengen ωλ, λ = 1, . . . , l definierte Funktion,
die den Bedingungen
h(ωλ) ≥ 0 ,
ωκ ⊂ ωλ ⇒ h(ωκ) < h(ωλ) (4.8.47)
genügt. Beispiele für solche Funktionen sind
h(ωλ)1 = max
jc, kc∈ωλ
djk ,
h(ωλ)2 =
j,k
djk ,
h(ωλ) =
( j c − µ) 2 , (4.8.48)
j
wobei djk ein Abstandsmaß für zwei Muster j c, k c, z. B. gemäß (4.2.146), S. 355, ist. Damit lässt
sich eine Hierarchie anschaulich als Dendrogramm wie in Bild 4.8.4 darstellen. In einer Stichprobe
werden Muster in irgendeiner Reihenfolge angeordnet sein; das bedeutet, dass i. Allg.
nicht in der Stichprobe benachbarte Muster zusammengefasst werden und sich eine kreuzungsfreie
Darstellung erst nach einer Umordnung ergibt.
Hierarchien lassen sich im Wesentlichen auf zwei Arten konstruieren. Bei den agglomerativen
oder “bottom–up” Verfahren beginnt man mit A 0 , also der feinsten Zerlegung und fasst
schrittweise Klassen zu übergeordneten Klassen zusammen, bis man bei A m endet. Die divisiven
oder “top–down” Verfahren beginnen mit A m und zerlegen solange Klassen in homogenere
Unterklassen, bis A 0 erreicht ist. Da die letzteren Verfahren mehr Rechenaufwand verursachen,
wird hier nur das Prinzip der agglomerativen Konstruktion in Bild 4.8.5 gezeigt.
Damit die gefundene Hierarchie die Struktur der Stichprobe gut wiedergibt, sollte bei der
Bildung neuer Klassen der Zuwachs an Inhomogenität möglichst klein sein. Durch unterschied-