Klassifikation von Mustern

4.8. UNÜBERWACHTES LERNEN (VA.1.2.3, 13.04.2004) 427
Wenn eine Stichprobe ω in zwei Teilmengen ωκ bzw. ωλ mit Nκ bzw. Nλ Elementen cκ ∈ ωκ
bzw. cλ ∈ ωλ zerlegt wurde, wird das Informationspotential als Ansatz zur Definition einer
Kostenfuntkion
Φ(ωκ, ωλ) = 1
NκNλ
Nκ Nλ
j=1 k=1
j
g0 ( cκ − k cλ)|2σ 2
für diese beiden Teilmengen verwendet. Es wird eine Indikatorfunktion
χ( j c, k
0
c) =
: jc ∈ ωλ ∧ k 1 : sonst
c ∈ ωλ , λ ∈ {1, . . . , k}
(4.8.40)
(4.8.41)
definiert, die nur dann den Wert Eins annimmt, wenn zwei Merkmale ( j c, k c) zu verschiedenen
Klassen gehören. Damit kann man auch schreiben
Φ(ωκ, ωλ) = 1
NκNλ
N
j=1 k=1
N
χ( j c, k j k 2
c)g0 ( c − c)|2σ . (4.8.42)
In der obigen Doppelsumme werden nun durch die Indikatorfunktion nur solche Paare von
Merkmalen ausgewählt, die zu verschiedenen Klassen gehören, wie es in (4.8.40) durch die
zusätzliche Indizierung der Merkmalsvektoren mit dem Klassenindex auch erreicht wird. Diese
zunächst für zwei Klassen definierte Kostenfunktion wird auf k Klassen verallgemeinert, indem
man über alle verschiedenen Paare von Klassen mittelt
Φ4(ω1, . . . , ωk) =
=
2
k(k − 1)
2
k(k − 1)
k κ−1
Φ(ωκ, ωλ)
κ=2 λ=1
k κ−1 Nκ Nλ
1
g0
NκNλ
κ=2 λ=1 j=1 k=1
Mit (4.8.41) lässt sich in Analogie zu (4.8.42) auch eine Kostenfunktion
Φ5(ω1, . . . , ωk) =
1
2N1N2 . . . Nk
N
j=1 k=1
( j cκ − k cλ)|2σ 2 .
N
χ( j c, k
j k 2
c)g0 ( c − c)|2σ
(4.8.43)
(4.8.44)
definieren. In einer guten Zerlegung der Stichprobe ist Φ4 bzw. Φ5 klein, da g0 mit wachsendem
Abstand von Merkmalsvektoren rasch abfällt und in verschiedenen Teilmengen nur relativ weit
voneinander entfernte Merkmalsvektoren liegen sollten.
Die Aufgabe besteht nun darin, eine Zerlegung von ω zu finden, die Φ4 bzw. Φ5 minimiert.
Dieses erfolgt in zwei Schritten, nämlich der Berechnung einer anfänglichen Zerlegung von ω
und der anschließenden Optimierung von Φ(ω).
Die anfängliche Zerlegung kann auf unterschiedliche Arten erfolgen, z. B. auch mit dem
Algorithmus in Bild 4.8.2. Da noch ein Optimierungsschritt folgt, wird jedoch ein vereinfachter
Algorithmus zur anfänglichen Zerlegung benutzt. Nach Vorgabe der Zahl k von Klassen werden
Untermengen der Stichprobe vom Umfang Na = N/k gebildet. Es werden Na Elemente aus
ω zufällig ausgewählt. Diese sind die Startpunkte für die Auswahl weiterer Elemente. Sei ca,1
der erste zufällig gewählte Merkmalsvektor, der das erste Element in der Untermenge ωa,1 wird.