Klassifikation von Mustern

414 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
schungsverteilung repräsentiert, deren unbekannte Parameter geschätzt werden. Das Problem
der Identifikation von Mischungsverteilungen wird in Abschnitt 4.8.2 behandelt.
• Es wird eine Gütefunktion vorgegeben, die den Wert (oder die Kosten) einer bestimmten
Klasseneinteilung misst. Mit einem Optimierungsalgorithmus wird die Gütefunktion für
die gegebene Stichprobe optimiert. Verfahren dafür werden in Abschnitt 4.8.4 betrachtet.
• Die Stichprobe wird als bewichteter Graph aufgefasst, der durch Eliminierung geeigneter
Kanten in disjunkte Teilgraphen zerlegt wird, die den Klassen entsprechen. Dieses ist die
Vorgehensweise in Abschnitt 4.8.5.
• Schließlich ist zu erwähnen, dass Verfahren wie die Vektorquantisierung (s. Abschnitt
2.1.4) und die Merkmalskarte (s. Abschnitt 4.5.4) ebenfalls unüberwacht eine
Klasseneinteilung berechnen.
4.8.2 Die Identifikation von Mischungsverteilungen
Identifizierbarkeit
Wenn nur eine unklassifizierte Stichprobe ω gegeben ist und die Parameter eines statistischen
Klassifikators bestimmt werden sollen, lassen sich die Schätzverfahren von Abschnitt 4.2.1 und
Abschnitt 4.2.3 nicht anwenden. Der Grund ist, dass man nicht die bedingten Dichten p(c|ωκ)
unabhängig voneinander schätzen kann, sondern nur die Mischungsverteilungsdichte für den
Problemkreis Ω (in (4.2.15), S. 327, wurde bereits eine Mischungsverteilungsdichte je Klasse
Ωκ eingeführt)
p(c) =
k
pκp(c|ωκ) =
κ=1
welche die unbekannten Parameter
k
pκp(c|aκ) ,
κ=1
Θ = {k, {pκ, aκ|κ = 1, . . . , k}} (4.8.1)
enthält, sodass man zur Verdeutlichung auch p(c) = p(c|Θ) schreibt. Damit ein Klassifikator
unüberwacht lernen kann, sind zwei Fragen zu klären:
1. Unter welchen Voraussetzungen lassen sich Schätzwerte Θ für Θ berechnen, d. h. welches
sind die Bedingungen für die Identifizierbarkeit einer Mischungsverteilung?
2. Wie ist Θ konkret zu berechnen, d. h. wie erfolgt die Identifikation der Parameter?
Diese Fragen sind geklärt, wie im Folgenden dargelegt wird. Dabei werden z. T. Verteilungsfunktionen
P (c), und nicht Dichten p(c) betrachtet. Das Problem der Identifikation tritt sowohl
im oben erwähnten Fall der unklassifiziertenStichprobe auf als auch in dem in Abschnitt 4.2.1
erwähnten Fall, dass man eine klassifizierte Stichprobe hat, aber je Klasse eine Mischungsverteilung
ansetzt.
Entsprechend (4.1.1) wird vorausgesetzt, dass die bedingten Verteilungen P (c|Ωκ) der
Merkmalsvektoren Elemente einer bekannten parametrischen Familie P (c|a) sind, d. h.
P (c|Ωκ) = P (c|aκ) ist bis auf den Parametervektor aκ bekannt. Es gebe eine mischende
Verteilung,
P ′ = {pκ(aκ)|κ = 1, . . . , k} , (4.8.2)