Klassifikation von Mustern

4.8. UNÜBERWACHTES LERNEN (VA.1.2.3, 13.04.2004) 415
die k < ∞ Punkten aκ eine Wahrscheinlichkeit pκ > 0 zuordnet, wobei die Nebenbedingung
k
pκ = 1 , 1 ≤ k < ∞ (4.8.3)
κ=1
gilt. Durch die Abbildung
Q(P ′ ) =
k
pκP (c|aκ) = P (c) , P (c|aκ) ∈ P (c|a) (4.8.4)
κ=1
wird die n-dimensionale Mischungsverteilung P (c) definiert. Ist P ′ die Menge der mischenden
Verteilungen gemäß (4.8.2), (4.8.3), so ist
P (c) = Q( P ′ ) = {Q(P ′ )|P ′ ∈ P ′ } (4.8.5)
die Menge der (endlichen) Mischungsverteilungen.
Definition 4.14 Unter Identifizierbarkeit der Menge der (endlichen) Mischungsverteilungen
wird verstanden, dass sich für jedes P (c) ∈ P (c) die Parameter Θ in (4.8.1) eindeutig bestimmen
lassen, d. h. dass
P ′ 1 = P ′ 2 ⇔ Q(P ′ 1 ) = P1(c) = P2(c) = Q(P ′ 2 ) . (4.8.6)
Die parametrische Familie P (c|a) heißt identifizierbar, wenn die zugehörige Menge P (c) von
Mischungsverteilungen identifizierbar ist.
Satz 4.19 Eine notwendige und hinreichende Bedingung, dass die Menge P (c) der Mischungsverteilungen,
die von der parametrischen Familie P (c|a) erzeugt wird, identifizierbar
ist, besteht darin, dass P (c|a) eine linear unabhängige Menge von Funktionen ist.
Beweis: s. z. B. [Yakowitz und Spragins, 1968, Yakowitz, 1970]
Die Bedingung ist notwendig, weil bei linear abhängigen Funktionen die gleiche Mischungsverteilung
mit verschiedenen Parametern dargestellt werden könnte. Sie ist hinreichend,
weil zwei verschiedene Darstellungen der gleichen Mischungsverteilung der Eigenschaft der
eindeutigen Darstellung durch eine Basis widersprechen würden.
Eine eindeutige Schätzung der Parameter Θ in (4.8.1) ist also nur möglich, wenn Satz 4.19
erfüllt ist. Es kann also prinzipiell unlösbare Probleme des unüberwachten Lernens geben, wenn
die beschreibende Familie von Mischungsverteilungen nicht identifizierbar ist. Allerdings wird
so ein Problem vermutlich näherungsweise lösbar sein, wenn man die fragliche Familie durch
eine identifizierbare mit hinreichender Genauigkeit approximieren kann. Da man die „richtige“
Familie von Mischungsverteilungen einer konkreten Anwendung ohnehin nicht kennt, sondern
dafür ein plausible Annahme macht, wird man natürlich zweckmäßigerweise eine identifizierbare
Menge von Mischungsverteilungen zu Grunde legen. Unüberwachtes Lernen im Kontext
statistischer Klassifikatoren ist also ein Problem der Parameterschätzung von identifizierbaren
Mischungsverteilungen. Einige Ergebnisse zur Identifizierbarkeit sind in folgendem Satz zusammengefasst: