Klassifikation von Mustern

4.8. UNÜBERWACHTES LERNEN (VA.1.2.3, 13.04.2004) 421
erfüllt. Eine solche Komponente wird in zwei Mischungskomponenten zerlegt, deren Startparameter
analog zu (4.8.20) bestimmt werden, es wird erneut die Iteration mit (4.8.21) und (4.8.22)
bis zur Konvergenz ausgeführt, und es wird erneut (4.8.23) gepüft. Diese Schritte werden wiederholt,
bis sich nichts mehr ändert.
Varianten dieser Vorgehensweise bestehen darin, die Kovarianzmatrizen Σκ,l auf Diagonalmatrizen
einzuschränken; die Auffrischung der Parameter in (4.8.22) nicht für alle Mischungskomponenten
durchzuführen, sondern nur für die eine mit maximaler a posteriori Wahrscheinlichkeit
in (4.8.21); die Gleichungen (4.8.21) und (4.8.22) je Muster oder je Stichprobe zu
durchlaufen; die Iteration nicht mit zwei Mischungskomponenten zu starten sondern mit einer
Anzahl, die durch vorangehende Analyse von Häufungsgebieten bestimmt wurde, z. B. mit Hilfe
der Vektorquantisierung in Abschnitt 2.1.4 oder mit Verfahren aus Abschnitt 4.8.4; oder die
(beim EM–Algorithmus als bekannt vorausgesetzte aber unbekannte) Klassenanzahl nicht über
(4.8.23) zu bestimmen, sondern durch Verwendung von Paaren von Mischungskomponenten,
wofür auf die zitierte Literatur verwiesen wird.
Berechnung von MAPS
Zur Berechnung von MAPS (bzw. von BAYES-Schätzwerten) wird auf die entkoppelten rekursiven
Gleichungen (4.2.73) zurückgegriffen, wobei die Entkopplung heuristisch durch eine
Variante der Entscheidungsüberwachung erfolgt; dieses ist im Prinzip auch für die MLS nach
(4.2.59) möglich sowie für die nichtrekursiven Versionen dieser Schätzwerte. Die Vorgehensweise
ist ähnlich wie oben, wobei wir hier als Beispiel von einer unklassifizierten Stichprobe
und nur einer Mischungskomponente je Klasse ausgehen.
Zunächst werden Startwerte der Parameter bestimmt, die entweder zufällig gewählt werden
oder, natürlich wesentlich besser, aus einer kleinen klassifizierten Stichprobe berechnet werden.
Mit diesen Startwerten werden für ein Muster aus der Stichprobe (für die rekursive Parameterschätzung)
oder für alle Muster der Stichprobe (für die nichtrekursive Parameterschätzung)
die a posteriori Wahrscheinlichkeiten der Klassen berechnet. Bei der harten oder festen Entscheidungsüberwachung
wird das Muster mit (4.1.33), S. 314, klassifiziert und die zugeordnete
Klasse als richtige Klasse betrachtet. Statt mit (4.8.18) werden danach die Parameter der ermittelten
Klasse mit (4.2.73) verbessert. Mit den verbesserten Parametern wird wiederum neu
klassifiziert und danach neue Parameter berechnet. Die Schritte Klassifikation und Parameterschätzung
werden bis zur Konvergenz iteriert. Da eine nicht randomisierte Entscheidung vom
System getroffen und der Lernprozess dadurch überwacht wird, bezeichnet man diese Vorgehensweise
als (feste) Entscheidungsüberwachung. Die Konvergenz ist experimentell zu prüfen.
Statt der festen Entscheidungsüberwachung kann eine randomisierte verwendet werden. Mit
den vorhandenen Schätzwerten für die Parameter werden Schätzwerte p(Ωλ | j c), λ = 1, . . . , k
für die a posteriori Wahrscheinlichkeiten gemäß (4.1.34), S. 315, berechnet. Das beobachtete
Muster j c wird der Klasse Ωκ mit der Wahrscheinlichkeit p(Ωκ| j c) zugeordnet. Die Parameter
dieser Klasse werden mit (4.2.59) (MLS ) oder (4.2.73) (MAPS ) verbessert. Auch hier wird bis
zur Konvergenz iteriert. Zu Aussagen über die Konvergenz, die unter bestimmten Bedingungen
gesichert werden kann, wird auf die Literatur verwiesen.
In diesem Sinne ist der EM–Algorithmus die Variante der Entscheidungsüberwachung, bei
der nicht nur einer, sondern alle Parameter aufgefrischt werden, und zwar mit einem Anteil, der
ihrer a posteriori Wahrscheinlichkeit entspricht.
In jedem Falle ist eine wesentliche Verbesserung des Konvergenzverhaltens zu erwarten,
wenn man nicht mit beliebigen Startwerten für die Parameter beginnt, sondern mit einigermaßen