Diplomarbeit von Michael Schindler

26 1. Grundlagen
kann diese Analogie, wie weiter unten noch genauer erklärt werden wird, auch formal
exakt formuliert werden. Wie wir am Beispiel aus Abb. 11a–c gesehen haben, nimmt
die univar-Phase eine Grobanalyse der Datenverteilung vor, bei der das Optimum des
Führparameters σ 2 und die zugehörigen Zentren cr der univariaten Modelle bestimmt
werden.
Dieses Optimum wird als Ausgangspunkt der zweiten Lernphase (Abb. 11d–f) verwendet.
Indem die Kopplung der σ 2 ri an σ2 durch Verkleinern von µ langsam aufgehoben
und durch Iteration aller Lernregeln (1-41) bis (1-44) zusätzlich noch die lokalen Kovarianzmatrizen
Σr der Modelle bestimmt werden, analysieren nun multivariate Normalverteilungen
Orientierung und Geometrie der Cluster. Die Qualität der gleitenden
Mittelwertsbildung ist dabei durch die Größe von ε bedingt. Eine ausführliche Diskussion
der Rolle von ε findet sich in Abschnitt 2.1.3.
Die Lernregel (1-41) der Zentren, die im univar-Algorithmus zur Maximum-likelihood-
Dichteschätzung führt, wurde schon von Rose, Gurewitz & Fox (1990) in einem etwas
anderen Zusammenhang vorgeschlagen. Sie formulierten die Regel für einen Clustering-Algorithmus,
der selbstorganisiert eine Zuordnung von Datenpunkten zu Prototypen
durchführt. Das Verfahren dazu, das sie fuzzy clustering nannten, beruht auf
ähnlichen unscharfen Partitionsfunktionen, wie sie in Abb. 9 gezeigt sind. Auch bei
ihnen gibt es einen Parameter σ 2 , der die Schärfe der Einteilung bestimmt. Für jede
der Partitionen existiert ein Prototyp, welcher die zugehörige Menge von Datenpunkten
repräsentieren soll. Für ihr Modell konnten Rose, Gurewitz & Fox ein mechanisch/statistisches
Analogon formulieren und in der Molekularfeldnäherung lösen. Der
Parameter σ 2 bekommt dabei die Bedeutung einer Temperatur, die von großen nach
kleinen Werten ” abgekühlt“ wird, um die Zuordnung der Punkte zu ihren Prototypen
zu verbessern. Deshalb wird ein solches Verkleinern von σ 2 auch Annealing (Abkühlen)
genannt. Die Autoren begründeten die Lernregel (1-41) mit einem Gradientenabstieg
auf einer Funktion, die sie als freie Energie interpretieren konnten. Ihnen entging jedoch,
dass die Regel in der sequentiell-stochastischen Form wie sie hier verwendet wird,
ebenfalls die Log-likelihood eines univariaten Mischungsdichtemodells maximiert. Dieser
Zusammenhang wurde von Kloppenburg & Tavan (1997) aufgedeckt, die erklärten,
welche Verbindung zwischen Dichteschätzung im Maximum-likelihood-Sinne durch eine
Mischung univariater Normalverteilungen (mit identischen Gewichten und Varianzen)
und dem Problem des fuzzy clustering besteht. Ihr univar-Algorithmus kombiniert
beide Sichtweisen.
Die Theorie von Rose, Gurewitz & Fox hat den Vorteil, dass sie die Form der Aufspaltungen
erklärt, und zwar als Phasenübergänge mit Führparameter σ und Ordnungsparameter
(cr−cr ′) (Abb. 12c). Für große Werte von σ ist das Codebuch, wie man die
Menge C ={c1, . . .,cM} der Zentren auch nennt, vollständig entartet. Beim Annealing
bricht es sukzessive auf, wenn σ kritische Werte σkrit annimmt, bis seine Entartungen
vollständig aufgehoben sind. Rose, Gurewitz & Fox (1990) zeigten, dass der erste
Phasenübergang gerade dann geschieht, wenn σ2 und der größte Eigenwert der Kovarianzmatrix
ΣX = � (x−cr)(x−cr) T� des Datensatzes, also die größte relevanten Struktur
X