Diplomarbeit von Michael Schindler

4.2 Das Verhalten des ANTS 93
trie im Aufbrechverhalten auf die zeitliche Struktur des Datensatzes zurückzuführen
sein. Insbesondere die dynamische Kopplung, die im kombinierten Modell für b und
c stattfindet, zeigt, dass die stark unterschiedlichen Lebensdauern diese Unsymmetrie
verursachen.
In (c) wurde dasselbe Annealing-Schema für ein ANTS-Training mit 50 Prozent aller
Daten wiederholt (vgl. den α-Stumpf in Abb. 49). Bereits diese relativ schwache Datenselektion
reicht aus, um die beiden sehr unterschiedlichen Lebensdauern der Daten
anzugleichen. Man beobachtet qualitativ wieder das gleiche symmetrische Aufspaltungsmuster
wie in (a).
Zwar ist, wie am Ende von Kapitel 2 angesprochen, das in Abb. 50b beobachtete
Aufbrechverhalten hier nicht vollständig quantifizierbar, doch kann die Aufhebung der
unsymmetrischen Aufspaltung – die allein auf die Existenz von zwei sehr unterschiedlichen
Zeitskalen im System zurückzuführen ist – als Beweis für die unterschiedliche,
an die Daten angepasste Lebensdauerkompression gewertet werden.
4.2.5 Zusammenfassung und Diskussion
Mit Einführung der selbstreferentiellen Datenselektion durch f(xt; θ(t)) kann, wie das
letzte Beispiel gezeigt hat, selbst ein Datenstrom, in dem sehr unterschiedliche Systemzeitskalen
enthalten sind, von einem aufmerksamen MVNN gelernt werden, ohne
dass die hierarchischen Aspekte der Dichteschätzung vollständig verlorengehen. Der
ANTS passt dabei die statistischen Gewichte im System durch den Mechanismus seiner
Aufmerksamkeitsschwelle so an, dass sehr häufig vorkommende Cluster stärker abgeschwächt
werden als seltene. Dadurch erscheinen ihm auch ihre Lebensdauern verkürzt,
und der on-line Datenstrom wird quasi randomisiert.
Diese Quasi-Randomisierung führt dazu, dass in einem wesentlich größeren Parameterbereich
dynamisch entkoppelt gelernt werden kann. Mit dem ANTS ist also ein Algorithmus
gegeben, der eine wesentliche Fähigkeit zum on-line Lernen besitzt, nämlich
selbst auf die Zeitskalen im System zu reagieren.
Versucht man, wie in Abb. 36 den Parameterweg des ANTS darzustellen, bekommt
man effektiv mehrere Wege. Da die Näherung (4-17) für verschiedene Cluster verschieden
gültig ist, bekommen die Neuronen, die für verschiedene Cluster zuständig
sind, unterschiedliche effektive Lernraten ε 〈f ar〉 X . Diese Unterschiede in den Lernraten
sind der unterschiedlich starken Gewichtskompression äquivalent. Es sind nun
Phasenübergänge möglich, die auf sehr unterschiedliche Zeitskalen im System zurückzuführen
sind.
Der ANTS benötigt dazu nur eine einzige a-priori Annahme über das zeitliche Systemverhalten,
nämlich den Anteil α der zu lernenden Daten. Ein großes α schwächt
die Möglichkeiten des ANTS zur unterschiedlichen Zeitskalenkompression ab, während
bei zu kleinem α eventuell die relevante Struktur in der Datenverteilung nicht mehr
sichtbar wird.