Diplomarbeit von Michael Schindler

αǫA
a b c
−1 0 1 x/σS
Ein System mit mehr als einer Zeitskala
4.2 Das Verhalten des ANTS 91
Abbildung 49: Die stationäre Verteilungsdichte
eines Datensatzes aus drei Clustern. Dem
zeitlichen Verhalten des Datensatzes liegt ein
Markov-Prozess mit drei möglichen Zuständen
γ ∈ {a, b, c} zugrunde. Die Übergangswahrscheinlichkeiten
P(γ|γ) sind so eingestellt,
dass a und b jeweils eine Lebensdauer von 10
haben, während diejenige von c mit TS,c =
1000 wesentlich länger ist. Eingezeichnet ist
auch die Schwelle αǫA, mit α=0.5, die in Abb.
50 für die Datenselektion verwendet wird.
Aus diesem Grund möchte ich einen indirekten Beweis der unterschiedlichen Zeitskalenkompression
präsentieren. Dazu ist notwendig, den nächstkomplizierteren Datengenerator
zu verwenden. Er besteht aus drei Datenclustern, die alle dieselbe Form und
dasselbe statistische Gewicht haben. Seine stationäre Verteilungsdichte ist in Abb. 49
dargestellt, man sieht, dass sie bezüglich ihres Schwerpunktes 0 völlig symmetrisch
ist. Der Datengenerator ist ein Markovprozess, der zwischen den drei Zuständen a,
b und c schaltet. Die Lebensdauern der drei Zustände sind, obwohl sie gleiches statistisches
Gewicht haben, sehr unterschiedlich. Die beiden Zustände links leben nur
kurz, TS,a=TS,b=10, während c sehr langlebig ist, TS,c=1000. Die Datenfolge springt
also oft zwischen a und b hin- und her, wo sie jeweils nur kurz verharrt. Dieses Verhalten
bleibt während erwarteten 2000 Zeitschritten gleich, danach schaltet es in den
Zustand c, wo es erwartete 1000 Zeitschritte lang bleibt. Insgesamt kommt also jeder
der Cluster, wie auch in Abb. 49 deutlich, gleich oft vor.
Abbildung 50 vergleicht die verschiedenen bisher besprochenen Lernverfahren auf dieser
Datenfolge. In Abb. 50a wurde die optimale Codebuchentwicklung aus einem dynamisch
vollständig entkoppelten Training bestimmt. Auffällig ist hier, dass das Codebuch
zunächst in zwei Stücke mit jeweils drei Neuronen zerbricht, und erst bei etwa
σ/σS ≈0.58 die eigentlich dreiteilige Struktur der Datenverteilung entdeckt. Trotz allem
bleibt die Aufspaltung vollkommen symmetrisch, sieht man von kleinen Artefakten
bei den nachgeordneten Phasenübergängen ab.
In (b) wurde der Datensatz mit beweglicherem Codebuch gelernt (ε = 0.02), weshalb
der Phasenübergang aus dem dynamisch gekoppelten Bereich heraus stattfindet. Da in
den Daten mindestens zwei sehr verschiedene Zeitskalen enthalten sind, kommt es zu
unterschiedlich starker Kopplung an die zugehörige Systemdynamik. Dadurch bildet
der Lerner zunächst ein lokales Modell für den kurzlebigen Datencluster a (2 Neuronen)
und ein weiteres für eine Kombination aus b und c (4 Neuronen). Aufgrund ihrer zeitlichen
Struktur können diese beiden, die sehr unterschiedliche Lebensdauern haben, bei
σ/σS ≈0.65 noch nicht unterschieden werden. Die Lerndynamik bleibt, da c eine sehr
lange Lebensdauer hat, an das Schaltverhalten des Systems gekoppelt. Erst bei kleineren
Varianzen, etwa bei σ/σS ≈0.5 findet auch hier der Phasenübergang statt. Da alle
räumliche Information in den Daten vollständig symmetrisch ist, muss die Unsymme-