Diplomarbeit von Michael Schindler

46 2. On-line Lernen mit univar
Außer den Markov-artig schaltenden Datengeneratoren werden auch deterministisch
schaltende verwendet. Bei ihnen sind erwartete und tatsächliche Lebensdauern gleich,
ihre Zeitskalen TS sind vorgegeben. Auch die deterministisch schaltenden Systeme
werden hier sowohl mit verrauschten als auch mit unverrauschten Zuständen verwendet.
Für randomisierte Datenströme lässt sich formal ebenfalls eine Lebensdauer von Zuständen
angeben. Ein randomisierter Datenstrom wie in Abb. 6a kann so erzeugt
werden, dass man einen stochastischen Prozess mit zwei Zuständen zugrundelegt, die
ohne Beachtung des jeweils letzten Zustandes zufällig angenommen werden. Dieser
Prozess ist der triviale Fall eines Markov-Systems, denn aus den Übergangswahrscheinlichkeiten
P(α|α) werden einfache statistische Gewichte P(α) der Zustände. Nach
Gleichung (2-11) ist in diesem Fall
TS,«=
1
. (2-13)
1 − P(α)
In Abb. 6a haben beide Zustände gleiches statistisches Gewicht, dort gilt also TS =2.
Jeder randomisierende Datengenerator mit K gleich gewichteten Zuständen hat nur
eine einzige Zeitskala, nämlich
TS =
1
1 − 1/K
K
= . (2-14)
K − 1
Da der triviale Fall K =1 außer acht gelassen werden darf, gilt im randomisierten Fall
immer TS ≤2. Mit anderen Worten, die Systemdynamik ist immer so schnell, das die
Lerndynamik nicht ankoppeln kann.
Auch bei nicht-Markov’schen Systemen gibt es Korrelationszeiten und mittlere Lebensdauern.
Aus Gründen der Anschaulichkeit werde ich mich jedoch auf einfache Systeme
beschränken.
2.1.3 Phasenübergänge durch σ-Annealing
Die Phasenübergänge des Codebuchs, die in Abschnitt 1.1.2 anhand von Abb. 11 und 12
beschrieben wurden, sind Reaktionen des lernenden MVNN auf die Ausdehnungen der
räumlichen Strukturen im Datensatz. Annealing- und der daraus resultierende Aufspaltungsprozess
können so verstanden werden, dass der Datensatz auf verschiedenen
Raumskalen σ ” betrachtet“ (lokal gemittelt) wird, und dass jeweils diejenigen Strukturen
neu ” erkannt“ werden, deren Ausdehnung in der Größenordnung von σ liegt. Da σ
deterministisch verkleinert wird, werden die kleineren Raumskalen nach den größeren
entdeckt. In der Sequenz der Aufspaltungen wird dadurch eine Hierarchie von Modellen
mit zunehmend feinerer Auflösung erzeugt. Für den ersten Phasenübergang
müssen, wie schon mit Gleichung (1-50) von Rose, Gurewitz & Fox (1990) bewiesen,
die größte Varianz des Systems, die als globales Moment berechnet wird, und der Parameter
σ 2 des Lerners gleich sein. Die Gleichheit von räumlichen Skalen in System und
Lerner (als solche möchte ich die beiden Varianzen hier verstehen) führt zum ersten
Phasenübergang. Anschließend findet, wie auf den Seiten 18ff erklärt, eine Berechnung