Diplomarbeit von Michael Schindler

Kapitel 2
On-line Lernen mit univar
In der Einleitung wurde anhand des einfachen ANN aus Abb. 6 und seiner Lernregel (15)
der Widerstreit zwischen Lernen und Vergessen aufgezeigt, der für alle sequentiellen
stochastischen Lernalgorithmen der Neuroinformatik charakteristisch ist, sobald zeitlich
korrelierte Daten aus on-line Beobachtungen gelernt werden. Anhand von Abb. 6b
wurde das Problem der Kopplung von Lern- und Systemdynamik erklärt.
Es soll nun untersucht werden, welche Probleme tatsächlich bei dem Versuch auftreten,
die Verteilungsdichte einer on-line Datensequenz mit dem im letzten Kapitel
eingeführten MVNN zu approximieren. Wie bereits anhand von Abb. 13 begründet
wurde, ist die erste Phase der multivariaten Dichteschätzung, die univar-Phase, für
die dynamischen Aspekte des Lernens weit anfälliger als die zweite. Hier und in den
restlichen Kapiteln der Arbeit wird deshalb von dem univariaten Fall des Dichtemodells
(1-3) ausgegangen, bei dem alle Komponenten identische Varianzen und Gewichte
haben,
Σr = σ 2 I und Pr = 1/M ∀r ∈ {1, . . ., M}. (2-1)
Da die wesentliche Eigenschaft des univar-Algorithmus das hierarchische Clustering
ist, das durch den Aufspaltungsprozess des Codebuchs während des σ-Annealings erzeugt
wird, muss das Problem des on-line Lernens anhand der Phasenübergänge demonstriert
werden. Wie der erste Abschnitt qualitativ zeigen wird, kann auch hier eine
starke Kopplung der Lern- and die Systemdynamik auftreten und die Phasenübergänge
beeinflussen. Im zweiten Abschnitt werden die Effekte dieser Kopplung anhand eines
stark vereinfachten prototypischen Modells quantitativ analysiert.
Da der Begriff des on-line Lernens in der Neuroinformatik nicht durchgängig mit derselben
Bedeutung verwendet wird, 1 möchte ich noch einmal kurz definieren, was in
dieser Arbeit unter einem on-line lernenden ANN verstanden wird:
Alle Datenpunkte werden in ihrer natürlichen Reihenfolge nacheinander (sequentiell)
präsentiert, wodurch zeitliche Korrelationen im Datenstrom erhalten bleiben.
1 Die meisten Autoren verwenden on-line synonym zu sequentiell. In den wenigen Arbeiten, die sich
mit zeitlich korrelierten Daten beschäftigen, ist deshalb von natürlichem on-line Lernen im Gegensatz
zum randomisierten Lernen (Heskes & Wiegerinck, 1998) oder von veränderlichen Umgebungen
(Heskes & Kappen, 1993) die Rede. Ich werde bei der einfachen Unterscheidung zwischen sequentiell
und on-line bleiben.