Diplomarbeit von Michael Schindler

10 Einleitung
Dauer. Die akustischen Wellen, die im Ohr des Zuhörers ankommen, verändern sich
eine Weile lang nicht, sie sind derart zeitlich korreliert, dass sie zusammen als Ton
gehört werden. Zwischen den einzelnen Tönen des Stückes gibt es natürlich ebenfalls
Korrelationen, die durch die Partitur vorgegeben sind. Das ganze Stück ist also voll
von zeitlichen Korrelationen. Insgesamt sind alle Beobachtungen, die ein Lebewesen in
seiner Umwelt macht, zeitlich korreliert. On-line erfahrene – d.h. sequentielle zeitkorrelierte
– Reize bilden also die ursprüngliche und natürliche Umwelt von biologischen
lernenden Systemen. Neuronale Netze, die ja als Modelle für biologische Reizverarbeitung
gedacht sind, sollten in der gleichen Weise on-line lernen können.
Ein Mensch, der sich ein Klavierkonzert von Bach anhört, mag in der Lage sein, sich
die Tonfolgen zu merken. Je länger er hinhört, umso mehr lernt er. Auch wenn es sich
um die Brandenburgischen Konzerte handelt, die schier endlos sind, muss er trotzdem
nichts von dem vergessen, was ihm vorher bekannt war. Er vermag zu lernen, ohne
dabei alles andere zu vergessen.
Das einfachste ANN kann das nicht, wie im letzten Abschnitt vorgeführt wurde. Es
befindet sich im dauernden Widerstreit zwischen Lernen und Vergessen. Je mehr Neues
es lernt, umso mehr Altes muss es vergessen, und zeitliche Korrelationen im Datenstrom
können dazu führen, dass es alles bis auf den aktuellen Systemzustand vergisst. Es
würde also ein ” Experte für die Brandenburgischen Konzerte,“ könnte sich aber sonst
an nichts erinnern. Der Gradientenabstieg in Abb. 4 befindet sich in einem ähnlichen
Dilemma. Geometrisch gesprochen, können zeitliche Korrelationen im Datenstrom
dazu führen, dass sich die sequentielle Trajektorie weit von der optimalen glatten batch-
Kurve entfernt. Wenn sie sich so weit entfernt, dass sie schließlich in ein anderes
Minimum der Fehlerfunktion E(W) läuft, muss man das Lernverfahren als gescheitert
betrachten. Besonders bei nichtlinearen Lernverfahren, bei denen sich E(W) stark
mit dem Parameter W verändert, kann eine solche Situation leicht auftreten. Das
Lernverfahren wird somit instabil. Dies ist das Problem des on-line Lernens, dem
jedes bekannte adaptive Neuronale Netzwerk bei sequentieller Parameteranpassung
ausgesetzt ist, denn es ist eine direkte Folge von gleitender Mittelwertsbildung. Für
dieses Problem hat die Neuroinformatik bislang keine Lösung gefunden.
Aufgabe der vorliegenden Arbeit ist die Behebung dieses Problems, soweit sie in einer
Diplomarbeit durchführbar ist. Zuerst wird das on-line Lernproblem ausführlich
formuliert, anschließend wird ein Ansatz zu seiner Lösung vorgeschlagen.
Alle Untersuchungen werden dabei an einem sehr vielseitigen adaptiven Neuronalen
Netz und dem dazugehörigen Lernverfahren, dem multivar-Algorithmus, durchgeführt.
Dieser Algorithmus wurde von Kloppenburg & Tavan (1997) entwickelt und
von Albrecht et al. (2000) ausführlich diskutiert. Das zugehörige ANN besitzt eine
durchgängige mathematisch/statistische Interpretation, die es als selbstorganisierten
Maximum-likelihood-Approximator für die Verteilungsdichte des präsentierten Datensatzes
ausweist. Die Dichteschätzung beruht auf lokaler räumlicher Mittelwertsbildung.
Der Algorithmus kann, wie wir sehen werden, ebenfalls als Clusteringalgorithmus aufgefasst
werden, wenn man die Dichteschätzung auf unterschiedlichen räumlichen Skalen
durchführt. Dabei bekommt man einen hierarchischen Aufspaltungsprozess von Netz-