Diplomarbeit von Michael Schindler

80 4. Neuigkeitsorientiertes Lernen
4.1.2 Ein Algorithmus für die Entkopplung von Lern- und Systemdynamik
Der ANTS, als selbstreferentiell filternder univar-Algorithmus, lautet nun folgendermaßen:
(TS-1) Initialisiere die Netzwerkparameter wie in (MV-1)
(TS-2) Ziehe den nächsten Punkt xt aus dem Datensatz X. Berechne die Gesamtaktivität
A � xt, θ(t) � als Mischung von gleich gewichteten univariaten
�
Normalverteilungen
identischer Varianz σ, sowie die Zuständigkeiten ar xt, θ(t) � durch
globale Normierung nach Gleichung (1-10).
(TS-3) Bestimme die Relevanz des Punktes x,
f � xt, θ(t) � = Θ(ǫA − A(xt)) ∈ {0, 1} (4-6)
und passe die Neuigkeitsschwelle an,
�
η α falls f(xt) = 0,
ln ǫA(t+1) = ln ǫA(t) +
η (α − 1) sonst.
(4-7)
(TS-4) Berechne die neue Schätzung mit der Zentren-Lernregel
cr(t+1) = cr(t) + εf � xt, θ(t) � �
ar xt, θ(t) � � xt − cr(t) � , (4-8)
(TS-5) Setze die Lernparameter ε und σ auf neue Werte, und zwar nach vorgegebenen
Annealing-Schemata ε(t) und σ(t)
(TS-6) Zähle die diskrete Zeit t weiter und gehe zu (TS-2).
Der Algorithmus ist so gemacht, dass die Lernparameter nur im Fall eines relevanten
Datenpunktes abgekühlt werden. Implizit führt man also eine subjektive Zeit tL des
Lerners ein, die nur dann weitergezählt wird, wenn gelernt wird. In seiner eigenen
Zeit verhält sich der Algorithmus also wie im univar-Modus. Wegen f ∈ {0, 1} ist die
subjektive Zeit hier
t�
tL(t) = f(t ′ ). (4-9)
t ′ =0
In dieser Zeit erscheinen langlebige Datencluster nun von kürzerer Dauer, und man
erhält, vom Standpunkt des Lerners aus gesehen, neue, verkürzte Systemzeitskalen.
Diese Veränderung des zeitlichen Systemverhaltens ist Ziel und Grund für die Einführung
des Faktors f in die Lernregel.
In der Formulierung des ANTS in (TS-1) bis (TS-6) wurde durchgängig die Notation der
Aktivitäten A und ar verwendet, und nicht, wie im multivar-Algorithmus, diejenigen
der geschätzten Wahrscheinlichkeiten ˆp und ˆ P(r|·). Dies hat den Grund, dass die
Gesamtaktivität A hier kein Modell für die Verteilungsdichte p mehr ist, sondern andere
Approximationseigenschaften hat, wie im folgenden Abschnitt gezeigt wird.