Diplomarbeit von Michael Schindler

84 4. Neuigkeitsorientiertes Lernen
mit der Verteilungsdichte p c zur Verfügung stünde. Da der Algorithmus jedoch keine
Daten mit der Verteilungsdichte p c sieht, sondern nur solche mit p oder ˜p, muss man
ein alternatives Kriterium für die optimale Breite σopt der Mischungskomponenten
finden, welches dem ML-Kriterium mit einer zugrundegelegten Verteilungsdichte p c
äquivalent ist. Die Berechnungen und Abb. 54 am Ende von Appendix C.2 geben einen
Hinweis darauf, dass im Idealfall – also wieder unter der Voraussetzung beliebig guter
Approximationsfähigkeit durch die endliche Mischung A – kein Unterschied zwischen
der Verteilungsdichte p c und ˜p besteht, solange sie nicht als eigenständige ” Funktionen“
aufgefasst, sondern nur als Maß verwendet werden, bezüglich dessen in (4-12) integriert
wird. Es liegt also nahe, zur Bestimmung von σopt das Funktional
�
M
˜p ln A ≈ 〈f ln A〉 X
(4-15)
unter Variation von σ zu maximieren. Es ist das Log-likelihood-Maß für die Übereinstimmung
von A und ˜p; und da A immer glatter, je besser die Approximation wird,
während ˜p immer schmalere Spitzen bekommt und der Verteilungsdichte p c immer
ähnlicher wird (Abb. 42 und 54), auch ein Maß für die Übereinstimmung von A und
p c . Von allen Größen, die dem Algorithmus zur Verfügung stehen, ist ˜p dem Stumpf
p c also am ähnlichsten.
Dies ist in numerischen Simulationen auf dem Datensatz aus Abb. 42 auch durch den
Vergleich verschiedener anders lautender Funktionale deutlich geworden. Da ihre Ergebnisse
wesentlich schlechter waren als diejenigen unter Verwendung von (4-15), werde
ich sie hier nicht anführen. Ein Annealingprozess, bei dem das Funktional (4-15)
beobachtet wurde, ist in Abbildung 43 zu sehen. Es wurde langsam abgekühlt und
� f(x) lnA(x) � gleitend gemittelt. Der so bestimmte optimale Wert σopt liefert eine
gute Approximation des α-Stumpfes von p.
Teilweise Rekonstruktion der Verteilungsdichte p
Dadurch, dass im ANTS nur der α-Stumpf approximiert wird, ist dennoch nicht alle
Information über die ursprüngliche Verteilung verloren gegangen. Die mittlere Aktivierung
eines Neurons, seine Load 〈ar〉, wird im Algorithmus durch gleitende Mittelung
berechnet. Wenn hierzu nun alle Datenpunkte, nicht nur diejenigen mit f = 1
verwendet werden, kann in einer zusätzlich mit der Load gewichteten Mischung aus
Normalverteilungen,
A l := � Pr 〈ar〉
(2πσ2 � 2 |x − cr|
exp −
) d/2 2σ2 �
r
(4-16)
wieder die Struktur von p erkannt werden. Diese rekonstruierte Verteilungsdichte ist
für das Beispiel oben in Abbildung 44 dargestellt. Natürlich erhält man bei dieser
Methode fast nie eine so gute Approximation von p wie bei einem univar-Training,
schließlich ist sie nicht das Optimierungsziel.