Diplomarbeit von Michael Schindler

Appendix C
Ergebnisse der Variationsrechnung
In diesem Anhang wird eine der zentralen Eigenschaften des ANTS-Algorithmus begründet,
nämlich dass er den unteren Stumpf einer Verteilungsdichte p approximiert.
Die dafür verwendete Methode ist die Variationsrechnung. Da sich dieser Kalkül aber
nicht auf beliebige Funktionen p anwenden lässt, gelten die im folgenden gemachten
Aussagen nicht in aller mathematischer Strenge, sondern sind als Heuristiken zu verstehen,
die in vielen Fällen unter Verwendung von ausreichend gutartigen Funktionenklassen
richtig sind.
Zunächst möchte ich an einem einfachen Beispiel demonstrieren, wie die Verwendung
des Variationskalküls viele ansonsten schwer zu beweisende Aussagen vereinfacht. Anschließend
soll das stationäre Verhalten des ANTS-Algorithmus untersucht und die
Behauptung (4-14) gezeigt werden.
C.1 Warum eine ML-Schätzung die Verteilungsdichte
approximiert
In Abschnitt 1.1 wurde klar, dass der stationäre Zustand des multivar-Algorithmus, der
durch die Gleichungen (1-13) bis (1-15) charakterisiert ist, eine Maximum-likelihood-
Dichteschätzung darstellt. Anhand der Erklärung des ML-Prinzips auf den Seiten 15f
wurde klar, dass es sich bei ˆp tatsächlich um ein Modell der Verteilungsdichte p handelt,
die dem Datensatz zugrundeliegt. Diese Frage, ob p und ˆp im Idealfall eines
vollständigen Datensatzes und einer beliebig guten Approximationsfähigkeit durch ˆp
gleich werden können, wurde von Dersch (1995) beantwortet, der die mögliche Gleichheit
von p und ˆp feststellte. Als Bedingung nannte er, dass die Breiten der verwendeten
Normalverteilungen von der gleichen Größenordnung sein sollen wie ihre Abstände. Mit
dem ML-Prinzip ist diese Bedingung noch genauer gefasst worden.
In diesem Abschnitt möchte ich nun mit einer formalen Methode das Ergebnis ˆp = p
für beliebig genaue Approximierbarkeit durch ˆp (d.h. beliebig viele Neuronen) erneut
ableiten. Dazu betrachtet man die Log-Likelihood aus (1-7) und erweitert sie zu dem