Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 3. Lokal polynomiale Modellierung Seite 67
3.10 Suche nach nächsten Nachbarn
Ein großer Vorteil lokaler Modelle ist ihre Effizienz. Sie rührt natürlich daher, dass
das eigentliche Modell nur anhand sehr weniger Trainingspunkte, eben den nächsten
Nachbarn, berechnet werden muss. Aber bei dieser Argumentation lässt man den
eigentlich wichtigsten Punkt in Bezug auf die Laufzeitbetrachtung unter den Tisch
fallen: wie findet man möglichst schnell die nächsten Nachbarn eines Punktes
Das Problem ist folgendermaßen definiert: Gegeben sei eine Menge von Punkten
M = {x 1 , . . . , x n } mit x i ∈ R d , ∀i, eine Metrik ‖ · ‖ sowie ein Anfragepunkt q ∈ R d .
Gesucht sind die k Punkte aus M, die bezüglich der gegebenen Metrik die geringste
Distanz zum Anfragepunkt q haben.
Die Suche nach nächsten Nachbarn ist mittlerweile Kern zahlreicher Algorithmen,
insb. in Gebieten wie Data Mining, Mustererkennung, Klassifikation, Machine Learning,
Datenkompression und Statistik [21]. Es ist ein sehr komplexes Problem und
es gibt nicht den besten Algorithmus zur Suche nach nächsten Nachbarn; vielmehr
hängt es vom Anwendungsfall ab, welcher Algorithmus am schnellsten arbeitet. Hierbei
sind mehrere Parameter entscheidend, insb. die Dimension d des Raumes, die
Anzahl n der Punkte und ihre Verteilung im Raum, sowie die verwendete Metrik
und die Verteilung der Anfragepunkte q i .
Jeder Algorithmus zur Suche nach nächsten Nachbarn muss sich zunächst mit dem
sog. Brute-Force Ansatz messen. Hierbei werden einfach alle Distanzen zwischen
Anfragepunkt und den restlichen Punkten des Datensatzes berechnet und die k
Punkte mit den geringsten Distanzen zurückgegeben. Dieses Verfahren benötigt keinerlei
Präprozessing und bis auf die Punkte selbst keinen zusätzlichen Speicherplatz,
hat jedoch eine Laufzeit von O(nd) für alle L p -Distanzen. Bei Verwendung solcher
L p -Distanzen ist bei höherdimensionalen Problemen eine Beschleunigung durch Verwendung
des sog. Partial Distance Search (PDS) möglich, wo die Berechnung der
Distanz abgebrochen wird, sobald diese größer wird als die des bislang gefundenen
letzten nächsten Nachbarn. Durch PDS kann natürlich jeder Algorithmus zur Suche
nächster Nachbarn beschleunigt werden, der L p -Distanzen verwendet.
Die meisten effizienten Algorithmen zur Suche nach nächsten Nachbarn basieren auf
einer hierarchischen Zerlegung der Punktmenge, die meist in einem Suchbaum als
Datenstruktur gespeichert wird. Diese Zerlegung wird in einem Präprozessing durchgeführt;
die Suche selbst findet dann auf diesem Suchbaum statt. Es gibt zahlreiche
Methoden zur Zerlegung der Punktmenge und zur Bildung einer geeignete Datenstruktur.
Im folgenden sollen zunächst Algorithmen auf Basis von k-d-Bäumen vorgestellt
werden, da sie zu den ältesten und populärsten Methoden gehören und viele
andere Algorithmen zur Suche nächster Nachbarn diesen im Prinzip ähneln. Daran
anschließend wird der ATRIA-Algorithmus vorgestellt, der in dem Programmpaket
TSTOOL [15] integriert ist und der auch für diese Arbeit verwendet wurde.