Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 28
2.3. Bias, Varianz und Overfitting
25
25
20
d=10
20
d=3
15
15
d=5
10
d=30
10
d=10
d=50
d=100
d=200
d=300
5
d=50
5
d=100
0
0 0.5 1 1.5 2 2.5
Distanz
(a) Delay-Vektoren von Lorenz-Datensatz
0
0 1 2 3 4 5 6 7 8
Distanz
(b) Gleichverteilte Punkte
Abbildung 2.2: Histogramm der mittleren Distanzen der 100 nächsten Nachbarn für
Lorenz-Daten (a) und gleichverteilte Datenpunkte (b) für unterschiedliche Dimensionen
d.
Es ist jedoch im wesentlichen die Dimension der Punktmenge, die entscheidend ist.
Dies zeigt sich beispielsweise auch bei der Laufzeit effizienter Algorithmen zur Suche
nach nächsten Nachbarn (siehe Abschnitt 3.10): auch diese hängen wesentlich von
der Dimension der Punktmenge ab.
2.3 Bias, Varianz und Overfitting
Im Abschnitt 2.1 wurde die Betrachtung des Modellierungsproblems als Schätzung
einer Regression E [y | x] vorgestellt. In diesem Abschnitt soll dies nochmals vertieft
werden, um prinzipielle Grenzen der Modellierung aufzuzeigen, die sowohl für den
parametrischen wie den nichtparametrischen Ansatz gelten.
Im Folgenden wird eine beliebige Funktion f(x) betrachtet, die die Ausgabe y für
den Eingabevektor x modelliert. Der Erwartungswert des quadratischen Fehlers bei