Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Seite 30
2.3. Bias, Varianz und Overfitting
durch Interpolation der Daten den Fehler auf Null zu bringen. Eine solches Modell
würde jedoch für andere Datensätze schlechtere Ergebnisse bringen als die Regression
E [y | x], da hierbei neben den eigentlichen Strukturen auch Rauschen modelliert
wird. Man bezeichnet dies als ein Overfitting des Modells an den gegebenen Datensatz.
Dieser Effekt soll nun näher erläutert werden.
Der Bias/Varianz-Kompromiss
Da die Varianz aus (2.8) unabhängig von der Funktion f(x) ist, muss für die Optimierung
eines Modells der zweite Term (f(x; Ω) − E [y | x]) 2 betrachtet werden,
der den eigentlichen Modellierungsfehler darstellt. Im Idealfall ist dieser Null und
somit f(x) identisch mit der Regression E [y | x]. Es ist jedoch nicht ausreichend,
dies für eine konkrete Realisierung Ω zu erreichen, vielmehr muss dies im Mittel
über alle möglichen Realisierungen erfüllt sein; dies entspricht der Forderung, dass
das Modell die Fähigkeit zur Generalisierung besitzen muss. Man bildet daher den
Erwartungswert dieses Terms über alle möglichen Realisierungen und zerlegt diesen
wie in (2.7). Dann ergibt sich
E Ω [(f(x; Ω) − E [y | x]) 2 ]
= E Ω
[
((f(x; Ω) − EΩ [f(x; Ω)]) + (E Ω [f(x; Ω)] − E [y | x])) 2]
= E Ω
[
(f(x; Ω) − EΩ [f(x; Ω)]) 2] + E Ω
[
(EΩ [f(x; Ω)] − E [y | x]) 2]
+ 2E Ω [(f(x; Ω) − E Ω [f(x; Ω)]) · (E Ω [f(x; Ω)] − E [y | x])]
= E Ω
[
(f(x; Ω) − EΩ [f(x; Ω)]) 2] + (E Ω [f(x; Ω)] − E [y | x]) 2
+ 2E Ω [f(x; Ω) − E Ω [f(x; Ω)]] · (E Ω [f(x; Ω)] − E [y | x])
= (E Ω [f(x; Ω)] − E [y | x]) 2 [
+ E
} {{ } Ω (f(x; Ω) − EΩ [f(x; Ω)]) 2] .
} {{ }
Bias 2 Varianz f
(2.10)
Der Bias beschreibt den Erwartungswert der Abweichung der Funktion f(x) von
der Regression über alle möglichen Realisierungen. Eine Funktion mit hohem Bias
liefert somit für jede Realisierung ein ähnliches Ergebnis, das jedoch im Mittel stark
von der Regression abweicht. Man spricht hierbei von einem Underfitting, da das
Modell nicht flexibel genug ist. Ein Funktion mit niedrigem Bias hingegen liegt im
Mittel über alle Realisierungen nahe bei der Regression. Im Extremfall verschwindet
der Bias, d.h. es gilt E Ω [f(x; Ω)] = E [y | x]. Dies heißt jedoch nicht, dass dann auch
der Modellierungsfehler besonders klein wird. Dies liegt daran, dass selbst wenn der
Bias Null ist daraus nicht folgt, dass auch f(x; Ω) für eine gegebene Realisierung ein
guter Schätzer für die Regression E [y | x] ist. Eine Funktion ohne oder mit niedrigem
Bias kann für verschiedene Realisierungen ganz unterschiedliche Ausgaben liefern,