Optimierte lokale Modelle in der nichtlinearen Zeitreihenanalyse

Kapitel 2. Lokale Modelle Seite 29
gegebenem x lässt sich dann schreiben als
E [ (y − f(x)) 2 | x ] = E [ ((y − E [y | x]) + (E [y | x] − f(x))) 2 |x ]
= E [ (y − E[y | x]) 2] + (E [y | x] − f(x)) 2
+ 2E [(y − E [y | x])| x] · (E [y | x] − f(x)) 2
= E [ (y − E[y | x]) 2] + (E [y | x] − f(x)) 2
+ 2 (E [y | x] − E [y | x]) · (E [y | x] − f(x)) 2
= E [ (y − E [y | x]) 2 | x ] + (E [y | x] − f(x)) 2
≥ E [ (y − E[y | x]) 2 | x ] ,
(2.7)
d.h. die Regression E [y | x] ist die beste Schätzung des Ausgabewertes y bei gegebenem
x in dem Sinne, dass sie den mittleren quadratischen Fehler minimiert.
Ziel der Modellierung muss es also sein, dass die Funktion f(x) möglichst gut die
Regression approximiert. Doch selbst wenn man erreicht, dass f(x) = E [y | x] ist,
heißt das nicht, dass jeder Datensatz des Systems perfekt beschrieben werden kann,
da evtl. stochastische Einflüsse vorliegen, die aufgrund ihrer Unkorelliertheit nicht
modelliert werden können.
Um dies zu verdeutlichen, betrachtet man zunächst die Funktion f(x) zur Schätzung
der Regression an einer konkreten Realisierung Ω = {(x 1 , y 1 ), . . . , (x n , y n )} des Systems;
dies soll im Folgenden durch die Notation f(x; Ω) dargestellt werden. Es wird
nun der Erwartungswert des quadratischen Fehlers für diese Realisierung Ω betrachtet.
Dieser lässt sich wie bei (2.7) in zwei Terme aufspalten:
E [(y − f(x; Ω)) 2 | x, Ω] = E [(y − E [y | x]) 2 | x, Ω] + (f(x; Ω) − E [y | x]) 2
} {{ } } {{ }
Varianz y Modellierungsfehler
. (2.8)
Der Term E [(y − E [y | x]) 2 | x, Ω] ist die Varianz von y bei gegebenem x und ist
unabhängig von der Realisierung Ω und ebenso von der Funktion f(x). Als Beispiel
denke man sich eine Zeitreihe, die jedoch durch um Null verteiltes weißes Rauschen
mit Varianz σ 2 gestört wird:
˜s t = s t + ε t , ε ∼ WN(0, σ 2 ) . (2.9)
Die Varianz in (2.8) entspricht hierbei genau der Varianz des weißen Rauschens. Sie
stellt somit eine untere Schranke für den Erwartungswert des quadratischen Fehlers
dar, auch wenn es natürlich trotzdem möglich ist, bei einem konkreten Datensatz