Klassifikation von Mustern

3.2. ORTHOGONALE REIHENENTWICKLUNG (VA.1.2.2, 07.02.2004) 167
.
1
2
1
. .
2
Bild 3.2.1: Zum Beweis von Satz 3.1 mit dem Orthogonalitätsprinzip
2 1 1
1
1
Satz 3.1 Der mittlere quadratische Fehler
ε = (f − f) T (f − f) (3.2.4)
der Approximation von f durch f gemäß (3.2.3) wird minimiert, wenn man den Vektor c
gemäß (3.2.2) wählt. Für n = M ist ε = 0, und es gilt
f =
M
cνϕν =
ν=1
M
〈f, ϕν〉ϕν . (3.2.5)
ν=1
Beweis: Man findet einen Beweis dieses Satzes z. B. in [Albert, 1972]. Er lässt sich unmittelbar
anschaulich führen, wenn man nur einen Vektor ϕ 1 wie in Bild 3.2.1 betrachtet. Die
Forderung nach Minimierung von (3.2.4) besagt dann, dass der Abstand zwischen f und c1ϕ 1
minimal sein soll. Das ist dann der Fall, wenn der Vektor
a = f − c1ϕ 1
senkrecht auf ϕ 1 steht, also wenn
ϕ T 1 (f − c1ϕ 1) = 0
ist. Verallgemeinert lässt sich sagen, dass mit n < M Vektoren ϕ ν, ν = 1, . . . , n der Fehler
dann am kleinsten ist, wenn a senkrecht auf dem durch die ϕ ν aufgespannten Raum steht, d. h.
es gilt das Orthogonalitätsprinzip
Φ(f − Φ T c) = 0 ,
ΦΦ T c = Φf ,
c = Φf .
Die letzte Gleichung folgt aus der Orthonormalität der Basisvektoren, da dann ΦΦ T die n × n
Einheitsmatrix ergibt. Der letzte Teil von Satz 3.1 enthält nur die bekannte Aussage, dass sich
ein Vektor f ∈ R M nach einer Orthonormalbasis entwickeln lässt. Damit ist Satz 3.1 bewiesen.
Die obigen Beziehungen wurden diskret, d. h. für Vektoren, formuliert. Analoge Beziehungen
gelten für die Entwicklung von Funktionen f(t) bzw. f(x) nach einem orthonormalen