Klassifikation von Mustern

336 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Dafür steht eine Stichprobe zur Verfügung, deren Beobachtungen durch additives, weisses, normalverteiltes
Rauschen nϱ beeinflusst sind. Die Beobachtungen sind also
yϱ = a T ϕ( ϱ f) + nϱ , ϱ = 1, . . . , N , (4.2.43)
wobei die nϱ als statistisch unabhängig mit Streuung σ vorausgesetzt werden. Die Verteilung
der Stichprobe von Beobachtungen ist dann normalverteilt mit
p(y|a) = N (y|Ha, σ 2 I) . (4.2.44)
Die Matrix H enthält die Beobachtungen in ihren mit hij = ϕj( i f) definierten Elementen. Um
einen MAP–Schätzwert zu berechnen, braucht man, wie oben erwähnt, eine a priori Verteilung
für die zu schätzenden Parameter. Je nach Annahme über diese a priori Verteilung ergeben sich
unterschiedliche Schätzwerte.
Eine mögliche und übliche Annahme besteht darin, für den Parametervektor a eine Normalverteilung
mit Mittelwert Null und Kovarianzmatrix A vorzugeben, d. h. p(a) = N (a|0, A).
Es ist bekannt, dass die a posteriori Verteilung p(a|y) (s. (4.2.39)) wieder eine Normalverteilung
ist mit dem Mittelwert, der auch der MAP–Schätzwert ist,
a = σ 2 A −1 + H T H −1 H T y . (4.2.45)
Man sieht, dass dieser Schätzwert für a nicht sparsam ist. Wenn A die Form A =
βI , β → ∞, hat, geht der MAP–Schätzwert in den mittleren quadratischen Schätzwert
a = H T H −1 H T y über.
Ein sparsamer Schätzwert ergibt sich, wenn man statt der GAUSS- eine LAPLACE-
Verteilung
p(a) =
n
ν=1
α
2 exp[−α|aν|] =
α
n exp[−α||a||1] (4.2.46)
2
für die a priori Verteilung des Schätzwertes vorgibt. Dabei wird mit ||a|| r
r = ν |aν| r die Lr Norm bezeichnet. In diesem Fall ist der Schätzwert nicht mehr linear in den Beobachtungen y
wie in (4.2.45), sondern gegeben durch
a = argmin
a
2
||Ha − y|| 2 + 2ασ 2
||a||1 . (4.2.47)
Dieses wird auch als LASSO–Schätzwert (“least absolute shrinkage and selection operator”)
bezeichnet. Die Sparsamkeit des Schätzwertes resultiert daraus, dass die L 1 Norm rascher
wächst als die L 2 Norm, wenn mehr Vektorkomponenten von Null verschieden sind. Zum Beispiel
ist ||(1, 0) T ||2 = ||(1/ √ 2, 1/ √ 2) T || = 1, jedoch ||(1, 0) T ||1 = 1 < ||(1/ √ 2, 1/ √ 2) T ||1 =
√ 2. Besonders klar wird die Sparsamkeit der Schätzwerte, wenn man eine orthogonale Beob-
achtungsmatrix H annimmt. In diesem Falle erhält man die geschlossene Lösung
aν =
2
argmin aν − 2aν(H
aν
T y)ν + 2ασ 2 |aν|
=
T
sign (H y)ν q : q > 0
0 : q ≤ 0
q = |(H T y)ν| − ασ 2 ,
(4.2.48)
wobei (H T y)ν die ν–te Komponente des Vektors H T y und sign die Vorzeichenfunktion ist.