Klassifikation von Mustern

340 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
{ ϱ cκ|ϱ = 1, . . . , Nκ} sowie zur Abkürzung eine Stichprobe ω ′ κ = { ϱ cκ|ϱ = 1, . . . , Nκ − 1}.
Aus (4.2.58) ergibt sich dann
p(aκ|ωκ) =
=
=
=
p(aκ)p(ωκ|aκ)
p(aκ)p(ωκ|aκ) daκ
Ra
p(aκ) p( Nκcκ|aκ) p(ω ′ κ |aκ)
p(aκ) p(
Ra
Nκcκ|aκ) p(ω ′ κ|aκ) daκ
p(aκ) p( Nκcκ|aκ) p(aκ |ω ′ κ )p(ω′ κ )
p(aκ)
p(aκ) p( Nκ cκ|aκ) p(aκ|ω ′ κ)p(ω ′ κ)
p(aκ)
daκ
Ra
p( Nκcκ |aκ) p(aκ| 1cκ, . . . , Nκ−1
Ra
cκ)
p( Nκcκ|aκ)p(aκ| 1cκ, . . . , Nκ−1 cκ) daκ
. (4.2.63)
Dieses ist die Basis der rekursiven MAPS bzw. des BAYES-Lernens. Dabei treten i. Allg. zwei
Probleme auf. Zum einen werden zur Berechnung eines verbesserten Schätzwertes alle vorher
beobachteten Muster gebraucht, zum anderen kann p(aκ| 1 cκ, . . . , Nκ−1 cκ) eine andere Funktion
sein als p(aκ| 1 cκ, . . . , Nκ cκ). Es gibt aber Spezialfälle, in denen diese allgemeine Schätzgleichung
(4.2.63) sich auf eine rekursiv auswertbare Form reduziert. Die Voraussetzungen dafür
sind, dass es eine einfache hinreichende Statistik s zur Schätzung von aκ gibt und dass es eine
selbstreproduzierende Verteilungsdichte p(aκ) gibt; beide Begriffe werden noch näher erläutert.
Es sei
s(ωκ) = (s1(ωκ), . . . , sl(ωκ)) T
(4.2.64)
eine Statistik, also eine Funktion von ωκ. Eine hinreichende Statistik s enthält alle Information,
die zum Schätzen von aκ notwendig ist. Definitionsgemäß wird s als hinreichende Statistik
bezeichnet, wenn
p(ωκ|aκ, s) = p(ωκ|s) (4.2.65)
ist, d. h. wenn p(ωκ|aκ, s) unabhängig von aκ ist. Damit ergibt sich
p(aκ|s, ωκ) = p(ωκ|aκ, s)p(aκ|s)
p(ωκ|s)
= p(aκ |s) , (4.2.66)
d. h. die a posteriori Wahrscheinlichkeit von aκ hängt nur von der hinreichenden Statistik s ab.
Die wichtigste Aussage enthält
Satz 4.7 (Faktorisierungstheorem) Eine notwendige und hinreichende Bedingung dafür,
dass s(ωκ) eine hinreichende Statistik für aκ ist, besteht darin, dass sich die Dichte p(ωκ|aκ)
faktorisieren lässt in
p(ωκ|aκ) = g(s(ωκ), aκ)h(ωκ) . (4.2.67)
Beweis: s. z. B. [Duda und Hart, 1972b], Sect. 3.6.