Klassifikation von Mustern

372 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
= (p(Ω1 |c), . . . , p(Ωk |c)) T . (4.4.18)
Die letzte Zeile ergibt sich aus der speziellen Wahl von δ gemäß (4.4.8), (4.4.11). Die beste
Trennfunktion d ∗ (c), die für die gewählte ideale Trennfunktion δ(c) in (4.4.8) den mittleren
quadratischen Fehler minimiert, ist also der Vektor der a posteriori Wahrscheinlichkeiten
(4.4.18). Ein Vergleich von (4.1.33), (4.1.34) und (4.4.1), (4.4.18) ergibt, dass dieser Klassifikator
mit dem optimalen BAYES-Klassifikator identisch ist. Dieses Ergebnis wird zusammengefasst
in
Satz 4.15 Der BAYES-Klassifikator (4.1.33), der die Fehlerwahrscheinlichkeit minimiert,
und der Polynomklassifikator (4.4.1), der bei uneingeschränkter Trennfunktion die mittlere
quadratische Abweichung von der idealen Trennfunktion (4.4.8) minimiert, sind identisch.
Der obige Satz liefert eine theoretische Begründung dafür, dass der gewählte Ansatz gegenüber
anderen möglichen vorgezogen wird. Die Funktion d ∗ (c) in (4.4.17) wird als Regressionsfunktion
bezeichnet. Die einfache geschlossene Form von (4.4.17) darf nicht darüber hinwegtäuschen,
dass die Berechnung von d ∗ i. Allg. keineswegs einfach ist. Aus (4.4.18) und
(4.1.34) geht hervor, dass dafür vollständige statistische Information, insbesondere die bedingten
Dichten p(c|Ωκ), erforderlich ist. Wenn man jedoch die zulässigen Funktionen d(c) wie in
(4.4.3) einschränkt, ergeben sich numerisch auswertbare Gleichungen für die Berechnung der
Trennfunktionen, wie im Folgenden gezeigt wird. Bei den so eingeschränkten Trennfunktionen
ist, wie erwähnt, nur noch die Parametermatrix A zu berechnen. Dafür eignen sich folgende
Verfahren.
2. Direkte Lösung
Gesucht ist die Matrix A ∗ , welche den Fehler (4.4.14)
ε = E (δ(c) − A T ϕ(c)) 2
minimiert. Als direkte Lösung bezeichnen wir hier die Auswertung der bekannten Bedingung,
dass dann die partiellen Ableitungen von ε nach den Elementen aij von A verschwinden müssen.
Das Ergebnis ist
Satz 4.16 Die optimale Parametermatrix A ∗ , die (4.4.14) minimiert, erhält man aus
A ∗ = E ϕ(c)ϕ T (c) −1 E ϕ(c)δ T (c) . (4.4.19)
Dabei ist die Existenz der inversen Matrix von E{ϕϕ T } vorausgesetzt.
Beweis: Notwendige Bedingung für ein relatives Extremum ist
∂ε
∂A =
∂ε
= 0 ,
∂ε
∂aij
∂aij
= E ∂(δ − A T ϕ) 2
= E
2
∂aij
δj −
ν
aνjϕj
(−ϕi)
, (4.4.20)