Klassifikation von Mustern

20 KAPITEL 1. EINFÜHRUNG (VK.1.3.3, 16.03.2003)
Stichprobe enthalten waren oder nicht. Da man dieses vorher nicht sicher weiß, ist es notwendig,
dass die zum Training eines Systems und zum Test des Systems verwendeten Stichproben
disjunkt sind. Einen quantitativen Anhaltspunkt gibt auch die Kapazität eines Klassifikators in
Abschnitt 4.10.
Einige Beispiele für Zusatzinformation yϱ sind
yϱ ∈ {−1, 1} , (1.3.2)
yϱ ∈ {1, . . . , κ, . . . , k} , (1.3.3)
yϱ : {Ωϱ,1, . . . , Ωϱ,kϱ} ∈ ϱ f(x) , (1.3.4)
yϱ = ∅ . (1.3.5)
Die Form in (1.3.2) wird oft zur Charakterisierung des Zweiklassenproblems verwendet; man
kann auch sagen, dass ein Muster entweder zu einer bestimmten Klasse gehört oder nicht. In
(1.3.3) wird je Muster genau eine von k Klassen angegeben, zu der es gehört. Ein wesentlich
allgemeineres Problem ist mit (1.3.4) charakterisiert; hier wird zu einem Muster lediglich angegeben,
dass es Objekte aus einigen Klassen enthält, aber nicht, wieviele Objekte aus einer
Klasse sind und in welcher räumlichen (oder zeitlichen) Anordnung. In (1.3.5) schließlich wird
keinerlei Zusatzinformation über das Muster gegeben. Je nach verfügbarer Zusatzinformation
ergeben sich unterschiedliche Probleme, die in Abschnitt 4.8.1 genauer charakterisiert werden.
In den letzten beiden Fällen stellt sich das Problem, mit unvollständiger oder fehlender Information
auf die Eigenschaften von Musterklassen zu schließen. Das grundsätzliche Hilfsmittel
dafür ist der in Abschnitt 1.6.4 skizzierte EM-Algorithmus. Der Fall, dass yϱ ∈ R (mit R die
Menge der reellen Zahlen) gegeben ist, bezeichnet das Regressionsproblem, das hier nicht weiter
betrachtet wird.
Allgemein lässt sich sagen, dass der erforderliche Umfang N der Stichprobe ω nur von den
statistischen Eigenschaften der Muster und der Art der zu schätzenden Parameter abhängt. Er
ist dagegen völlig unabhängig von den Kosten, die die Aufnahme eines Musters verursacht.
Allerdings hat der zum Teil erhebliche Aufwand an Geld und Zeit, den die Sammlung einer
großen Stichprobe verursacht, meistens zur Folge, dass der Stichprobenumfang eher zu klein
als zu groß gewählt wird. Für Systeme zur Klassifikation von Mustern sind außer dem obigen
Postulat noch die beiden folgenden wichtig.
Postulat 2 Ein (einfaches) Muster besitzt Merkmale, die für seine Zugehörigkeit zu einer Klasse
charakteristisch sind.
Postulat 3 Die Merkmale bilden für Muster einer Klasse einen einigermaßen kompakten Bereich
im Merkmalsraum. Die von Merkmalen verschiedener Klassen eingenommenen Bereiche
sind einigermaßen getrennt. Dieses ist die wichtige Kompaktheitshypothese für Merkmale.
Das zentrale und allgemein noch ungelöste Problem der Klassifikation besteht darin, solche
Merkmale systematisch zu finden, die Postulat 3 genügen. Damit ist hier ein Algorithmus
gemeint, der nach Vorgabe einer Stichprobe und eines Maßes für die Leistungsfähigkeit des
Systems Merkmale erzeugt, die dieses Maß maximieren (oder minimieren). Trotzdem konnte
empirisch nachgewiesen werden, dass es zumindest für bestimmte Problemkreise geeignete
kompakte Merkmale gibt. Bereiche im Merkmalsraum mit unterschiedlicher Kompaktheit sind
in Bild 1.3.1 angedeutet.
Beispiele für die Verteilung von Merkmalen zeigt Bild 1.3.2 für drei Typen von Mustern.
Dargestellt sind jeweils die Beträge der Koeffizienten F0,1, F1,0 der diskreten FOURIER-
Transformation, die in Abschnitt 2.3.3 definiert ist. Alle Beträge sind so normiert, dass der