Klassifikation von Mustern

28 KAPITEL 1. EINFÜHRUNG (VK.1.3.3, 16.03.2003)
Zwei Behälter
An den Anfang wird ein vereinfachtes Problem gestellt. Gegeben seien zwei äußerlich gleiche
Behälter Ω1 und Ω2. Der Behälter Ω1 enthält 100 rote und 900 blaue Kugeln, der Behälter Ω2
enthält 900 rote und 100 blaue Kugeln. Einer der Behälter wird zufällig herausgegriffen. Offensichtlich
ist die a priori Wahrscheinlichkeit dafür, den Behälter Ω1 zu haben, gleich 0.5.
Nun wird aus dem gewählten Behälter eine Kugel entnommen, d. h. es wird eine Beobachtung
gemacht bzw. der Wert eines Merkmals bestimmt. Die Kugel sei blau, und die Frage ist,
wie groß nun die Wahrscheinlichkeit für den Behälter Ω1 ist. Gesucht ist also die a posteriori
Wahrscheinlichkeit dafür, dass eine bestimmte Alternative vorliegt (Ω1 oder Ω2), nachdem
eine bestimmte Beobachtung gemacht wurde (eine blaue Kugel). Aus bekannten Beziehungen
über bedingte Wahrscheinlichkeiten, insbesondere aus der BAYES-Regel (4.1.3), S. 306, folgt
P (Ω1|b) = P (b|Ω1)P (Ω1)
P (b)
=
P (b|Ω1)P (Ω1)
P (b|Ω1)P (Ω1) + P (b|Ω2)P (Ω2)
= 0, 9 . (1.5.1)
Wir haben damit eine Gleichung, die die a priori Wahrscheinlichkeit P (Ω1) der Urne vor einer
Beobachtung in die a posteriori Wahrscheinlichkeit P (Ω1 |b) nach Beobachtung einer blauen
Kugel transformiert.
Es wird nun eine zweite Kugel entnommen, die ebenfalls blau ist. Wie groß ist danach die
Wahrscheinlichkeit für den Behälter Ω1? Gesucht wird also die Wahrscheinlichkeit P (Ω1|b, b),
die sich ergibt zu
P (Ω1|b, b) =
P (b, b|Ω1)P (Ω1)
P (b, b|Ω1)P (Ω1) + P (b, b|Ω2)P (Ω2) ,
= 0, 988 . (1.5.2)
Daraus ist der wichtige Schluss zu ziehen, dass man unsichere Einzelbeobachtungen (die Farbe
einer Kugel gibt keine Sicherheit über den Behälter) so kombinieren kann, dass das Gesamtereignis
(gewählter Behälter) immer sicherer wird. Weiter ist festzustellen, dass zur Berechnung
der a posteriori Wahrscheinlichkeiten die bedingte Wahrscheinlichkeit der Kugelfarbe
P (b|Ωκ) erforderlich ist.
Die Verallgemeinerungen für das Problem der Klassifikation von Mustern sind:
• Ein Behälter ⇒ eine Musterklasse Ωκ ⇒ eine Folge von Klassen Ω;
• eine Kugel ⇒ ein Merkmal cν ⇒ ein Vektor c von Merkmalen bzw. eine Folge von
Attributen;
• die Farbe einer Kugel ⇒ der Wert eines Merkmals ⇒ ein Folge von beobachteten Werten;
• berechne P (Ω1 |b, b) ⇒ berechne P (Ωκ|c), κ = 1, . . . , k und wähle die Klasse (den
Behälter) mit größter a posteriori Wahrscheinlichkeit.
In Abschnitt 4.1 wird gezeigt, dass die letztere intuitive Strategie, sich für die Alternative mit
größter a posteriori Wahrscheinlichkeit zu entscheiden, sogar optimal in dem Sinne ist, dass sie
die Fehlerwahrscheinlichkeit minimiert.
Wie erwähnt ist die Basis dieser Vorgehensweise die Berechnung der a posteriori Wahrscheinlichkeiten
aller alternativen Entscheidungen bzw. Klassen. Dieses erfordert ein stocha-