Einführung in die Stochastik, Prof. Lerche - Abteilung für ...

114 12 SCHLIEßENDE STATISTIK
Anhang A
Mit Hilfe der Bayesschen Formel erfolgreich klassifizieren
Angenommen es gäbe k mögliche Zustände. Man entscheide möglichst optimal, welcher
der Zustände vorliegt.
Gegeben seien die Wahrscheinlichkeiten π(i) des i-ten Zustandes vor der Ziehung. Dabei
∑
gelte π(i) ≥ 0 für i = 1, ..., k und k π(i) = 1.
i=1
p(x|i), x ∈ X sei die Wahrscheinlichkeit x zu beobachten, wenn der Zustand i vorliegt.
Nach der Bayesschen Formel gilt:
p(j|x) =
∑
p(x|j)π(j)
p(x|i)π(i) .
i
Eine Abbildung d : X → {1, ..., k} heißt Klassifikationsvariable.
Beispiel:
d ∗ (x) = j, falls p(j|x) ≥ p(i|x)∀i.
π(i) heißt a priori-Wahrscheinlichkeit,
p(i|x) nennt man a posteriori-Wahrscheinlichkeit.
Ist d eine Klassifikationsvariable, so ist das Risiko eine falsche Entscheidung zu treffen
∑
R(d) = k π(i)P i ({x ∈ X|d(x) ≠ i}). Dabei ist P i das Wahrscheinlichkeitsmaß auf X bei
i=1
Vorliegen des i-ten Zustandes.
Satz
Für alle Klassifikationsvariablen d gilt R(d ∗ ) ≤ R(d).
Beweis:
d ∗ (x) = j ⇔ p(j|x) = max p(i|x)
i
⇔ p(x|j)π(j) = max p(x|i)π(i)
i