Klassifikation von Mustern

408 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Bild 4.7.1: Der Einfluss von Kontext auf die Zeichenerkennung
Bezeichnungen von (4.7.2) sind dieses k N Werte und k N Dichten von n · N–dimensionalen
Vektoren.
Zur Anwendung von (4.7.4) sind vereinfachende Annahmen erforderlich. Eine mögliche
besteht darin, statistische Unabhängigkeit der Merkmalsvektoren anzunehmen. Dann ist
p(C |Ω) =
N
p( ϱ c| ϱ Ω = Ωκ) . (4.7.5)
ϱ=1
Die Annahme statistischer Unabhängigkeit der Werte von 1 Ω, . . . , N Ω würde dagegen den Verzicht
auf Kontextberücksichtigung bedeuten und ist daher nicht möglich. Es gilt hier
p(Ω) = p( 1 Ω, 2 Ω, . . . , N Ω) (4.7.6)
= p( 1 Ω) pu( 2 Ω| 1 Ω) pu( 3 Ω| 1 Ω, 2 Ω) . . . pu( N Ω| 1 Ω . . . N−1 Ω) .
Eine vereinfachende Annahme kann nun darin bestehen, dass man nur Abhängigkeiten zum
direkten Nachfolger berücksichtigt. Dann ist
p(Ω) = p( 1 Ω) pu( 2 Ω| 1 Ω) pu( 3 Ω| 2 Ω) . . . pu( N Ω| N−1 Ω) . (4.7.7)
Statt k N Werten sind nur k 2 Werte pu(Ωκ|Ωλ), κ, λ = 1, . . . , k und die k Werte p(Ωκ) zu
speichern. Mit pu(Ωκ |Ωλ) wird die Wahrscheinlichkeit bezeichnet, dass ein Muster aus Ωκ auftritt,
wenn direkt vorher eines aus Ωλ aufgetreten ist. Diese Übergangswahrscheinlichkeiten
lassen sich durch Auszählen von Paaren schätzen; sie sind nicht mit den bedingten Fehlerwahrscheinlichkeiten
p(Ωλ |Ωκ) in (4.1.8) zu verwechseln. Aus Bild 1.5.2, S. 31 geht hervor, dass die
effiziente Berechnung der maximalen a posteriori Wahrscheinlichkeit von der effizienten Suche
unter den möglichen Alternativen abhängt. Dieses ist mit dem VITERBI-Algorithmus möglich.
VITERBI-Algorithmus
Es handelt sich hierbei um einen Algorithmus, der mit Hilfe der dynamischen Programmierung
(DP) die Folge Ω mit maximaler a posteriori Wahrscheinlichkeit bestimmt, wenn man die
Kosten bzw. die Gewichte der Kanten geeignet wählt. Im Prinzip ist das auch das Anliegen in
(4.7.4) und Satz 4.3.
Die N Merkmalsvektoren ϱ c und die k je Vektor möglichen Klassen Ωκ sind in Bild 4.7.2
als Knoten eines Netzwerkes gezeigt. Der zum Vektor ϱ c und zur Klasse Ωκ gehörige Knoten
entspricht dem Ereignis, dass der Vektor ϱ c beobachtet wird, wenn das Muster aus Ωκ ist; ihm
wird das Gewicht ln p( ϱ c|Ωκ) zugeordnet. Die den Knoten zugeordneten Gewichte sind also
abhängig von den Beobachtungen. Jede Kante zwischen zwei Knoten, von denen der eine zu
ϱ c und Ωκ, der andere zu ϱ−1 c und Ωλ gehört, entspricht dem Ereignis, dass auf ein Muster aus