Klassifikation von Mustern

4.2. STATISTISCHE KLASSIFIKATOREN (VA.3.3.4, 29.09.2004) 335
Definition 4.9 Der diskriminative Schätzwert maximiert die a posteriori Wahrscheinlichkeit
der Klasse und ist gegeben durch
aκ = argmax
aκ
Nκ
ϱ=1
log [p(Ωκ| ϱ cκ)] . (4.2.41)
Die obige Schätzung wird auch als MMI–Schätzung (“maximum mutual information”, maximale
Transinformation) bezeichnet.
Maximum Entropie Schätzung
Die Maximierung der Entropie bedeutet, dass man einen Schätzwert sucht, der einerseits möglichst
gut die Stichprobe repräsentiert, andererseits möglichst wenig Annahmen über diese impliziert.
Auf diese Vorgehensweise wird in Abschnitt 4.2.4 genauer eingegangen.
Fehlende Information
Wir sind bisher von einer klassifizierten Stichprobe ausgegangen, d. h. von jedem Muster war
seine Klassenzugehörigkeit bekannt. In der Objekterkennung geht man z. T. von „markierten“
Stichproben aus, d. h. man erwartet, dass die Korrespondenz zwischen einem Merkmal des Objektmodells
und einem Merkmal in einem Bild des Objekts bekannt ist. In der Spracherkennung
ging man anfänglich von „fein“ markierten Stichproben aus, d. h. für jedes Datenfenster von etwa
10 ms Dauer war bekannt, welcher Laut oder welche Lautkomponente gesprochen wurde.
Offensichtlich erhöht das den Aufwand für die Stichprobensammlung signifikant. Es fragt sich
also, ob man auf einige Information in der Stichprobe verzichten und trotzdem noch die für ein
statistisches Modell erforderlichen Parameter schätzen kann. Theorie und Praxis zeigen, dass
Parameterschätzung für viele Fälle fehlender Information möglich ist. Die empirische Basis
geht auf frühe Ansätze zum entscheidungsüberwachten Lernen zurück, die theoretische Basis
ist der EM–Algorithmus, dessen Prinzip in Abschnitt 1.6.4 erläutert wurde.
Informell besteht das Prinzip darin, die zu schätzenden Parameter (z. B. Mittelwert und
Kovarianzmatrix von k Normalverteilungen) mit beliebigen Werten zu initialisieren, dann die
fehlende Information zu schätzen (z. B. die Klassenzugehörigkeit von Merkmalsvektoren) und
damit neue verbesserte Parameterwerte zu schätzen; dieser Prozess wird bis zur Konvergenz
iteriert. Eine genauere Darstellung für die Schätzung der Parameter einer Mischung aus Normalverteilungen
gibt Abschnitt 4.8.3.
Sparsame Schätzung
Die obigen Schätzverfahren liefern Parametervektoren mit voller, u. U. sehr großer, Dimension.
Es kann sein, dass einige Komponenten des Parametervektors für die Güte von Klassifikationsergebnissen
(oder von Regressionsergebnissen) unerheblich bzw. vernachlässigbar sind. Als
sparsamer Schätzwert (“sparse estimate”) wird ein solcher bezeichnet, der vernachlässigbare
Komponenten eines Parametervektors unterdrückt, z. B. indem sie den Schätzwert Null erhalten.
Das Prinzip wird kurz am Beispiel des Regressionsproblems (vgl. S. 304) erläutert. Gesucht
ist eine Regressionsfunktion
y = a T ϕ(f) . (4.2.42)