Klassifikation von Mustern

454 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
MARKOV-Zufallsfelder
Beispiele ihrer Nutzung in der Bildverarbeitung geben [Chellappa und Chatterjee, 1985,
Chen und Kundu, 1995, Cross und Jain, 1983, Devijver, 1986, Devijver und Dekesel, 1988,
Hassner und Sklansky, 1978, Kim und Yang, 1995, Laferte et al., 2000, Li, 1995, LI, 2001,
Modestino und Zhang, 1992, Panjwani und Healey, 1995]; Anwendung für die Schriftzeichenerkennung
[Cai und Liu, 2002].
Ein effizienter Ansatz für MARKOV-Zufallsfelder, die an Knoten eines Viererbaumes geheftet
werden, wird in [Laferte et al., 2000] entwickelt. In [Storvik und Dahl, 2000] wird das Problem
mit ganzzahliger linearer Programmierung gelöst. Bücher dazu sind [Li, 1995, LI, 2001,
Winkler, 1995].
Texturklassifikation mit MARKOV-Feldern wird in [Chellappa und Chatterjee, 1985,
Noda et al., 2002, Yang und Liu, 2002a] behandelt.
Unüberwachtes Lernen
Die Terme unüberwachtes Lernen, [Cooper und Cooper, 1964, Cooper, 1969,
Patrick und Costello, 1970], Lernen ohne Lehrer, [Spragins, 1966], und Identifikation
von Mischungen laufen in diesem Abschnitt praktisch auf dasselbe hinaus; die
Identifizierbarkeit verschiedener Familien wird in [Teicher, 1961, Teicher, 1963] untersucht,
in [Yakowitz und Spragins, 1968, Yakowitz, 1970] u. a. der Zusammenhang zu
linearer Unabhängigkeit der Komponentendichten gezeigt. Weitere Arbeiten dazu sind
[Alba et al., 1999, Dahmen et al., 2000, Gauvain und Lee, 1994, Martinez und Vitria, 2000,
Postaire und Vasseur, 1981, Wolfe, 1967, Wolfe, 1970]. Einen Ansatz zur automatischen
Ermittlung der Zahl der Mischungskomponenten bei der Identifikation von Mischungsverteilungen
gibt [Yang und Liu, 2002b] (ein anderer wurde in (4.8.23) gegeben); weitere
werden in [Figueiredo und Jain, 2002, Stephens, 2000] beschrieben. Die Kriterien minimale
Nachrichtenlänge (minimum message length, MML), minimale Beschreibungslänge
(minimum description length, MDL) und das AKAIKE-Informationskriterium, die neben
anderen zur Bestimmung der Zahl der Mischungskomponenten genutzt werden, sind
in [Wallace und Boulton, 1968, Rissanen, 1978, Rissanen, 1989, Whindham und Cutler, 1992]
beschrieben. MAPS werden in [Cover, 1969, Hillborn und Lainiotis, 1968,
Patrick und Hancock, 1966, Patrick und Costello, 1970] berechnet. Eine Kombination des
EM-Algorithmus mit einem genetischen Algorithmus zur Vermeidung der Probleme mit
lokalen Minima des EM-Algorithmus wurde in [Martinez und Vitria, 2000] entwickelt; andere
Ansätze dafür werden in [Ueda et al., 2000, Z. et al., 2003, Zhang et al., 2004] vorgestellt. Eine
Kombination der Modellierung mit Mischungsverteilungen und Analyse unabhängiger Komponenten
gibt [Lee und Lewicki, 2002]. Das Prinzip des entscheidungsüberwachten Lernens wird
in [Patrick et al., 1970, Scudder, 1965] erörtert. Zu den Grundlagen des EM-Algorithmus wird
auf die in Kapitel 1 zitierte Literatur verwiesen. Die Konvergenz entscheidungsüberwachter
Verfahren wird z. B. in [Agrawala, 1970, Imai und Shimura, 1976, Chittineni, 1980] untersucht.
In [Frey und Jojic, 2003] wird ein auf Mischungsverteilungen basierendes stochastisches Modell
um Transformationsinvarianz erweitert und Klassen mit dem EM-Algorithmus geschätzt.
Ebenfalls basierend auf dem EM-Algorithmus wird in [Figueiredo, 2003] das Problem der
möglichst guten Generalisierung beim überwachten Lernen untersucht.
Strukturerhaltende (nichtlineare) Abbildungen von hochdimensionalen Daten in die Ebene
(“multidimensional scaling”) werden in [Kruskal, 1964a, Kruskal, 1964b, Mao und Jain, 1995,