Klassifikation von Mustern

450 KAPITEL 4. NUMERISCHE KLASSIFIKATION (VK.2.3.3, 07.09.2005)
Bahl et al., 1983, Levinson et al., 1983] eingeführt und werden in [Rabiner, 1988,
Rabiner und Juang, 1993, Schukat-Talamazzini, 1995] ausführlich behandelt. In
[Bahl und Jelinek, 1975] werden die Ausgaben in Abhängigkeit von Zustandsübergängen
betrachtet. So genannte Strukturierte MARKOV-Modelle werden in
[Wolfertstetter und Ruske, 1995] eingeführt.
Modelle mit maximaler Entropie werden in [Jaynes, 1982] insbesondere für die spektrale
Analyse erörtert; dieser Arbeit sind auch die zwei numerischen Beispiele sowie der
MAXENT-Algorithmus in Abschnitt 4.2.4 entnommen. Sie gehen zurück auf [Gibbs, 1905].
Weitere Arbeiten dazu sind [Van Campenhout und Cover, 1981, Kapur und Kesavan, 1992,
Bourne, 2003]. Sie werden z. B. in der maschinellen (statistischen) Übersetzung genutzt
[Berger et al., 1996, Och, 2002, Och und Ney, 2002], zur Sprachmodellierung [Lau et al., 1993,
Martin et al., 1990, Rosenfeld, 1996, Simons et al., 1997], Gesichtserkennung [Liu et al., 2001]
oder Texturerkennung [Zhu et al., 1997, Zhu et al., 1998, Zhu et al., 2000]. Zur Auswahl der Indikatorfunktionen
(“feature functions”) wird auf [Della Pietra et al., 1997] verwiesen. Die Version
des GIS-Algorithmus in Bild 4.2.4, S. 348, ist in [Simons et al., 1997] angegeben, die
Grundlagen wurden in [Darroch und Ratcliff, 1972] gelegt und in [Della Pietra et al., 1997] erweitert.
In [Sebestyen und Edie, 1966] wird ein Beispiel für die Konstruktion ndimensionaler
Histogramme gegeben. Die Schätzung mit konstantem mκ wurde
in [Loftsgaarden und Quesenbury, 1965] eingeführt. Die PARZEN-Schätzung wird
in [Parzen, 1962, Murthy, 1965, Duin, 1976] behandelt und z. B. in [Kraaijveld, 1996] zur Klassifikation
genutzt. In [Breiman et al., 1977, Katkovnik und Shmulevich, 2002, Raudys, 1991,
Silverman, 1978] werden Ansätze zur Bestimmung eines geeigneten Parameters hN entwickelt.
Die Verallgemeinerung der Fensterfunktion auf solche mit einer Matrix Σ statt nur eines
Parameters hN in (4.2.142) wird in [Wand und Jones, 1995] durchgeführt, die Gradientenund
Modenschätzung in [Comaniciu und Meer, 2002, Fukunaga und Hostetler, 1975], die
Bestimmung einer besonders geeigneten Fensterfunktion in [Scott, 1992]. Neben der
im Text erwähnten Reduktion der Stichprobe durch Vektorquantisierung gibt es in der
Literatur weitere Ansätze, die entweder auf einer Dekomposition der Kernfunktion beruhen
[Girolami, 2002b, Lambert et al., 1999] oder einer Reduktion der Stichprobe mit geeigneten
Optimierungs- oder Clusterverfahren [Babich und Camps, 1996, Girolami und He, 2003,
Holmström und Hämäläinen, 1993, Jeon und Landgrebe, 1994].
Der nächster Nachbar Klassifikator wurde in [Cover und Hart, 1967, Cover, 1969]
eingeführt und ist z. B. in [Duda und Hart, 1972a, Niemann, 1974, Niemann, 1983,
Devijver und Kittler, 1982] behandelt. Die Verwendung von Kernfunktionen (s.
Abschnitt 3.8.3) wird in [Peng et al., 2004, Shawe-Taylor und Cristianini, 2004,
Zhang et al., 2006] diskutiert. Eine Sammlung von Arbeiten enthält [Dasarathy, 2002].
Abschätzungen der Fehlerwahrscheinlichkeiten bei Rückweisungen gibt [Hellman, 1970]
für das Zweiklassenproblem. Vorschläge zur Verdichtung einer Stichprobe enthalten
[Hart, 1968, Gates, 1972, Gowda und Krishna, 1979, Tomek, 1976], zur Editierung
[Devijer und Kittler, 1980]; weiter wird auf die obigen Bemerkungen im Zusammenhang
mit der PARZEN-Schätzung verwiesen. Zur effizienten Berechnung der nächsten Nachbarn
gibt es zahlreiche Vorschläge in [Cha und Srihari, 2002a, Fukunaga und Narendra, 1975,
Micó et al., 1996, Moreno-Seco et al., 2003, Niemann und Goppert, 1988, Orchard, 1991,
Ramasubramanian und Paliwal, 1990, Sproull, 1991, Weidong und Zheng, 1986]; ein Vergleich
von schnellen Algorithmen zur Berechnung des nächsten Nachbarn findet sich
in [Ramasubramanian und Paliwal, 2000]. Modifizierungen der Metrik bei kleinem Stich-