Bildklassifikation unter Verwendung kompressionsbasierter Methoden

4.2. Standardmaße
Beweis. Dies leiten wir direkt aus der Minkowskischen Ungleichung ab. Sei
|x| = |y| = n, dann ist
∑
d E (x, z) = √ n ‖x i − z i ‖ 2
i=1
∑
= √ n ‖(x i − y i ) + (y i − z i )‖ 2
i=1
∑
√ n ∑
‖x i − y i ‖ 2 + √ n ‖y i − z i ‖ 2
i=1
i=1
= d E (x, y) + d E (y, z)
Die Dreicksungleichung ist also erfüllt.
Daraus folgt dann unmittelbar
Satz 4.10. Der Euklidische Abstand ist eine Metrik.
In gewisser Weise handelt es sich beim Euklidischen Abstand um eine Verallgemeinerung
des Hammingabstands. Die Summanden zur Berechnung nach
Definition 4.8 haben bei Binärstrings immer dann den Wert 1, wenn die beiden
entsprechenden korrespondierenden Komponenten x i und y i verschieden
sind ((0 − 1) 2 = (1 − 0) 2 = 1). Bei Gleichheit ist der Wert des Summanden
(0 − 0) 2 = (1 − 1) 2 = 0. Die Summe entspricht also dem Hammingabstand.
Seien x 1 , x 2 , y ∈ {0, 1} n , dann gilt
d H (x 1 , y) > d H (x 2 , y) ⇔ √ d H (x 1 , y)
> √ d H (x 2 , y) ⇔ d E (x 1 , y) > d E (x 2 , y).
Im Rahmen der Klassifikation interessieren wir uns weniger für die absoluten
Distanzen als für paarweise Vergleiche. Darum ist es für die Klassifikationsgüte
bei Binärstrings unerheblich, ob wir den Hammingabstand oder den Euklidischen
Abstand verwenden. Das Ergebnis ist identisch.
Bei der Anwendung auf die Graubilder zeigen sich jedoch signifikante Unterschiede.
Im Gegensatz zum Hammingabstand gewichtet der Euklidische Abstand
die absoluten Differenzen der korrespondierenden Pixel implizit, d.h. kleine
Differenzen zwischen korrespondierenden Pixeln wirken sich weniger auf den
Euklidischen Abstand aus als große Differenzen. Dieser vermeintliche Vorteil
bestätigt sich auch im Experiment. Mit k = 3 konnten wir bei der Klassifikation
des gesamten MNIST-Datenbestands eine Fehlerrate von 2, 8% erreichen.
Alle anderen Werte für k erzielten schlechtere Ergebnisse (siehe Abbildung 4.8).
Die zugehörige Konfusionsmatrix ist in Tabelle 4.8 verzeichnet.
Wie auch beim Hammingabstand befinden sich die häufigsten Klassifikationsfehler
an den Stellen, die man auch intuitiv vermuten würde. So werden wiederum
relativ viele Bilder der Ziffer 4 als 9 klassifiziert und Bilder der 7 als
43