Bildklassifikation unter Verwendung kompressionsbasierter Methoden

Weitere Magazine

Empfehlungen

Info

Kapitel 2. Kompressionsbasierte Ähnlichkeitsdistanz Die Eingabe für U ist ϕ M #E (vgl. [Rei99, S.29]), wobei wir mit ϕ M #E die Konkatenation von ϕ M und E bezeichnen. 2.3 Kolmogorov-Komplexität Intuitiv geht die Komplexität eines Objekts mit der Länge seiner vollständigen Beschreibung einher. Können wir etwas in sehr kurzer Weise vollständig beschreiben, also definieren, so würden wir dessen Komplexität als eher gering einstufen. Komplexere Objekte bedürfen einer ausführlicheren Beschreibung. Im Richard-Berry-Paradoxon geht es um die Definition einer bestimmten natürlichen Zahl [WR17]. Konkret handelt es sich um die kleinste Zahl, die in der englischen Sprache nicht mit weniger als 19 Silben beschrieben werden kann 1 . Die Definition als “The least in-te-ger not name-a-ble in few-er than nine-teen syl-la-bles” hat aber 18 Silben. Folglich gibt es keine kleinste Zahl, die nicht mit weniger als 19 Silben beschrieben werden kann. Denn wir haben ja eine Beschreibung mit 18 Silben gefunden. Eine genauere Betrachtung der Beschreibungsqualität löst diesen scheinbaren Widerspruch auf. Li und Vitányi formalisieren den Begriff der Definition in [LV08, S.177]. Eine effektive Beschreibung einer Zahl ist demnach eine Beschreibung, die einer Referenzmaschine (z.B. Turingmaschine) als Eingabe zur Ausgabe der beschriebenen Zahl dient. Die o.g. 18-silbige Beschreibung ist nach dieser Definition nicht effektiv. In [Kol65] definierte Kolmogorov bereits im Jahre 1965 eine Funktion, welche die in einem Objekt y über ein anderes Objekt x enthaltene Information zumindest theoretisch quantitativ erfassbar macht. Die relative Komplexität von x bei gegebenem y ist die Länge |p| eines Programms p mit der folgenden Eigenschaft: Sei ϕ eine partiell rekursive zweistellige Funktion, dann ist ⎧ ⎪⎨ min C ϕ (x|y) = ⎪⎩ ∞ ϕ(p,y)=x |p|) ,falls kein p mit ϕ(p, y) = x existiert. (2.7) Die Hilfsfunktion ϕ simuliert das Programm p auf Eingabe y. Sie ist per Definition partiell rekursiv und damit im Allgemeinen nicht überall bestimmt. Hier bedeutet das konkret, dass ein Programm p auf Eingabe y möglicherweise nicht terminiert. Die Funktionsdefinition (2.7) macht aber keine Einschränkungen bezüglich der Laufzeit, so dass es zu Endlosschleifen kommen kann. Wegen der Unentscheidbarkeit des Halteproblems (vgl. [LV08]) kann auch nicht bestimmt werden, bei welchen Eingaben für ϕ es zu solchen Endlosschleifen kommt. Darauf basierend zeigt Kolmogorov, dass eine partiell rekursive Funktion A 1 Das die Zahl 111777 (One-hun-dred-and-e-le-ven-thou-sand-se-ven-hun-dred-and-se-ven-tyse-ven) mit genau 19 Silben 6
2.3. Kolmogorov-Komplexität existiert, so dass für jede andere partiell rekursive Funktion ϕ gilt C A (y|x) C ϕ (y|x) + c ϕ . (2.8) Die Konstante c ϕ ist dabei unabhängig von x und y. Kolmogorov definiert ferner C A (y) = C A (y|1). (2.9) Dieses Maß ist heute als Kolmogorov-Komplexität bekannt. Die oben genannte Funktion A können wir durch eine universelle 1-Band- Turingmaschine modellieren [Rei99, S.195]. Definition 2.1. Die Kolmogorov-Komplexität entspricht der Länge der kürzesten Eingabe p für eine universelle 1-Band-Turingmaschine U, die als Ausgabe eben diesen String x erzeugt. Sei U(p) die Ausgabe von U auf Eingabe p, dann gilt Ferner ist in Analogie zu (2.7) C(x) := min {|p| | p ∈ {0, 1} ∗ , U(p) = x} . (2.10) C(x|y) := min {|p| | p ∈ {0, 1} ∗ , U(p#y) = x} (2.11) die Kolmogorov-Komplexität von x gegeben y. Definition 2.2. Ein String x wird als zufällig oder auch als nichtkomprimierbar bezeichnet, wenn für seine Kolmogorov-Komplexität C(x) |x| − log |x| gilt. Er heißt zufällig gegeben y wenn C(x|y) |x| − log |x|. Lemma 2.3. Bis auf o(2 n ) viele Strings sind alle Strings der Länge n zufällig. Beweis. Bekanntermaßen existieren 2 n verschiedene Strings der Länge n. Um einen dieser Strings x zu erzeugen, benötigt eine UTM einen Eingabestring p. Wenn x nicht zufällig ist, dann ist |p| < n − log n. Sei m die Anzahl der Strings p, die das Kriterium erfüllen. Offensichtlich ist m = |{p | |p| < n − log n}| = 2 n−log n = 2n 2 log n = 2n n 2n . Damit ist die Anzahl möglicher Eingaben zur Erzeugung eines nichtzufälligen Strings durch o(2 n ) beschränkt. Für die bedingte Kolmogorov-Komplexität C(x|y) gilt das Gleiche. Die Komplexität reduziert sich im Vergleich zu C(x) drastisch, wenn man y = x wählt. Die UTM hält dann sofort, da die Eingabe bereits der gewünschten Ausgabe entspricht. In diesem Fall gilt C(x|x) O(1). Trotzdem können nur höchstens 2 n−log n = 2n n nichtzufällige Strings gegeben x existeren. Es gibt einfach nicht mehr mögliche Eingabestrings p#x, die das Nichtzufälligkeitskriterium erfüllen (vgl. [Rei99, S.196]). Genau diese Eigenschaft kann man nutzen, um die Nichtberechenbarkeit der Kolmogorov-Komplexität zu beweisen. 7
Seite 1: Universität zu Lübeck Institut f
Seite 5: Aufgabenstellung v
Seite 8 und 9: Inhaltsverzeichnis 5.1 Adaption aus
Seite 10 und 11: Kapitel 1. Einleitung so doch zumin
Seite 12 und 13: Kapitel 2. Kompressionsbasierte Äh
Seite 28 und 29: Kapitel 3. Grundlagen der maschinel
Seite 36 und 37: Kapitel 4. Klassifikation mit Hilfe
Seite 64 und 65:
Kapitel 4. Klassifikation mit Hilfe
Seite 66 und 67:
Seite 68 und 69:
Seite 70 und 71:
Seite 73 und 74:
5 Negative Selection 5.1 Adaption a
Seite 75 und 76:
5.1. Adaption aus der Immunologie D
Seite 77 und 78:
5.2. Anwendung mit Hammingabstand A
Seite 79 und 80:
5.2. Anwendung mit Hammingabstand d
Seite 81 und 82:
5.2. Anwendung mit Hammingabstand t
Seite 83:
5.2. Anwendung mit Hammingabstand W
Seite 86 und 87:
Kapitel 6. Zusammenfassung, Fazit u
Seite 89 und 90:
Abbildungsverzeichnis 3.1 Beispiel
Seite 91 und 92:
Bibliographie [BGL + 98] Charles H.
Alle anzeigen

Bildklassifikation unter Verwendung kompressionsbasierter Methoden

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?