Bildklassifikation unter Verwendung kompressionsbasierter Methoden

Kapitel 2. Kompressionsbasierte Ähnlichkeitsdistanz
Desweiteren ist die Informationsdistanz ein zulässiges und universelles Maß
[BGL + 98].
Bei der Definition der Informationsdistanz wird bewusst auf eine konkrete Programmiersprache
verzichtet. So syntaktisch verschieden die vielen realen universellen
Programmiersprachen (z.B. Java, C++) auch sind, haben sie in der
Regel gemein, dass das Programmende durch ein individuelles Symbol oder
einen speziellen Befehl kenntlich gemacht wird.
Definition 2.11. Ein Code wird als Präfixcode oder präfixfreier Code bezeichnet,
wenn die Menge der Codewörter präfixfrei ist. Es ist also kein Codewort
Präfix eines anderen Codeworts (vgl. [Say00]).
Offensichtlich sind die universellen Programmiersprachen, in denen das Ende
eines Programms mittels Symbol oder Befehl markiert wird, präfixfrei. Durch
eben diese Markierung kann kein Programm Präfix eines anderen sein. Da
nun die Informationsdistanz als kürzeste binäre Kodierung eines Programms
definiert ist, bietet es sich in Anlehnung an diese Programmiersprachen an
Präfixcodes zu verwenden. Diese Einschränkung bietet einige praktische Vorteile,
die wir im Folgenden näher untersuchen.
Li und Vitányi zeigen in [LV08], unter welchen Bedinungen ein Präfixcode
überhaupt existiert.
Theorem 2.12. Für jede (un-)endliche Sequenz l 1 , l 2 , ... natürlicher Zahlen
existiert ein Präfixcode mit Codewörtern, deren Längen exakt dieser Sequenz
entsprechen genau dann, wenn gilt
∑
2 −ln 1. (2.23)
n
Beweis. (Genau dann:) Wir zeigen zunächst, dass jeder Präfixcode diese nach
Leon G. Kraft benannte Kraft-Ungleichung (2.23) erfüllt. Sei x ein Binärstring
der Länge l(x). Dann ist x ↔ Γ x = [0, x; 0, x + 2 l(x) ) eine bijektive Abbildung
zwischen x und einem reellen Subintervall aus [0; 1). Das Intervall Γ x beinhaltet
damit genau die reellen Zahlen, deren binäre Darstellung der Nachkommastellen
mit x beginnt. Das Wörterbuch eines Präfixcodes entspricht letztlich
einer Menge solcher Binärstrings x für die in der o.g. Weise eine Abbildung auf
disjunkte Subintervalle aus [0; 1) möglich ist. Kein Codewort ist Präfix eines
anderen, deshalb sind auch die Intervalle disjunkt. Folglich kann die Summe der
Länge all dieser Intervalle höchstens 1 sein. Damit erfüllt jeder Präfixcode die
Ungleichung.
(Wenn:) Jetzt zeigen wir durch Konstruktion, dass bei gegebenen Codelängen
l 1 , l 2 , ..., welche die Ungleichung erfüllen, stehts ein Präfixcode mit diesen Längen
existiert. Nehmen wir ohne Einschränkung der Allgemeingültigkeit an, die Co-
12