Erdfernerkundung - Numerische Physik: Modellierung

6.3. CODIERUNG I: QUELLENCODIERUNG 305
§ 1005 Die Codierung beginnt mit den Zeichen geringster Häufigkeit (vgl. den Codierungsbaum
in Abb. 6.16, der sich auf das Beispiel in Tabelle 6.4 bezieht). Wähle zunächst die beiden
seltensten Zeichen aus (im Beispiel e und f). Die zugehörigen Codewörter werden dann in
der letzten Stelle durch die Bits 0 und 1 unterschieden. Die beiden seltensten Zeichen werden
damit zu den Endpunkten einer Verzweigung im Codierbaum. Diese Verzweigung entspringt
in einem Zweig, der von nun an als Endzweig gilt. Diesem Zweig ordnen wir die Wahrscheinlichkeit
zu, die sich aus der Summe der Wahrscheinlichkeiten der beiden abgehenden Zweige
ergibt. Die zwei seltensten Buchstaben (e und f) werden dabei also zu einem neuen Zeichen
(ef) zusammengefasst, dass eine Wahrscheinlichkeit von 0.05 + 0.05 = 0.1 hat. Die obige
Betrachtung wird für einen Codierbaum wiederholt, der nur noch n − 1 Endzweige hat. Dabei
fasst man wieder die beiden seltensten Endzweige zusammen (das sind in dem Beispiel
d und der bereits zusammengefasste ef-Zweig). Auf diese Weise arbeitet man sich von den
Endzweigen bis zur Wurzel des Codierbaumes vor.
Codierung nach Fano
§ 1006 Die Codierung nach Fano ist von der Idee her eine Umkehrung der Codierung nach
Huffman: hier geht man von der Baumwurzel aus und hangelt sich zu den Zweigen vor. Die
erste Verzweigung entspricht dabei einer Aufteilung des Zeichenvorrates in zwei Mengen mit
möglichst gleich großen Wahrscheinlichkeiten. Die eine Menge enthält dabei die wahrscheinlicheren
Zeichen, die andere die unwahrscheinlicheren. Auf diese Weise ist das am weitesten
links stehende Bit der Codierung festgelegt. Die beiden Äste der Verzweigung werden nun
als Wurzeln für Codierbäume der beiden Untermengen aufgefasst.
§ 1007 Betrachtet man für die Codierung nach Fano noch einmal das Beispiel in Tabelle 6.4,
so ergeben sich zwei Möglichkeiten der Codierung: Die erste Aufspaltung in je eine Unterliste
mit wahrscheinlicheren und unwahrscheinlicheren Zeichen kann wahlweise zwischen dem b
und dem c erfolgen oder zwischen dem a und dem b (in beiden Fällen ist die Wahrscheinlichkeit
in der einen Untermenge 0.6 und in der anderen 0.4). Im ersten Falle ergibt sich der
in Tabelle 6.4 gegebene Fano-Code, im zweiten Falle hätte sich der ebenfalls in Tabelle 6.4
gegebene Huffman-Code ergeben.
6.3.3 Fundamentalsatz der Quellencodierung
§ 1008 Die Fano-Codierung beseitigt die Redundanz einer Zeichenquelle nur dann völlig,
wenn sich die Zeichen der Quelle zur eindeutigen Identifizierung immer in zwei gleichwahrscheinliche
Hälften teilen lassen (das war im Beispiel in Tabelle 6.3 der Fall, nicht jedoch
in dem Beispiel in Tabelle 6.4). Lässt sich die Redundanz auch in den Fällen beseitigen, in
denen diese Voraussetzung nicht gegeben ist?
§ 1009 Auch in diesem Falle lässt sich die Redundanz durch geeignete Codierung beliebig
reduzieren [78, 222], die entscheidende Idee dabei ist, nicht die einzelnen Zeichen zu codieren,
sondern Zeichen xi zu Zeichenketten X der Länge N zusammenzufassen. Diese Zeichenketten
werden dann codiert. Die Quelle habe dazu n voneinander unabhängige Zeichen, die mit den
Wahrscheinlichkeiten pi erzeugt werden. Die Wahrscheinlichkeit p einer aus dieser Quelle
erzeugten zusammengesetzten Zeichenkette ist dann näherungsweise gegeben durch
p =
n�
i=1
p Npi
i . (6.10)
Für den in der Zeichenkette enthaltenen Informationsgehalt gilt damit
n�
n�
−ld(p) = − N pi ld(pi) = −N pi ld(pi) = N H(X) .
1=1
i=1
Entsprechend ist die Wahrscheinlichkeit jeder dieser Zeichenketten ungefähr gegeben durch
p = 2 −N H(X) ,
c○ M.-B. Kallenrode 2. Juli 2008