Skript als PDF Skript

2.7 Der Shannon-Fano-Elias Code
Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben
auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann
auch gut decodieren lassen. Die letzte Aussage trifft allerdings nur zu, wenn
das Quellalphabet nicht zu groß ist. Denn zur Berechnung der Codeworte
eines Huffman-Codes wird Zeit O(n log n) benötigt, wenn n die Größe
des Alphabets ist. Da wir die Wahrscheinlichkeiten in der Verteilung (implizit)
sortieren müssen, können wir auch nicht hoffen, die Codeworte in Zeit
weniger als n log n zu berechnen. Für die eigentliche Codierung und Decodierung
wird auch der Huffman-Baum benötigt. Dieser hat immer Größe Θ(n).
Wollen wir nun die Huffman-Codierung etwa auf das Alphabet {0, 1} 50 anwenden,
so sehen wir, dass dieses kaum noch praktikabel ist. Deshalb wollen
wir nun ein Codierungsverfahren kennen lernen, das angewandt auf Alphabete
der Form A b deutlich effizienter ist als die Huffman-Codierung. Dieses
Verfahren wurde von Shannon, Fano und Elias entwickelt. Wir nennen es
die Shannon-Fano-Elias-Codierung, kurz SFE-Codierung. Wir werden dieses
Verfahren zunächst für allgemeine Quelle erklären und dann für Quellen
mit Alphabeten der Form A b effiziente Codier- und Decodieralgorithmen
beschreiben. In diesem Fall wird das Verfahren arithmetische Codierung genannt.
Wir betrachten eine Quelle mit Alphabet A = {a 1 , . . . , a n } und Wahrscheinlichkeitsverteilung
p = (p 1 , . . . , p n ). Die p i müssen nicht sortiert sein. Für
jedes i = 1, . . . , n definieren wir nun
w i := ⌈log 1 p i
⌉ + 1
∑i−1
L i := p j
j=1
(2.1)
T i := L i + p i−1
i
2 = ∑
p j + p i
2 .
Zusätzlich setzen wir L n+1 = 1. Die L i partitionieren das Einheitsintervall
[0, 1) in n Teilintervalle I i := [L i , L i+1 ). Die Werte T i sind jeweils Mittelpunkt
des Teilintervalls I i = [L i , L i+1 ). Die Breite von I i ist genau p i . Wir
ordnen nun dem Symbol a i das i-te Teilintervall I i zu. Damit wird Symbolen
ein Teilintervall mit Breite genau ihrer Quellwahrscheinlichkeit zugeordnet.
j=1
38

Nach Wahl von w i gilt
2 −w i
≤ p i
2 .
Weiter bezeichnen wir für eine Zahl x ∈ [0, 1] und ein c ∈ N mit ⌊x⌋ c die
obersten c Bits der Binärdarstellung von x. Es gilt dann
x − 0.⌊x⌋ c < 2 −c . (2.2)
Die SFE-Codierung C ordnet nun dem Quellsymbol a i das Codewort
C(a i ) = ⌊T i ⌋ wi (2.3)
zu. Jedem Symbol a i wird also der Mittelpunkt seines Teilintervalls I i , dargestellt
mit w i Bits, zugeordnet.
Beispiel: Betrachten wir die Quelle mit Quellsymbolen a 1 , a 2 , a 3 , a 4 und
den Wahrscheinlichkeiten
1
16 , 3 16 , 9
16 , 3 16 .
Wir erhalten dann die folgenden Werte für w i , T i , C(a i ):
i = 1 i = 2 i = 3 i = 4
w i 5 4 2 4
1
T i 32
5
32
17
32
29
32
C(a i ) 00001 0010 10 1101
Abbildung 2.10 zeigt die Intervalle I i und ihre Mittelpunkte. Das zu a 3
gehörige Intervall L 3 , L 4 ist fett in Rot eingezeichnet.
Abbildung 2.10: Intervalleinteilung bei SFE-Codierung
Wir erhalten nun
Satz 2.7.1 Die SFE-Codierung liefert einen Präfix-Code.
Beweis: Sei C(a i ) ein Präfix von C(a j ), d.h., C(a i ) und C(a j ) stimmen in
den ersten w i Bits überein. Dann muss gelten |T i − T j | < 2 −w i
, denn mit
C(a i ), C(a j ) stimmen auch T i , T j in den obersten w i Bits überein. Nun gilt
39

aber 2 −w i
≤ p i /2 und |T i − T j | ≥ p i /2. Damit ist die Annahme, dass C(a i )
ein Präfix von C(a j ) ist, zum Widerspruch geführt.
Die SFE-Codierung ordnet wahrscheinlichen Symbolen Intervalle großer
Breite zu. Mittelpunkte großer Intervall müssen aber nur mit wenigen Bits
Präzision dargestellt werden, um nicht mit anderen Mittelpunkten verwechselt
werden zu können. Dieses liefert die Kompression bei der SFE-Codierung.
Satz 2.7.2 Für die erwartete Länge E(C) der SFE-Codierung C einer Quelle
mit Wahrscheinlichkeitsverteilung p = (p 1 , . . . , p n ) gilt
Beweis: Der Satz folgt aus
H(p) < E(C) ≤ H(p) + 2.
− log p i < w i ≤ − log p i + 2.
Aus diesem Satz folgt unmittelbar, dass auch die SFE-Codierung ein asymptotisch
optimales Codierungsverfahren ist. Denn angewandt auf das Alphabet
A b mit Verteilung p b erreicht die SFE-Codierung eine erwartete Codierungslänge
von höchstens H(p b ) + 2 = bH(p) + 2. Damit ist im Grenzwert
die erwartete Codierungslänge pro Quellsymbol genau H(p).
2.8 Arithmetische Codierung
In diesem Abschnitt lernen wir effiziente Codier- und Decodieralgorithmen
für die SFE-Codierung kennen, wenn das Quellalphabet A b und die Wahrscheinlichkeitsverteilung
p b , b ∈ N, ist, wobei p eine Wahrscheinlichkeitsverteilung
auf A = {a 1 , . . . , a n } ist. Die in diesem Abschnitt beschriebenen
Techniken werden als arithmetische Codierung bezeichnet.
Betrachten wir also eine Quelle mit Alphabet A b , A = {a 1 , . . . , a n }. Die
Verteilung auf A ist von der Form p = (Pr(a 1 ), . . . , Pr(a n )) = (p 1 , . . . , p n ).
Die Wahrscheinlichkeit für das Quellsymbol x = (x 1 , . . . , x b ) ∈ A b bezeichnen
wir mit p(x). Es gilt
p(x) =
b∏
Pr(x i ).
i=1
Auf den Elementen aus A b definieren wir nun eine (totale) Ordnung

. . . < a n . Auf A b benutzen wir nun die lexikographische Ordnung bezüglich
der Ordnung auf A. Sind also x = (x 1 , . . . , x b ) und y = (y 1 , . . . , y b ) zwei
Elemente aus A b so gilt x < y genau dann, wenn für den kleinsten Index
1 ≤ k ≤ b mit x k ≠ y k gilt x k < y k .
Um die arithmetische Codierung für A b mit Wahrscheinlichkeitsverteilung
p b zu beschreiben, benutzen wir die folgende Notation. Wir setzen
w(x) := ⌈log 1
p(x) ⌉ + 1
L(x) := ∑ p(y)
y

müssen, um die die Codierung eines einzelnen Symbols zu bestimmen. Vielmehr
kann die gerade beschriebene Idee des sukzessiven Verfeinerns benutzt
werden, um einzelne Codeworte zu berechnen. Hierzu wird bei gegebenem
Wort m = m 1 m 2 · · · m b zunächst das Teilintervall I s berechnet, indem das
Intervall für m liegt. Dann wird nur in diesem Teilintervall nach dem korrektem
Intervall für m gesucht. Die Bestimmung von I j ist einfach, denn der
Index s ist gegeben durch 1 ≤ s ≤ n mit m 1 = a s . Weitere Teilintervalle
können dann genauso bestimmt werden. Dieses liefert den folgenden Algorithmus
zur Berechnung des Codewortes für m. Die Zahlen L s sind dabei
definiert wie in der SFE-Codierung für das Alphabet A mit den Wahrscheinlichkeiten
p 1 , . . . , p n .
Eingabe m = m 1 m 2 · · · m b ∈ A b .
Ideal-Encode-AC (IE-AC)
1. Schritt Setze l 0 := 0, u 0 := 1, w 0 := 1.
2. Schritt Für i = 1, . . . , b wiederhole die folgenden Schritte.
3. Schritt Finde s mit a s = m i .
4. Schritt Setze
l i := l i−1 + w i−1 L s
u i := l i−1 + w i−1 L s+1
w i = w i−1 p s
(2.7)
5. Schritt Gib l b + w b
2
mit ⌈log 1 w b
⌉ + 1 Bits Genauigkeit aus.
Der Wert w i gibt jeweils die Breite des aktuellen Intervalls an. Es gilt w i =
u i − l i .
Mit dem oben Gesagten folgt leicht, dass dieser Algorithmus die Codierung
C(m i ) korrekt berechnet. Etwas formaler folgt die Korrektheit durch
vollständige Induktion über i aus den Gleichungen
L(m) = ∑ y

Da jeder Durchlauf der Schleife im 2. Schritt nur konstante Anzahl von
arithmetischen Operationen benötigt, ist die Laufzeit von IE-AC im RAM-
Modell gegeben durch O(b). Wir werden hierzu allerdings noch viel mehr
sagen müssen. Zunächst jedoch einige Beispiele.
Beispiel 1: A = {a 1 , a 2 , a 3 }, p 1 = 0.8, p 2 = 0.02, p 3 = 0.18. Codiert werden
soll m = a 1 a 3 a 2 a 1 . In der folgenden Tabelle sind die Werte s, l i − u i , w i
im Laufe des Algorithmus IE-AC zusammengefasst. Die Werte für l i , u i , w i
ergeben sich jeweils aus (2.7).
s l i u i w i
i = 0 − 0 1 1
i = 1 1 0 0.8 0.8
i = 2 3 0.656 0.8 0.144
i = 3 2 0.7712 0.77408 0.00288
i = 4 1 0.7712 0.773504 0.002304
Da ⌈log(0.002304) −1 ⌉ = 9 und u 4 + w 4
2
= 0.772352 ist die Codierung von m
gegeben durch 1100010110.
Beispiel 2: Es sei A = {0, 1} mit den Quellwahrscheinlichkeiten p 1 =
3
4 , p 2 = 1 4
. Weiter sei b = 5. Codiert werden soll m = 00101. Wir setzen
a 1 = 0, a 2 01 und erhalten dann L 1 = 0, L 2 = 3 4 , L 3 = 1. Wir erhalten dann
die folgende Tabelle für die Werte s, l i − u i , w i im Laufe des Algorithmus
IE-AC.
s l i u i w i
i = 0 − 0 1 1
i = 1 1 0
3
4
i = 2 1 0
9
16
3
4
9
16
i = 3 2
27
64
i = 4 1
27
64
9
16
135
256
9
64
27
256
i = 5 2
513
1024
135
256
27
1024
Da ⌈log 27
1024 ⌉ = 6 und u 5+l 5
2
= l 5 + w 5
2
= 1053
2048
ist die Codierung von m
gegeben durch 1000001. In Abbildung 2.11 sind die einzelnen Teilintervalle,
die im Laufe des Algorithmus berechnet werden, schematisch dargestellt.
43

Abbildung 2.11: Beispiel für IE-AC
Die sukzessive Unterteilung von Intervallen führt auch sofort auf den folgenden
Algorithmus zur Decodierung eines einzelnen Codewortes.
Eingabe Ein Codewort c ∈ {0, 1} ∗ .
Ideal-Decode-AC (ID-AC)
1. Schritt Setze l 0 := 0, u 0 := 1, w 0 := 1, m = ɛ, t = 0.c.
2. Schritt Für i = 1, . . . , b wiederhole die folgenden Schritte.
3. Schritt Finde s mit l i−1 + w i−1 L s ≤ t < l i−1 + w i−1 L s+1 .
4. Schritt Setze
5. Schritt Ausgabe m.
l i := l i−1 + w i−1 L s
u i := l i−1 + w i−1 L s+1
w i = w i−1 p s
m := ma s
(2.9)
Die Korrektheit des Algorithmus folgt aus der oben definierten Unterteilung
in Teilintervalle und den Gleichungen in (2.8).
44

Beispiel 4: Gegeben ist eine Quelle mit Alphabet A := {0, 1} und den
Wahrscheinlichkeiten p 1 = p(0) = 3 4 und p 2 = p(1) = 1 4 . Damit gilt L 1 =
0, L 2 = 3 4 und L 3 = 1. Ausserdem sei b = 3. Wir erhalten das Codewort
c = 1010. Zunächst setzen wir l 0 = 0, u 0 = 1, m = ɛ und t := 0.10100 = 5 8 .
Da 0 ≤ 5 8 < 3 4 , setzen wir s = 1 und damit ist m 1 = 0. Die neuen Parameterwerte
sind nun
l 1 = 0, u 1 = 3 4 , w 1 = 3 4 , m = 0.
Als nächstes erhalten wir s = 2 und m 2 = 1, denn
l 1 + w 1 L 2 = 0 + 3 3
4 4 = 9
16 ≤ 5 8 < 3 4 = l 1 + w 1 L 3 .
Als neue Parameter erhalten wir
Jetzt berechnen wir s = 1, denn
l 2 = 9
16 , u 2 = 3 4 , w 2 = 3
16 , m = 01.
l 2 + w 2 L 1 = 9 16 + 3 16 · 0 = 9 16 ≤ 5 8 < 9
16 = l 2 + w 2 L 2 = 9 16 + 3 3
16 4 = 45
64 .
Die neuen Parameterwerte sind
l 3 = 9 16 , u 3 = 45
64 , w 3 = 9
64 , m = 010.
Damit ist das Wort m = 010 decodiert.
Beispiel 3: Gegeben ist die Quelle aus Beispiel 1. Es sei b = 2. Wir erhalten
das Codewort c = 1111011100. Es gilt t = 0.c = 0.9648375. Wir setzen
l 0 = 0, u 0 = 1, w 0 = 1 und m = ɛ. Da 0.82 ≤ 0.9648375 < 1, ist m 1 = a 3 .
Die neuen Parameterwerte sind dann
Da
l 1 = 0.82, u − 1 = 1, w 1 = 0.18.
0.82 + 0.18 · 0.8 ≤ 0.0.9648375 < 0.82 + 0.18 · 0.82,
ist m 2 = a 2 . Das Codewort ist zu a 3 a 2 decodiert.
45