3 Teori för symmetriska system

70
Teori för symmetriska system
iii. Sats. Medelkodordslängden w för en kompakterande, binär prefix-kod för en källa p
uppfyller alltid w ≥ H(p). Vidare finns en prefixfri kod för vilken w ≤ H(p) + ε, för
godtyckligt valt ε > 0.
iv. Sats. En prefixfri kod med minimal längd uppfyller:
a. Om p i > p j så gäller l i ≤ l j.
b. De två minst sannolika källsymbolerna har kodord med samma längd.
c. Om det finns fler kodord med samma längd så överenstämmer de i alla bitar utom de sista.
Resultatet i denna sats kan användas konstruktivt:
Kombinera de två minst sannolika källsymbolerna till en "artificiell" symbol vars
sannolikhet är summan av de två andras. Då uppstår en ny källa med antalet symboler
reducerat med ett. Konstruera nu en optimal kod för denna nya källa &c.
För att hitta kodord för de minst sannolika symbolerna i den ursprungliga källan, använd den
optimala koden för den artificiella och lägg 0 respektive 1 till koden för den artificiella
symbolen. Att detta faller väl ut följer av följande.
v. Sats. Antag att de två minst sannolika källsymbolerna kombineras till en artificiell
symbol och att C' är optimala koden för denna artificiella källa. Konstruera C från C' genom
att till den artificiella symbolens kod lägga 0 respektive 1 för att forma koderna för de minst
sannolika källsymbolerna i ursprungskällan och lämna de övriga kodorden lika. Då gäller att
C är den optimala koden för originalkällan.
Huffmankoden erhålls om denna procedur tillämpas rekursivt.
vi. Exempel. Antag givet 7 källsymboler a, b, c, d, e, f och g med sannolikheter 3/8,
3/16, 3/16, 1/8, 1/16, 1/32 respektive 1/32.
Låt koden växa fram ur ett liggande träd med löven längst till vänster; se figur 3.3. I trädets
grenar införs successivt 0-or (gren uppåt) och 1-or (gren nedåt). Koden blir:
Symbol Sannolikhet (pi) Kodord (xi) Kodordslängd (li)
a 3/8 1 1
b 3/16 011 3
c 3/16 010 3
d 1/8 001 3
e 1/16 0001 4
f 1/32 00001 5
g 1/32 00000 5
Tabell 3.4. En Huffmankodning
Medelkodordslängden blir w = Σ p i l i = 2.44. Entropin är H(p) = 2. 37. Detta gav en ganska
bra kod. Kodförbättringar kan erhållas om man betraktar N-gram i stället för 1-gram.
vii. Exempel. Antag tre givna källsymboler a, b och c med sannolikheter 3/4, 3/16
respektive 1/16.
Huffmankoden för 1-gram har koderna 1, 01 respektive 00. Detta ger w = 1.25 och vi har
H(p) = 1.012, vilket antyder att en förbättning på 20% vore möjlig.
Huffmankodning av digram ger nedanstående tabell.
Sannolikheterna i tabellen bildas som produkten av de enskilda symbolernas sannolikheter.
Medelkodordslängden blir w = 2.09.
Observera dock att kodorden står för två källsymboler. Kodhastigheten är alltså 1.045.
Jämför detta med 1.25 som är hastigheten för Huffmankoden för 1-gram och med 1.012 som
är ursprungskällans entropi.