Daniel Olejár, Martin Stanek: Úvod do teórie kódovania

3.3. KVÁZIOPTIMÁLNE KÓDY A OPTIMÁLNY KÓD 41aa 0.81 0ab 0.09 11ba 0.09 100bb 0.01 101Cena kódu V 2 je 1.29. Treba si však uvedomit’, že to je počet binárnych symbolov pripadajúcichna jedno zdrojové slovo, ktoré má dĺžku 2, a preto cena kódu, meraná počtomkódových symbolov potrebných na zakódovanie jedného symbolu zdrojovej abecedy jeL(P ′ , V ∈ ) = 1.29/2 = 0.645. Táto hodnota je už podstatne bližšia k entropii zdroja, akocena pôvodného kódu. Ďalšie rozšírenie zdrojovej abecedy (kódovanie trojznakových slovnad zdrojovou abecedou) už neprinesie takú podstatnú redukciu ceny kódu:aaa 0.729 0aab 0.081 100aba 0.081 101baa 0.081 110abb 0.009 11100bab 0.009 11101bba 0.009 11110bbb 0.001 11111L(P ′′ , V ∋ ) = 1.599/3 = 0.533. Aby sme si spravili predstavu o to, ako rýchlo sa približujecena kódu pre narastajúcu hodnotu n k entropii, vypočítame cenu neskráteného Shannonovhokódu pre rozličné hodnoty n:n 3 4 5 10 20 30 50 100 200 1000 2000L 0.6333 0.5509 0.5163 0.5070 0.5006 0.4863 0.4789 0.4741 0.4713 0.4695 0.4692Upozorňujeme, že n-násobným rozšírením (dvojprvkovej) zdrojovej abecedy dostanememnožinu slov mohutnosti 2 n , a tak je použitie tejto metódy pre konštrukciu kódov scenou blízkou k dolnej hranici danej entropiou pre väčšie hodnoty n a/alebo rozsiahlejšieabecedy zdroja prakticky nepoužitel’né.Metóda konštrukcie Huffmanovho kódu nie je jednoznačná. Ak v zozname pravdepodobnostíuž existuje hodnota rovná tej, ktorú sme dostali v niektorom kroku súčtomminimálnych pravdepodobností, máme možnost’ zaradit’ vypožčítanú pravdepodobnost’za alebo pred pravdepodobnost’ v pôvodnom usporiadanom zozname. Uplatnenímrozličných stratégií zarad’ovania rovnakých pravdepodobností do zoznamu, dostanemekódy, ktoré majú rovnakú cenu, ale môžu mat’ rozličné dĺžky kódových slov.Príklad.0.375 0.375 0.375 0.375 0.625∗ 0 1 1 1 10.250 0.250 0.250 0.375∗ 0.375 1 00 01 01 010.125 0.125 0.250∗ 0.25 01 000 001 0010.125 0.125 0.125 001 0000 00000.0625 0.125∗ 0001 000100.0625 00011