Laborator 4. Coduri instantanee - STUD.usv.ro

1. Introducere
1. Introducere
2. Codarea Shannon-Fano
3. Codarea Huffman
<strong>4.</strong> Procedeul de codare Huffman generalizat
5. Exerciţii propuse
<strong>Laborator</strong> <strong>4.</strong>
<strong>Coduri</strong> <strong>instantanee</strong>
În comunicaţiile digitale, o problemă importantă o reprezintă transmisia eficientă şi stocarea informaţiei.
Pentru stocarea şi transmisia digitală a datelor este necesar ca informaţia să fie reprezentată într-o formă binară.
În acest scop, sursa primară de informaţie cu alfabetul S = {s1, s2 ,..., sN} este adaptată statistic la canalul de
transmisiuni, care acceptă simbolurile din mulţimea X = {x1, x2 ,..., xM}, numită alfabetul de la intrarea canalului sau
alfabetul codului folosit. Fiecărui mesaj sk, k =1,N , i se ataşează un cuvânt de cod, ck, format dintr-o succesiune de
simboluri xk∈X , de aşa manieră încât timpul necesar transmiterii informaţiei sursei primare să fie minim.
Alfabetul codului cel mai utilizat este alfabetul binar ( X = { 0,
1}
, M=2).
Definiţie: un cod se numeşte nesingular, dacă toate cuvintele de cod sunt distincte.
Definiţie: un cod se numeşte unic decodabil, dacă fiecărei succesiuni de simboluri recepţionate îi corespunde
o singură succesiune de mesaje ale sursei primare S.
Deşi se pot utiliza coduri cel puţin unic decodabile, există si o subclasă a codurilor unic decodabile numite
coduri <strong>instantanee</strong>. Aceste coduri prezintă proprietăţi utile pentru construcţia şi analiza lor şi sunt potrivite pentru
implementarea procesele de codare şi decodare.
Definiţie: un cod se numeşte instantaneu, dacă nici un cuvânt de cod nu este prefix pentru celelalte cuvinte
de cod.
Evident, dacă un cod este instantaneu, el este şi unic decodabil, reciproca nefiind totdeauna adevărată.
Definiţie: lungimea unui cuvânt de cod reprezintă numărul de simboluri din alfabetul codului, din care este
format cuvântul respectiv.
Pentru o sursă discretă de informaţie şi un alfabet de cod impus, se poate întocmi o mulţime de coduri
<strong>instantanee</strong> sau unic decodabile. În scopul comparării acestora şi a alegerii celui sau celor mai bune (eficiente), se
consideră drept criteriu de comparaţie timpul necesar transmiterii informaţiei sursei codate.
Un cod instantaneu va fi cu atât mai eficient, cu cât timpul necesar transmiterii informaţiei sursei discrete va fi
mai mic. Este posibil să se întocmească o multitudine de coduri <strong>instantanee</strong> de eficienţă maximă.
Pentru a compara diverse coduri <strong>instantanee</strong>, se va defini lungimea medie a cuvintelor de cod, care este proporţională
cu timpul mediu de transmitere a cuvintelor de cod.
Cel mai eficient cod instantaneu care se obţine, este cel pentru care lungimea medie a cuvintelor de cod este
minimă.
Dacă l1, l2, …, lN sunt lungimile cuvintelor de cod, lungimea medie a acestora se calculează cu relaţia:
l =
N
∑
k = 1
p
( s )
k lk
Definiţie: un cod se numeşte absolut optimal, dacă eficienţa acestuia este maximă.
Proprietăţile unui cod optimal:
Pentru orice sursă discretă S = {s1, s2 ,..., sN}, un cod binar (M=2) fără prefix, optimal în raport cu minimizarea
lungimii medii a cuvintelor de cod, are următoarele proprietăţi:
1. Dacă p ( si
) > p(
s j ) , atunci li ≤ l j ;
2. Ultimelor două simboluri de cea mai mică probabilitate din alfabetul sursei le corespund cuvinte de cod de
aceeaşi lungime;
3. Dacă există două sau mai multe cuvinte de cod de aceeaşi lungime, atunci două dintre aceste cuvinte diferă
numai prin ultimul simbol.
Definiţie: se numeşte eficienţa unui cod şi va fi notată cu η , raportul dintre marginea inferioară a lungimii
medii a cuvintelor de cod şi lungimea medie a acestora, adică:

Teoria Transmiterii Informaţiei
<strong>Laborator</strong> 4
2
( S)
H
η =
l log M
Definiţie: se numeşte redundanţa unui cod şi va fi notată cu ρ, mărimea complementară eficienţei, adică:
ρ = 1 −η
N
biti
H ( S)
= −∑
p(
sk
) log p(
sk
) < > entropia sursei
k = 1
mesaj
Din punct de vedere fizic, entropia măsoară informaţia medie pe mesaj, respectiv nedeterminarea medie a
sursei respective.
2. Codarea Shannon-Fano
Codarea Shannon-Fano se bazează pe ideea că pentru simboluri furnizate cu probabilităţi echiprobabile se vor
obţine cuvinte de cod de lungime egală. Se descrie în continuare metoda Shannon-Fano de obţinere a codurilor
<strong>instantanee</strong>.
Se consideră că sursa S va furniza k simboluri, , i = 1,
k , şi probabilităţile asociate fiecărui simbol,
( s ) i 1,
k
p i
, = .
Fie p( s ) ≥ p(
s ) ≥ ... ≥ p(
sk
) , i = 1,
k
1 2
În cazul codării binare cele k simboluri sunt împărţite în două subgrupuri, notate 0 S şi S 1 , astfel încât suma
probabilităţilor mesajelor incluse în 0 S să fie egală cu suma mesajelor probabilităţilor incluse în S 1 .
Fiecărui subgrup i se atribuie simbolul “0” sau “1”, (sau invers). Fiecare subgrup 0 S şi S 1 , se divide mai
departe in două subgrupuri S 00 şi S 01 , respectiv în S 10 şi S 11,
astfel încât suma probabilităţilor mesajelor incluse în
cele patru submulţimi să fie aceeaşi. Se atribuie submulţimilor S 00 şi S10 ca al doilea simbol "0", iar submulţimilor
S 01 şi S 11 ca al doilea simbol "1" (sau invers).
Se procedează în mod analog până se obţin submulţimi care conţin un singur mesaj. Se observă că fiecare
submulţime are suma probabilităţilor mesajelor incluse egală cu o putere întreagă a lui (1/2).
Deoarece la fiecare partiţionare în două submulţimi atribuirea mesajelor "0" şi "1" este arbitrară, rezultă că prin acest
procedeu se pot obţine o multitudine de coduri <strong>instantanee</strong>, dar toate absolut optimale.
Exemple:
1. Se consideră o sursa discretă de informaţie S care furnizează 8 simboluri şi probabilităţile asociate fiecărui
simbol:
2 −
p s = p s = ,
1
( 1)
( 2 )
2
( 3)
( 4 ) 2 −
s = p s =
4
( ) ( ) ( ) ( ) 2 −
s = p s = p s = p s =
p ,
p .
5
6
7
8
mesaje probabilităţi Partiţii Cuvinte de cod
s 1
1
2 − s
0
0
1
00
01
s
s
s
s
s
s
2
3
4
5
6
7
8
1
2 −
s i
2
2 − 0 100
2
2 −
0 1 101
4
2 − 0 1100
4
2 −
0 1 1101
4
2 − 0 1110
4
2 −
1
1
1 1 1111

Teoria Transmiterii Informaţiei
<strong>Laborator</strong> 4
2. Se consideră o sursa discretă de informaţie S care furnizează 8 simboluri şi probabilităţile asociate fiecărui
simbol:
p ( s1
) = 1/
2 , p ( s2
) = p(
s3
) = 1/
8 ,
p ( s ) = p(
s ) = p(
s ) = 1/
16 , ( s ) = p(
s ) = 1/
32
4
3. Codarea Huffman
5
6
p .
7
8
mesaje probabilităţi Partiţii Cuvinte de cod
s 1/2 0 0
1
s 1/8
2
0 100
0
s 1/8
1 101
3
s 4
s 5
1/16
1/16 1
0
0
1
1100
1101
s 6
1/16 1 0 1110
s 7
s
1/32
1/32
1 0
1
1
11110
11111
8
În acest paragraf se descrie clasa codurilor <strong>instantanee</strong> cunoscute sub denumirea de coduri Huffman
Algoritmul de codare propus de Huffman încearcă să atribuie fiecărui simbol un cuvânt de cod de lungime
proporţională cu cantitatea de informaţie transmisă de acel simbol.
<strong>Coduri</strong>le Huffman sunt importante pentru că sunt coduri compacte. Algoritmul Huffman va produce coduri
cu lungimea medie a cuvintelor de cod cea mai mică posibilă, pentru un număr dat de simboluri ale sursei şi un alfabet
al codului. De asemenea prin reodonarea adecvată a simbolurilor vor rezulta coduri care au cea mai mica dispersie
posibilă.
Acest procedeu se bazează pe ideea de a partiţiona mulţimea mesajelor sursei S = {s1, s2 ,..., sN} în
S să fie cât mai apropiată de suma
submulţimile 0 S şi S 1 , astfel încât suma probabilităţilor mesajelor incluse în 0
probabilităţilor mesajelor incluse în S 1 .
La rândul lor, submulţimile 0 S şi S1 pot fi partiţionate în submulţimile S 00 şi S 01 , respectiv în S 10 şi S 11
astfel încât suma probabilităţilor mesajelor incluse în cele patru submulţimi să fie cât mai apropiate posibil. Procedeul
se continuă în mod similar până când se obţin submulţimi ce conţin un singur mesaj.
În felul acesta, pentru orice distribuţie a sursei S ce urmează a fi codată se va obţine un cod compact, adică
lungimi medii ale cuvintelor de cod ce nu mai pot fi micşorate prin nici un alt procedeu de codare.
Pentru ca partiţiile să satisfacă condiţiile menţionate, se procedează astfel:
1) Se ordonează mulţimea mesajelor sursei S în ordinea descrescătoare a probabilităţilor, obţinându-se astfel
mulţimea ordonată R0= {s1, s2 ,..., sN}, cu p( s1
) ≥ p(
s2
) ≥ ... ≥ p(
sk
) , cu schimbarea eventuală a indicilor mesajelor
pentru realizarea ordonării respective;
2) Se reunesc ultimele două mesaje (de probabilităţile cele mai mici) într-un nou mesaj, notat cu r1, căruia i
se alocă o probabilitate egală cu suma probabilităţilor mesajelor componente. Se ordonează din nou mesajele în
ordinea descrescătoare a probabilităţilor, formându-se astfel prima sursă restrânsă R1= {s1, s2 ,..., r1,…}, , cu
p ( s1)
≥ p(
s2
) ≥ ... ≥ p(
r1
) ≥ ...
3) Se reunesc ultimele două mesaje din sursa restrânsă R1 într-un nou mesaj r2, de probabilitate egală cu suma
probabilităţilor mesajelor componente. Se ordonează mesajele în ordine descrescătoare, formându-se astfel sursa
restrânsă R2. În mod analog, din R2 se formează sursa restrânsă R3 şi aşa mai departe, până când se obţine o sursă
restrânsă formată numai din două mesaje, Rn= {rn, rn-1}, cu p ( rn
) ≥ p(
rn
−1)
. De fapt, rn va fi S0 şi rn-1 va fi S1 sau
invers.
Din modul de formare a surselor restrânse Ri, rezultă că mulţimea S a mesajelor poate fi partiţionată în două
r p r sunt cele mai apropiate posibil. La rândul lor,
submulţimi rn, rn-1 astfel încât probabilităţile p ( ) şi ( )
n
3
n−1

Teoria Transmiterii Informaţiei
<strong>Laborator</strong> 4
submulţimile rn, rn-1, pot fi partiţionate în alte două submulţimi, de probabilităţile cele mai apropiate posibil.
Partiţionările se continuă până se obţin submulţimi care conţin un singur mesaj.
4) Cuvintele de cod corespunzătoare fiecărui mesaj se obţin astfel:
- submulţimii rn i se alocă simbolul "0" (sau "1");
- submulţimii rn-1, i se alocă simbolul "1" (sau "0");
-la fiecare partiţionare se alocă arbitrar celor două submulţimi "0" sau "1", operaţia continuându-se
până se obţin submulţimi ce conţin un singur mesaj sk, k =1,N .
Deoarece alocarea lui "0" şi "1" este arbitrară la fiecare partiţionare, rezultă că unei surse S i se pot ataşa o
multitudine de coduri <strong>instantanee</strong>, toate, însă, având aceeaşi lungime medie a cuvintelor de cod, care nu mai poate fi
micşorată prin nici un alt procedeu de codare a mesajelor luate individual.
Prin acest procedeu de codare se pot realiza 2N−1 coduri <strong>instantanee</strong>, toate având toate aceeaşi lungime
medie a cuvintelor de cod.
Prin definiţie, se numeşte cod compact, codul care realizează lungimea medie minimă a cuvintelor de cod.
Deoarece prin procedeul de codare Huffman se obţine cea mai mică lungime medie a cuvintelor de cod,
înseamnă că prin acest procedeu se obţin coduri <strong>instantanee</strong> compacte. Evident, un cod absolut optimal este şi
compact, reciproca nefiind totdeauna valabilă.
Exemple:
1. Se consideră o sursa discretă de informaţie S care furnizează 5 simboluri şi probabilităţile asociate fiecărui
simbol:
p ( s ) 0.
2 , p ( s ) 0.
4 , ( ) 0.
1 s p , ( ) 1 . 0 p s , ( ) 0.
2 s
1 =
2 =
3 =
4 =
4
p .
1.a) Pentru această sursă se efectuează codarea Huffman, plasând întâi mesajele sursei restrânse pe poziţiile
cele mai jos posibile în listă şi apoi pe poziţiile cele mai de sus posibile.
Rezultă schema de codare şi cuvintele de cod asociate :
5 =
Pentru acest cod, lungimea medie şi dispersia sunt definite de relaţiile:
l
σ
N
= ∑
k = 1
p
N
2
1 = ∑
k=
1
biti
mesaj
( s ) l = 2.
2 < >
p
k
k
2
( s )( l − l)
= 1.
88
k
k
simbol probabilităţi Codare Huffman
s 1 p ( s1
) = 0.
2 01
s 2 p ( s2
) = 0.
4 1
s ( ) 0.
1 s p 0010
3
4
3 =
s ( s ) 0.
1
5
p 0011
4 =
s ( ) 0.
2 s
p 000
5 =

Teoria Transmiterii Informaţiei
<strong>Laborator</strong> 4
1.b) Pentru cazul în care în codarea Huffman mesajele sursei restrânse se plasează pe poziţiile cele mai de sus
în listă, se obţine schema de codare din figura următoare:
simbol probabilităţi Codare Huffman
s 1 p ( s1
) = 0.
2 10
s 2 p ( s2
) = 0.
4 00
s ( ) 0.
1 s p 010
Pentru acest cod, lungimea medie şi dispersia sunt:
l
N
p(
sk
) lk
= 2.
2
biti
< >
mesaj
σ
= ∑
k = 1
N
2
2 = ∑
k = 1
p
2
( s )( l − l)
= 0.
16
k
k
5
3
4
3 =
s ( s ) 0.
1
5
p 011
4 =
s ( ) 0.
2 s
p 11
Codul Huffman din exemplul 1b are dispesia mai mică decât codul obţinut în exemplul 1a.
Deşi din punct de vedere informaţional, cele două coduri sunt identice, în practică se preferă folosirea celor de
dispersie minimă, din motive de transmisie.
<strong>4.</strong> Procedeul de codare Huffman generalizat
În acest caz, alfabetul codului conţine mai mult de două simboluri. Procedeul de codare este asemănător celui
din cazul binar, parcurgându-se următoarele etape:
1) Se ordonează mesajele sursei ce urmează a fi codată în ordinea descrescătoare a probabilităţilor;
2) Dacă alfabetul codului conţine M ≥ 3 simboluri, se reunesc ultimele M mesaje (de probabilităţile cele mai
mici) într-un singur mesaj, căruia i se alocă probabilitatea egală cu suma probabilităţilor mesajelor componente. Se
ordonează din nou mesajele în ordinea descrescătoare a probabilităţilor, formându-se astfel prima sursă restrânsă R1.
Procedându-se în mod analog, se formează sursa restrânsă R2 din R1, R3 din R2 şi aşa mai departe, până când se
obţine o sursă restrânsă care conţine M mesaje. Pentru ca ultima sursă restrânsă să conţină M mesaje cărora să li se
aloce arbitrar cele M mesaje din alfabetul codului, înainte de a realiza restrângerile respective, se face următorul
raţionament:
- la formarea primei surse restrânse, reunindu-se M mesaje într-un singur mesaj, va rezulta un număr de
mesaje egal cu N −M +1 = N − (M −1) ;
- a doua sursă restrânsă va conţine, prin reunirea ultimelor M mesaje, un număr de mesaje egal cu N − 2M + 2
= N − 2(M −1) ;
- raţionându-se în mod analog, după n restrângeri, ultima sursă restrânsă va conţine un număr de mesaje egal
cu N − n(M −1) , care trebuie să fie egal cu numărul M al mesajelor din alfabetul codului, adică
N − M
M = N − n(
M −1)
⇒ n =
M −1
n (numărul de restrângeri) trebuie să fie un număr întreg pozitiv,
- Dacă sursa S ce urmează a fi codată are un număr N de mesaje care nu verifică relaţia anterioară, se va
adăuga la sursa respectivă un număr de mesaje, până când această relaţie este satisfăcută. Mesajelor adăugate li se vor
aloca probabilităţi nule, astfel că sursa iniţială nu va fi alterată, deoarece mesajele de probabilităţi nule nu vor fi
furnizate niciodată.
3) La fiecare partiţie în M submulţimi se alocă arbitrar cele M mesaje din alfabetul codului. Deoarece alocarea
celor M mesaje din alfabetul codului se face arbitrar, rezultă că prin acest procedeu va rezulta o multitudine de coduri
<strong>instantanee</strong>, toate cu aceeaşi lungime medie a cuvintelor de cod, care nu mai poate fi micşorată prin nici un alt
procedeu de codare, adică toate codurile astfel obţinute vor fi <strong>instantanee</strong> şi compacte.
5 =

Teoria Transmiterii Informaţiei
<strong>Laborator</strong> 4
Exemple:
1. Se consideră o sursa discretă de informaţie S care furnizează 6 simboluri şi probabilităţile asociate fiecărui
simbol:
p ( s ) 0.
1,
p ( s ) 0.
2 , ( ) 0.
3 s p , ( ) 15 . 0 p s , ( ) 0.
05 s p , ( ) 2 . 0 s
3 =
5 =
6 = p .
Dacă alfabetul codului este X ={ x1 , x2 , x3 }, să se realizeze o codare Huffman generalizată.
Înainte de a realiza codarea, se verifică dacă este satisfăcută relaţia
N − M
M = N − n(
M −1)
⇒ n =
M −1
Va trebui adăugat un nou mesaj, fie acesta s7 , de probabilitate nulă, adică ( 7 ) 0 = s p .
Pentru realizarea codării, se procedează după cum se arată în figura următoare:
1 =
5. Exerciţii propuse:
2 =
1. Se consideră sursa discretă, completă şi fără memorie caracterizată de distribuţia:
⎛ s1
S : ⎜
⎝0.
1
Să se realizeze codarea binară Huffman.
s2
0.
2
s3
0.
3
s4
0.
15
s5
0.
05
s6
⎞
⎟
0.
2⎠
4 =
2. O sursă discretă de informaţie furnizează mesajele →
1
6
s acest, s → dispersia, s → definite, s → şi,
s5 → cod, s6 → astfel, s7 → lungimea, s8 → pentru, s9 → medie, s10 → sunt, cu probabilităţile: 0.014, 0.041, 0.27,
0.001, 0.005, 0.004, 0.6, 0.05, 0.013 respectiv 0.002.
Să se descifreze secvenţa recepţionată:
111110111101011011010011010101111001101010101011010100
dacă la emisie s-a efectuat o codare binară Huffman folosindu-se simbolurile alfabetului codului în ordinea “0” şi apoi
“1”.
⎛ s1
S : ⎜
⎝0.
014
s
2
0.
041
s
3
0.
27
s
4
0.
001
s
5
0.
005
s
6
0.
004
s
7
0.
6
s
8
0.
05
3. O sursă discretă de informaţie furnizează mesajele →
1
s
2
9
0.
013
s10
⎞
⎟
0.
002⎠
s un, s → maximă, s → cod, s → este,
s5 → se, s 6 → acestuia, s 7 → numeşte, s 8 → eficienţa, s 9 → absolut, s 10 → dacă, s 11 → optimal cu
probabilităţile 0.4, 0.3, 0.2, 0.04, 0.03, 0.02, 0.004, 0.003, 0.002, 0.0009 respectiv 0.0001.
Să se descifreze secvenţa recepţionată:
x1 x3 x4 x2 x4 x4 x1 x4 x4 x3 x4 x4 x4 x2 x4 x4 x4 x1 x4 x4 x2 x4 x3 x4 x1 x2
dacă la emisie s-a efectuat o codare Huffman utilizând simbolurile alfabetului codului în ordinea x1, x2, x3, x<strong>4.</strong>
⎛ s1
S
: ⎜
⎝0.
4
s
2
0.
3
s
3
0.
2
s
4
0.
04
s
5
0.
03
s
6
0.
02
s
7
0.
004
s
8
0.
003
s
9
0.
002
2
s
10
0.
0009
3
3
s11
⎞
⎟
0.
0001⎠
4
4