Appunti di Teoria dell'Informazione e Codici - Università di Palermo

La Codifica di Sorgente 23
( ) (3.5.4)
La precedente ci fa capire che, non possono esistere codici univocamente decodificabili
che utilizzano un numero medio di bit per simbolo minore dell’entropia
della sorgente da codificare. Esiste quindi un limite inferiore alla possibilità di
“comprimere”, senza perdite, le informazioni emesse dalla sorgente, a prescindere dalla
complessità del codificatore, che come s’intuisce, tipicamente cresce al crescere di .
La (3.5.4) ha anche il merito di chiarire meglio l’importanza dell’entropia nell’ambito
della Teoria dell’Informazione.
Esempio 3.2
Un algoritmo ricorsivo per la costruzione di un codice di sorgente ottimo nel senso della
lunghezza media delle parole è dovuto ad Huffman (1952).
L’algoritmo di Huffman consiste nella costruzione ricorsiva di un albero binario. Ricordando che
l’obiettivo è ottenere la minore lunghezza media possibile, si intuisce che a simboli meno probabili
devono corrispondere parole di codice aventi lunghezza maggiore, ovvero foglie aventi ordine
maggiore.
Per costruire l’albero si deve disporre delle probabilità ( ) di manifestazione degli
messaggi . L’albero costruito dall’algoritmo di Huffman ha vertici: i primi sono
associati alle probabilità , mentre i restanti vengono determinati ricorsivamente. A ciascun
vertice viene associata una variabile booleana che ne indica l’utilizzo da parte dell’algoritmo.
Al passo -esimo,
si procede come segue:
si scelgono tra i vertici non ancora marcati come utilizzati i due vertici e aventi le
probabilità associate minori, si marcano e come utilizzati e si introduce un nuovo vertice
avente probabilità associata pari a si aggiungono all’insieme dei lati i due elementi
( ) e ( ).
Sostanzialmente l’algoritmo può essere riassunto come segue: “inizialmente tutti i vertici sono
orfani; a ciascun passo si scelgono i due orfani aventi probabilità associata minima e li si dota di un
vertice padre (a sua volta orfano) avente probabilità pari alla somma delle probabilità dei figli”.
Al termine dell’algoritmo resta un unico vertice non ancora utilizzato, e lo si denota radice
dell’albero. Una volta costruito l’albero, il codice di Huffman è definito dalla procedura
dell’Esempio 3.1.
Fig.E 3.1 - Albero e codice di Huffman associato al codice con M = 2
Come esempio, consideriamo la costruzione di un codice di Huffman per una sorgente DMS
stazionaria avente alfabeto e probabilità di emissione e .
Essendo la sorgente binaria, con il codice contiene due sole stringhe ‘0’ ed ‘1’; la
lunghezza media del codice risulta , mentre l’entropia è data da ( )
Con , gli M-messaggi possibili sono quattro, caratterizzati
dalle probabilità di emissione , , e ; l’albero costruito
secondo l’algoritmo di Huffman è riportato in Fig.E 3.1.
La lunghezza media del codice risulta ( ) ed il numero
medio di bit utilizzati per simbolo ( ), in accordo con la (3.5.4).