Appunti di Teoria dell'Informazione e Codici - Università di Palermo

La Codifica di Sorgente 27
La precedente è molto importante perché ci permette di affermare che per le
DMS, accettando eventualmente una complessità elevata di codifica/decodifica, si può
costruire un codice che usa un numero medio di bit per simbolo prossimo quanto si
vuole all’entropia della sorgente.
In conclusione mettendo insieme la (3.5.3) e la (3.7.4) abbiamo dimostrato il
seguente
Teorema 3.1
Data una DMS stazionaria con entropia ( ) e comunque scelto , esiste un
intero in corrispondenza al quale si può costruire un codice univocamente
decodificabile che esibisce una lunghezza media per simbolo di sorgente che soddisfa
la seguente disuguaglianza:
( ) ( ) (3.7.5)
Inoltre, qualunque sia
, non è possibile costruire codici per i quali risulti:
( ) (3.7.6)
***********
Vale la pena di osservare che il codice che abbiamo costruito, se da un lato c’è
stato utile per ottenere la (3.7.5), dal punto di vista pratico sarebbe difficilmente
applicabile perché presuppone la conoscenza della dmp della sorgente, dato questo di
cui in pratica difficilmente si dispone. Esistono algoritmi di codifica che tendono al
limite inferiore imposto dalla (3.7.5) pur non presupponendo la conoscenza della dmp
in parola, e che quindi si rivelano molto più utili in pratica.
Esempio 3.3
L’algoritmo di Huffman descritto nell’Esempio 3.2 richiede la conoscenza a priori delle
probabilità dei simboli di sorgente. Descriviamo brevemente un possibile metodo per ottenere una
versione adattativa dell’algoritmo che presuppone solo la conoscenza della cardinalità dell’alfabeto
.
L’idea è riassumibile in due punti:
- utilizzare, invece delle probabilità di manifestazione, le frequenze relative di manifestazione
dei simboli di sorgente, inizializzate con una distribuzione a priori nota a codificatore e
Fig.E 3.2 - Schema a blocchi di un generico codec (codificatore/decodificatore) adattativo.
decodificatore