Appunti di Teoria dell'Informazione e Codici - Università di Palermo

La Codifica di Sorgente 21
Per dimostrare tale teorema ci serviremo di una condizione necessaria alla
decodificabilità di un codice di sorgente, a differenza di quella del prefisso che, come
già detto, è invece una condizione sufficiente.
3.4 - La Disuguaglianza di Kraft.
Consideriamo una sorgente DMS con alfabeto di cardinalità ed un generico
codice per gli M-messaggi emessi da essa. Comunque scelto vale l’identità:
( ∑ ( ) ) ∑ ∑
A
A A
A
∑ ( ( ) ( ) ( ))
(3.4.1)
la sommatoria ad ultimo membro della precedente può anche essere calcolata
“accorpando” i termini con uguale esponente. A tale scopo indichiamo con la
massima lunghezza raggiunta dalle parole di codice. Il massimo esponente che può
comparire nell’ultimo membro della (3.4.1) vale quindi . Ciò premesso, possiamo
scrivere:
( ∑ ( ) ) ∑ (3.4.2)
A
essendo il numero di stringhe di bit che si possono ottenere giustapponendo
parole di codice.
Se pretendiamo che il codice sia univocamente decodificabile, dovrà necessariamente
essere , se così non fosse, esisterebbero certamente almeno due
sequenze di M-messaggi codificate con la stessa stringa binaria di bit.
La considerazione fatta suggerisce per la (3.4.2) la seguente maggiorazione:
( ∑ ( ) ) ∑ ∑ (3.4.3)
A
Osserviamo che la precedente deve valere per ogni e, visto che il primo membro, se
crescesse con lo farebbe esponenzialmente, non può essere soddisfatta a meno che
non risulti
∑ ( )
A
(3.4.4)
la precedente va sotto il nome di Disuguaglianza di Kraft ed in quanto condizione
necessaria all’univoca decodificabilità costituisce un vincolo sulla distribuzione delle
lunghezze delle parole d’un codice.
Esempio 3.1
Premesso che:un grafo è definito da una coppia d’insiemi ( );