Appunti di Teoria dell'Informazione e Codici - Università di Palermo

66 Capitolo - 6 - Appunti di Teoria dell’Informazione e Codici
Nelle ultime due equazioni il secondo membro è una funzione di essendo la
soluzione della seconda delle (6.3.22) che è unica in quanto nell’intervallo di interesse
abbiamo visto che la
( )
è una funzione strettamente crescente di .
Per i valori di ( ) la (6.3.17) assumerebbe valori negativi quindi la
( ) sarebbe una funzione decrescente di quindi il suo massimo lo
raggiungerebbe per , ma ( ) indipendentemente da ne seguirebbe
( ) e la (6.3.14) si rivelerebbe del tutto inutile.
In conclusione la ( ) per valori di appartenenti all’intervallo
[
( )
| ] è un tratto di retta parallela alla seconda bisettrice che tocca l’asse
delle ordinate in ( ( )) alla quale si raccorda un tratto di curva con
concavità rivolta verso l’alto che tocca l’asse delle ascisse in I( ), come si verifica
facilmente valutando le (6.3.22) per . A questo punto non resta che massimizzare
la ( ( )) rispetto alla ( ).
La che massimizza la ( ) dipende dal canale che si sta utilizzando, e, per
fissato canale può dipendere dal rate , in particolare esistono canali per cui la ( )
è massimizzata da un'unica , canali per i quali esistono delle distinte che
massimizzano la funzione in parola in intervalli di disgiunti e canali per cui la ( )
che massimizza la ( ) varia con continuità con . In ogni caso il fatto che la
( ) sia una funzione limitata convessa per I( ) , assicura che la
massimizzazione desiderata è in pratica l’inviluppo superiore di tutte le ( ), si può
dimostrare che detta funzione è anch’essa convessa, decrescente e non negativa per
, dove I( ) è la capacità di canale e che in questo contesto assume
un ruolo fondamentale.
In sostanza abbiamo appena dimostrato il Teorema di Shannon sulla codifica di
canale, che possiamo recitare come segue:
Teorema 6.1
Dato un qualsiasi canale discreto privo di memoria, esiste sempre un codice con un
rate [ ], le cui parole sono costituite da simboli per il quale risulta:
( ) (6.3.25)
dove è la probabilità d’errore ottenuta tramite un ricevitore a massima
verosimiglianza ed ( ) una funzione decrescente, convessa e maggiore di zero
nell’intervallo .