Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Capitolo - 6
IL TEOREMA DI SHANNON SULLA CODIFICA DI CANALE
6.1 - Premessa.
Shannon, nel suo pionieristico lavoro del 1948, individuò una maggiorazione
della probabilità d’errore che, anziché cercare di maggiorare la probabilità d’errore
associata alla scelta di uno specifico insieme di segnali si propone di maggiorare la
probabilità di errore media tra tutti i possibili set costituiti da un numero fissato di
segnali contenuti in un sottospazio di dimensione assegnata , nell’ipotesi in cui tutte
le componenti di oguno di essi possano assumere valori appartenenti al medesimo
alfabeto di cardinalità finita . Sotto queste ipotesi si possono effettuare un numero
finito di scelte per la -upla di segnali da impiegare, esistono infatti solo ( )
possibili -uple di segnali, alcune delle quali in realtà non “felici” in quanto utilizzano
più volte uno stesso segnale.
Shannon sfruttò il fatto che una qualsiasi funzione di variabile aleatoria può
certamente assumere un valore non maggiore del suo valor medio. Applicato al caso in
esame ciò comporta l’esistenza di almeno una -upla di segnali che da luogo ad una
probabilità d’errore non maggiore della media tra le probabilità di errore di tutte le -
uple.
È interessante osservare che quest’affermazione resta valida quale che sia la
distribuzione di massa di probabilità che si sceglie per calcolare la media citata, nel
caso particolare potremmo ad esempio scegliere la media aritmetica, daremmo in
questo caso uguale peso a ogni possibile -upla, ovvero potremmo attribuire pesi
diversi ad esempio associando peso nullo a tutte le -uple in cui uno stesso segnale è
utilizzato più di una volta, in questo caso evidentemente il valor medio tra le probabilità
di errore sarebbe verosimilmente una maggiorazione più stretta, altre scelte potrebbero
rivelarsi infelici, ma costituirebbero comunque una maggiorazione per la probabilità
d’errore di almeno una - upla.
6.2 - La Disuguaglianza di Jensen
Nel precedente paragrafo è stata utilizzata una disuguaglianza che risulta utile
anche nella trattazione di altri argomenti legati alla Teoria dell’Informazione.
Cominciamo con il definire un sottoinsieme convesso di uno spazio vettoriale: