Appunti di Teoria dell'Informazione e Codici - Università di Palermo

62 Capitolo - 6 - Appunti di Teoria dell’Informazione e Codici
indipendenti tra loro, sostituendo nella (6.3.6) e ricordando che la media di un prodotto
è uguale al prodotto delle medie otteniamo:
S
∫ [ ∑ ∑ ∑ ( ) ∏ ( ( | )) ]
(6.3.7)
S
∫ [∏ ∑ ( ) ( ( | )) ]
la quale limitandoci a considerare delle ( ) ∏ ( ) fornisce ancora:
S
∫ [∏ ∑ ( ) ( ( )) ]
S
∫ ∏ [∑ ( )( ( )) ]
(6.3.8)
{∫ [∑ ( )( ( )) ] }
È opportuno ribadire che la maggiorazione ricavata è del tutto generale, essendo
basata sul bound di Gallager, quindi si applica anche a canali discreti.
Pertanto, prima di procedere oltre, provvediamo a riscrivere la (6.3.8) per spazi
d’uscita discreti. Per farlo dobbiamo sostituire l’integrale con una sommatoria estesa a
tutti i possibili simboli dell’alfabeto d’uscita che supporremo di cardinalità , e la
densità di probabilità condizionata che caratterizza il canale con uscita nel continuo con
le dmp condizionate del DMC ottenendo:
[∑ (∑ ( )( ( )) ) ] (6.3.9)
è utile riscrivere la precedente nella forma:
{ [∑ (∑ ( )( ( )) ) ] }
{ [∑ (∑ ( )( ( )) ) ]}
(6.3.10)
{ [∑ (∑ ( )( ( )) ) ]}
che ne rende esplicita la dipendenza dal rapporto .
Ricordiamo che è il numero di segnali utilizzati e la dimensione del sottospazio
in cui detti segnali sono contenuti, si può interpretate come la massima
quantità d’informazione, espressa in nat, che i parametri fissati per il sistema consentirebbero
di affidare a ogni dimensione del sottospazio. rappresenta quindi il data rate.