Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Il Teorema di Shannon sulla Codifica di Canale 61
Osserviamo che ∑ ( ( )) , può intendersi come il valore
assunto da una variabile aleatoria reale . Nel derivare il bound di Gallager avevamo
supposto se adesso lo limitiamo all’intervallo , è una funzione concava
di (concavità rivolta verso il basso), quindi possiamo applicare la disuguaglianza di
Jensen (vedi § precedente) che garantisce che il valor medio di una funzione concava di
una V.A. è non maggiore del valore che detta funzione assume in corrispondenza al
valor medio della V.A..
Sulla base di quanto appena detto possiamo maggiorare il contenuto delle parentesi
graffe della precedente come segue:
∑ ∑ ∑ ∑ ∏ ( ) [ ∑ ( ( )) ] ( )
[ ∑ ∑ ∑ ∑ ∏ ( ) ∑ ( ( )) ]
[ ∑ ∑ ∑ ∑ ∑ ∏ ( ) ( ( )) ]
(6.3.5)
[ ∑ ∑ ( ) ( ( )) ]
[( ) ∑ ( ) ( ( )) ]
L’ultimo membro della precedente ci consente di maggiorare ulteriormente la
ottenendo:
S
∫ ∑ ( ) ( ( )) [( ) ∑ ( )( ( )) ]
( ) ∫ [∑ ( )( ( )) ]
S
(6.3.6)
S
∫ [∑ ( )( ( )) ]
Ulteriori elaborazioni della precedente si possono ottenere osservando che il
contenuto delle parentesi quadre all’ultimo membro di essa può intendersi come il valor
medio della ( ( )) pensata come funzione della V.A. multidimensionale . Ciò
premesso, se introduciamo l’ipotesi ( ) ∏ ( ), cioè che il canale, se
utilizzato in tempi diversi per inviare le componenti del segnale , sia privo di
memoria, ovvero che per inviarle si utilizzino contemporaneamente canali identici