Appunti di Teoria dell'Informazione e Codici - Università di Palermo

60 Capitolo - 6 - Appunti di Teoria dell’Informazione e Codici
All’ultimo membro della precedente potremo applicare la (6.2.2) ottenendo:
∑ ( ) ∑ ( ( )) ( ) (∑ )
(∑ ∑
∑
) (∑ ) ( )
(6.2.8)
ovviamente la (6.2.5) diventa
∑ ( ) (∑( )) (6.2.9)
se la ( ) anziché essere concava è convessa.
6.3 - Il Teorema di Shannon sulla Codifica di Canale.
Consideriamo la probabilità d’errore condizionata all’emissione dell’ -esimo
segnale di una data -upla, essa è in realtà una funzione della -upla nel suo complesso,
in quanto il cambiamento anche di un solo segnale nella -upla può comportare la
modifica della regione di decisione associata ad , per sottolineare ciò, porremo in
quel che segue ( ).
Dovendo calcolare la media sopra citata, e tenuto conto delle considerazioni fatte
in merito, possiamo scegliere ad arbitrio una distribuzione di massa di probabilità
( ) per le -uple di possibili segnali. Per semplicità supponiamo
che
( ) ∏ ( ) (6.3.1)
e che tutte le d.m.p. marginali che compaiono nella produttoria siano identiche.
Avremo quindi:
∑ ∑ ∑ ∏ ( ) ( ) (6.3.2)
utilizzando il bound di Gallager otteniamo:
∑ ∑ ∑ ∏ ( ) ∫ [ ∑ ( ( )) ] ( ) (6.3.3)
S
che può essere riscritta sfruttando il teorema della media (portando cioè la media
all’interno dell’integrale) come segue:
S
∫ ∑ ( ) ( ) {∑ ∑ ∑ ∑ ∏ ( ) [ ∑ ( ( [ ] )) ] }
(6.3.4)