Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Canali Discreti Privi di Memoria 35
simboli appartenenti a un alfabeto binario costituiti cioè rispettivamente da due soli
simboli, , ; la matrice di transizione a esso associata sarà quindi una
che se risulta
è simmetrica e caratterizza un BSC (Binary
Simmetric Channel).
| | (4.3.1)
Se il canale è connesso a una sorgente che emette simboli con probabilità ,
risulta:
( ) ( )
( )( )
L’informazione mutua media di un BSC varrà quindi:
(4.3.2)
( ) ∑ ∑ ∑ ∑ ∑ ∑
∑ ∑
∑
( ) ( ) ( )
(4.3.3)
( )( ) ( ) ∑
( ) ( ) ∑ ( ) ( )
Fig.E 4.2 - Capacità del canale simmetrico
binario
(vedi Fig.E 4.2).
Dalla precedente si evince facilmente che la
capacità di canale si ottiene massimizzando l’entropia
dell’uscita ( ), che, come già visto, lo é
quando i simboli d’uscita sono equiprobabili, cosa
che, data la simmetria del canale, avviene quando
lo sono quelli emessi dalla sorgente. Concludiamo
che la capacità di un BSC vale:
( ) (4.3.4)
È interessante osservare che implicherebbe che da conto del fatto
che in questo caso il canale sarebbe ovviamente del tutto inutile ai fini del trasferimento
d’informazione.
Fig.E 4.3 - Canale Gaussiano
4.4 - Capacità del Canale AWGN a Banda
Limitata.
Consideriamo adesso il canale con ingresso e
uscita ad alfabeto continuo rappresentato in Fig.E 4.3