Appunti di Teoria dell'Informazione e Codici - Università di Palermo

38 Capitolo - 4 - Appunti di Teoria dell’Informazione e Codici
e, ricordando la (1.3.6), può essere maggiorata come segue:
( ) ∑ ( )
∏ ( )
∑ ∑ ( )
( )
∑ ∑ ( ) ( ) ∏ ( )
( )
∑ ∑ ( ) ( ) ∑
( )
( )
(4.5.3)
∑ ∑ ∑ ( ) ( )
( )
( )
∑ ( )
L’uguaglianza vale se i simboli d’uscita sono mutuamente statisticamente indipendenti
perché in questo caso si avrebbe ( ) ∏ ( ). Questa condizione è certamente
soddisfatta se la sorgente è priva di memoria.
Se la sorgente ed il canale sono stazionari tenuto conto della (4.2.12) possiamo
ulteriormente scrivere:
( ) ∑ ( ) ( ) (4.5.4)
4.6 - Canali in Cascata.
Consideriamo adesso il caso di due canali in cascata (vedi Fig.E 4.5).
Supponiamo che l’alfabeto d’uscita del primo canale coincida con quello d’ingresso del
secondo, e che l’uscita di ciascun canale dipenda esclusivamente dal suo ingresso. Ciò
significa che
( ) ( ) (4.6.1)
Fig.E 4.5 - Canali in cascata
Facendo sempre riferimento alla figura, consideriamo la differenza tra le informazioni
mutue ( )ed ( ). Si ha: