Appunti di Teoria dell'Informazione e Codici - Università di Palermo

12 Capitolo - 1 - Appunti di Teoria dell’Informazione e Codici
( ) ∑ ( )
( )
∑ (1.3.3)
L’entropia ( ) appena definita, è la media statistica dell’informazione
associata all’emissione dell’ -esimo simbolo. Essa rappresenta pertanto l’informazione
che mediamente si acquisisce per effetto dell’emissione di un simbolo da parte della
sorgente all’istante . Osserviamo che la stazionarietà della sequenza comporta che
( ) sia indipendente da , tale indice può quindi essere omesso.
Si noti che anche l’entropia dipende esclusivamente dalla distribuzione di probabilità
dei simboli emessi e non dalla loro natura.
L’entropia di una sorgente, è limitata superiormente. In particolare se l’alfabeto
ha cardinalità si ha:
∑ (1.3.4)
Per verificare la precedente disuguaglianza consideriamo due possibili dmp:
∑
∑
(1.3.5)
vale la seguente catena di disuguaglianze:
∑ ∑ ∑ ∑
∑ ( )
(1.3.6)
La maggiorazione effettuata è corretta in
quanto nell’insieme di definizione di risulta
(vedi Fig.E 1.1). La precedente permette
di affermare che se sostituiamo la dmp ad argomento
del logaritmo con una diversa da quella utilizzata per
il calcolo della media otteniamo comunque una
maggiorazione dell’entropia.
In particolare se nella (1.3.6) si sceglie
Fig.E 1.1 - y x , y (x).
si ottiene: