Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Capitolo - 2
SORGENTI CON ALFABETO CONTINUO
2.1 - Entropia di una Sorgente con Alfabeto Continuo
Consideriamo adesso una sorgente che emette con cadenza regolare simboli
appartenenti ad un insieme non numerabile. Potremo quindi sempre pensare che la
sorgente emetta una sequenza di variabili aleatorie di tipo continuo. La sorgente
sarà quindi completamente caratterizzata da un processo aleatorio a tempo discreto
continuo in ampiezza, che è completamente caratterizzato qualora sia nota la sua
statistica a qualunque ordine.
Per definire l’entropia ( ) di una tale sorgente, cioè l’informazione che
mediamente acquisiremmo in seguito all’emissione di un singolo simbolo, senza nulla
sapere dei simboli emessi precedentemente da una tale sorgente, dovremo
necessariamente fare riferimento alla densità di probabilità ( ) della variabile
aleatoria che essa genera in un dato istante. Se supponiamo che la sorgente sia
stazionaria tale densità di probabilità sarà indipendente dall’istante di osservazione.
Basandoci su quanto detto per le sorgenti con alfabeto discreto, sorge spontaneo
definire tale entropia come segue:
( ) ∫ ( )
(2.1.1)
( )
assumendo che . Tale definizione non gode di tutte le proprietà di cui godeva
l’entropia di una sorgente con alfabeto finito, essa ad esempio può assumere anche
valori negativi e può non essere limitata.
Anche per le sorgenti ad alfabeto continuo possiamo definire l’entropia associata
a più simboli emessi. Nel caso di due soli simboli si ha:
( ) ∫ ∫ ( )
( )
∫ ∫ ( )
( )
∫ ∫ ( )
( )
( ) ( )
( ) ( )
se X e Y sono statisticamente indipendenti dalla precedente si ottiene:
(2.1.2)
Si può provare che in generale risulta:
( ) ( ) ( ) (2.1.3)
( ) ( ) ( ) (2.1.4)