Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Capitolo - 1
LE SORGENTI D’INFORMAZIONE
1.1 - Premessa
Uno dei maggiori problemi che s’incontrano nella stesura di un testo che tratti la
teoria dell’informazione è quello della notazione da adottare, non è, infatti, semplice
trovare il giusto compromesso tra sinteticità e chiarezza della stessa.
Nel seguito avremo spesso a che fare con variabili aleatorie (V.A.) che indicheremo
con lettere maiuscole. Come è noto ad ogni V.A. si può associare una distribuzione di
probabilità (DDP) ed una densità di probabilità (ddp) che altro non è se non la
derivata della DDP, intesa eventualmente in senso generalizzato.
Nel caso delle variabili aleatorie discrete che possono cioè assumere un numero
finito di valori è più comodo fare riferimento alla distribuzione di massa di probabilità
(dmp) cioè ad una funzione ( ) che associa ad ogni valore che la V.A. può
assumere la probabilità dell’evento: “ assume il valore ”.
Quando si riterrà che non vi siano possibilità d’equivoci si ometterà il pedice che
individua la V.A. affidando all’argomento della funzione anche questo compito, cioè
( ) ( ).
Si noti che la notazione che qui si adotta è purtroppo analoga a quella
normalmente utilizzata per indicare la ddp di una variabile aleatoria, un minimo di
attenzione al contesto dovrebbe, si spera, essere sufficiente ad evitare confusioni. Le
ddp verranno di regola indicate con lettere greche con a pedice la V.A. cui si
riferiscono ad esempio ( ).
Come è noto per le variabili aleatorie discrete è particolarmente semplice desumere da
una qualunque delle tre funzioni di probabilità appena citate le altre. In particolare se è
nota la dmp di una variabile aleatoria discreta che assume valori appartenenti
all’insieme la corrispondente DDP ( ) sarà una funzione definita su
tutto costante a tratti con discontinuità d’ampiezza ( ) in corrispondenza dei
valori che la V.A. può assumere. La ddp ( ) sarà espressa da ( )
∑ ( ) ( ).
Nel calcolo delle sommatorie che s’incontreranno ad ogni piè sospinto si
indicherà il più sinteticamente possibile l’indice su cui le suddette operano. Ad esempio
avendo a che fare con una V.A. discreta che assuma valori in un insieme
, la condizione di normalizzazione della sua dmp sarà indicata come segue: