Appunti di Teoria dell'Informazione e Codici - Università di Palermo

10 Capitolo - 1 - Appunti di Teoria dell’Informazione e Codici
(1.2.3)
In pratica scegliere la base nella (1.2.2) equivale a scegliere una particolare unità di
misura. La potenza di un motore non cambia se viene misurata in KW o in HP, anche
se espressa in cavalli è più accattivante.
Nella Teoria dell’Informazione si utilizzano tipicamente due basi per il logaritmo
che compare nella (1.2.2) la base se si intende misurare l’informazione il nat, o la
base se la si vuole misurarla in bit (binary information unit non binary digit).
Ad esempio nel caso del lancio di una moneta non truccata al manifestarsi dell’evento
è associata un’informazione pari a – o a –
L’utilizzo del bit come unità di misura è di regola preferito dal momento che la
quasi totalità dei moderni sistemi di informazione utilizza sistemi di calcolo che
lavorano in base 2 e che i dati tra computer vengono scambiati tipicamente sotto forma
di parole binarie. In quel che segue il logaritmo naturale verrà indicato con ed il
logaritmo in base con omettendo cioè l’indicazione della base.
1.3 - Sorgenti d’Informazione
Una sorgente d’informazione, è un sistema che emette in modo più o meno
casuale sequenze d’elementi appartenenti ad un assegnato insieme, l’alfabeto della
sorgente. Come vedremo, la natura dei simboli è del tutto inessenziale per lo sviluppo
della teoria, potremo quindi sempre pensare che l’alfabeto sia numerico, cioè che la
sorgente emetta una sequenza di variabili aleatorie, che, se l’insieme è finito, saranno di
tipo discreto. In alternativa possiamo sempre pensare di definire sull’insieme dei
simboli emessi, che costituisce in sostanza l’insieme dei risultati di un esperimento
casuale, una V.A. biettiva.
Un sistema di trasmissione ha il compito di recapitare dei dati in modo affidabile
da un emissario a un destinatario. Il grado d’affidabilità del sistema può essere
caratterizzato dal numero d’errori da cui è mediamente afflitto.
Si osservi che emissario e destinatario possono anche trovarsi nello stesso luogo ed
essere addirittura lo stesso soggetto, come ad esempio avviene nel caso della
memorizzazione di dati, che si auspica possano essere utili in futuro, su un supporto
fisico.
L’emissario in sostanza è una sorgente d’informazione che può generare segnali
a tempo continuo o discreto.