Appunti di Teoria dell'Informazione e Codici - Università di Palermo

22 Capitolo - 3 - Appunti di Teoria dell’Informazione e Codici
- l’insieme è detto insieme dei vertici ;
- l’insieme è detto insieme dei lati e definisce una relazione (detta di adiacenza)
su
- a ciascun vertice di un grafo si può associare un grado definito come il numero di lati in cui
esso appare;
- un percorso di lunghezza è definito come una sequenza di vertici , tali che
( ) , ;
- un grafo è detto connesso se comunque scelti due vertici distinti esiste un percorso tra essi;
- un ciclo è un percorso in cui il primo e l’ultimo vertice coincidono;
- un albero è un grafo connesso senza cicli;
- in un albero i nodi di grado uno sono detti foglie;
- un albero ha radice se uno dei vertici viene etichettato come tale;
- un albero binario è un albero con radice in cui nessun vertice ha grado maggiore di tre e la
radice ha grado non maggiore di due;
- per ordine di un vertice si intende la lunghezza del percorso che lo connette alla radice, i
vertici di ordine adiacenti ad un nodo di ordine sono detti figli ed il vertice che li
connette è detto padre.
Un metodo per costruire un codice che soddisfi la regola del prefisso è definire un albero binario
avente foglie ed associare ai vertici stringhe binarie di lunghezza pari al loro ordine secondo le
seguenti regole:
- alla radice si associa la stringa vuota
- ai vertici figli si associano stringhe distinte ottenute a partire da quelle associate ai vertici
padri, giustapponendovi rispettivamente i simboli ‘0’ ed ‘1’.
Al termine della costruzione, le foglie dell’albero hanno associate parole di codice che
soddisfano la regola del prefisso. E’ utile notare che la diseguaglianza di Kraft è soddisfatta per
costruzione. In particolare lo è come uguaglianza nel caso in cui il numero di vertici dell’albero sia
.
3.5 - Limite Inferiore per la Lunghezza di un Codice.
messaggio
Forti del precedente risultato consideriamo la seguente funzione del generico M-
( )
( )
∑ ( ˜ )
˜ A
(3.5.1)
( ) soddisfa tutte le condizioni per poter essere la dmp di una M-upla di variabili
aleatorie discrete che assumono valori appartenenti all’alfabeto , pertanto, tenendo
conto della (1.3.6), si può scrivere:
( ) ∑ ( )
A
∑ ( )
( )
A
( )
∑ ( )
A
( )
∑ ( ) ∑ ( ˜ )
A
˜ A
(3.5.2)
∑ ( ) ( ) ( ∑ ( ˜ ) ) ( ∑ ( ˜ ) )
A
˜ A
˜ A
La disuguaglianza di Kraft ci garantisce che il logaritmo all’ultimo membro della
precedente non è positivo, se ne conclude che vale la disuguaglianza
( ) (3.5.3)
che, se la sorgente è stazionaria, comporta: