Appunti di Teoria dell'Informazione e Codici - Università di Palermo

More documents

Recommendations

Info

26 Capitolo - 3 - Appunti di Teoria dell’Informazione e Codici Fissiamo ad arbitrio un , possiamo utilizzare il primo bit (binary digit) della parola del costruendo codice per classificarla come appartenente o meno all’insieme S definito nel precedente paragrafo. Osserviamo quindi che, per identificare univocamente tutti gli elementi di S , sulla base della (3.6.3), saranno sufficienti ulteriori S ( ( ) ) bit. Restano da codificare gli elementi appartenenti ad . A tal fine ricordiamo che tali elementi hanno una probabilità molto piccola di manifestarsi, quindi incidono poco sulla lunghezza media del codice che è la quantità che ci interessa limitare. Ciò premesso possiamo utilizzare per codificarli un numero di bit , laddove bit sarebbero sufficienti a codificare tutti gli M-messaggi. In sostanza la generica parola di codice avrà lunghezza S o , e non vi è nessuna ambiguità per il decodificatore che osservando il primo bit di ogni parola saprebbe quale è la sua lunghezza. Ciò ovviamente è vero solo se il codificatore e il decodificatore sono esenti da errori. Calcoliamo adesso lunghezza media per simbolo emesso dalla sorgente del codice che abbiamo appena costruito: ( S ( S ) ( )) (3.7.1) che, tenuto conto della (3.6.8), si può maggiorare come segue: ( S ( S ) ( )) ( S ( S )) ( S ̅̅̅ ) ( ( ( ) ) ) ( ) (3.7.2) ( ( ) ) ( ) ( ) Si osservi che può essere scelto arbitrariamente, in particolare possiamo scegliere ottenendo: ( ) ( ) (3.7.3) Osserviamo adesso che nell’ultimo membro della (3.7.3) tutti gli addendi eccetto il primo tendono a zero al crescere di , possiamo quindi scriverla nella forma: ( ) ( ) (3.7.4)
La Codifica di Sorgente 27 La precedente è molto importante perché ci permette di affermare che per le DMS, accettando eventualmente una complessità elevata di codifica/decodifica, si può costruire un codice che usa un numero medio di bit per simbolo prossimo quanto si vuole all’entropia della sorgente. In conclusione mettendo insieme la (3.5.3) e la (3.7.4) abbiamo dimostrato il seguente Teorema 3.1 Data una DMS stazionaria con entropia ( ) e comunque scelto , esiste un intero in corrispondenza al quale si può costruire un codice univocamente decodificabile che esibisce una lunghezza media per simbolo di sorgente che soddisfa la seguente disuguaglianza: ( ) ( ) (3.7.5) Inoltre, qualunque sia , non è possibile costruire codici per i quali risulti: ( ) (3.7.6) *********** Vale la pena di osservare che il codice che abbiamo costruito, se da un lato c’è stato utile per ottenere la (3.7.5), dal punto di vista pratico sarebbe difficilmente applicabile perché presuppone la conoscenza della dmp della sorgente, dato questo di cui in pratica difficilmente si dispone. Esistono algoritmi di codifica che tendono al limite inferiore imposto dalla (3.7.5) pur non presupponendo la conoscenza della dmp in parola, e che quindi si rivelano molto più utili in pratica. Esempio 3.3 L’algoritmo di Huffman descritto nell’Esempio 3.2 richiede la conoscenza a priori delle probabilità dei simboli di sorgente. Descriviamo brevemente un possibile metodo per ottenere una versione adattativa dell’algoritmo che presuppone solo la conoscenza della cardinalità dell’alfabeto . L’idea è riassumibile in due punti: - utilizzare, invece delle probabilità di manifestazione, le frequenze relative di manifestazione dei simboli di sorgente, inizializzate con una distribuzione a priori nota a codificatore e Fig.E 3.2 - Schema a blocchi di un generico codec (codificatore/decodificatore) adattativo. decodificatore
Page 1 and 2: Dipartimento di Ingegneria Elettric
Page 3 and 4: Sommario Capitolo - 1..............
Page 5 and 6: Indice iii 9.4 - Definizioni e teor
Page 7: Indice v 19.6 - Codici ciclici Sist
Page 10 and 11: 8 Capitolo - 1 - Appunti di Teoria
Page 18 and 19: Capitolo - 2 - Appunti di Teoria de
Page 21 and 22: Capitolo - 3 LA CODIFICA DI SORGENT
Page 23 and 24: La Codifica di Sorgente 21 Per dimo
Page 25 and 26: La Codifica di Sorgente 23 ( ) (3.5
Page 27: La Codifica di Sorgente 25 (∑ ( (
Page 31 and 32: La Codifica di Sorgente 29 asintoti
Page 33 and 34: 4.1 - L’Informazione Mutua. Capit
Page 35 and 36: Canali Discreti Privi di Memoria 33
Page 45: Canali Discreti Privi di Memoria 43
Page 78 and 79:
76 Capitolo - 9 - Appunti di Teoria
Page 80 and 81:
78 Capitolo - 9 - Appunti di Teoria
Page 83 and 84:
Capitolo - 10 CODICI LINEARI A BLOC
Page 85 and 86:
Codici Lineari a Blocchi 83 In sost
Page 87 and 88:
Codici Lineari a Blocchi 85 10.6 -
Page 89 and 90:
Codici Lineari a Blocchi 87 element
Page 91:
Codici Lineari a Blocchi 89 10.11 -
Page 94 and 95:
92 Capitolo - 11 - Appunti di Teori
Page 96 and 97:
Page 98 and 99:
Page 100 and 101:
Page 102 and 103:
100 Capitolo - 13 - Appunti di Teor
Page 104 and 105:
Page 106 and 107:
Page 109 and 110:
Capitolo - 14 L’ALGORITMO DI VITE
Page 111 and 112:
L’Algoritmo di Viterbi 109 corris
Page 113:
L’Algoritmo di Viterbi 111 Abbiam
Page 116 and 117:
114 Capitolo - 15 la sua funzione
Page 118 and 119:
116 Capitolo - 15 15.2 - Bound sull
Page 120 and 121:
118 Capitolo - 15 Se il peso di è
Page 122 and 123:
120 Capitolo - 15 ∑ ( ) (√ ) (1
Page 124 and 125:
122 Capitolo - 15 ( ) ∑ ∑ ∑ (
Page 126 and 127:
Page 129 and 130:
Capitolo - 18 IDEALI DI UN ANELLO D
Page 131:
Ideali di un Anello di Polinomi 129
Page 134 and 135:
Page 136 and 137:
Page 138 and 139:
Page 141 and 142:
Capitolo - 20 CAMPI FINITI 20.1 - P
Page 143 and 144:
Campi Finiti 141 ma è un campo val
Page 145 and 146:
Campi Finiti 143 - ( se ) ( ) è un
Page 147 and 148:
Campi Finiti 145 20.8 - Alcune prop
Page 149:
Campi Finiti 147 ( ) (20.8.7) Osser
Page 152 and 153:
Page 154 and 155:
Page 157 and 158:
Capitolo - 22 LA TRASFORMATA DI FOU
Page 159 and 160:
La Trasformata di Fourier Discreta
show all

Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Create successful ePaper yourself

Delete template?

Save as template?