Appunti di Teoria dell'Informazione e Codici - Università di Palermo

More documents

Recommendations

Info

30 Capitolo - 3 - Appunti di Teoria dell’Informazione e Codici A questo punto, aggiungere un simbolo A, tornare indietro di undici passi e copiare per sei volte corrisponde ad aggiungere la sequenza A, B, B, B, B, B, C in coda. L’ultimo blocco è di tipo runlength come i primi tre. La codifica LZ77 dell’immagine in bianco e nero di Fig.E 3.4 è una sequenza di solo 60 triplette aventi una entropia stimata di 11.52 bit ciascuna, per un contenuto informativo complessivo non minore di 692 bit (con un guadagno potenziale dell’83% sulla dimensione non codificata di 4096 bit).
4.1 - L’Informazione Mutua. Capitolo - 4 CANALI PRIVI DI MEMORIA Consideriamo un generico esperimento casuale. Abbiamo detto che al manifestarsi di un dato evento E è associata una quantità d’informazione ; la stessa (E ) quantità può essere interpretata come la nostra incertezza sull’evento E . Ad esempio se (E ) allora sul fatto che E si manifesti non abbiamo nessuna incertezza ed in questo caso si avrebbe (E ) nel caso in cui (E ) fosse molto piccola avremmo una grande incertezza sul fatto che E si possa manifestare, ed acquisiremmo quindi una grande informazione qualora si manifestasse. Consideriamo adesso una coppia d’eventi E , E , il manifestarsi di E può variare la nostra incertezza su E se ad esempio E E il manifestarsi di E rimuoverebbe tutta l’incertezza (E ) che a priori avevamo su E . Se, viceversa, i due eventi fossero statisticamente indipendenti il manifestarsi di E immutata l’incertezza che a priori avevamo su E . lascerebbe In altri termini se sapessimo che E è verificato il manifestarsi di E ci fornirebbe un’informazione in genere diversa da quella che avremmo avuto a priori (cioè senza saper nulla circa E ). In particolare l’informazione fornita a posteriori (cioè sapendo che E è verificato) dal manifestarsi di E varrebbe (E E ) . Si definisce informazione mutua (E E ), l’incertezza che rimarrebbe sull’evento E qualora E si manifestasse. In formule: ( ) ( ) ( ) ( ) ( ) (4.1.1) Alla luce della definizione appena data la scelta del nome Informazione mutua può apparire infelice, esso probabilmente trae origine dal fatto che ricordando la regola di Bayes possiamo scrivere: ( ) ( ) ( ) ( ) ( ) ( ) ( ) (4.1.2) Osserviamo che, nel caso in cui E E , (E E ) varrebbe cioè E ci (E ) fornirebbe su E tutta l’informazione che ci potrebbe fornire E stesso. E cioè rimuoverebbe ogni incertezza su E . Viceversa se (E E ) ( E ) ( E ) allora
Page 1 and 2: Dipartimento di Ingegneria Elettric
Page 3 and 4: Sommario Capitolo - 1..............
Page 5 and 6: Indice iii 9.4 - Definizioni e teor
Page 7: Indice v 19.6 - Codici ciclici Sist
Page 10 and 11: 8 Capitolo - 1 - Appunti di Teoria
Page 18 and 19: Capitolo - 2 - Appunti di Teoria de
Page 21 and 22: Capitolo - 3 LA CODIFICA DI SORGENT
Page 23 and 24: La Codifica di Sorgente 21 Per dimo
Page 25 and 26: La Codifica di Sorgente 23 ( ) (3.5
Page 27 and 28: La Codifica di Sorgente 25 (∑ ( (
Page 29 and 30: La Codifica di Sorgente 27 La prece
Page 31: La Codifica di Sorgente 29 asintoti
Page 35 and 36: Canali Discreti Privi di Memoria 33
Page 45: Canali Discreti Privi di Memoria 43
Page 83 and 84:
Capitolo - 10 CODICI LINEARI A BLOC
Page 85 and 86:
Codici Lineari a Blocchi 83 In sost
Page 87 and 88:
Codici Lineari a Blocchi 85 10.6 -
Page 89 and 90:
Codici Lineari a Blocchi 87 element
Page 91:
Codici Lineari a Blocchi 89 10.11 -
Page 94 and 95:
92 Capitolo - 11 - Appunti di Teori
Page 96 and 97:
Page 98 and 99:
Page 100 and 101:
Page 102 and 103:
100 Capitolo - 13 - Appunti di Teor
Page 104 and 105:
Page 106 and 107:
Page 109 and 110:
Capitolo - 14 L’ALGORITMO DI VITE
Page 111 and 112:
L’Algoritmo di Viterbi 109 corris
Page 113:
L’Algoritmo di Viterbi 111 Abbiam
Page 116 and 117:
114 Capitolo - 15 la sua funzione
Page 118 and 119:
116 Capitolo - 15 15.2 - Bound sull
Page 120 and 121:
118 Capitolo - 15 Se il peso di è
Page 122 and 123:
120 Capitolo - 15 ∑ ( ) (√ ) (1
Page 124 and 125:
122 Capitolo - 15 ( ) ∑ ∑ ∑ (
Page 126 and 127:
Page 129 and 130:
Capitolo - 18 IDEALI DI UN ANELLO D
Page 131:
Ideali di un Anello di Polinomi 129
Page 134 and 135:
Page 136 and 137:
Page 138 and 139:
Page 141 and 142:
Capitolo - 20 CAMPI FINITI 20.1 - P
Page 143 and 144:
Campi Finiti 141 ma è un campo val
Page 145 and 146:
Campi Finiti 143 - ( se ) ( ) è un
Page 147 and 148:
Campi Finiti 145 20.8 - Alcune prop
Page 149:
Campi Finiti 147 ( ) (20.8.7) Osser
Page 152 and 153:
Page 154 and 155:
Page 157 and 158:
Capitolo - 22 LA TRASFORMATA DI FOU
Page 159 and 160:
La Trasformata di Fourier Discreta
show all

Appunti di Teoria dell'Informazione e Codici - Università di Palermo

Create successful ePaper yourself

Delete template?

Save as template?