Appunti di Teoria dell'Informazione e Codici - Università di Palermo

More documents

Recommendations

Info

24 Capitolo - 3 - Appunti di Teoria dell’Informazione e Codici 3.6 - La Proprietà di Equipartizione. Occupiamoci adesso di un’importante proprietà delle sorgenti d’informazione. Consideriamo una DMS stazionaria con entropia ( ) , fissiamo un e, nell’insieme di tutti gli M-messaggi, prendiamo in considerazione il sottoinsieme S così definito ( ( ) ) Dalla precedente discende innanzi tutto che: ( ) ( ( ) ) (3.6.1) ∑ ( ( ) ) S ∑ ( ) (3.6.2) ( ( ) ) Dalla quale deduciamo che la cardinalità di S non può essere maggiore di quindi tutti i messaggi appartenenti ad S possono essere codificati utilizzando parole di codice di lunghezza fissa con un numero di bit non superiore a: ( ( ) ) (3.6.3) Tenendo conto del fatto che la sorgente è per ipotesi priva di memoria si può anche scrivere: S ( ( ) ) ∑ ( ) ( ) ∑ ( ( )) ( ( ) ) (3.6.4) Dall’ultimo membro della precedente si può facilmente estrapolare la definizione dell’insieme , cioè del complementare di S rispetto all’insieme degli M-messaggi: ¯ |∑ ( ( )) ( )| (3.6.5) Ci proponiamo di maggiorare la probabilità dell’evento: “la sorgente ha emesso un messaggio appartenete a ”. A tal fine ricordiamo che la disuguaglianza di Chebyshev garantisce che la probabilità che una V.A. con varianza disti dal suo valore medio per più di è non maggiore di . Osserviamo che ∑ ( ( )) può essere interpretata come una V.A. ottenuta sommando le variabili aleatorie statisticamente indipendenti ( ( )) tutte identicamente distribuite. Osserviamo che il valor medio di ciascuna di esse vale ( ) quindi il valor medio di vale:
La Codifica di Sorgente 25 (∑ ( ( ))) ( ) (3.6.6) Anche la varianza di è volte la varianza di ( ) e vale: ∑( ( ( )) ( )) ( ) (3.6.7) In conclusione, ponendo , la probabilità che un M-messaggio appartenga ad sarà non maggiore di ( S ) ∑ ( ( ( ( ) )) ( )) ( ( ) ) (3.6.8) La disuguaglianza appena scritta ci dice che la probabilità che un M-messaggio non appartenga a S tende a zero al tendere di all’infinito. In altri termini abbiamo appena mostrato che “asintoticamente” i messaggi emessi da una sorgente possono essere suddivisi in due classi la prima contiene ( messaggi sostanzialmente equiprobabili con probabilità di manifestarsi ) , la seconda contenente messaggi che si presentano con probabilità prossima a zero. La proprietà appena descritta, che vale anche per sorgenti dotate di memoria, va sotto il nome di proprietà di equipartizione (equipartition property). Tra l’altro essa ci dice che, pur di considerare messaggi sufficientemente lunghi, il numero di messaggi distinti che una sorgente emette è approssimativamente pari a ( ) che rappresenta solo una frazione degli teoricamente generabili. Il fatto che esista un sottoinsieme di messaggi aventi un’esigua probabilità di manifestarsi può essere utilmente sfruttato nel caso in cui si vogliano mettere a punto dei sistemi di codifica che accettino una qualche perdita nel contenuto informativo. Si potrebbe ad esempio pensare di progettare un codificatore di sorgente che ignori i messaggi poco probabili. Ciò porterebbe a una perdita d’informazione che potrebbe però essere trascurabile rispetto a quella che si perderebbe comunque a causa ad esempio degli errori introdotti dal sistema di trasmissione. 3.7 - Teorema sulla Codifica di una Sorgente DMS. Abbiamo visto che la (3.5.4) impone un limite inferiore alla lunghezza media del codice, ma, la stessa, nulla ci dice su quanto a detto limite ci si possa avvicinare. Per rispondere a questo quesito utilizzeremo la proprietà di equipartizione introdotta nel paragrafo precedente al fine di costruire un codice univocamente decodificabile per gli M-messaggi emessi dalla sorgente.
Page 1 and 2: Dipartimento di Ingegneria Elettric
Page 3 and 4: Sommario Capitolo - 1..............
Page 5 and 6: Indice iii 9.4 - Definizioni e teor
Page 7: Indice v 19.6 - Codici ciclici Sist
Page 10 and 11: 8 Capitolo - 1 - Appunti di Teoria
Page 18 and 19: Capitolo - 2 - Appunti di Teoria de
Page 21 and 22: Capitolo - 3 LA CODIFICA DI SORGENT
Page 23 and 24: La Codifica di Sorgente 21 Per dimo
Page 25: La Codifica di Sorgente 23 ( ) (3.5
Page 29 and 30: La Codifica di Sorgente 27 La prece
Page 31 and 32: La Codifica di Sorgente 29 asintoti
Page 33 and 34: 4.1 - L’Informazione Mutua. Capit
Page 35 and 36: Canali Discreti Privi di Memoria 33
Page 45: Canali Discreti Privi di Memoria 43
Page 76 and 77:
74 Capitolo - 9 - Appunti di Teoria
Page 78 and 79:
Page 80 and 81:
Page 83 and 84:
Capitolo - 10 CODICI LINEARI A BLOC
Page 85 and 86:
Codici Lineari a Blocchi 83 In sost
Page 87 and 88:
Codici Lineari a Blocchi 85 10.6 -
Page 89 and 90:
Codici Lineari a Blocchi 87 element
Page 91:
Codici Lineari a Blocchi 89 10.11 -
Page 94 and 95:
92 Capitolo - 11 - Appunti di Teori
Page 96 and 97:
Page 98 and 99:
Page 100 and 101:
Page 102 and 103:
100 Capitolo - 13 - Appunti di Teor
Page 104 and 105:
Page 106 and 107:
Page 109 and 110:
Capitolo - 14 L’ALGORITMO DI VITE
Page 111 and 112:
L’Algoritmo di Viterbi 109 corris
Page 113:
L’Algoritmo di Viterbi 111 Abbiam
Page 116 and 117:
114 Capitolo - 15 la sua funzione
Page 118 and 119:
116 Capitolo - 15 15.2 - Bound sull
Page 120 and 121:
118 Capitolo - 15 Se il peso di è
Page 122 and 123:
120 Capitolo - 15 ∑ ( ) (√ ) (1
Page 124 and 125:
122 Capitolo - 15 ( ) ∑ ∑ ∑ (
Page 126 and 127:
Page 129 and 130:
Capitolo - 18 IDEALI DI UN ANELLO D
Page 131:
Ideali di un Anello di Polinomi 129
Page 134 and 135:
Page 136 and 137:
Page 138 and 139:
Page 141 and 142:
Capitolo - 20 CAMPI FINITI 20.1 - P
Page 143 and 144:
Campi Finiti 141 ma è un campo val
Page 145 and 146:
Campi Finiti 143 - ( se ) ( ) è un
Page 147 and 148:
Campi Finiti 145 20.8 - Alcune prop
Page 149:
Campi Finiti 147 ( ) (20.8.7) Osser
Page 152 and 153:
Page 154 and 155:
Page 157 and 158:
Capitolo - 22 LA TRASFORMATA DI FOU
Page 159 and 160:
La Trasformata di Fourier Discreta
show all

Appunti di Teoria dell'Informazione e Codici - Università di Palermo

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?