Appunti di Teoria dell'Informazione e Codici - Università di Palermo

More documents

Recommendations

Info

66 Capitolo - 6 - Appunti di Teoria dell’Informazione e Codici Nelle ultime due equazioni il secondo membro è una funzione di essendo la soluzione della seconda delle (6.3.22) che è unica in quanto nell’intervallo di interesse abbiamo visto che la ( ) è una funzione strettamente crescente di . Per i valori di ( ) la (6.3.17) assumerebbe valori negativi quindi la ( ) sarebbe una funzione decrescente di quindi il suo massimo lo raggiungerebbe per , ma ( ) indipendentemente da ne seguirebbe ( ) e la (6.3.14) si rivelerebbe del tutto inutile. In conclusione la ( ) per valori di appartenenti all’intervallo [ ( ) | ] è un tratto di retta parallela alla seconda bisettrice che tocca l’asse delle ordinate in ( ( )) alla quale si raccorda un tratto di curva con concavità rivolta verso l’alto che tocca l’asse delle ascisse in I( ), come si verifica facilmente valutando le (6.3.22) per . A questo punto non resta che massimizzare la ( ( )) rispetto alla ( ). La che massimizza la ( ) dipende dal canale che si sta utilizzando, e, per fissato canale può dipendere dal rate , in particolare esistono canali per cui la ( ) è massimizzata da un'unica , canali per i quali esistono delle distinte che massimizzano la funzione in parola in intervalli di disgiunti e canali per cui la ( ) che massimizza la ( ) varia con continuità con . In ogni caso il fatto che la ( ) sia una funzione limitata convessa per I( ) , assicura che la massimizzazione desiderata è in pratica l’inviluppo superiore di tutte le ( ), si può dimostrare che detta funzione è anch’essa convessa, decrescente e non negativa per , dove I( ) è la capacità di canale e che in questo contesto assume un ruolo fondamentale. In sostanza abbiamo appena dimostrato il Teorema di Shannon sulla codifica di canale, che possiamo recitare come segue: Teorema 6.1 Dato un qualsiasi canale discreto privo di memoria, esiste sempre un codice con un rate [ ], le cui parole sono costituite da simboli per il quale risulta: ( ) (6.3.25) dove è la probabilità d’errore ottenuta tramite un ricevitore a massima verosimiglianza ed ( ) una funzione decrescente, convessa e maggiore di zero nell’intervallo .
Il Teorema di Shannon sulla Codifica di Canale 67 *********** Il precedente teorema in pratica mostra che se aumentiamo mantenendo costante possiamo individuare codici con probabilità d’errore piccola a piacere purché risulti . È opportuno tuttavia osservare che al crescere di il numero di parole di codice necessario per mantenere costante il rate cresce anch’esso, “purtroppo” con legge esponenziale, aumentando così, spesso a livelli improponibili, la complessità di decodifica. Da qui la necessità di individuare codici su spazi dotati di strutture algebriche molto ricche che permettano operazioni di codifica e decodifica semplici, malgrado l’elevato numero di parole che li costituiscono. Potrebbe sorgere una perplessità circa il risultato appena ottenuto, si potrebbe infatti sospettare che il bound ottenuto per la probabilità d’errore media del codice nasconda delle probabilità d’errore condizionate all’emissione di una specifica parola del codice molto maggiore del bound relativo alla probabilità d’errore media. Per fugare questa legittima perplessità consideriamo uno spazio di dimensione , o che è lo stesso un codice costituito da parole di simboli emessi consecutivamente da un codificatore di canale. Il teorema di Shannon ci garantisce che esiste almeno un set di parole tra le possibili scelte, che esibisce una probabilità d’errore media non maggiore di: ( ( ) ) (6.3.26) Se assumiamo che le parole che costituiscono il codice abbiano uguale probabilità di essere emesse, allora avremo: ∑ (6.3.27) Scartando gli M segnali cui corrispondono le probabilità d’errore più grandi, ci rendiamo conto che la probabilità d’errore associata ad uno qualsiasi dei segnali sopravvissuti non può essere maggiore di ( ( )) . Se così non fosse, almeno ad un termine dei sopravvissuti corrisponderebbe una ( ( )) vi sarebbero quindi almeno segnali, quelli scartati più quello appena citato, con ( ( )) e potremmo scrivere: ( ) ( ( ) ) ( ( ) ) ( ( ) ) (6.3.28) contro l’ipotesi che il codice soddisfa la (6.3.26). Per ogni del gruppo dei sopravvissuti potremo allora scrivere:
Page 1 and 2:
Dipartimento di Ingegneria Elettric
Page 3 and 4:
Sommario Capitolo - 1..............
Page 5 and 6:
Indice iii 9.4 - Definizioni e teor
Page 7:
Indice v 19.6 - Codici ciclici Sist
Page 10 and 11:
8 Capitolo - 1 - Appunti di Teoria
Page 12 and 13:
Page 14 and 15:
Page 16 and 17:
Page 18 and 19: Capitolo - 2 - Appunti di Teoria de
Page 21 and 22: Capitolo - 3 LA CODIFICA DI SORGENT
Page 23 and 24: La Codifica di Sorgente 21 Per dimo
Page 25 and 26: La Codifica di Sorgente 23 ( ) (3.5
Page 27 and 28: La Codifica di Sorgente 25 (∑ ( (
Page 29 and 30: La Codifica di Sorgente 27 La prece
Page 31 and 32: La Codifica di Sorgente 29 asintoti
Page 33 and 34: 4.1 - L’Informazione Mutua. Capit
Page 35 and 36: Canali Discreti Privi di Memoria 33
Page 45: Canali Discreti Privi di Memoria 43
Page 48 and 49: 46 Capitolo - 5 - Appunti di Teoria
Page 83 and 84: Capitolo - 10 CODICI LINEARI A BLOC
Page 85 and 86: Codici Lineari a Blocchi 83 In sost
Page 87 and 88: Codici Lineari a Blocchi 85 10.6 -
Page 89 and 90: Codici Lineari a Blocchi 87 element
Page 91: Codici Lineari a Blocchi 89 10.11 -
Page 94 and 95: 92 Capitolo - 11 - Appunti di Teori
Page 102 and 103: 100 Capitolo - 13 - Appunti di Teor
Page 109 and 110: Capitolo - 14 L’ALGORITMO DI VITE
Page 111 and 112: L’Algoritmo di Viterbi 109 corris
Page 113: L’Algoritmo di Viterbi 111 Abbiam
Page 116 and 117: 114 Capitolo - 15 la sua funzione
Page 118 and 119:
116 Capitolo - 15 15.2 - Bound sull
Page 120 and 121:
118 Capitolo - 15 Se il peso di è
Page 122 and 123:
120 Capitolo - 15 ∑ ( ) (√ ) (1
Page 124 and 125:
122 Capitolo - 15 ( ) ∑ ∑ ∑ (
Page 126 and 127:
124 Capitolo - 16 - Appunti di Teor
Page 129 and 130:
Capitolo - 18 IDEALI DI UN ANELLO D
Page 131:
Ideali di un Anello di Polinomi 129
Page 134 and 135:
Page 136 and 137:
Page 138 and 139:
Page 141 and 142:
Capitolo - 20 CAMPI FINITI 20.1 - P
Page 143 and 144:
Campi Finiti 141 ma è un campo val
Page 145 and 146:
Campi Finiti 143 - ( se ) ( ) è un
Page 147 and 148:
Campi Finiti 145 20.8 - Alcune prop
Page 149:
Campi Finiti 147 ( ) (20.8.7) Osser
Page 152 and 153:
Page 154 and 155:
Page 157 and 158:
Capitolo - 22 LA TRASFORMATA DI FOU
Page 159 and 160:
La Trasformata di Fourier Discreta
show all

Appunti di Teoria dell'Informazione e Codici - Università di Palermo

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?