Biljeske 04 - Tehnički fakultet u Rijeci

TEORIJA INFORMACIJE
Željko Jeričević, dr. sc.
Zavod za računarstvo, Tehnički fakultet &
Zavod za biologiju i medicinsku genetiku, Medicinski fakultet
51000 Rijeka, Croatia
Phone: (+385) 51-651 594
E-mail: zeljko.jericevic@riteh.hr
http://www.riteh.uniri.hr/~zeljkoj/Zeljko_Jericevic.html

Information theory
Iz dosadašnjeg gradiva znamo da se informacija prije slanja kroz
kanal treba prirediti. To se postiže pretvorbom informacije u
formu koja ima entropiju blisku maksimalnoj čime se efikasnost
prenosa približava maksimalnoj. Ovo se može postići
kompresijom bez gubitaka informacije (lossless compression),
napr. Huffmanovim kodiranjem.
Druga pretvorba odnosi se na sigurnost prenosa pri čemu se
informacija prevodi u formu gdje je za određeni tip pogrešaka
moguća automatska korekcija (napr. Hamming-ovim
kodiranjem).
10 February 2012 zeljko.jericevic@riteh.hr 2

Information theory history
1950 Richard Wesley Hamming (1915-1998) prvi
specificirao kodiranje koje omogućuje automatsku
korekciju nekih grešaka
10 February 2012 zeljko.jericevic@riteh.hr 3

Information theory
Parity checking
11010110010
Neparni broj grešaka se može ovako detektirati, ali ne i
parni
11110110011
Problemi:
Što ako je greška u parity bit?
Metoda ništa ne govori o lokaciji greške
10 February 2012 zeljko.jericevic@riteh.hr 4

Information theory
Parity checking
Podaci se organiziraju
kao u 2D polju
Na kraju svakog retka je
parity bit za redak, a
zadnji redak sadrži
parity bits za stupce.
Pogreška bi aktivirala
parity bit za red i
stupac. Parity check za
cijelu poruku je u
donjem desnom uglu.
zeljko.jericevic@riteh.hr 5

Information theory
Parity checking
Redundancy R
R =
sveukupni broj bitova
broj bitova u poruci
10 February 2012 zeljko.jericevic@riteh.hr 6

Parity checking
Redundancy R za 2D
polje.
Za koji oblik polja je R
minimalan?
Information theory
R
=
=
sveukupni broj bitova
broj bitova u poruci
mn
( m−1)( n−1)
zeljko.jericevic@riteh.hr 7

Information theory
Hamming-ova ideja
za korekciju jedne pogreške i detekciju dvije pogreške.
Koliko kontrolnih bitova je potrebno za detekciju i
korekciju pogeške?
Podjelimo poruku u subporuke (koje nisu neovisne) i
provedimo kontrolu pariteta za svaku subporuku.
Rezultati kontrole pariteta na subsekvencama daju
takozvani “sindrom”, binarni broj koji daje lokaciju
pogreške. Ako je sindrom 0 (nula) nema pogreške, sve
kontrole pariteta su u redu. Sindrom 00110 znači
pogreška je u 6-tom bitu poruke.

Information theory
Implementacija Hamming-ove ideje:
Ako je n bitova dužina poruke, a m bitova dužina
sindroma onda vrijedi sljedeća nejednakost:
(2 m –1) ≥ (n + m)
Sindrom dužine m može pohraniti (2 m –1) adresa pogreške
(-1 u nejednadžbi je za pohranu vrijednosti 0)
Sljedi:
n ≤ (2 m – m –1)

Information theory
Implementacija Hamming-ove ideje:
Efikasnost 11 = 11/15 = 73.33%
Efikasnost 1013 = 1013/1023 = 99.02%
n m
1 2
2 3
3 3
4 3
5 4
12 5
27 6
58 7
121 8
248 9
503 10
1014 11

Information theory
Implementacija Hamming-ove ideje:
Poruka 11 bitova + 4 kontrolana bita
Pretpostavimo da je krajnja desna
kontrola pariteta 1, znači pogreška je
u jednom od neparnih bitova poruke:
1, 3, 5, 7, 9, 11, 13, 15
1 0001
2 0010
3 0011
4 0100
5 0101
6 0110
7 0111
8 1000
9 1001
10 1010
11 1011
12 1100
13 1101
14 1110
15 1111

Information theory
Implementacija Hamming-ove ideje:
Poruka 11 bitova + 4 kontrolana bita
10111011011 + abcd
Lokacija kontrolnih bitova (a, b, c, d) je proizvoljna ali
kodiranje je jednostavnije s određenim izborima
pozicija (naprimjer 1, 2, 4, 8)
kod a b 1 c 0 1 1 d 1 0 1 1 0 1 1
pozicija
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Information theory
Implementacija Hamming-ove ideje:
Poruka 11 bitova + 4 kontrolana bita
10111011011 + abcd
a = paritet neparnih pozicija: 1, 3, 5, 7, 9, 11, 13, 15 =5%2=1
b = paritet pozicija: 2, 3, 6, 7, 10, 11, 14, 15 = 6%2 = 0
c = paritet pozicija: 4, 5, 6, 7, 12, 13, 14, 15 = 5%2 = 1
d = paritet pozicija: 8, 9, 10, 11, 12, 13, 14, 15 = 5%2 = 1
Svaki kontrolni bit se pojavljuje samo u jednom subsetu!
kod a b 1 c 0 1 1 d 1 0 1 1 0 1 1
pozicija 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Information theory
Implementacija Hamming-ove ideje:
izvor 1 0 1 1 0 1 1 1 1 0 1 1 0 1 1
odrediste 1 0 1 1 0 1 0 1 1 0 1 1 0 1 1
Na odredištu:
a = paritet neparnih pozicija: 1, 3, 5, 7, 9, 11, 13, 15 =5%2=1
b = paritet pozicija: 2, 3, 6, 7, 10, 11, 14, 15 = 5%2 = 1
c = paritet pozicija: 4, 5, 6, 7, 12, 13, 14, 15 = 5%2 = 1
d = paritet pozicija: 8, 9, 10, 11, 12, 13, 14, 15 = 6%2 = 0
Sindrom dcba je 0111, pogreška je na poziciji 7
% je znak za modulo

Information theory
Implementacija Hamming-ove ideje:
Poruka i kontrole pariteta se jednako tretiraju
Za detekciju dvije pogreške u poruci dodamo ekstra bit za
kontrolu pariteta cijele poruke
Ako je jedna pogreška u poruci paritet cijele poruke ćebiti
pogrešan, za dvije pogreške ćebititočan ali paritet
subporuka nećebititočan

Information theory
Hamming-ovo kodiranje i memorija računala:
Kod paralelnog procesiranja i velikih problema potrebno
je problem segmentirati – raspodjeliti među procesore i
čvrste diskove, a međurezultate treba s vremena na
vrijeme sihnhronizirati.
Haming-ovo kodiranje se koristi za simultano testiranje
diskova: ako se tokom testiranja utvrdi da dva diska
imaju pogreške na istoj lokaciji, onda ih uklanjamo iz
sustava.

Information theory
Koliko daleko ima smisla ići s korekcijama?
Možemo li konstruirati kod koji korigira 1, 2, 3, ...
pogreške, sve do neke po volji malene vjerojatnosti
pogreške?
Zamislimo da šaljemo poruku duljine M c (poruka duljine
M + kontrolni kod). Shannon je definirao odnos između
M i M c ako je vjerojatnost jedne pogreške jednaka q:
M ⎡ 1 1 ⎤
≤ f ( q ) = 1− q log ( 1 q )
⎢ + − log
2 2 ⎥
M q 1 − q
c
⎣
⎦

Information theory
Koliko daleko ima smisla ićis
korekcijama?
Ako nema ograničenja
(kapacitet kanala!!) na
duljinu M c , vjerojatnost
pogreške se može učiniti po
volji malena.
Shannon-ov teorem govori da
se to može učiniti, ali ne
govori kako!
Tablica gornje granice
efikasnosti kodiranja
q M / M M / M
0.5 0
1
3
0.082 12.2
0.25 0.19 5.3
0.1 0.53 1.9
0.01 0.919 1.09
0.001 0.988 1.012
c
c
∞

Information theory
Prostorna reprezentacija poruke
Prostor poruke je skup poruka
koje želimo prenjeti – tj
diskretni, multidimenzionalni
prostor čije (sve) točke
predstavljaju poruke.
Naprimjer 3-bitni kod ima
sljedeće prihvatljive poruke:
000, 001, 010, 011, 100, 101, 110,
111

Information theory
Prostorna reprezentacija
poruke
U ovom slučaju prostor
poruke je gusto pakiran:
promjenimo li jedan bit,
dobivamo drugu
prihvatljivu poruku.
m-bitna poruka daje 2 m
dimenzionalni prostor

Information theory
Prostorna reprezentacija poruke
Pogreška u poruci pomiče nasu
neku drugu točku prostora.
Možemo pretpostaviti da što je
više pogrešaka, sve smo “dalje”
u prostoru od izvorne poruke.
Hamming-ova distanca je
udaljenost dvaju točaka
prostora, a predstavlja broj
bitova koji treba promijeniti da
se dođe od jedne do druge točke.

Information theory
Prostorna reprezentacija
poruke
Hamming-ova distanca je od
000 do 111 je 3, od 000 do
010 je 1
Jedna pogreška (e=1) u
poruci odgovara
Hamming-ovoj distanci od
d=1, dvije (e=2) pogreške
distanci od d=2, itd

Prostorna reprezentacija
poruke
Kodirati poruku M unutar
većeporukeM c tako da e
pogrešaka mogu biti
jednoznačno korigirane.
To znači da su prihvatljive
poruke u prostoru M c
međusobno udaljene za ne
manje od:
d = 2e + 1
Information theory

Information theory
Prostorna reprezentacija poruke
Nema prekrivanja među sferama u prostoru M c znači da
možemo korigirati e pogrešaka i detektirati 2e
pogrešaka.

Information theory
Primjer detekcije pogreške – kontrolni bit je desno
M
M c
Poruka:
000, 011, 101, 110
Pogreške:
001, 010, 100, 111

Hvala na pažnji
Željko Jeričević, dr. sc.
Zavod za računarstvo, Tehnički fakultet &
Zavod za biologiju i medicinsku genetiku, Medicinski fakultet
51000 Rijeka, Croatia
Phone: (+385) 51-651 594
E-mail: zeljko.jericevic@riteh.hr
http://www.riteh.uniri.hr/~zeljkoj/Zeljko_Jericevic.html
10 February 2012 zeljko.jericevic@riteh.hr 26