3 Teori för symmetriska system

62
Teori för symmetriska system
iii. Entropi: Medelvärdet av självinformationen blir:
H(X) = H(p) = Σ i p i I(X = x i ) = - Σ i p i log p i = -
Summan tas över alla p i ≠ 0. Alternativt tolkas 0 log 0 som lim x→0 x log x = 0.
Detta är ett mått på à priori ovissheten i X eller den maximala informationen som en
observation kan ge om just den aktuella variabeln.
Heuristisk motivering:
Ett mått som är kontinuerligt i p i , ökar med L om alla p i = 1/L och som utgör en viktad
summa av måtten då valen bryts ned i delval, kan visas erhållas endast med denna funktion
(en konstant undantagen, vilken svarar mot valet av logaritmbas).
Exempel.
1. Om L = 2 och p 1 = p 2 = 1/2 så är H(X) = 1/2 log 2 + 1/2 log 2 = 1.
För två lika sannolika möjligheter behövs en bit för att avgöra vilken det rör sig om.
2. För godtyckligt L och med p i = 1/L erhålls H(X) = L * 1/L log L = log L.
Observera specialfallet L = 2 n som alltså ger n bitar.
3. Om t ex p 1 = 1 och alla andra p i = 0 erhålls H(X) = 1 log 1 + (L- 1) * 0 * log 0 = 0.
Utfallet är känt; inga bitar behövs för att specificera det.
4. Om p 1 = 1/2 och p 2 = p 3 = 1/4 erhålls H(X) = 1.5.
Ett mellanting.
Alltså: Ju "jämnare" fördelning desto större entropi! Då massan är centrerad i en punkt är
entropin 0. Det var ingen slump att Shannon valde namnet entropi.
Termodynamikens andra huvudsats:
I ett slutet system avtar inte entropin.
Det är tur för datortekniker att
öppna system existerar!
iv. Medelvärdet av den ömsesidiga informationen:
I(X, Y) = - Σ x Σ y p(x, y) log (p(x | y)/p(x)) = - Σ y p(y) Σ x p(x | y) log (p(x | y)/p(x)).
Eftersom I(X = x, Y = y) är en funktion av två variabler så summeras över båda för att bilda
medelvärdet. Notera att I(X, Y) = I(Y, X).
v. Entropi (fler variabler):
H(X, ...,Y) = - Σ... Σ p(x,...,y) log p(x,...,y) = H(X...Y) = H(X), där X = (X,...,Y).
Detta är användbart i kryptologin då N-gram studeras.
Vid ökande N växer antalet termer i summan exponentiellt.