3 Teori för symmetriska system

80
Teori för symmetriska system
vi. Exempel; Morsekodning. Med ovan angiven tabell och FSM blir ekvationen
− 1
x
−2 + x
−4
x
−3 + x
−6 x
−2 + x
−4
−1
= 0.
Genom att räkna ut denna determinant med Cramers regel återfås ekvationen (3).
Ett viktigt specialfall av satsen är det då alla kodord har samma längd.
Ett annat specialfall erhålls om alla kodsekvenser är tillåtna.
Noter
Det mesta i detta kapitel härstämmar från artiklarna [Sha48] och [Sha49]. Bra böcker om
informationsteori är [Bla87] och [Joh88]. Stinson [Sti85] har ett utmärkt kapitel om samma
ämne.
Övningar
3.1. Antag att X är en heltalsvariabel som representeras med 32 bitar. Antag vidare att
sannolikheten för att X ∈ [0, 255] är 1/2 och att alla värden i detta intervall är lika
sannolika. X är dessutom likformigt fördelad i komplementintervallet. Beräkna H(X).
3.2. Låt X vara ett av följande meddelanden: a, b, c, d, e, f med
p(a) = p(b) = p(c) = 1/4
p(d) = 1/8
p(e) = p(f) = 1/16
Bestäm H(X) och gör en så bra kodning du kan av X.
3.3. Visa att för, n = 2, H(X) antar maximum för p 1 = p 2 = 1/2.
3.4. Visa motsvarande resultat för godtyckligt n.
3.5. Visa att H(X, Y) ≤ H(X) + H(Y). När antas likhet?
3.6. Visa att H(X, Y) = H(Y) + H(X | Y).
3.7. Låt M stå för ett sexsiffrigt tal som chiffreras med ett skiftchiffer med en nyckel K ∈ [0,
9]. Beräkna H(M), H(C), H(K), H(M | C) och H(K | C) givet att alla värden på M och K är
lika sannolika.
3.8. Ömsedidiga informationen kan definieras som via
Visa att
I(X, Y) = Σ x,y p(x, y) log [p(x | y) / p(x)].
I(X, Y) = H(X) - H(X | Y).
3.9. a. Bestäm H(M) då p(m i ) = 2 -i , i = 1, 2, ... . (Oändligt många utfall alltså!)
b. Vilken blir medelkodordslängden för Huffmankodningen?