3 Teori för symmetriska system

64
Teori för symmetriska system
ix.
Ekvivokation.
H(X | Y) = H Y (X) =
Σ y p(y) H(X | Y = y) = - Σ y p(y) Σ x p(x | y) log p(x | y) = - Σ x,y p(x, y) log p(x | y)
Detta är medelvärdet av den betingade entropin över alla Y eller osäkerheten om X givet Y.
Den kryptologiska relevansen framgår genom att välja X = nycklar och Y = kryptogram:
Vilken är forcörens ovisshet om nyckeln då chiffertexten observeras?
Exempel.
Låt L = 4 och p(x) = 1/4 för alla x. Då är H(X) = 2. Antag också att p(y) = 1/4 för alla y.
Om nu varje y begränsar möjligheterna för x så att
y 1 bara medger x 1 eller x 2 (lika sannolika)
y 2 bara medger x 2 eller x 3 (lika sannolika)
y 3 bara medger x 3 eller x 4 (lika sannolika)
y 4 bara medger x 4 eller x 1 (lika sannolika)
så erhålls H(X | Y) = 4 [ (1/4) 2 { (1/2) log 2 } ] = 1. Tolka!
x. Sats.
Bevis(skiss).
I(X, Y) = H(X) + H(Y) - H(XY) = H(X) - H(X | Y) = H(Y) - H(Y | X) = I(Y, X).
I(X, Y) = - E[ log (p(x | y ) / p(x) ] = - E[ log (p(x, y) / (p(x) p(y)) ] = H(X) + H(Y) -
H(XY).
xi. Sats.
0 ≤ H(X | Y) ≤ log L.
När antas maximum? Notera att H(X | X) = 0 för alla X. Visa detta!
xii. Sats.
H(X) = H(X 1 ) + H(X 2 | X 1 ) + H(X 3 | X 1 X 2 ) + ... + H(X n | X 1 ... X n-1 ),
där X = (X 1 , ..., X n ).
Om {X i } är oberoende bortfaller betingningen varför
H(X) = H(X 1 ) + H(X 2 ) + H(X 3 ) + ... + H(X n ).
Om dessutom alla X i har identisk fördelning (X = X i för alla i) blir
H(X) = n H(X).
Det senare betyder att språkhastigheten r = lim n→∞ H(X) / n = H(X) för n-gram om varje
tecken i ett sådant antas oberoende av omgivningen och alla platser likafördelade.
Multiplikationsregeln för betingade sannolikheter utnyttjas för beviset av xii: