3 Teori för symmetriska system

68
Teori för symmetriska system
3.3.2 Den binära symmetriska kanalen (BSC)
I BSC (och i 'one time pad') finns två källsymboler x 1 och x 2 som förekommer med
sannolikhet p(x 1 ) = p respektive p(x 2 ) = 1 - p. Figuren illustrerar denna kanal.
x1
a
1-a
a
y1
x2
1-a
Figur 3.2 BSC
y2
Övergångssannolikheterna för de mottagna symbolerna y 1 och y 2 ges av
och
p(y 1 | x 2 ) = p(y 2 | x 1 ) = a
p(y 1 | x 1 ) = p(y 2 | x 2 ) = 1 - a.
Ett värde a ≠ 0 representerar ett överföringsfel (eller "distorsion" via kryptering) ; lika för
båda symbolerna.
Likheten a = 0.5 gäller för 'one time pad'; en slumpföljdsnyckel har ju lika många 0-or som
1-or.
För att beräkna kanalkapaciteten C används I(X, Y) = H(Y) - H(Y | X).
H (Y) erhålls enkelt genom att beakta att
och att
Alltså är
p(y 1 ) = p(x 1 ) p(y 1 | x 1 ) + p(x 2 ) p(y 1 | x 2 ) = a + p - 2ap
p(y 2 ) = 1 - p(y 1 ).
H(Y) = h (p(y 1 )) = h (a + p - 2ap),
där h är den binära entropifunktionen.
Genom att utnyttja att p(x i , y j ) = p(x i ) p(y j | x i ) kan den andra termen
beräknas.
H(Y | X) = - Σ x Σ y p(x, y) log p(y | x)
H(Y | X) = - p [a log a + (1 - a) log (1 - a)] - (1- p) [a log a + (1- a) log (1- a)] = h (a).
Eftersom kanalen är symmetrisk är detta resultat oberoende av p.
Den ömsesidiga informationen blir alltså
I(X, Y) = h (a + p - 2ap) - h (a),
som beror både på felsannolikheten a och på källans sannolikhetsfördelning p.
Om a = 0 så blir I = h(p) = H(X), med maximum C = 1 (för p = 0.5).