"Sieci neuronowe we wspomaganiu rozwiÄ zywania ... - IPPT PAN

2.2. Wstęp do teorii informacji
Matematyczne podstawy dla współczesnej kryptografii określił w 1949 roku Claude
Shannon [26],[3]. W pracach tych przedstawił koncepcję zastosowania teorii informacji do
analizy szyfrów. Wprowadzenie teorii informacji oraz komputeryzacja spowodowały zmianę
podejścia do problemu szyfrowania. Przed erą komputerów permutacje i podstawienia
realizowane były na znakach alfabetu. W współczesnej kryptografii podstawową jednostką
operacji kryptograficznych jest bit a nie znak alfanumeryczny. We wspomnianych pracach
zdefiniowane zostały pojęcia podstawowe dla całej kryptografii. Są to:
Entropia wiadomości M jest to ilość informacji zawartej w wiadomości M. [3]
Np. entropia wiadomości niezbędnej do zapisania informacji o płci wynosi 1 bit,
entropia wiadomości oznaczającej dzień tygodnia: 000 niedziela, 001 poniedziałek,
…, 110 sobota, 111 – stan niewykorzystany, wynosi 3 bity.
Entropia [26] H (M ) wiadomości M , która może przyjmować
n równoprawdopodobnych znaczeń jest wyrażona wzorem:
H
2
( M ) = log n .
Zawartość informacyjna języka
Shannon, w swoich pracach pisze, że entropia [27] tekstu zależy od jego długości N .
Entropię tekstów 16-literowych określić można jako 1,3 bit/znak. Zawartość informacyjna
języka wyrażona jest wzorem:
r = H(
M ) / N .
Wprowadzona została również definicja bezwzględnej zawartości informacyjnej [27]
języka, co definiuje się jako założoną liczbę bitów, równo prawdopodobnych, które mogą
być przyporządkowane każdemu znakowi. Dla języka, który używa alfabetu L -znakowego
jego bezwzględną wartość informacyjną [27] wyraża wzór:
R = log2
L .
15