teoria komunikacji Shannona.pdf
teoria komunikacji Shannona.pdf
teoria komunikacji Shannona.pdf
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Informacja w informatyce cz. 1<br />
<strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong><br />
Izabela Bondecka-Krzykowska<br />
Wydział Matematyki i Informatyki UAM<br />
ul. Umultowska 87<br />
61–614 Poznań<br />
izab@amu.edu.pl<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Głównym celem matematycznej teorii informacji jest opracowanie<br />
odpowiednich metod kodowania i przesyłania danych.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Głównym celem matematycznej teorii informacji jest opracowanie<br />
odpowiednich metod kodowania i przesyłania danych.<br />
Za ojca teorii informacji uważa się Claude’a E. <strong>Shannona</strong><br />
1945 „A Mathematical Theory of Cryptography”<br />
1948 „A Mathematical Theory of Communication”<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Teoria informacji <strong>Shannona</strong> charakteryzuje w sposób matematyczny<br />
zapis, przesyłanie i odtwarzanie informacji. Dąży przy tym do<br />
pogodzenia dwóch przeciwstawnych celów:<br />
zapisywania wiadomości jak najzwięźlej,<br />
chronienia wiadomości przed przekłamaniami podczas<br />
transmisji.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
W pracy z roku 1948 Shannon przedstawia następujący model<br />
<strong>komunikacji</strong>:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
źródło informacji, które wytwarza wiadomość<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
nadajnik, który przekształca wiadomość w taki sposób, aby<br />
można ją było przesłać przez dany kanał (w sygnał).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
odbiornik zazwyczaj wykonuje operację odwrotną do<br />
wykonanej przez nadajnik.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
odbiorca to osoba lub rzecz do której kierowana jest<br />
wiadomość.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
kanał to medium za pomocą którego wiadomość dociera od<br />
nadajnika do odbiornika.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
źródło zakłóceń<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
komunikat zawiera tym więcej informacji, im mniejsze jest<br />
prawdopodobieństwo jego wystąpienia.Jest to jedno z<br />
podstawowych założeń ilościowej teorii informacji.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
komunikat zawiera tym więcej informacji, im mniejsze jest<br />
prawdopodobieństwo jego wystąpienia.Jest to jedno z<br />
podstawowych założeń ilościowej teorii informacji.<br />
Ilość informacji określa się w teorii informacji jako usunięcie<br />
lub zmniejszenie nieokreśloności zaistnienia dowolnego<br />
zdarzenia (komunikatu).Jest to różnica nieokreśloności pewnego<br />
wyniku przed i po zaistnieniu zdarzenia.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Produkuje ono informację zerową.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Produkuje ono informację zerową.<br />
źródło binarne – symetryczna moneta (orzeł-reszka). Przed<br />
rzutem monetą informowany nie wie, czy wpadnie orzeł czy<br />
reszka a zatem informowany znajduje się w stanie deficytu<br />
danych równym 2 jednostki.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Produkuje ono informację zerową.<br />
źródło binarne – symetryczna moneta (orzeł-reszka). Przed<br />
rzutem monetą informowany nie wie, czy wpadnie orzeł czy<br />
reszka a zatem informowany znajduje się w stanie deficytu<br />
danych równym 2 jednostki.<br />
Ilość informacji = jedna jednostka.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Produkuje ono informację zerową.<br />
źródło binarne – symetryczna moneta (orzeł-reszka). Przed<br />
rzutem monetą informowany nie wie, czy wpadnie orzeł czy<br />
reszka a zatem informowany znajduje się w stanie deficytu<br />
danych równym 2 jednostki.<br />
Ilość informacji = jedna jednostka.<br />
dwie monety (ozn.je przez A i B). W wyniku takiego rzutu<br />
możemy otrzymać 4 różne wyniki: , , ,<br />
. Zatem źródło to generuje deficyt danych równy 4<br />
jednostki.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Źródła informacji<br />
źródło unarne – kruk Poe’go, który na wszystkie zadawane<br />
pytania odpowiada zawsze jednakowo „być może”.<br />
Produkuje ono informację zerową.<br />
źródło binarne – symetryczna moneta (orzeł-reszka). Przed<br />
rzutem monetą informowany nie wie, czy wpadnie orzeł czy<br />
reszka a zatem informowany znajduje się w stanie deficytu<br />
danych równym 2 jednostki.<br />
Ilość informacji = jedna jednostka.<br />
dwie monety (ozn.je przez A i B). W wyniku takiego rzutu<br />
możemy otrzymać 4 różne wyniki: , , ,<br />
. Zatem źródło to generuje deficyt danych równy 4<br />
jednostki.<br />
Ilość informacji = dwie jednostki.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Ozn. N – liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Ozn. N – liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
Dla N = 1 ilość informacji generowanej przez źródło wynosi 0.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Ozn. N – liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
Dla N = 1 ilość informacji generowanej przez źródło wynosi 0.<br />
Dla N = 2 źródło produkuje 1 jednostkę informacji (w przypadku<br />
rzutu jedną monetą informacja dotyczy tego, czy wypadł orzeł, czy<br />
reszka).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Ozn. N – liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
Dla N = 1 ilość informacji generowanej przez źródło wynosi 0.<br />
Dla N = 2 źródło produkuje 1 jednostkę informacji (w przypadku<br />
rzutu jedną monetą informacja dotyczy tego, czy wypadł orzeł, czy<br />
reszka).<br />
Dla N = 4 (rzut dwiema monetami) ilość informacji generowanej<br />
przez źródło wynosi 2 jednostki.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Przykład. Jeden z jej uczestników wybiera liczbę z pewnego zbioru<br />
np. ze zbioru liczb 1,2,. . . 8. Pozostali uczestnicy próbują odgadnąć<br />
jaka to liczba zadając pytania, na które mogą otrzymać tylko<br />
odpowiedź "tak" lub "nie". Zwycięża ten, kto zgadnie liczbę po<br />
zadaniu najmniejszej liczby pytań.<br />
Ile w ogólności trzeba zadać pytań by odgadnąć liczbę?<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Przykład. Jeden z jej uczestników wybiera liczbę z pewnego zbioru<br />
np. ze zbioru liczb 1,2,. . . 8. Pozostali uczestnicy próbują odgadnąć<br />
jaka to liczba zadając pytania, na które mogą otrzymać tylko<br />
odpowiedź "tak" lub "nie". Zwycięża ten, kto zgadnie liczbę po<br />
zadaniu najmniejszej liczby pytań.<br />
Ile w ogólności trzeba zadać pytań by odgadnąć liczbę?<br />
Jeden ze sposobów polega na dzieleniu zbioru na dwie części (o<br />
możliwie takiej samej liczbie elementów), potem dzielenie każdej z<br />
tych części itd. aż do zidentyfikowania pary liczb, a w niej szukanej<br />
liczby.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
<br />
<br />
✠<br />
1, 2, 3, 4<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
<br />
<br />
✠<br />
1, 2, 3, 4<br />
❅<br />
❅<br />
❅❘<br />
5, 6, 7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
<br />
✠<br />
1, 2<br />
1, 2, 3, 4<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
<br />
<br />
✠<br />
❅<br />
❅<br />
❅❘<br />
5, 6, 7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
<br />
✠<br />
1, 2<br />
1, 2, 3, 4<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
❅<br />
❅❘<br />
3, 4<br />
<br />
<br />
✠<br />
❅<br />
❅<br />
❅❘<br />
5, 6, 7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
<br />
✠<br />
1, 2<br />
1, 2, 3, 4<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
❅<br />
❅❘<br />
3, 4<br />
<br />
<br />
✠<br />
❅<br />
❅<br />
❅❘<br />
<br />
✠<br />
5, 6<br />
5, 6, 7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
<br />
✠<br />
1, 2<br />
1, 2, 3, 4<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
❅<br />
❅❘<br />
3, 4<br />
<br />
<br />
✠<br />
❅<br />
❅<br />
❅❘<br />
<br />
✠<br />
5, 6<br />
5, 6, 7, 8<br />
❅<br />
❅❘<br />
7, 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
<br />
✠<br />
1, 2<br />
1, 2, 3, 4<br />
1, 2, 3, 4, 5, 6, 7, 8<br />
❅<br />
❅❘<br />
3, 4<br />
<br />
<br />
✠<br />
❅<br />
❅<br />
❅❘<br />
<br />
✠<br />
5, 6<br />
5, 6, 7, 8<br />
❅<br />
❅❘<br />
7, 8<br />
Liczba pytań koniecznych do odgadnięcia jaki komunikat został<br />
nadany przez źródło (czyli liczba kroków podziału) jest równa ilości<br />
informacji generowanej przez to źródło.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
P(B) = 4 6<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
P(B) = 4 6<br />
C - w rzucie kostką wypadła parzysta liczba oczek<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
P(B) = 4 6<br />
C - w rzucie kostką wypadła parzysta liczba oczek<br />
P(C) = 3 6 = 1 2<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
P(B) = 4 6<br />
C - w rzucie kostką wypadła parzysta liczba oczek<br />
P(C) = 3 6 = 1 2<br />
D - w rzucie dwiema monetami wypadły dwa orły<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi<br />
liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby<br />
wszystkich możliwych zdarzeń.<br />
Przykłady:<br />
A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6<br />
B - w rzucie kostką wypadło mniej niż 5 oczek<br />
P(B) = 4 6<br />
C - w rzucie kostką wypadła parzysta liczba oczek<br />
P(C) = 3 6 = 1 2<br />
D - w rzucie dwiema monetami wypadły dwa orły<br />
P(D) = 1 4<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł<br />
P(B) - prawdopodobieństwo tego, że na monecie B wypadł orzeł<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł<br />
P(B) - prawdopodobieństwo tego, że na monecie B wypadł orzeł<br />
P(A) = P(B) = 1 2<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł<br />
P(B) - prawdopodobieństwo tego, że na monecie B wypadł orzeł<br />
P(A) = P(B) = 1 2<br />
Prawdopodobieństwo zdarzenia C wynosi<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A<br />
i B wyraża wzór<br />
P(A ∩ B) = P(A) · P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami wypadły dwa orły<br />
P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł<br />
P(B) - prawdopodobieństwo tego, że na monecie B wypadł orzeł<br />
P(A) = P(B) = 1 2<br />
Prawdopodobieństwo zdarzenia C wynosi<br />
P(C) = P(A ∩ B) = P(A) · P(B) = 1 2 · 1<br />
2 = 1 4<br />
.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Jeżeli zdarzenia losowe A i B nie zależą od siebie, to<br />
prawdopodobieństwo zajścia zdarzenia A lub B określa równanie:<br />
P(A ∪ B) = P(A) + P(B).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Jeżeli zdarzenia losowe A i B nie zależą od siebie, to<br />
prawdopodobieństwo zajścia zdarzenia A lub B określa równanie:<br />
P(A ∪ B) = P(A) + P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami na obu monetach wypadło to samo.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Jeżeli zdarzenia losowe A i B nie zależą od siebie, to<br />
prawdopodobieństwo zajścia zdarzenia A lub B określa równanie:<br />
P(A ∪ B) = P(A) + P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami na obu monetach wypadło to samo.<br />
A - w rzucie dwiema monetami wypadły dwa orły<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Jeżeli zdarzenia losowe A i B nie zależą od siebie, to<br />
prawdopodobieństwo zajścia zdarzenia A lub B określa równanie:<br />
P(A ∪ B) = P(A) + P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami na obu monetach wypadło to samo.<br />
A - w rzucie dwiema monetami wypadły dwa orły<br />
B - w rzucie dwiema monetami wypadły dwie reszki<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Prawdopodobieństwo<br />
Jeżeli zdarzenia losowe A i B nie zależą od siebie, to<br />
prawdopodobieństwo zajścia zdarzenia A lub B określa równanie:<br />
P(A ∪ B) = P(A) + P(B).<br />
Przykład.<br />
C - w rzucie dwiema monetami na obu monetach wypadło to samo.<br />
A - w rzucie dwiema monetami wypadły dwa orły<br />
B - w rzucie dwiema monetami wypadły dwie reszki<br />
P(A ∪ B) = P(A) + P(B) = 1 4 + 1 4 = 2 4 = 1 2<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Przykłady:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Przykłady:<br />
log 2 1 = 0 ponieważ 2 0 = 1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Przykłady:<br />
log 2 1 = 0 ponieważ 2 0 = 1<br />
log 2 2 = 1 ponieważ 2 1 = 2<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Przykłady:<br />
log 2 1 = 0 ponieważ 2 0 = 1<br />
log 2 2 = 1 ponieważ 2 1 = 2<br />
log 2 4 = 2 ponieważ 2 2 = 4<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Logarytm<br />
Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa<br />
wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a<br />
(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią<br />
rzeczywistą x.<br />
log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1.<br />
Przykłady:<br />
log 2 1 = 0 ponieważ 2 0 = 1<br />
log 2 2 = 1 ponieważ 2 1 = 2<br />
log 2 4 = 2 ponieważ 2 2 = 4<br />
log 2 8 = 3 ponieważ 2 3 = 8<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Podstawowe własności logarytmów:<br />
W1. log a (x · z) = log a x + log a z<br />
W2. log a ( 1 x ) = − log a x<br />
W3. log a ( x z ) = log a x − log a z<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Podstawowe własności logarytmów:<br />
W1. log a (x · z) = log a x + log a z<br />
W2. log a ( 1 x ) = − log a x<br />
W3. log a ( x z ) = log a x − log a z<br />
Definicja<br />
Ilość informacji. Komunikat, którego prawdopodobieństwo<br />
1<br />
wystąpienia wynosi P zawiera k = log a P = − log a P jednostek<br />
ilości informacji.<br />
Dla a = 2 jednostką informacji jest bit (8 bitów= 1 bajt). Dla<br />
a = e jednostką nat. Dla a = 10 jednostką jest hartley.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Podstawowe własności logarytmów:<br />
W1. log a (x · z) = log a x + log a z<br />
W2. log a ( 1 x ) = − log a x<br />
W3. log a ( x z ) = log a x − log a z<br />
Definicja<br />
Ilość informacji. Komunikat, którego prawdopodobieństwo<br />
1<br />
wystąpienia wynosi P zawiera k = log a P = − log a P jednostek<br />
ilości informacji.<br />
Dla a = 2 jednostką informacji jest bit (8 bitów= 1 bajt). Dla<br />
a = e jednostką nat. Dla a = 10 jednostką jest hartley.<br />
W definicji tej ilość informacji generowana przez źródło zależy od<br />
prawdopodobieństwa każdego ze zdarzeń. Im większe<br />
prawdopodobieństwo zdarzenia, tym mniejsza ilość informacji jaką<br />
niesie.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
źródło liczba możliwych zdarzeń Bity informacji<br />
kruk Poe’go 1 zdarzenie (pewne) log 2 1 = 0<br />
1<br />
1 moneta 2 jednakowo prawdopodobne log 2 1 = log 2 2 = 1<br />
2<br />
2 monety 4 jednakowo prawdopodobne log 2<br />
1<br />
1<br />
4<br />
3 monety 8 jednakowo prawdopodobnych log 2<br />
1<br />
1<br />
8<br />
= log 2 4 = 2<br />
= log 2 8 = 3<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
źródło liczba możliwych zdarzeń Bity informacji<br />
kruk Poe’go 1 zdarzenie (pewne) log 2 1 = 0<br />
1<br />
1 moneta 2 jednakowo prawdopodobne log 2 1 = log 2 2 = 1<br />
2<br />
2 monety 4 jednakowo prawdopodobne log 2<br />
1<br />
1<br />
4<br />
3 monety 8 jednakowo prawdopodobnych log 2<br />
1<br />
1<br />
8<br />
W przypadku źródła generującego jednakowo prawdopodobne<br />
symbole (gdy wszystkie możliwe komunikaty są jednakowo<br />
prawdopodobne)<br />
k = log a<br />
1<br />
P = − log a P = log a N,<br />
gdzie N- liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
= log 2 4 = 2<br />
= log 2 8 = 3<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
źródło liczba możliwych zdarzeń Bity informacji<br />
kruk Poe’go 1 zdarzenie (pewne) log 2 1 = 0<br />
1<br />
1 moneta 2 jednakowo prawdopodobne log 2 1 = log 2 2 = 1<br />
2<br />
2 monety 4 jednakowo prawdopodobne log 2<br />
1<br />
1<br />
4<br />
3 monety 8 jednakowo prawdopodobnych log 2<br />
1<br />
1<br />
8<br />
W przypadku źródła generującego jednakowo prawdopodobne<br />
symbole (gdy wszystkie możliwe komunikaty są jednakowo<br />
prawdopodobne)<br />
k = log a<br />
1<br />
P = − log a P = log a N,<br />
gdzie N- liczba symboli generowanych przez źródło (liczba<br />
możliwych zdarzeń).<br />
Wzór k = log 2 N nazywa się wzorem Hartleya.<br />
= log 2 4 = 2<br />
= log 2 8 = 3<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Entropia. Jeśli źródło nadaje n różnych komunikatów z<br />
prawdopodobieństwami P 1 , P 2 , ..., P n , to średnia ważona ilość<br />
informacji w komunikatach tego źródła wyraża się wzorem<br />
H = −P 1 log 2 P 1 − P 2 log 2 P 2 − ... − P n log 2 P n = −<br />
n∑<br />
P i log 2 P i<br />
i nosi nazwę entropii informacyjnej źródła informacji. Jednostką<br />
entropii jest bit.<br />
i=1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Entropia. Jeśli źródło nadaje n różnych komunikatów z<br />
prawdopodobieństwami P 1 , P 2 , ..., P n , to średnia ważona ilość<br />
informacji w komunikatach tego źródła wyraża się wzorem<br />
H = −P 1 log 2 P 1 − P 2 log 2 P 2 − ... − P n log 2 P n = −<br />
n∑<br />
P i log 2 P i<br />
i nosi nazwę entropii informacyjnej źródła informacji. Jednostką<br />
entropii jest bit.<br />
Własności entropii:<br />
1 jest nieujemna<br />
2 jest maksymalna, gdy prawdopodobieństwa zdarzeń są takie<br />
same<br />
3 własność superpozycji - gdy dwa systemy są niezależne to<br />
entropia sumy systemów równa się sumie entropii.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong><br />
i=1
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Entropia H zdefiniowana wzorem<br />
H = −<br />
jest to miara trzech wielkości:<br />
n∑<br />
P i log 2 P i<br />
i=1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Entropia H zdefiniowana wzorem<br />
H = −<br />
jest to miara trzech wielkości:<br />
n∑<br />
P i log 2 P i<br />
i=1<br />
a) średniej ilości nie zinterpretowanej (czystej) informacji<br />
przypadającej na symbol produkowany przez źródło,<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Entropia H zdefiniowana wzorem<br />
H = −<br />
jest to miara trzech wielkości:<br />
n∑<br />
P i log 2 P i<br />
i=1<br />
a) średniej ilości nie zinterpretowanej (czystej) informacji<br />
przypadającej na symbol produkowany przez źródło,<br />
b) odpowiadającej jej średniej ilości deficytu danych (tego co<br />
Shannon nazywał niepewnością) jaki ma odbiorca przed<br />
sprawdzeniem sygnału od informującego oraz<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Entropia H zdefiniowana wzorem<br />
H = −<br />
jest to miara trzech wielkości:<br />
n∑<br />
P i log 2 P i<br />
i=1<br />
a) średniej ilości nie zinterpretowanej (czystej) informacji<br />
przypadającej na symbol produkowany przez źródło,<br />
b) odpowiadającej jej średniej ilości deficytu danych (tego co<br />
Shannon nazywał niepewnością) jaki ma odbiorca przed<br />
sprawdzeniem sygnału od informującego oraz<br />
c) odpowiadające jej możliwości informacyjne samego źródła tzn.<br />
jego informacyjną entropię.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Przykład 1. Rzut dwiema monetami A i B.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Przykład 1. Rzut dwiema monetami A i B.Możliwe wyniki to: ,<br />
, , , gdzie O oznacza, że wypadł orzeł; R, że<br />
wypadła reszka.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Przykład 1. Rzut dwiema monetami A i B.Możliwe wyniki to: ,<br />
, , , gdzie O oznacza, że wypadł orzeł; R, że<br />
wypadła reszka.<br />
Każde ze zdarzeń (możliwych wyników) pojawia się z<br />
prawdopodobieństwem 1 2 · 1<br />
2 = 1 4 .<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Przykład 1. Rzut dwiema monetami A i B.Możliwe wyniki to: ,<br />
, , , gdzie O oznacza, że wypadł orzeł; R, że<br />
wypadła reszka.<br />
Każde ze zdarzeń (możliwych wyników) pojawia się z<br />
prawdopodobieństwem 1 2 · 1<br />
2 = 1 4 .<br />
Najprostszy kod:<br />
=00<br />
=01<br />
=10<br />
=11<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
symbol - zdarzenie - komunikat<br />
Definicja<br />
Kodowanie to przyporządkowanie komunikatom odpowiednich<br />
ciągów zero-jedynkowych.<br />
Przykład 1. Rzut dwiema monetami A i B.Możliwe wyniki to: ,<br />
, , , gdzie O oznacza, że wypadł orzeł; R, że<br />
wypadła reszka.<br />
Każde ze zdarzeń (możliwych wyników) pojawia się z<br />
prawdopodobieństwem 1 2 · 1<br />
2 = 1 4 .<br />
Najprostszy kod:<br />
=00<br />
=01<br />
=10<br />
=11<br />
W kodzie tym każda wiadomość przekazuje 2 bity informacji<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Przykład 2. Rozważmy źródło, które wysyła 8 symboli A, B, C, D,<br />
E, F, G, H z różnymi prawdopodobieństwami:<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Przykład 2. Rozważmy źródło, które wysyła 8 symboli A, B, C, D,<br />
E, F, G, H z różnymi prawdopodobieństwami:<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. Sposób najprostszy (analogiczny do zastosowanego w<br />
poprzednim przykładzie).<br />
=000<br />
=001<br />
=010<br />
=011<br />
=100<br />
=101<br />
=110<br />
=111<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Kod 1. (kod <strong>Shannona</strong>-Fano)<br />
Kod dla poszczególnych symboli konstruujemy następująco:<br />
1 Porządkujemy symbole w kolejności ich malejących<br />
prawdopodobieństw<br />
2 Lista ta jest następnie dzielona na dwie grupy w ten sposób,<br />
aby suma prawdopodobieństw zdarzeń w obu grupach była<br />
możliwie bliska (najlepiej równa)<br />
3 Każdemu symbolowi z grupy pierwszej przydziela się 0 jako<br />
pierwszą cyfrę słowa kodowego, natomiast każdemu symbolowi<br />
z grupy drugiej 1.<br />
4 Każda z tych grup jest następnie dzielona według tego samego<br />
kryterium i kolejno dołączane są "zera" i "jedynki" do słów<br />
kodowych.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
C 0,4<br />
B 0,18<br />
A 0,1<br />
F 0,1<br />
G 0,07<br />
E 0,06<br />
D 0,05<br />
H 0,04<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
C 0,4 0<br />
B 0,18 0<br />
A 0,1 1<br />
F 0,1 1<br />
G 0,07 1<br />
E 0,06 1<br />
D 0,05 1<br />
H 0,04 1<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
C 0,4 0 0<br />
B 0,18 0 1<br />
A 0,1 1 0<br />
F 0,1 1 0<br />
G 0,07 1 1<br />
E 0,06 1 1<br />
D 0,05 1 1<br />
H 0,04 1 1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
C 0,4 0 0<br />
B 0,18 0 1<br />
A 0,1 1 0 0<br />
F 0,1 1 0 1<br />
G 0,07 1 1 0<br />
E 0,06 1 1 0<br />
D 0,05 1 1 1<br />
H 0,04 1 1 1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
C 0,4 0 0<br />
B 0,18 0 1<br />
A 0,1 1 0 0<br />
F 0,1 1 0 1<br />
G 0,07 1 1 0 0<br />
E 0,06 1 1 0 1<br />
D 0,05 1 1 1 0<br />
H 0,04 1 1 1 1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Otrzymane kody:<br />
C 0,4 0 0 =00<br />
B 0,18 0 1 =01<br />
A 0,1 1 0 0 =100<br />
F 0,1 1 0 1 =101<br />
G 0,07 1 1 0 0 =1100<br />
E 0,06 1 1 0 1 =1101<br />
D 0,05 1 1 1 0 =1110<br />
H 0,04 1 1 1 1 =1111<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Średnia długość słowa kodowego. Niech źródło wysyła N<br />
symboli s i każdy z prawdopodobieństwem P i oraz niech l i oznacza<br />
długość binarnego słowa kodowego (liczbę bitów) odpowiadającego<br />
symbolowi s i . Średnia długość słowa kodowego generowanego przez<br />
koder źródłowy definiuje się jako średnią liczbę bitów przypadającą<br />
na jeden symbol źródłowy, czyli ∑ n<br />
i=1 P il i .<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Średnia długość słowa kodowego. Niech źródło wysyła N<br />
symboli s i każdy z prawdopodobieństwem P i oraz niech l i oznacza<br />
długość binarnego słowa kodowego (liczbę bitów) odpowiadającego<br />
symbolowi s i . Średnia długość słowa kodowego generowanego przez<br />
koder źródłowy definiuje się jako średnią liczbę bitów przypadającą<br />
na jeden symbol źródłowy, czyli ∑ n<br />
i=1 P il i .<br />
W przykładzie 2 dla kodu pierwszego średnia długość słowa<br />
kodowego wynosi:<br />
L = 0, 4·3+0, 18·3+2·0, 1·3+0, 07·3+0, 06·3+0, 05·3+0, 04·3 = 3<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Średnia długość słowa kodowego. Niech źródło wysyła N<br />
symboli s i każdy z prawdopodobieństwem P i oraz niech l i oznacza<br />
długość binarnego słowa kodowego (liczbę bitów) odpowiadającego<br />
symbolowi s i . Średnia długość słowa kodowego generowanego przez<br />
koder źródłowy definiuje się jako średnią liczbę bitów przypadającą<br />
na jeden symbol źródłowy, czyli ∑ n<br />
i=1 P il i .<br />
W przykładzie 2 dla kodu pierwszego średnia długość słowa<br />
kodowego wynosi:<br />
L = 0, 4·3+0, 18·3+2·0, 1·3+0, 07·3+0, 06·3+0, 05·3+0, 04·3 = 3<br />
Średnia długość słowa kodowego dla kodu <strong>Shannona</strong>-Fano wynosi:<br />
L = 0, 4·2+0, 18·2+2·0, 1·3+0, 07·4+0, 06·4+0, 05·4+0, 04·4 = 2, 64<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Twierdzenie (<strong>Shannona</strong>)<br />
1 Przy każdym sposobie kodowania zachodzi nierówność H ≤ L.<br />
2 Dla każdego źródła można znaleźć takie kodowanie, dla<br />
którego różnica L − H będzie dowolnie mała. (Odpowiednim<br />
doborem sposobu kodowania można uzyskać dowolnie małą<br />
redundancję.)<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Twierdzenie (<strong>Shannona</strong>)<br />
1 Przy każdym sposobie kodowania zachodzi nierówność H ≤ L.<br />
2 Dla każdego źródła można znaleźć takie kodowanie, dla<br />
którego różnica L − H będzie dowolnie mała. (Odpowiednim<br />
doborem sposobu kodowania można uzyskać dowolnie małą<br />
redundancję.)<br />
Entropia H jest dolnym ograniczeniem (minimum) na średnią<br />
długość słowa kodowego jaką można osiągnąć przy optymalnym<br />
kodowaniu.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Efektywność kodowania źródłowego η definiuje się jako<br />
stosunek:<br />
η = H L<br />
Efektywność kodowania jest tym większa im więcej informacji<br />
kodowanych jest za pomocą krótszego kodu.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Przyjmijmy tzw. kod Aikena:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Przyjmijmy tzw. kod Aikena:<br />
=0000 =0101<br />
=0001 =0110<br />
=0010 =0111<br />
=0011 =1000<br />
=0100 =1001<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definition<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Przyjmijmy tzw. kod Aikena:<br />
=0000 =1011<br />
=0001 =1100<br />
=0010 =1101<br />
=0011 =1110<br />
=0100 =1111<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definition<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Przyjmijmy tzw. kod Aikena:<br />
=0000 =1011<br />
=0001 =1100<br />
=0011 =1101<br />
=0011 =1110<br />
=0100 =1111<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L<br />
nazywamy względną redundancją kodu (podaje się je zwykle w<br />
procentach).<br />
Przykład. Kontrola parzystości.<br />
Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry<br />
dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa<br />
kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości.<br />
Przyjmijmy tzw. kod Aikena:<br />
=0000 =1011<br />
=0001 =1100<br />
=0011 =1101<br />
=0011 =1110<br />
=0100 =1111<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
1, jeśli liczba jedynek na pierwszych czterech pozycjach danego<br />
słowa jest parzysta,<br />
0 w przeciwnym przypadku.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
1, jeśli liczba jedynek na pierwszych czterech pozycjach danego<br />
słowa jest parzysta,<br />
0 w przeciwnym przypadku.<br />
=0000 1<br />
=0001 0<br />
=0010 0<br />
=0011 1<br />
=0100 0<br />
=1011 0<br />
=1100 1<br />
=1101 0<br />
=1110 0<br />
=1111 1<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
1, jeśli liczba jedynek na pierwszych czterech pozycjach danego<br />
słowa jest parzysta,<br />
0 w przeciwnym przypadku.<br />
=0000 1<br />
=0001 0<br />
=0010 0<br />
=0011 1<br />
=0100 0<br />
=1011 0<br />
=1100 1<br />
=1101 0<br />
=1110 0<br />
=1111 1<br />
W tym kodzie żadne jednostkowe przekłamanie<br />
nie prowadzi do nieporozumień. Zmiana na<br />
jednej z czterech pierwszych pozycji dopiero w<br />
połączeniu ze zmianą na pozycji piątej (dodanej)<br />
może przeprowadzić słowo kodowe w inne słowo<br />
kodowe.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
1, jeśli liczba jedynek na pierwszych czterech pozycjach danego<br />
słowa jest parzysta,<br />
0 w przeciwnym przypadku.<br />
=0000 1<br />
=0001 0<br />
=0010 0<br />
=0011 1<br />
=0100 0<br />
=1011 0<br />
=1100 1<br />
=1101 0<br />
=1110 0<br />
=1111 1<br />
W tym kodzie żadne jednostkowe przekłamanie<br />
nie prowadzi do nieporozumień. Zmiana na<br />
jednej z czterech pierwszych pozycji dopiero w<br />
połączeniu ze zmianą na pozycji piątej (dodanej)<br />
może przeprowadzić słowo kodowe w inne słowo<br />
kodowe.<br />
Zwiększenie redundancji poprawiło w tym przypadku<br />
niezawodność kodowania.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Dodajemy do kodu każdej cyfry jedną pozycję, na której<br />
dopisujemy:<br />
1, jeśli liczba jedynek na pierwszych czterech pozycjach danego<br />
słowa jest parzysta,<br />
0 w przeciwnym przypadku.<br />
=0000 1<br />
=0001 0<br />
=0010 0<br />
=0011 1<br />
=0100 0<br />
=1011 0<br />
=1100 1<br />
=1101 0<br />
=1110 0<br />
=1111 1<br />
W tym kodzie żadne jednostkowe przekłamanie<br />
nie prowadzi do nieporozumień. Zmiana na<br />
jednej z czterech pierwszych pozycji dopiero w<br />
połączeniu ze zmianą na pozycji piątej (dodanej)<br />
może przeprowadzić słowo kodowe w inne słowo<br />
kodowe.<br />
Zwiększenie redundancji poprawiło w tym przypadku<br />
niezawodność kodowania.<br />
Usuwanie nieprzydatnej redundancji to kompresja<br />
danych.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Zatem redundancja wynosi 15%.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Zatem redundancja wynosi 15%.<br />
Kod. 2.(<strong>Shannona</strong>-Fano)<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Zatem redundancja wynosi 15%.<br />
Kod. 2.(<strong>Shannona</strong>-Fano)<br />
Średnia długość słowa kodowego wynosi 2.64 bita/symbol<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Zatem redundancja wynosi 15%.<br />
Kod. 2.(<strong>Shannona</strong>-Fano)<br />
Średnia długość słowa kodowego wynosi 2.64 bita/symbol<br />
Efektywność kodowania wynosi zatem η = 2,55<br />
2.64 · 100% = 96, 6% .<br />
Zatem redundancja wynosi 3, 7%.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Porównanie efektywności kodowania.<br />
A B C D E F G H<br />
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04<br />
Kod 1. (równa długość słów kodowych)<br />
średnia długość słowa kodowego L = 3 bity/symbol<br />
entropia źródła H = ∑ n<br />
i=1 P i log 2 P i =<br />
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·<br />
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55<br />
Efektywność kodowania wynosi η = 2,55<br />
3<br />
· 100% = 85%<br />
Zatem redundancja wynosi 15%.<br />
Kod. 2.(<strong>Shannona</strong>-Fano)<br />
Średnia długość słowa kodowego wynosi 2.64 bita/symbol<br />
Efektywność kodowania wynosi zatem η = 2,55<br />
2.64 · 100% = 96, 6% .<br />
Zatem redundancja wynosi 3, 7%.<br />
Kod <strong>Shannona</strong>-Fano jest bardziej efektywny niż kod 1.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Fundamentalne twierdzenia <strong>Shannona</strong>:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Fundamentalne twierdzenia <strong>Shannona</strong>:<br />
Twierdzenie<br />
Niech źródło ma entropię H (bitów na symbol) oraz niech kanał<br />
komunikacyjny ma przepustowość C (bitów na sekundę). Wtedy możliwe<br />
jest zakodowanie informacji wysyłanej ze źródła przez ten kanał w taki<br />
sposób, że średnia prędkość transmisji wynosi C/H − ε symboli na<br />
sekundę, gdzie ε jest dowolnie małe. Niemożliwa jest transmisja z<br />
prędkością większą niż C/H.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Fundamentalne twierdzenia <strong>Shannona</strong>:<br />
Twierdzenie<br />
Niech źródło ma entropię H (bitów na symbol) oraz niech kanał<br />
komunikacyjny ma przepustowość C (bitów na sekundę). Wtedy możliwe<br />
jest zakodowanie informacji wysyłanej ze źródła przez ten kanał w taki<br />
sposób, że średnia prędkość transmisji wynosi C/H − ε symboli na<br />
sekundę, gdzie ε jest dowolnie małe. Niemożliwa jest transmisja z<br />
prędkością większą niż C/H.<br />
Twierdzenie<br />
Dany jest dyskretny kanał o przepustowości C oraz dyskretne źródło o<br />
entropii H. Jeśli H ≤ C to istnieje system kodowania taki, że sygnał<br />
źródła może być transmitowany przez kanał z dowolnie małą częstością<br />
błędów. Jeśli H>C, to możliwe jest zakodowanie sygnału ze źródła w taki<br />
sposób, że dwuznaczność jest mniejsza niż H − C + ε, gdzie ε jest<br />
dowolnie małe. Nie istnieje metoda kodowania, która daje mniejszą<br />
dwuznaczność niż H-C.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
W teorii tej informacja jest tylko wybraniem jednego symbolu<br />
ze zbioru możliwych symboli.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
W teorii tej informacja jest tylko wybraniem jednego symbolu<br />
ze zbioru możliwych symboli.<br />
Nie jest to <strong>teoria</strong> informacji w zwykłym sensie. Informacja ma<br />
w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie<br />
ignoruje np. kontekst komunikatów.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
W teorii tej informacja jest tylko wybraniem jednego symbolu<br />
ze zbioru możliwych symboli.<br />
Nie jest to <strong>teoria</strong> informacji w zwykłym sensie. Informacja ma<br />
w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie<br />
ignoruje np. kontekst komunikatów.<br />
Największą ilość informacji generuje tekst, w którym<br />
prawdopodobieństwo wystąpienia każdej litery jest takie samo<br />
tzn. kompletnie losowy ciąg (paradoks małp).<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
W teorii tej informacja jest tylko wybraniem jednego symbolu<br />
ze zbioru możliwych symboli.<br />
Nie jest to <strong>teoria</strong> informacji w zwykłym sensie. Informacja ma<br />
w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie<br />
ignoruje np. kontekst komunikatów.<br />
Największą ilość informacji generuje tekst, w którym<br />
prawdopodobieństwo wystąpienia każdej litery jest takie samo<br />
tzn. kompletnie losowy ciąg (paradoks małp).<br />
Matematyczna <strong>teoria</strong> <strong>komunikacji</strong> jest teorią informacji z<br />
pominięciem jej znaczenia. Zajmuje się ona bowiem badaniem<br />
informacji na poziomie syntaktycznym.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Cechy matematycznej teorii <strong>komunikacji</strong> <strong>Shannona</strong>:<br />
W teorii tej informacja jest tylko wybraniem jednego symbolu<br />
ze zbioru możliwych symboli.<br />
Nie jest to <strong>teoria</strong> informacji w zwykłym sensie. Informacja ma<br />
w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie<br />
ignoruje np. kontekst komunikatów.<br />
Największą ilość informacji generuje tekst, w którym<br />
prawdopodobieństwo wystąpienia każdej litery jest takie samo<br />
tzn. kompletnie losowy ciąg (paradoks małp).<br />
Matematyczna <strong>teoria</strong> <strong>komunikacji</strong> jest teorią informacji z<br />
pominięciem jej znaczenia. Zajmuje się ona bowiem badaniem<br />
informacji na poziomie syntaktycznym.<br />
Matematyczna <strong>teoria</strong> <strong>komunikacji</strong> traktuje informację jak<br />
zjawisko fizyczne, przedmiotem jej zainteresowania jest<br />
sposób kodowania i przesyłania informacji a nie jej zawartość<br />
semantyczna.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong>