BSK_2003 Copyright by Katarzyna Trybicka-Francik 1
BSK_2003 Copyright by Katarzyna Trybicka-Francik 1
BSK_2003 Copyright by Katarzyna Trybicka-Francik 1
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>BSK</strong>_<strong>2003</strong><br />
Teoria informacji<br />
Nadawca<br />
przekształcenie szyfrujące<br />
Odbiorca<br />
M<br />
(wiadomość nadana)<br />
Celowo wprowadza<br />
zakłócenie<br />
M’+ informacje M’<br />
(wiadomość dodatkowe odebrana)<br />
⇓<br />
M<br />
<strong>BSK</strong> - <strong>2003</strong><br />
<strong>Copyright</strong> <strong>by</strong> K. <strong>Trybicka</strong>-<strong>Francik</strong><br />
Teoria informacji<br />
Jeżeli przyjmiemy, że X 1<br />
, …, X n to warianty wszystkich możliwych treści<br />
wiadomości, a p(X 1<br />
), …, p(X n<br />
) to prawdopodobieństwa, z jakimi one<br />
występują, przy czym<br />
n<br />
∑ p( X i<br />
) = 1<br />
i=<br />
1<br />
to entropię definiujemy jako:<br />
H<br />
( X ) = ∑ p( X )<br />
X<br />
⎛ 1<br />
log 2<br />
⎜<br />
⎝ p<br />
( X )<br />
Innymi słowy, entropia to średnia ilość informacji przypadająca na<br />
wiadomość.<br />
⎞<br />
⎟<br />
⎠<br />
<strong>BSK</strong> - <strong>2003</strong><br />
<strong>Copyright</strong> <strong>by</strong> K. <strong>Trybicka</strong>-<strong>Francik</strong><br />
Teoria informacji<br />
Wskaźnik języka dla wiadomości N jest zdefiniowany jako:<br />
( X )<br />
H<br />
r =<br />
N<br />
Jest to średnia ilość informacji przypadająca na słowo.<br />
<strong>BSK</strong> - <strong>2003</strong><br />
<strong>Copyright</strong> <strong>by</strong> K. <strong>Trybicka</strong>-<strong>Francik</strong><br />
<strong>Copyright</strong> <strong>by</strong> <strong>Katarzyna</strong> <strong>Trybicka</strong>-<strong>Francik</strong> 6
Change language