3 Teori för symmetriska system

78
Teori för symmetriska system
Med dessa värden erhålls:
H(M) = -1/4 log (1/4) - 3/4 log (3/4) = 2 - 3/4 log 3 ≈ 0.81.
H(K) = 1.5.
H(C) ≈ 1.85.
H(K | C) ≈ 0.46.
Detta är kompatibelt med H(K | C) = H(K) + H(M) - H(C).
3.6 Störningsfria kanaler
Följande resonemang syftar till att kvantifiera begreppet kanalkapacitet för en störningsfri
kanal, d v s då H(output | input) = 0.
En komplikation är att de meddelanden som sänds via kanalen inte kan bestå av godtyckliga
kombinationer av tecken eller bitar; stopp-bitar måste förekomma på exakt rätt platser;
fastställda regler för Morse-signalering måste följas &c.
En annan komplikation består i att att de olika kodorden kan ha olika utsträckning i tiden
(olika längd). Antag att alfabetet är {s i }, i = 1, ..., n. Till varje symbol s i associeras en tid
t i ; den tid det tar att sända symbolen.
i. Exempel. Vid Morse-signalering kodas tecken mha ♦, ⇔, |; dvs "punkt", "streck" och
"mellanslag".
Varje bokstav sänds t ex som en fix sekvens av ♦ och ⇔. Bokstavs- och ordmellanrum
kodas också. Implementeringen av grundsymbolerna kan vara:
Symbol Implementering Tid Kommentar
♦ Ett intervall +5V, ett 0V 2 Kort "pip"
⇔ Tre intervall +5V, ett 0V 4 Långt "piiip"
| Tre intervall 0V 3 Bokstavsmellanrum
|| Sex intervall 0V 6 Ordmellanrum
Tabell 3.6. Morsekod-förutsättningar
Härav följer den naturliga restriktionen att två bokstavsmellanrum inte får följa på varandra,
ty i så fall kan detta inte skiljas från ordmellanrum. Frågan är hur kapaciteten för en kanal
ska definieras för detta fall.
En definition bör ju degenerera till den vanliga i det fall alla bitkombinationer är tillåtna. När
binärdata sänds som oktetter (256 olika möjligheter) och kanalen klarar 8n bitar/sek är det
naturligt att detta får stå för kanalkapaciteten C. I detta fall har alla 256 olika kodord samma
tidsutsträckning.
N(T) står för antalet tillåtna signaler av längd T i tiden. I binära fallet är alltså N(T) = 2 8 T.
ii. Definition. Kanalkapaciteten (för en diskret kanal) är C = lim T →∞ log [N(T) ] / T.
Observera att detta uttryck reduceras till det intuitiva resultatet om alla ord har samma längd.
Vad händer om de olika kodorden har olika utsträckning?