Lösungen zu den Aufgaben - Springer

1196 Lösungen zu den AufgabenZeichen), diese wiederdoppelt so häufig wie D, G, K, R, S, 0,U, W (drei Zeichen). Morse hätte besser so einteilen sollen: E,A; 0, T, S, I; N, R, L, H, C, F, U, M; restliche zwölf Buchstaben.Der Unterschied in t für diese Zuordnung, die vonMorse und die ideale (die nur möglich wäre, wenn das Englischedie am Anfang der Lösung angegebene Häufigkeitsverteilunghätte), ist aber gering: 2,47T, 2,48T bzw. 2,44T.17.1.6. RedundanzUm 105 Wörter durch ein Alphabet von 26 Symbolen optimalzu codieren, braucht man eigentlich nur 3,53 Buchstaben/Wort, denen 26 3 • 53 = 10 5 . In einem solchen Wörterbuch,das 26, 676, 17 576, 81722 ein-, zwei-, drei- bzw. vierbuchstabigeWörter enthielte, überträgt jeder Buchstabe ld 26 =4,70 bit, jedes Wort 16,61 bit, entsprechend der Tatsache,daß der Wörter-Zeichenvorrat 2 16 • 61 = 105 Zeichen enthält."Wörter" wie xqpz wären eventuell merkbar, fallsman eine durchgehende Klassifizierung der Begriffe ähnlichder Dezimalklassifikation der Bibliotheken aufstellenkönnte. Um sie aussprechbar zu machen, könnte man vereinbaren,daß Vokale und Konsonanten abwechseln müssen. Daskostet Information, denn die Übergangswahrscheinlichkeitenin Markow-Ketten (Aufgabe 17.1.7) werden damit sehr ungleichförmig.Zählt man Y und Ö als Vokale, hat man7 · 19 = 133 zweibuchstabige Wörter usw. Jeder Buchstabeüberträgt nur ! (ld 7 + ld 19) = 3,53 bit, was eine mittlereWortlänge im Wörterbuch von 4,75 Buchstaben ergibt. Merkbarkeitkönnte man so erzeugen: Alle Substantive fangen mitVokalen an, alle Tiere mit A, alle Säugetiere mit AS usw.Asapo = Pferd, Asapi = Esel. Möglichkeiten und Schwierigkeitensind leicht auszumalen. Die Redundanz gegenüberdem "idealen" System ist 0,25 (bedingt durch die Kopplungzwischen Nachbarbuchstaben). Im realen deutschen Wörterbuchüberträgt ein Buchstabe nur 1,66 bit, die Redundanz desDeutschen ist demnach 0,65.17.1.7. Markow-Kette IAus den Pi der Tabelle in Lösung 17 .1.4 berechnet man die"Information 1. Ordnung" /1 = 'E.Pi lnpi im Deutschen zu4,27 bit. Verglichen mit der optimalen Quelle (pi = 1/27,Io = 4,75) ist die Redundanz 1. Ordnung nur 0,10. DerRest bis zur in Aufgabe 17 .1.6 geschätzten wirklichenRedundanz von 0,65 muß auf der Kopplung zwischen Buchstabenberuhen. Das Gedächtnis von Texten, als Markow­Ketten aufgefaßt, ist viel größer als 1. Ähnlich ist es mitden Wetterlagen an aufeinanderfolgenden Tagen. Hier sinddie Diagonal-q-Werte größer: Wenn es heute regnet, regnetes morgen wahrscheinlich auch noch. Die Gedächtnislängeentspricht dabei etwa der Dauer einer Großwetterlage.17.1.8. Markow-Kette IIFür die Zeichenhäufigkeit Pi in einer unendlich langen Markow-Kettekommt es auf das Anfangssymbol nicht mehr an,denn die Erinnerung daran ist nach einem endlich langenStück praktisch ausgelöscht, und dieses Stück kann man getrostabschneiden, ohne die Pi zu beeinflussen. Strenger formuliert:Die Wahrscheinlichkeit, daß auf der Position n einSymbol i steht, sei Pin· Für die nächste Position folgt mitPinqik ein Symbol k. Ein solches Symbol k kann aber auchauf andere Symbole als i folgen. Im ganzen ist seine WahrscheinlichkeitPk,n+1 = 'E.;Pinqik· Das heißt: Man multipliziereden Vektor Pin mit der Matrix q;k und erhält den VektorPk,n+1· Aus Aufgabe 16.1.7 wissen wir, daß Pin, so behandelt,gegen einen Eigenvektor von q;k konvergiert, und zwar gegenden mit dem größten Eigenwert. Dieser Eigenwert heißt hieroffenbar 1. Daß ein solcher Eigenwert 1 immer existiert, folgtdaraus, daß q;k die Zeilensumme 1 hat. 'E.k q;k = 1, irgendeinSymbol muß ja auf i folgen. Wir beweisen: Eine Matrix q;kmit 'E.k q;k = I hat immer einen Eigenwert 1. Alle anderenEigenwerte haben Eigenvektoren Pi mit 'E.P; = 0, die hiernicht in Frage kommen. Es sei 'E.; q;kPi = APk· Dann istauch 'E.k 'E.; q;kPi = ). 'E.k Pk = 'E.; Pi 'E.k q;b was nach Voraussetzung'E.Pi ist. Also }, "E_p; = "E_p;, d. h. A. = 1 oder"E_p; = 0. Erst wenn Sie das Eigenwertproblem auch nurfür den vergleichsweise kindlich einfachen Fall zweier Symbolefür ein Zahlenbeispiel gelöst haben, wissen Sie, was dieallgemeinen Überlegungen wert sind.17.1.9. Markow-Kette 111Die Sequenz ikl ... hat die Wahrscheinlichkeit Pseq =p;q;kqkl· Die Verallgemeinerung ist offensichtlich. Die relativeHäufigkeit des Paares ik ist p;q;k. Der Faktor q;k kommtalso in Pseq für eine Kette aus N Symbolen Np;q;k-mal vor:Pseq = Tii,k qfkq,kN, Information -N 'E.i,kp;q;k ld q;b Information2. Ordnung pro Buchstabe [z =- "E_;kPiqik ldqik·Auszählung der Paarhäufigkeiten für einen deutschen Text(Text der Aufgaben 17.1.1 bis 17.1.13) ergibt eine Information2. Ordnung pro Buchstaben von 3,62 bit, also eineRedundanz 2. Ordnung von 0,14 infolge von Paarkopplung.Der größte Teil der wirklichen Redundanz (Aufgabe17 .1.6) beruht also auf größerer Gedächtnislänge als 1.17.1.10. ÜbertragungskapazitätDas Zeichen 1 soll durch einen annähernd rechteckigenStromimpuls derDauerT gegeben sein. Um ihn aus harmonischenWellen zu bilden, braucht man nach Fourier ein Frequenzbandder Breite ~v ~ c 1 (z. B. Abschn.12.2.2).Einem Kanal mit der Bandbreite ~ v kann man also höchstens,-I ~ ~v Zeichen/s aufprägen. Man beachte: Manmuß jede beliebige Folge von 0 und l übertragen können.Wenn die Nachricht aus regelmäßig abwechselnden 0 undI bestünde, würde eine reine Sinuswelle der Frequenz ,-1ausreichen, aber eine solche Nachricht enthielte keine Information,denn man weiß schon was kommt. Beim Morsen (biszu vier Binärzeichen/Buchstabe) kommen noch die Überlegungenvon Aufgabe 17 .1.5 dazu. Wenn mehrere, z. B. kSymbole durch ihre Amplitudenniveaus unterschieden werdensollen, ist das gleichbedeutend damit, daß jedes Symbolaus ldk Binärzeichen besteht. Pro Sekunde können also~ v / ld k solche Symbole übertragen werden.17.1.11. GehirnkapazitätSinnlose Buchstabenketten kann man unter günstigsten Bedingungen,d. h. optisch, mit etwa sechs Buchstaben/s fehler-