2 Nachricht und Information

30 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2 Nachricht und Information2.1 Abgrenzung der Begriffe Nachrichtund Information„Nachricht“ und „Information“ sind zentrale Begriffe der Informatik, die intuitiv sowie aus derErfahrung heraus vertraut sind. Während man eine „Nachricht“ als etwas Konkretes begreifenkann, ist dies mit der darin enthaltenen Information jedoch nicht ohne weiteres möglich.Nachrichten, Alphabete und NachrichtenübermittlungEine Nachricht lässt sich als Folge von Zeichen auffassen, die von einem Sender (Quelle)ausgehend, in irgendeiner Form einem Empfänger (Senke) übermittelt wird. Die Nachrichtenübermittlungerfolgt dabei im technischen Sinne über einen Kanal. Dies kann beispielsweiseeine Fernsehübertragung sein, aber auch die Briefpost. In der Regel ist dabei eineUmformung der Originalnachricht in das für die Übertragung erforderliche Medium erforderlich.Dies geschieht durch einen Codierer. Auf der Empfängerseite werden die empfangenenSignale durch einen Decodierer wieder in eine durch den Empfänger lesbare Form gewandelt.Während der Übermittlung ist auch die Möglichkeit einer Störung der Nachricht zu beachten.Man kann eine Nachrichtenübermittlung also folgendermaßen skizzieren:Sender(Quelle)CodiererNachrichtKanalDecodiererEmpfänger(Senke)StörungAbbildung 2.1.1: Schematische Darstellung des Modells einer Nachrichtenübermittlung.Zur exakten Definition einer Nachricht geht man vom Begriff des Alphabets aus:DefinitionEin Alphabet A besteht aus einer abzählbaren Menge von Zeichen (Zeichenvorrat) und einerOrdnungsrelation, d.h. eine Regel, durch die eine feste Reihenfolge der Zeichen definiert ist.Meist betrachtet man Alphabete mit einem endlichen Zeichenvorrat, gelegentlich auch abzählbarunendliche Zeichenvorräte wie die natürlichen Zahlen.Beispiele für Alphabetea) {a, b, c... z} Die Menge aller Kleinbuchstaben in lexikografischer Ordnung.b) {0, 1, 2 ... 9} Die endliche Menge der ganzen Zahlen 0 bis 9 mit derOrdnungsrelation "

2 Nachricht und Information 31⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯Damit lässt sich der Begriff Nachricht unter Bezugnahme auf Alphabete wie folgt definieren.DefinitionEine Nachricht ist eine aus den Zeichen eines Alphabets gebildete Zeichenfolge. Diese Zeichenfolgemuss nicht endlich sein, aber abzählbar (d.h. man muss die einzelnen Zeichendurch Abbildung auf die natürlichen Zahlen durchnummerieren können), damit die Identifizierbarkeitder Zeichen sichergestellt ist.Der NachrichtenraumDie Menge aller Nachrichten, die mit den Zeichen eines Alphabets A gebildet werden können,heißt Nachrichtenraum N(A) oder A* über A. Bisweilen schränkt man den betrachtetenNachrichtenraum auf Zeichenreihen mit einer maximalen Länge s ein; in diesem Fall umfasstder eingeschränkte Nachrichtenraum A s nur endlich viele Elemente, sofern das zu Grundeliegende Alphabet endlich ist. Nachrichten sind somit konkrete, wenn auch idealisiert immaterielleObjekte, die von einem Sender zu einem Empfänger übertragen werden können. Allerdingsdie Nachricht nicht in ihrer ursprünglichen immateriellen Form, sondern in einertechnisch angepassten Art und Weise übertragen, z.B. akustisch, optisch oder mit Hilfe vonelektromagnetischen Wellen.Interpretation und InformationDie Extraktion von Information aus einer Nachricht setzt eine Zuordnung (Abbildung) zwischenNachricht und Information voraus, die Interpretation genannt wird:NachrichtInterpretationInformationAbbildung 2.1.2:Zusammenhang zwischen Nachricht,Interpretation und Information.Die Interpretation einer Nachricht ist jedoch nicht unbedingt eindeutig, sondern subjektiv. Innoch stärkerem Maße gilt das für die Bedeutung, die eine Nachricht tragen kann. Ein unddieselbe Nachricht kann bisweilen auf verschiedene Weisen interpretiert werden. Dies istetwa im Falle des Wortes „Fuchsschwanz“ möglich, wobei man je nach Kontext an denSchwanz eines Fuchses denken kann, oder aber an eine Säge. Die Interpretationsvorschriftmuss auch nicht unbedingt offensichtlich sein, wie etwa im Falle des Wortes KITAMROFNI;der Schlüssel zur Information ist in diesem Beispiel die Transposition oder Krebsverschlüsselung.Die Lehre von der Verschlüsselung von Nachrichten oder Kryptologie entwickeltesich als ein Teilgebiet der Informatik mit zunehmender Bedeutung. Davon wird in Kapitel 3.5noch ausführlicher die Rede sein.„Information“ ist also ein sehr vielschichtiger Begriff, der mathematisch nicht einfach und vorallem auch nicht allgemein in all seinen Facetten fassbar ist. Daher sind im Sinne der InformatikInformationen, im Gegensatz zu Nachrichten, nicht exakt definierbare abstrakte Objekte.DV-Anlagen sind deshalb genau genommen nicht Geräte zur Informationsverarbeitung,sondern zur Nachrichtenverarbeitung.

32 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯...2.4 Wahrscheinlichkeit und KombinatorikIn der Informatik geht man oft von einer statistischen Deutung des Begriffs Information aus;dies gilt insbesondere dann, wenn es um die Codierung und Übermittlung von Informationenbzw. Nachrichten geht. Im Folgenden werden zunächst einige in diesem Zusammenhangwichtige mathematische Begriffe erläutert [Hüb00], [Har02].2.4.1 Die relative HäufigkeitDefinition der relativen HäufigkeitAls relative Häufigkeit h bezeichnet man den Quotienten aus der Anzahl von Dingen (Ereignissen),die ein bestimmtes Merkmal aufweisen und der Gesamtzahl der auf dieses Merkmalhin untersuchten Dinge. Diese Vorgehensweise zur Bestimmung der relativen Häufigkeitenwird auch als Abzählregel bezeichnet. Es gilt also:Anzahl der Ereignisse, die das gewünschte Merkmal aufweisenh = ___________________________________________________Anzahl der betrachteten EreignisseAus der Definition folgt, dass immer die Einschränkung 0< h

2 Nachricht und Information 33⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2.4.2 Die mathematische WahrscheinlichkeitWahrscheinlichkeit und relative HäufigkeitDie mathematische Wahrscheinlichkeit lässt sich mit der relativen Häufigkeit in Beziehungbringen. Im Falle des Würfelspiels erfasst man intuitiv: Die Wahrscheinlichkeit, mit einemWürfel eine 6 zu werfen ist zahlenmäßig gleich dem erwarteten Grenzwert der relativen Häufigkeitfür eine sehr hohe Anzahl von Würfen, nämlich 1/6. Dieser als das Gesetz der großenZahl bekannte Zusammenhang kann auf beliebige Zufallsereignisse verallgemeinert werden.Man postuliert also für die Wahrscheinlichkeit w(A), dass das Ereignis A eintritt [Kre02]:w(A) = lim(h(A))n→∞Dabei steht A für das betrachtete Ereignis und n für die Anzahl der Versuche.Die Axiome der mathematischen WahrscheinlichkeitMathematisch ist der Begriff „Wahrscheinlichkeit“ jedoch nicht durch die relative Häufigkeit,sondern durch die nachstehend angegebenen Beziehungen definiert, die drei Kolmogorow’schenAxiome der mathematischen Wahrscheinlichkeitstheorie.Axiom 1: Die Wahrscheinlichkeit w(A) für das Eintreffen eines bestimmten Ereignisses A isteine reelle Funktion, die alle Werte zwischen Null und Eins annehmen kann:0 < w(A) < 1Axiom 2: Die Wahrscheinlichkeit für das Auftreten eines Ereignisses A, das mit Sicherheiteintrifft, hat den Wert 1:w(A) = 1Axiom 3: Für sich gegenseitig ausschließende Ereignisse A und B gilt:w(A oder B) = w(A) + w(B)Der Term w(A oder B) ist dabei als die Wahrscheinlichkeit zu interpretieren, dass entwederEreignis A oder Ereignis B eintritt, aber nicht beide Ereignisse zugleich, da sich A und B gegenseitigausschließen sollen. Dieses Additionsgesetz lässt sich auf beliebig viele, sich gegenseitigausschließende Ereignisse A 1 , A 2 , A 3 , ... erweitern:w(A 1 oder A 2 oder A 3 .... ) = w(A 1 ) + w(A 2 ) + w(A 3 ) + ...Dieser Zusammenhang ist sofort einleuchtend. Betrachtet man wieder das Würfelspiel, so istdie Wahrscheinlichkeit, bei einem Wurf mit einem Würfel eine 5 oder eine 6 zu würfelnnach der Abzählregel und in Übereinstimmung mit Axiom 3 offenbar 1/6 + 1/6 = 1/3.Es ist anzumerken, dass die für praktische Zwecke übliche Gleichsetzung der Wahrscheinlichkeitmit dem Grenzwert der relativen Häufigkeit im Sinne der Axiome zulässig, aber nichtzwingend ist. Die Axiome 1 bis 3 lassen sich auch mit anderen Zuordnungen erfüllen. DasAxiomensystem ist in diesem Sinne also nicht vollständig.Folgerungen aus den AxiomenAus den Axiomen 1 bis 3 lassen sich eine ganze Reihe von Folgerungen herleiten. So ergibtsich die Wahrscheinlichkeit w(A) für ein mit Sicherheit nicht eintretendes Ereignis A zu:w(A) = 0Die Wahrscheinlichkeit w(nicht A) dafür, dass das Ereignis A nicht eintritt, ist:w(nicht A) = 1 - w(A)

34 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯Für die Wahrscheinlichkeit w(A und B) dafür, dass zwei Ereignisse A und B gemeinsam eintreten,findet man:w(A und B) = w(A)w(B)Voraussetzung dafür ist, dass die beiden Ereignisse A und B sich nicht gegenseitig ausschließenund voneinander unabhängig sind. Wirft man beispielsweise mit zwei unterscheidbarenWürfeln (z.B. einem roten und einem schwarzen) gleichzeitig, so ist die Wahrscheinlichkeitdafür, dass man mit dem roten Würfel eine 1 und mit dem schwarzen Würfel eine 2würfelt (1/6) . (1/6) = 1/36. Das gleiche Ergebnis erhält man, wenn man mit einem Würfelzweimal hintereinander würfelt und verlangt, dass man mit dem ersten Wurf eine 1 und mitdem zweiten Wurf eine 2 würfelt. Die Verhältnisse ändern sich etwas, wenn man mit zweiununterscheidbaren Würfeln würfelt und nach der Wahrscheinlichkeit fragt, dass eine 1 undeine 2 erscheint. Die Wahrscheinlichkeit ist nun (1/6+1/6) . (1/6) = 1/18. Dieses Resultat erhältman auch, wenn man mit nur einem Würfel zwei mal hintereinander würfelt und dabei nichtdarauf achtet, ob erst eine 1 und dann eine 2 fällt oder erst eine 2 und dann eine 1.Die bedingte WahrscheinlichkeitOft hängt die Wahrscheinlichkeit eines Ereignisses A davon ab, ob ein anderes Ereignis Beingetreten ist oder nicht. Es gilt dann für die bedingte Wahrscheinlichkeit w(A/B) für dasEintreffen des Ereignisses A unter der Bedingung, dass Ereignis B bereits eingetroffen ist:w(A/B) = w(A und B)/w(B)Sind die Ereignisse A und B voneinander unabhängig, so ist w(A/B)=w(A) und aus obigerGleichung wird wieder w(A und B) = w(A)w(B).Schließen sich zwei Ereignisse A und B nicht gegenseitig aus, so erhält man das verallgemeinerteAdditionsgesetz:w(A oder B) = w(A) + w(B) - w(A und B)Beispiel: KartenspielZur Verdeutlichung wird folgendes Beispiel betrachtet: In einem Kartenspiel mit 32 Kartenbefinden sich vier Damen. Man fragt nun nach folgenden Wahrscheinlichkeiten:a) Wie hoch ist die Wahrscheinlichkeit w(D 1 ) bei einmaligem Ziehen aus einem vollständigemKartenspiel eine Dame zu ziehen?Unter Verwendung der Abzählregel erhält man das Ergebnis: w(D 1 ) = 4/32 = 1/8b) Wie hoch ist die Wahrscheinlichkeit dafür, in zwei aufeinanderfolgenden Zügen jeweilseine Dame zu ziehen, wenn nach dem ersten Zug die gezogene Dame nicht ins Spiel zurückgelegtwird?Für den Zug der ersten Dame gilt wieder w(D 1 )=4/32. Nun sind nur noch 31 Karten mit 3Damen im Spiel, so dass man für die Wahrscheinlichkeit, im zweiten Zug ebenfalls eineDame zu ziehen w(D 2 ) = 3/31 ermittelt. Insgesamt ist also:w(D 1 und D 2 ) = w(D 1 )w(D 2 ) = (4/32)(3/31) ≈ 0.0121c) Wie hoch ist die Wahrscheinlichkeit dafür, in zwei aufeinanderfolgenden Zügen jeweilseine Dame zu ziehen, wenn nach dem ersten Zug die gezogene Dame wieder ins Spielzurückgelegt wird?Jetzt ist w(D 1 ) = w(D 2 ) = 4/32, da jeder Zug aus einem vollständigen Spiel gemacht wird.Das Ergebnis ist alsow(D 1 )w(D 2 ) = (4/32)(4/32) ≈ 0.0156

2 Nachricht und Information 35⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯d) Wie groß ist die Wahrscheinlichkeit dafür, aus einem Kartenspiel, dem in einem Zug einebeliebige Karte entnommen worden ist, in einem anschließenden Zug eine Dame zu ziehen?Gesucht ist also die Wahrscheinlichkeit w(D 2 ) für das Ziehen einer Dame im zweiten Zug.Es gibt nun zwei Möglichkeiten, nämlich erstens, dass im ersten Zug eine Dame gezogenwurde und zweitens, dass im ersten Zug keine Dame gezogen wurde. Diese beiden Ereignisseschließen sich gegenseitig aus, so dass die Gesamtwahrscheinlichkeit nachdem Additionsgesetz folgendermaßen berechnet werden kann:w(D 2 ) = w(D 2 und D 1 ) + w(D 2 und nicht D 1 )Für den ersten Summanden gilt: w(D 2 und D 1 ) = w(D 2 )w(D 1 ) = (3/31)(4/32)und für den zweiten Summanden: w(D 2 und nicht D 1 ) = w(nicht D 1 )w(D 2 /nicht D 1 )= [1-w(D 1 )]w(D 2 /nicht D 1 ) = (1-4/32)(4/31)Den Wert w(D 2 /nicht D 1 )=4/31 für die bedingte Wahrscheinlichkeit dafür, im zweiten Zugeine Dame zu ziehen, wenn im ersten Zug keine Dame gezogen worden war, erhält manmit der Abzählregel. Insgesamt berechnet man also:w(D 2 ) = (4/32)(3/31) + (1-4/32)(4/31) = 1/8Dies ist das gleiche Ergebnis wie in a)! Die Wahrscheinlichkeit, aus einem vollständigenKartenspiel in einem Zug eine Dame zu ziehen ist also genauso groß wie die Wahrscheinlichkeit,aus einem Kartenspiel, dem auf gut Glück eine Karte entnommen wordenist, eine Dame zu ziehen.Das Resultat d) des obigen Beispiels lässt sich noch auf eine Aussage verallgemeinern, dieauf den ersten Blick überraschend erscheinen mag: Die Wahrscheinlichkeit, aus einem vollständigenKartenspiel in einem Zug eine bestimmte Karte zu ziehen ist genauso groß, wiedie Wahrscheinlichkeit, aus einem Kartenspiel, dem zuvor eine beliebige Anzahl von zufälligausgewählten Karten entnommen worden ist, diese Karte zu ziehen. Dies läuft letztlich aufdie Selbstverständlichkeit hinaus, dass die Wahrscheinlichkeit, aus einem vollständigenSpiel mit 32 Karten eine bestimmte Karte zu ziehen identisch mit der Wahrscheinlichkeit ist,dass ebendiese Karte übrig bleibt, wenn man von dem Spiel 31 Karten wegnimmt.

36 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯...2.5 Information und Wahrscheinlichkeit2.5.1 Der Informationsgehalt einer NachrichtStatistischer Informationsgehalt und ElementarentscheidungenAls statistischen Informationsgehalt oder Entscheidungsinformation einer Nachricht, d.h. einesWortes aus dem Nachrichtenraum A* über einem Alphabet A, bezeichnet man die Mindestanzahlder zur Erkennung (Identifizierung) aller Zeichen der Nachricht nötigen Elementarentscheidungen.In Abgrenzung von dem sehr weit gefassten intuitiven Begriff „Information“ spricht man indem hier betrachteten speziellen Fall von der mathematisch fassbaren Entscheidungsinformation,die ihrem Wesen nach statistischen Charakter trägt und insbesonderenicht nach der semantischen Bedeutung einer Information oder dem damit verfolgtenZweck fragt.Die Shannon’sche InformationstheorieDie Shannon’sche Informationstheorie wurde maßgeblichvon Claude Shannon bis ca. 1950 entwickelt[Sha48]. Für die mathematische Beschreibung desstatistischen Informationsgehalts I(x) eines Zeichensoder Wortes x, das in einer Nachricht mit der Auftrittswahrscheinlichkeitw(x) vorkommt, stellt man einigeelementare Forderungen:1. Je seltener ein bestimmtes Zeichen x auftritt, d.h. jekleiner w(x) ist, desto größer soll der Informationsgehaltdieses Zeichens sein. I(x) muss demnach zueiner Funktion, die von 1/w(x) abhängt, proportionalsein und streng monoton wachsen.2. Die Gesamtinformation einer Zeichenkette, z.B.x 1 x 2 x 3 soll sich aus der Summe der Einzelinformationenergeben, also:I(x 1 x 2 x 3 ) = I(x 1 ) + I(x 2 ) + I(x 3 ).3. Für den Informationsgehalt eines mit Sicherheitauftretenden Zeichens x, also für den Fall w(x)=1,soll I(x)=0 gelten.Abbildung 2.5.1: Claude Shannon.Es ist durch Nachrechnen leicht zu zeigen, dass die Logarithmusfunktion die obigen Forderungenerfüllt. Tatsächlich kann man beweisen, dass die Logarithmusfunktion bis auf einenSkalenfaktor die einzige Funktion ist, die dies leistet [Ash90]. Für die Abhängigkeit des Informationsgehaltseines Zeichens x von seiner Auftrittswahrscheinlichkeit w(x) schreibt mandaher:

2 Nachricht und Information 37⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯I(x) = logb1w(x)Das Bit als Maß für eine InformationseinheitDie Basis b des Logarithmus bestimmt lediglich den Maßstab, mit dem man Informationenschließlich messen möchte. Zur Festlegung dieses Maßstabes geht man von dem einfachstendenkbaren Fall einer Nachricht aus, die nur aus einer Folge der beiden Zeichen 0 und 1besteht, wobei die beiden Zeichen mit der gleichen Wahrscheinlichkeit w 0 =w 1 =0.5 auftretensollen. Dem Informationsgehalt eines solchen Zeichens wird nun per definitionem der Zahlenwert1 mit der Maßeinheit Bit zugeordnet. Daraus ergibt sich log b (1/0.5)=log b (2)=1 und folglichdurch Auflösung dieser Gleichung nach b die Basis b=2. Man erhält also schließlich fürden statistischen Informationsgehalt eines mit Wahrscheinlichkeit w(x) auftretenden Zeichensx den Zweierlogarithmus aus der reziproken Auftrittswahrscheinlichkeit:I(x) = ld 1w(x)[ Bit]Man kann die Basis b, die auch als Entscheidungsgrad bezeichnet wird, als die Anzahl derZustände interpretieren, die in der Nachrichtenquelle angenommen werden können. Im Fallevon b=2 sind das nur zwei Zustände, die man ohne Beschränkung der Allgemeinheit mit 0und 1 bezeichnen kann. In dieser computergemäßen binären Darstellung gibt der Informationsgehalteiner Nachricht die Anzahl der als Elementarentscheidungen bezeichneten Alternativentscheidungenan, die nötig sind, um eine Nachricht Zeichen für Zeichen eindeutigidentifizieren zu können.Informationsgehalt und Stellenzahl eines BinärwortesDie binäre Darstellung von Nachrichten verdeutlicht auch, dass die Maßeinheit Bit eine sinnvolleWahl ist, denn der (auf die nächstgrößere ganze Zahl gerundete) Informationsgehalteines Zeichens ist gerade die Anzahl der Stellen des Binärwortes, das man für eine eindeutigebinäre Darstellung des Zeichens verwenden muss.Empfängt man eine Nachricht in Form eines Binärworts, so ist für jedes der empfangenenZeichen nacheinander die Elementarentscheidung zu treffen, ob es sich um das Zeichen 0oder das Zeichen 1 handelt. Die Anzahl der Entscheidungen, also der Informationsgehalt derNachricht, ist hier notwendigerweise mit der Anzahl der binären Stellen der Nachricht identisch.Einen derartigen Entscheidungsprozess kann man in Form eines Binärbaumes veranschaulichen.So hat beispielsweise der zur Nachricht 1011 gehörige Binärbaum die in Abbildung2.5.2 dargestellte Form.1110 10 1 0 1 0 1 01 0 1 0 1 0 1 0 1 0 1 0 1 0 1 000Abbildung 2.5.2:Entscheidungsbaum für einvierstelliges Binärwort. DerEntscheidungspfad zur Identifikationdes Wortes 1011 istmarkiert. Der Pfeil gibt dieLeserichtung von der Wurzelin Richtung zu den Endknotendes Baumes an.Die Definition und insbesondere der verwendete Maßstab „Bit“ für den statistischen Informationsgehaltsind also insofern den Erfordernissen der Datenverarbeitung angepasst, als dieWortlänge und der Informationsgehalt von Binärworten identisch sind, wenn die Auftrittswahrscheinlichkeitender Zeichen 0 und 1 beide den Wert 0.5 haben.

38 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯Beispiel: Der Informationsgehalt einer nicht-binären NachrichtDie Berechnung des Informationsgehaltes lässt sich ohne weiteres auf nicht-binäre Nachrichten,etwa das lateinische Alphabet, übertragen, wie das folgende Beispiel zeigt.In einem deutschsprachigen Text tritt der Buchstabe b mit der Wahrscheinlichkeit 0.016 auf.Wie groß ist der Informationsgehalt dieses Zeichens? Die Lösung dafür lautet:11log( 0.016)1.79588I(b) = ld( 0.016)= ≈ ≈ 5.97 Bitlog(2) 0.30103[ ]Für die tatsächliche binäre Codierung müsste man also – notwendigerweise aufgerundet aufdie nächst größere natürliche Zahl – die Stellenzahl 6 wählen.Praktisches Rechnen mit ZweierlogarithmenFür die praktische Berechnung des Zweierlogarithmus, der ja auf Taschenrechnern meistnicht implementiert ist, wurde oben die folgende Gleichung benützt, welche einen Logarithmuszu einer beliebigen Basis durch den Zehnerlogarithmus ausdrückt:log10(x)log10(x)logb(x) = also log2(x) = ld(x) = mit loglog (b)log (2) 10 (2) = log(2) = 0.3010310Für log 10 (x) schreibt man üblicherweise einfach log(x) und für log 2 (x) einfach ld(x). In der Mathematikwird sehr häufig der natürliche Logarithmus zur Basis e≈2.71828... verwendet. Stattlog e (x) schreibt man dafür ln(x).102.5.2 Die Entropie einer NachrichtDie Entropie als mittlerer InformationsgehaltEine Nachricht setzt sich im Allgemeinen aus Zeichen bzw. aus zu Worten verbundenen Zeichenzusammen, die einen unterschiedlichen Informationsgehalt tragen, da sie mit unterschiedlicherHäufigkeit auftreten. Man führt daher den Begriff des mittleren Informationsgehaltsoder der Entropie H einer Nachricht ein, die aus den Zeichen x 1 , x 2 , ... x n eines AlphabetsA besteht. Die Entropie ist durch den Mittelwert der mit den Auftrittswahrscheinlichkeitengewichteten Informationsgehalte der Zeichen gegeben:n1H= w(xi)ld =w(x )∑ ∑i= 1i i=1nw(x )I(x )iiDie Bezeichnung Entropie wurde wegen der formalen und in gewisser Weise auch inhaltlichenÄhnlichkeit mit einem physikalischen Gesetz der Thermodynamik gewählt, die im Grundeebenfalls eine Theorie mit statistischem Charakter ist.Der maximale InformationsgehaltMan kann nun fragen, für welche Auftrittswahrscheinlichkeiten w(x i ) der mittlere InformationsgehaltH einer aus den Zeichen x i bestehenden Nachricht maximal wird. Man findet durchAbleiten der Entropieformel nach w und Nullsetzen des Ergebnisses, dass dies dann der Fallist, wenn alle Auftrittswahrscheinlichkeiten w(x i ) gleich sind.Die Rechnung läuft für ein aus nur zwei Zeichen bestehendes Alphabet A = {x 1 , x 2 } mit denAuftrittswahrscheinlichkeiten w(x 1 )=w 1 und w(x 2 )=w 2 =1- w 1 folgendermaßen:Für die Entropie erhält man:

2 Nachricht und Information 39⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2H w ld 1 w wld 1 1= ∑ i=1+ (1 − w1)ld =−wld(w) 1 1−(1−w)ld(1 1−w)1i=1iw11−w1Differentiation und Nullsetzen des Ergebnisses liefert nach der aus der Differentialrechnungbekannten Methode der Extremwertberechnung eine Bestimmungsgleichung für die Extremwerte:dHdw 0 dHw1ld(w )dwwln2 ld(1 w ) 1−w1= ⇒ =−1− + −1+ =− ld(w1) + ld(1− w1) = 01 11(1−w1)ln2⇒ w = 1−w ⇒ w = w = 0.51 1 1 2Nochmaliges Ableiten ergibt ein negatives Ergebnis, woraus folgt, dass es sich bei dem gefundenenExtremwert tatsächlich um ein Maximum handelt. Der höchste Informationsgehaltergibt sich demnach, wenn alle Zeichen mit der gleichen Wahrscheinlichkeit auftreten.Die Ungewissheit (Surprisal) einer NachrichtenquelleDer Begriff Entropie lässt sich auch so interpretieren, dass bei einem Vergleich zweier Nachrichtenquellenfür diejenige mit der kleineren Entropie das Auftreten eines bestimmten Zeichensmit größerer Sicherheit vorhersagbar ist. Um diesen Sachverhalt auszudrücken, führtman den Begriff Ungewissheit (Surprisal) ein. Je höher die Entropie einer Nachrichtenquelleist, umso höher ist ihre Ungewissheit.BeispielEs werden zwei Alphabete A 1 und A 2 betrachtet:A 1 = {a, b, c, d}mit den Auftrittswahrscheinlichkeiten w(a)=11/16, w(b)=w(c)=1/8, w(d)=1/16und A 2 = {+, -, * } mit den Auftrittswahrscheinlichkeiten w(+)=1/6, w(-)=1/2, w( * )=1/3Für die zugehörigen Entropien berechnet man:H 111 16 1 1 1= ⋅ld+ ⋅ld8+⋅ld8+⋅ld16≈1.372[Bit/Zeichen]16 11 8 8 161 1 1H 2= ⋅ld6+⋅ld2+⋅ld3≈1.460[Bit/Zeichen]6 2 3In diesem Falle ist die Ungewissheit für A 2 größer als für A 1 , da H 2 größer ist als H 1 . Anschaulichbedeutet dies, dass man bei einer Nachrichtenquelle, die Zeichen aus A 1 sendet,mit höherer Treffsicherheit vorhersagen kann, welches Zeichen als Nächstes gesendet wird,als dies bei einer Nachrichtenquelle der Fall wäre, die Zeichen aus A 2 sendet.Die statistische Unabhängigkeit von ZeichenBei der Einführung der Entropie war vorausgesetzt worden, dass das Auftreten von Zeichenstatistisch voneinander unabhängig erfolgt. Mit anderen Worten, die Wahrscheinlichkeit fürdas Auftreten eines bestimmten Zeichens soll statistisch unabhängig davon sein, welchesZeichen unmittelbar vorher aufgetreten war. Diese Bedingung ist jedoch häufig nicht erfüllt.In der deutschen Sprache ist beispielsweise die Wahrscheinlichkeit dafür, dass das Zeichen„n“ auftritt etwa 10 mal höher, wenn unmittelbar zuvor das Zeichen „u“ aufgetreten war, alswenn unmittelbar zuvor das Zeichen „t“ aufgetreten war. Die Kombination „un“ kommt imDeutschen also 10 mal häufiger vor als die Kombination „tn“. Man sagt dann, diese Zeichensind miteinander korreliert. Diese Korrelation wird sehr deutlich, wenn man die in der folgendenTabelle aufgelisteten Auftrittswahrscheinlichkeiten der Einzelzeichen betrachtet. DasZeichen „u“ hat die Auftrittswahrscheinlichkeit 0.0319, das Zeichen „n“ hat die Auftrittswahrscheinlichkeit0.0884. Wären „u“ und „n“ nicht korreliert, dann wäre die Auftrittswahrschein-

40 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯lichkeit von „un“ 0.0319⋅0.0884=0.0028; in Folge der starken Korrelation dieser beiden Zeichenfindet man aber durch Abzählen in deutschen Texten den viel größeren Wert 0.0173.Die Berechnung der Entropie unter Berücksichtigung von Korrelationen ist etwas aufwendigerals für unabhängige Zeichen, für Details wird auf weiterführende Literatur verwiesen.Die beiden folgenden Tabellen geben einen Eindruck von der Häufigkeitsverteilung derBuchstaben in deutschen Texten.Tabelle 2.5.1: Wahrscheinlichkeiten für das Auftreten von Buchstaben in einem typischen deutschenText. Zwischen Groß- und Kleinbuchstaben wird dabei nicht unterschieden.Buchstabe____________________________________________________________________________w i Buchstabe w iAndere Zeichen 0.1515 o 0.0177e 0.1470 b 0.0160n 0.0884 z 0.0142r 0.0686 w 0.0142i 0.0638 f 0.0136s 0.0539 k 0.0096t 0.0473 v 0.0074d 0.0439 ü 0.0058h 0.0436 p 0.0050a 0.0433 ä 0.0048u 0.0319 ö 0.0025l 0.0293 j 0.0016c 0.0267 y 0.0002g 0.0267 q 0.0001m 0.0213 x 0.0001Tabelle 2.5.2: Auftrittswahrscheinlichkeiten für die 20 häufigsten Kombinationen von zwei Buchstabenin einem typischen deutschen Text. Zwischen Groß- und Kleinbuchstaben wird nicht unterschieden.Gruppe____________________________________________________________________________w i Gruppe w ien 0.0447 ge 0.0168er 0.0340 st 0.0124ch 0.0280 ic 0.0119nd 0.0258 he 0.0117ei 0.0226 ne 0.0117de 0.0214 se 0.0117in 0.0204 ng 0.0107es 0.0181 re 0.0107te 0.0178 au 0.0104ie 0.0176 di 0.0102un 0.0173 be 0.0096

2 Nachricht und Information 41⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2.5.3 Zusammenhang mit der physikalischen EntropieWie schon erwähnt, wurde die Bezeichnung „Entropie“ für den mittleren Informationsgehaltnicht zufällig gewählt, sondern wegen der formalen und bis zu einem gewissen Grade auchinhaltlichen Verwandtschaft mit der aus der Thermodynamik, also der statistischen Wärmelehre,bekannten physikalischen Entropie.Maxwells Dämon und das Perpetuum Mobile zweiter ArtInteressant ist in diesem Zusammenhang ein Gedankenexperiment, das der Physiker J. C.Maxwell 1871 veröffentlicht hat. Danach könnte ein mikroskopisch kleines, intelligentes Wesen(„Maxwells Dämon“) den zweiten Hauptsatz der Thermodynamik auf molekularer Ebeneeventuell umgehen. Vereinfacht ausgedrückt verbietet es der zweite Hauptsatz, dass Wärmevon einem kühleren zu einem wärmeren Reservoir fließt, ohne dass dabei äußere Arbeit geleistet,also Energie zugeführt wird. Dies bedeutet unter anderem die Unmöglichkeit einesPerpetuum Mobiles zweiter Art. Ein solches wäre beispielsweise ein Schiff, das seine Antriebsenergieallein durch Abkühlung des ihn umgebenden Ozeans gewinnt. Maxwell stelltesich zwei gasgefüllte, miteinander durch ein Ventil verbundene Gefäße vor, die zunächstbeide dieselbe Temperatur haben. Da sich die Temperatur eines Gases durch die statistischeBewegung der Gasmoleküle beschreiben lässt, könnte der Dämon nun das Ventil bedienenund Moleküle, deren Geschwindigkeit die mittlere Geschwindigkeit übersteigt, vomlinken Gefäß in das rechte wechseln lassen. Es schien, als könne dies durch eine sinnreicheKonstruktion ohne Energieaufwand (also unter Verletzung des zweiten Hauptsatzes) erreichtwerden; das wärmere Gefäß würde sich also „von selbst“ allein durch Abkühlung des kälterenGefäßes weiter erhitzen. Der Dämon muss dazu nicht wirklich intelligent sein, sondernlediglich ein Automat, der dazu in der Lage ist, eine Messung durchzuführen, die dadurchgewonnene binäre Information für kurze Zeit zu speichern und eine einfache mechanischeVerrichtungen (z.B. das Öffnen eines Ventils) vorzunehmen. Der Physiker Leo Szilard löste1929 das Rätsel, indem er zeigte, dass durch den Messprozess und die Speicherung desresultierenden Ja/Nein-Ergebnisses ein Mindestbetrag an (physikalischer) Entropie S min produziertwird, der mindestens so groß ist wie die dem Wärmebad entzogene Entropie [Szi29].Dafür berechnet Szilard den WertS min =k⋅ln(2)wobei k die in der Thermodynamik wichtige Boltzmann-Konstante ist. Man kann daher Szilardmit gewissem Recht als einen der Entdecker der Informationseinheit „Bit“ betrachten,auch wenn diese Bezeichnung erst später eingeführt wurde. Der minimalen Informationseinheiteines Ja/Nein-Messergebnisses entspricht also eine minimale physikalische Entropie,ohne dass diese beiden Größen allerdings indentisch wären. Hier wurde erstmals ein Zusammenhangzwischen physikalischer Entropie und Informations-Entropie hergestellt, nochlange bevor die Informationstheorie entstand.Informationsverarbeitung und EnergiebedarfSpätere Untersuchungen zeigten, dass der kritische Moment bei der physikalischen Untersuchungder Informationsverarbeitung nicht etwa das Messen oder Speichern von Informationist, sondern das Löschen (oder auch Überschreiben). Erst Jahrzehnte nach SzilardsÜberlegungen gelang es Charles Bennet [Ben82], den mit dem Löschen von Informationverbundenen Mindestbetrag an physikalischer Entropie und den dafür nötigen minimalenEnergieaufwand zu bestimmen.Auf den Punkt gebracht kann man sagen, dass bei der üblichen Art der Informationsverarbeitungnicht nur keinerlei Information erzeugt wird, sondern dass vielmehr Information vernichtetwird. Dies wird bereits an einem einfachen Beispiel klar: Erscheint am Ausgang einesOR-Gatters das Ergebnis „1“, so kann daran nicht mehr unterschieden werden, welche derdrei Möglichkeiten (0,1), (1,0) oder (1,1) an den beiden Eingängen des Gatters vorgelegen

42 2 Nachricht und Information⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯hatte. Es ging also tatsächlich Information verloren. Es wäre nun nahe liegend, in einemComputer bzw. einer Turing-Maschine (siehe Kapitel 9.2) nur Schaltkreise einzusetzen, beidenen keine Information gelöscht wird. Diese hypothetischen, so genannten Fredkin-Gatter[Fred82] würden im Prinzip den Aufbau einer Turing-Maschine zur reversiblen Informationsverarbeitungermöglichen. Eine solche Maschine könnte also ohne Energieaufwand und ohneErhöhung der physikalischen Entropie Informationen verarbeiten; auch wäre zu jedemZeitpunkt die gesamte Information in Form interner Zustände vorhanden.Die Brown’sche Turing-MaschineDem Prinzip einer reversiblen Turing-Maschine kommt die aus der Biochemie bekannteBrown’sche Turing-Maschine sehr nahe. Es handelt sich dabei um einen bei der Weitergabevon Erbanlagen während der Zellteilung wichtigen Prozess, bei dem Kopien von DNA-Segmenten der in den Chromosomen der Zelle enthaltenen Gene hergestellt werden. DerKopiervorgang ist quasi-reversibel: nahe am chemischen Gleichgewicht erfolgen fast ebensoviele Kopiervorgänge in der umgekehrten Richtung wie in Vorwärtsrichtung. Der Motor diesesKopiervorgangs ist die thermische Brown’sche Bewegung der umgebenden Moleküle,unterstützt durch eine schwach antreibende Kraft, die eine Vorzugsrichtung definiert. DieseKraft und damit die nötige Energie kann prinzipiell beliebig reduziert werden, die Ausführungszeitenwerden dann aber immer länger und streben bei verschwindender Kraft gegenUnendlich.Was ist Information?Da Information also weder Energie noch Materie ist, kann man sich darunter vielleicht amehesten eine immaterielle Qualität vorstellen [Sto90], etwa in Analogie zu abstrakten physikalischenGrößen wie Ladung, Spin etc. Es stellt sich aber die Frage, inwieweit Informationunabhängig von einem Beobachter ist. Es leuchtet ein, dass ein DNA-Kristall viel mehr Informationenthält als etwa ein Salzkristall, und zwar unabhängig davon, ob die DNA nun entziffertist oder nicht. Es scheint jedoch so zu sein, dass thermodynamische Aspekte wie E-nergieverbrauch und Entropieerhöhung erst ins Spiel kommen, wenn – vielleicht in Analogiezu einem quantenmechanischen Messprozess – ein Beobachter aktiv Informationen im weitestenSinne verarbeitet.Man kann zusammenfassen:• Die Gewinnung, Verarbeitung und Übertragung von Information kann nur in Systemen mitmindestens zwei verschiedenen physikalischen Zuständen erfolgen.• Informationssysteme können nur arbeiten, wenn ihr thermodynamischer Zustand um eineMindestdistanz vom thermodynamischen Gleichgewicht entfernt ist.• Das Gewinnen oder Löschen eines Informationsbetrags ist immer mit der Erzeugung physikalischerEntropie verbunden.• Die informationstheoretische Entropie ist eng mit der physikalischen Entropie verwandt,jedoch nicht mit dieser identisch.