Erdfernerkundung - Numerische Physik: Modellierung

284 KAPITEL 6. KOMMUNIKATION
aufgrund ihrer großen Wahrscheinlichkeit das Standardsignal. Interessant sind erst Abweichungen
von ‘weiß’; die Nachricht ‘rot’ ist am seltensten und enthält am meisten Information.
Diese Zuordnung ist anschaulich, wenn man sich vorstellt, dass die Urne nur Kugeln einer
Farbe enthält, z.B. weiß. Dann ist pw=1 und der Empfänger Y weiß bereits vorher, welche
Nachricht ihm X übermitteln wird. Da es sich dann um eine sichere Nachricht handelt,
ist ihr Informationsgehalt gleich Null. Auf Grund dieser statistischen Beschreibung wird im
folgenden auch manchmal der Begriff Versuchsausgang anstelle von Signal, Zeichen oder Information
verwendet.
§ 944 Aus diesem Experiment ergeben sich zwei Kriterien zur Definition des Informationsgehaltes
einer Nachricht:
K1 Der Informationsgehalt Ix einer Nachricht ist umso größer, je kleiner die Wahrscheinlichkeit
px ihres Auftretens ist, d.h. je größer ihr Überraschungswert ist. Damit wird, wie
bereits oben vorgeschlagen, Information als der Neuigkeitsgehalt aber nicht die Inhaltsschwere
einer Nachricht definiert.
K2 Eine Nachricht mit der Wahrscheinlichkeit px=1, d.h. das sichere Ereignis, muss den
Informationsgehalt Ix=0 haben.
Ein drittes Kriterium zur Definition des Informationsgehalts erhält man bei der Verwendung
mehrere Nachrichten:
K3 Der Informationsgehalt verschiedener voneinander unabhängiger Nachrichten soll sich
addieren.
§ 945 Diese Definition ist unmittelbar einsichtig aus der Interpretation der Information mittels
wahrscheinlichkeitstheoretischer Begriffe. Auch für die Wahrscheinlichkeiten gilt dort,
dass sich bei voneinander unabhängigen Ereignissen die Gesamtwahrscheinlichkeit eines Ereignisses
durch die Multiplikation der Wahrscheinlichkeiten der Einzelereignisse ergibt. Der
Unterschied in der Rechenoperation, Multiplikation statt Addition, wird deutlich werden,
wenn wir zur formalen Definition der Information übergehen.
Diskrete Quelle, gleichwahrscheinliche unabhängige Symbole
§ 946 Nach dieser anschaulichen Darstellung wollen wir uns nun dem einfachsten Fall zuwenden,
einer Signalquelle, die n gleichwahrscheinliche, unabhängige Symbole erzeugt. Ein
Beispiel für eine derartige Quelle ist ein Würfel (n = 6) oder die Münze beim Münzwurf
(n = 2). Die Wahrscheinlichkeit px für das Auftreten eines Symbols ist dann gegeben durch
px = 1
n .
Da alle Symbole mit der gleichen Wahrscheinlichkeit px auftreten, hat jedes Symbol den
gleichen Informationsgehalt Ix.
§ 947 In Übereinstimmung mit den oben gegebenen drei Kriterien lässt sich dann die folgende
Definition des Informationsgehaltes einer Nachricht angeben:
Ix = ld 1
px
= −ld(px) , (6.1)
wobei ld (log dualis) den Logarithmus zur Basis 2 bezeichnet. Die Einheit ist bit (binary digit)
– nicht zu verwechseln mit Bit für Binärzeichen. Diese Definition ist einsichtig insofern,
als dass das erste Kriterium K1 die Verwendung der Kehrwerte der Wahrscheinlichkeiten
nahe legt, das zweite Kriterium K2 die Verwendung einer logarithmischen Definition nahe
legt und das dritte Kriterium K3 diese sogar erzwingt (Addition der Informationen durch
Umwandlung des Produkts der reziproken Wahrscheinlichkeiten in eine Summe der Informationsgehalte
der einzelnen Zeichen). Man beachte, dass der so definierte Informationsgehalt,
z.B. einer Auswahl eines Zeichens aus einem Zeichensatz, durch die Statistik, also durch
die Wahrscheinlichkeit des Auftretens eines Zeichens, bestimmt wird, nicht aber durch die
Semantik, d.h. die Bedeutung des Zeichens.
2. Juli 2008 c○ M.-B. Kallenrode