Erdfernerkundung - Numerische Physik: Modellierung

6.2. KOMMUNIKATION UND INFORMATION 287
Abbildung 6.7: Shannon-
Funktion
für die Beziehung zwischen den Grenzen des Messbereichs gilt y2 = y1 (1 + p) n . Daher ergibt
sich für die Zahl der Intervalle
� �
y2
log y1
n =
log(1 + p)
und die log y-Skala wäre in Zellen der einheitlichen Breite ∆z = log(1 + p) eingeteilt. Der
Informationsgehalt ergibt sich zu ld(n).
6.2.4 Shannon-Funktion und Entropie
§ 958 Wir haben bisher den Informationsgehalt Ix eines einzelnen Zeichens betrachtet. Wenden
wir uns jetzt jedoch auch der Frage nach dem mittleren Informationsgehalts eines Zeichens
aus einem Zeichenvorrat zu. Letztendlich erlaubt uns diese Betrachtung ja, die Wichtigkeit
bzw. den Informationsgehalt der einzelnen Zeichen besser zu beurteilen. Der mittlere
Informationsgehalt eines Zeichensatzes ergibt sich durch Mittelwertbildung über alle Zeichen,
wobei der Informationsgehalt jedes einzelnen Zeichens mit der Wahrscheinlichkeit des
Auftretens dieses Zeichens gewichtet werden muss:
n�
H = Ix = − px · ld(px) .
x=1
Dieser mittlere Informationsgehalt H wird als die Entropie 4 bezeichnet:
Definition 2 Der mittlere Informationsgehalt je Zeichen, die Entropie, gibt an, wie viele
Binärzeichen man bei der binären Codierung von Nachrichten für die einzelnen Zeichen im
Mittel wenigstens aufwenden muss. Andererseits sind bei geschickter Codierung auch kaum
mehr Zeichen erforderlich [223].
§ 959 Die Entropie eines Binärzeichens lässt sich mit Hilfe der Shannon-Funktion (vgl.
Abb. 6.7) angeben. Betrachte dazu wieder einen Versuch mit zwei Ausgängen. Diese haben
die Wahrscheinlichkeiten p und q = (1 − p). Der mittlere Informationsgehalt eines dieser
Zeichen ist dann gegeben zu
H = b(p) = −p · ld(p) − (1 − p) · ld(1 − p) . (6.2)
Diese Funktion b(p) wird als die Shannon-Funktion bezeichnet, sie ist in Abb. 6.7 wiedergegeben.
Für p = 0, d.h. es tritt nur eines der beiden Zeichen auf, ist der Informationsgehalt
gleich Null (sicheres Ereignis), mit wachsendem p steigt der mittlere Informationsgehalt je
Zeichen an bis zu einem Maximum bei p = 0.5: beide Ausgänge sind dann gleich wahrscheinlich.
Damit ist das Ergebnis am schlechtesten vorherzusagen. Für weiter wachsendes p nimmt
die Entropie wieder ab, bis sie für p = 1 Null wird: das ist das sichere Ereignis des anderen
Signals. Dieses Ergebnis lässt sich verallgemeinern zu:
Definition 3 Die Entropien eines Versuches mit den möglichen Ausgängen xi ist am größten,
wenn alle Ausgänge gleich wahrscheinlich sind [55].
4 Der Begriff der Entropie wurde aus der Thermodynamik entlehnt, wo er ein Maß für die statistische
Unordnung oder Unsicherheit in einem System ist.
c○ M.-B. Kallenrode 2. Juli 2008