Erdfernerkundung - Numerische Physik: Modellierung

6.2. KOMMUNIKATION UND INFORMATION 291
Buchstabe p [%] Bacon 1623 Morse 1844 Huffmann 1952
14.42 00100 00 000
E 14.40 10000 100 001
N 8.65 00110 01100 010
S 6.46 10100 11100 0110
I 6.28 01100 1100 0111
R 6.22 01010 101100 1000
.
M 1.72 00111 010100 11010
.
X 0.08 10111 01110100 1111111110
Q 0.05 11101 010110100 11111111110
Hc 5 4.79 4.13
Verständnisfrage 39 Sind Bacons fünf Binärzeichen eigentlich erforderlich?
Einschub: Künstliche Sprachen
Abbildung 6.8: Binärcodes
für alphabetischen
Text, basierend auf [157]
§ 968 Am Beispiel der Sprache kann man sich sehr viele Eigenschaften von Information
und diskreten Quellen klar machen, wie wir es ja auch schon im Zusammenhang mit der
Redundanz gesehen haben. Insbesondere lässt sich der stochastische Aspekt verdeutlichen.
Shannon und Weaver [224] folgend sei hier als ein Beispiel eine künstliche Sprache eingeführt.
Diese Annäherung an eine Sprache umfasst drei Stufen:
(A) Angenommen, wir haben 5 Buchstaben A, B, C, D und E, die jeweils mit einer Wahrscheinlichkeit
von 0.2 gewählt sind, wobei aufeinander folgende Auswahlen unabhängig
voneinander sind (diskrete Quelle mit gleich wahrscheinlichen, unabhängigen Symbolen).
Das würde z.B. zu einer Folge führen wie
BDCBCECCCADCBDDAAECEEAABBDAEECACEEBAEECBCEAD
(B) Nun werden dieselben 5 Buchstaben benutzt mit den Wahrscheinlichkeiten 0.4, 0.1,
0.2, 0.2, und 0.1, wobei aufeinander folgende Auswahlen ebenfalls wieder unabhängig
sind (diskrete Quelle mit unabhängigen, nicht gleich wahrscheinlichen Symbolen). Eine
typische Folge wäre dann:
AAACDCBDCEAADADACEDAEADCABEDADDCECAAAAAD.
(C) Eine kompliziertere Struktur ergibt sich, wenn, wie in der gewöhnlichen Sprache, die
Zeichen nicht mehr voneinander unabhängig sind, sondern ihre Wahrscheinlichkeiten von
dem vorangegangenen Zeichen abhängen. Im einfachsten Fall hängt eine Auswahl nur
vom direkt vorangegangenen Zeichen ab, nicht jedoch auch von früheren Zeichen. Der
statistische Aufbau kann dann durch einen Satz von Übergangswahrscheinlichkeiten pi(j)
beschrieben werden. Dabei ist pi(j) die Wahrscheinlichkeit, das dem Buchstaben i der
Buchstabe j folgt. Ein alternativer Weg wäre die Angabe der Digramm-Wahrscheinlichkeiten
(zweidimensionale Verbundwahrscheinlichkeit) p(i, j), d.h. die relative Häufigkeit
des Digramms ij. Die Buchstabenhäufigkeiten p(i) (die Wahrscheinlichkeit des Buchstabens
i), die Übergangswahrscheinlichkeiten pi(j), und die Verbundwahrscheinlichkeiten
p(i, j) hängen zusammen über
p(i) = �
p(i, j) = �
p(j, i) = �
p(j)pj(i) ,
i
p(i, j) = p(i)pi(j)
und
�
pi(j) = �
p(i) = �
p(i, j) = 1 .
i
i
i
i,j
i
c○ M.-B. Kallenrode 2. Juli 2008