Erdfernerkundung - Numerische Physik: Modellierung

6.2. KOMMUNIKATION UND INFORMATION 289
Betrachtet man aber einen Text, so erkennt man, dass die Buchstaben mit unterschiedlicher
Häufigkeit auftreten. In einem deutschen Text z.B. tritt der Buchstabe ‘e’ mit einer Häufigkeit
von 14.4% auf (nur das Leerzeichen ist mit 14.42% geringfügig häufiger), die Buchstaben ‘n’
(‘s’, ‘i’, ‘m’) haben Häufigkeiten von 8.65% (6.46%, 6.28%, 1.72%), die seltensten Buchstaben
sind ‘x’ und ‘q’ mit Häufigkeiten von 0.8% bzw. 0.5% (vgl. Tabelle 6.1). Berücksichtigt man
diese Verteilungen der Häufigkeiten, so ergibt sich ein mittlerer Informationsgehalt H von
nur 4.1 bit/Zeichen alleine aus der Tatasache, dass die Zeichen nicht gleich wahrscheinlich
sind.
§ 962 Zusätzlich müssen wir aber auch noch berücksichtigen, dass die Zeichen in der Sprache
nicht unabhängig voneinander sind. Betrachtet man Folgen von Zeichen in einem Text, so
zeigt sich, dass z.B. auf ein ‘a’ wesentlich häufiger ein ‘n’ folgt als ein ‘o’, dass ein ‘c’ meist
in Kombination mit einem ‘h’ auftritt, häufig sogar in der Form ‘sch’, und dass auf ein ‘q’
stets ein ‘u’ folgt. Nach Küpfmüller [137] ergibt sich dann unter Berücksichtigung dieser
Kombinationen und der unterschiedlichen Häufigkeiten der einzelnen Zeichen ein mittlerer
Informationsgehalt H von 1.3 bit/Zeichen (verglichen mit den 4.7 bit/Zeichen bei gleich
wahrscheinlichen und unabhängigen Zeichen).
§ 963 Jede Abweichung von der Gleichverteilung bzw. von der statistischen Unabhängigkeit
verringert also den mittleren Informationsgehalt einer Nachricht. Diese Verringerung der
Entropie wird als Redundanz bezeichnet, manchmal auch als Weitschweifigkeit übersetzt. Formal
definiert sich die Redundanz als die Differenz zwischen der maximal möglichen Entropie
H0 wie in (6.3) und der in einer realen Zeichenkette steckenden Entropie H
R = H0 − H . (6.4)
Die relative Redundanz ist dann gegeben durch
r = H0 − H
H0
.
Kehren wir noch einmal zu dem obigen Beispiel der deutschen Sprache zurück, so erhalten wir
eine Redundanz R von 3.4 bit/Zeichen bzw. eine relative Redundanz r von 0.73. Bezüglich des
Informationsgehaltes der deutschen Sprache bedeutet das, dass 73% der Sprache redundant
oder überflüssig sind und nur 27% Information tragen. Wir könnten also mit einer anderen
Sprachstruktur aber dem gleichen Alphabet die zur Übermittlung einer Nachricht notwendigen
Materialien auf etwas über 1/4 reduzieren (Bücher würden dünner, Morsebotschaften
schneller etc.).
§ 964 Ökonomisch würde die Verminderung der Redundanz daher attraktiv erscheinen. Aber
auch nur erscheinen. Redundanz in der Sprache ist wichtig: zwar wird die Nachricht und damit
auch die Übertragungszeit verlängert, andererseits ist jedoch das Erkennen von Fehlern
und deren Korrektur möglich. So kann man in der Regel auch bei stark gestörter Telefonübertragung
den Sender noch verstehen, zumindest wenn er in der Muttersprache spricht,
da man aus den verstandenen Teilen die unverstandenen ergänzen kann, es aufgrund der
Redundanz eben nicht auf jeden einzelnen Buchstaben ankommt. Steinbuch [228] gibt dazu
verschiedene Beispiele, von denen einige im folgenden wiedergegeben werden. Ganz deutlich
wird dabei, dass die gegenseitige Beziehung zwischen Zeichen (Wörtern, Satzfragmenten,
Sätzen) für unser Verständnis von entscheidender Bedeutung ist. Liest man z.B. in
diesem Text die sechs Buchstaben ‘Inf.....ion’, so besteht kein Zweifel, dass die fehlenden fünf
Buchstaben ‘ormat’ sind und damit das ganze Wort ‘Information’ ist. Die Abhängigkeit der
Zeichenergänzung vom Satzzusammenhang wird in den folgenden Beispielen deutlich. Beispielsweise
werden wir im Satz ‘Es gibt konkave und kon.... Linsen’ das verstümmelte Signal
‘kon....’ als ‘konvexe’ deuten. Dagegen werden wir dasselbe verstümmelte Signal ‘kon.....’ im
Satz ‘Es gibt abstrakte und kon..... Malerei’ als ‘konkrete’ deuten.
§ 965 Die Fähigkeit des Empfängers, Ergänzungen an unvollständigen Signalen vorzunehmen,
hängt wesentlich von zwei Komponenten ab: (1) der Kenntnis des Empfängers über
c○ M.-B. Kallenrode 2. Juli 2008