Mathematik für Physiker - Numerische Physik: Modellierung

456 KAPITEL 12. STATISTIK
Abbildung 12.8: Die
Shannon–Funktion b(p)
gibt die Entropie für
ein Zufallsereignis mit
zwei möglichen Versuchsausgängen
mit den
Wahrscheinlichkeiten p
und (1 − p)
Entropie und Shannon-Funktion.
§ 1703 Wir haben bisher den Informationsgehalt I x eines einzelnen Zeichens betrachtet, betrachten
wir jetzt den mittleren Informationsgehalts eines Zeichens aus einem Zeichenvorrat.
Dieser ergibt sich durch Mittelwertbildung über alle Zeichen, wobei der Informationsgehalt
jedes einzelnen Zeichens mit der Wahrscheinlichkeit des Auftretens dieses Zeichens gewichtet
wird:
n∑
S = I x = − p x ld(p x ) . (12.14)
x=1
Dieser mittlere Informationsgehalt S wird als Entropie bezeichnet: der mittlere Informationsgehalt
je Zeichen, die Entropie, gibt an, wie viele Binärzeichen man bei der binären Codierung
von Nachrichten für die einzelnen Zeichen wenigstens aufwenden muss. Andererseits sind bei
geschickter Codierung auch kaum mehr Zeichen erforderlich. Der Begriff der Entropie ist aus
der Thermodynamik entlehnt, wo er ein Maß für die statistische Unordnung in einem System
ist.
§ 1704 Die Entropie eines Binärzeichens lässt sich mit der Shannon-Funktion angeben. Betrachten
wir wieder einen Versuch mit zwei Ausgängen mit den Wahrscheinlichkeiten p und
q = (1 − p). Der mittlere Informationsgehalt eines Zeichen ist dann
S = b(p) = −p ld(p) − (1 − p) ld(1 − p) . (12.15)
Die Shannon-Funktion ist in Abb. 12.8 dargestellt. Für p=0 ist der Informationsgehalt Null
(sicheres Ereignis), mit wachsendem p steigt der mittlere Informationsgehalt je Zeichen an
bis zu einem Maximum bei p=0.5. Dann sind beide Ausgänge gleich wahrscheinlich und das
Ergebnis ist am schlechtesten vorherzusagen. Für weiter wachsendes p nimmt die Entropie
wieder ab, bis sie für p=1 Null wird (sicheres Ereignis des anderen Signals). Dieses Ergebnis
lässt sich verallgemeinern: die Entropie eines Versuches mit den möglichen Ausgängen x i ist
am größten, wenn alle Ausgänge gleich wahrscheinlich sind.
§ 1705 Der mittlere Informationsgehalt eine Buchstabens der deutschen Sprache (inkl. Leerzeichen
und Umlaute) würde bei gleicher Häufigkeit des Auftretens S 0 = I x = ld(30) = 4.9 bit
betragen. Aus § 1656 wissen wir bereits, dass Buchstaben mit unterschiedlicher Häufigkeit
auftreten. In einem deutschen Text z.B. tritt der Buchstabe ‘e’ mit einer Häufigkeit von
14.4% auf (nur das Leerzeichen ist mit 14.42% geringfügig häufiger), die Buchstaben n‘ ( s‘, ’ ’
’ i‘, m‘) haben Häufigkeiten von 8.65% (6.46%, 6.28%, 1.72%), die seltensten Buchstaben
’
sind ‘x’ und ‘q’ mit Häufigkeiten von 0.8% bzw. 0.5% (vgl. Tabelle 12.1). Berücksichtigt man
diese Häufigkeiten, so ergibt sich ein mittlerer Informationsgehalt S von nur 4.1 bit/Zeichen,
da die Zeichen nicht gleich wahrscheinlich sind.
§ 1706 Zusätzlich sind die Zeichen in der Sprache nicht unabhängig, so folgt auf ein ’
a‘wesentlich
häufiger ein ’
n‘als ein ’
o‘; ein ’
c‘tritt meist in Kombination mit einem ’
h‘auf, häufig sogar
in der Form ’
sch‘, und auf ein ’
q‘folgt stets ein ’
u‘. Dadurch reduziert sich der mittlere
Informationsgehalt S auf 1.3 bit/Zeichen.
13. März 2007 c○ M.-B. Kallenrode