2 Nachricht und Information

2 Nachricht und Information 39⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯2H w ld 1 w wld 1 1= ∑ i=1+ (1 − w1)ld =−wld(w) 1 1−(1−w)ld(1 1−w)1i=1iw11−w1Differentiation und Nullsetzen des Ergebnisses liefert nach der aus der Differentialrechnungbekannten Methode der Extremwertberechnung eine Bestimmungsgleichung für die Extremwerte:dHdw 0 dHw1ld(w )dwwln2 ld(1 w ) 1−w1= ⇒ =−1− + −1+ =− ld(w1) + ld(1− w1) = 01 11(1−w1)ln2⇒ w = 1−w ⇒ w = w = 0.51 1 1 2Nochmaliges Ableiten ergibt ein negatives Ergebnis, woraus folgt, dass es sich bei dem gefundenenExtremwert tatsächlich um ein Maximum handelt. Der höchste Informationsgehaltergibt sich demnach, wenn alle Zeichen mit der gleichen Wahrscheinlichkeit auftreten.Die Ungewissheit (Surprisal) einer NachrichtenquelleDer Begriff Entropie lässt sich auch so interpretieren, dass bei einem Vergleich zweier Nachrichtenquellenfür diejenige mit der kleineren Entropie das Auftreten eines bestimmten Zeichensmit größerer Sicherheit vorhersagbar ist. Um diesen Sachverhalt auszudrücken, führtman den Begriff Ungewissheit (Surprisal) ein. Je höher die Entropie einer Nachrichtenquelleist, umso höher ist ihre Ungewissheit.BeispielEs werden zwei Alphabete A 1 und A 2 betrachtet:A 1 = {a, b, c, d}mit den Auftrittswahrscheinlichkeiten w(a)=11/16, w(b)=w(c)=1/8, w(d)=1/16und A 2 = {+, -, * } mit den Auftrittswahrscheinlichkeiten w(+)=1/6, w(-)=1/2, w( * )=1/3Für die zugehörigen Entropien berechnet man:H 111 16 1 1 1= ⋅ld+ ⋅ld8+⋅ld8+⋅ld16≈1.372[Bit/Zeichen]16 11 8 8 161 1 1H 2= ⋅ld6+⋅ld2+⋅ld3≈1.460[Bit/Zeichen]6 2 3In diesem Falle ist die Ungewissheit für A 2 größer als für A 1 , da H 2 größer ist als H 1 . Anschaulichbedeutet dies, dass man bei einer Nachrichtenquelle, die Zeichen aus A 1 sendet,mit höherer Treffsicherheit vorhersagen kann, welches Zeichen als Nächstes gesendet wird,als dies bei einer Nachrichtenquelle der Fall wäre, die Zeichen aus A 2 sendet.Die statistische Unabhängigkeit von ZeichenBei der Einführung der Entropie war vorausgesetzt worden, dass das Auftreten von Zeichenstatistisch voneinander unabhängig erfolgt. Mit anderen Worten, die Wahrscheinlichkeit fürdas Auftreten eines bestimmten Zeichens soll statistisch unabhängig davon sein, welchesZeichen unmittelbar vorher aufgetreten war. Diese Bedingung ist jedoch häufig nicht erfüllt.In der deutschen Sprache ist beispielsweise die Wahrscheinlichkeit dafür, dass das Zeichen„n“ auftritt etwa 10 mal höher, wenn unmittelbar zuvor das Zeichen „u“ aufgetreten war, alswenn unmittelbar zuvor das Zeichen „t“ aufgetreten war. Die Kombination „un“ kommt imDeutschen also 10 mal häufiger vor als die Kombination „tn“. Man sagt dann, diese Zeichensind miteinander korreliert. Diese Korrelation wird sehr deutlich, wenn man die in der folgendenTabelle aufgelisteten Auftrittswahrscheinlichkeiten der Einzelzeichen betrachtet. DasZeichen „u“ hat die Auftrittswahrscheinlichkeit 0.0319, das Zeichen „n“ hat die Auftrittswahrscheinlichkeit0.0884. Wären „u“ und „n“ nicht korreliert, dann wäre die Auftrittswahrschein-