Mathematik für Physiker - Numerische Physik: Modellierung

454 KAPITEL 12. STATISTIK
12.3.1 Information und Entropie
§ 1693 Um die Wahrscheinlichkeitsverteilungen vergleichen zu können, verwenden wir als
Maß für die Unbestimmtheit die Entropie.
§ 1694 Mit einem einfachen informationstheoretischen Ansatz können wir die Entropie anschaulich
beschreiben. Information kann mit einer der drei folgenden Formulierungen definiert
werden:
• Information ist das, was wir nicht wissen.
• Information ist die Eigenschaft einer Nachricht, beim Empfänger Kenntniszuwachs zu erzeugen.
• Information ist Wissenszuwachs und damit Abbau von Unsicherheiten über einen interessierenden
Sachverhalt.
Information hat also etwas mit Unbekanntem oder Unerwartetem zu tun. Alles, was wir
bereits wissen, enthält keine Information. Nur der Aspekt des Unbekannten ist wichtig, nicht
die ’
Inhaltsschwere‘ oder Bedeutsamkeit der Nachricht: die Nachricht ’
Die Kuh XYZ auf der
Alm QRS hat heute gekalbt‘ hat den gleichen Informationsgehalt wie ’
Sie haben den Jackpott
mit 21 Mio. Euro geknackt‘. Die Nachricht ’
Irgendwo auf der Welt hat heute irgendeine
beliebige Kuh gekalbt‘hat dagegen einen Informationsgehalt von Null: zwar kann die Meldung
irritieren, da man nicht weiß, was man mit ihr anfangen soll – die Information in dieser
Nachricht ist jedoch trivial.
§ 1695 Um Information wahrscheinlichkeitstheoretisch zu beschreiben betrachten wir ein
Urnen-Experiment: In einer Urne befinde sich eine große Menge Kugeln, davon seien 70%
weiß, 20% schwarz und 10% rot. X zieht jeweils eine Kugel und ruft Y das Ergebnis zu. Dann
ist X zusammen mit der Urne eine Nachrichtenquelle, die die Nachrichten weiß‘, rot‘ und
’ ’
schwarz‘ erzeugt. Y ist ein Nachrichtenempfänger, der sich genau für diese Informationen
’
interessiert. Welche der drei Nachrichten enthält nun für Y die größte Information? Nach der
Ziehung und Übermittlung von vielen Kugeln kennt der Empfänger Y die Wahrscheinlichkeit
p x für das Auftreten der einzelnen Farben: p w =0.7, p s =0.2 und p r =0.1. Damit kennt er
auch den Informationsgehalt dieser Nachrichten: die Nachricht weiß‘ enthält die geringste
’
Information (sie ist aufgrund ihrer großen Wahrscheinlichkeit das Standardsignal, interessant
sind erst Abweichungen von weiß‘), die Nachricht rot‘ enthält am meisten Information. Das
’ ’
ist anschaulich, wenn man sich vorstellt, dass die Urne nur Kugeln einer Farbe enthält, z.B.
weiß. Dann ist p w =1 und der Empfänger Y weiß bereits vorher, welche Nachricht ihm X
übermitteln wird. Da es sich dann um eine sichere Nachricht handelt, ist ihr Informationsgehalt
gleich Null. Aufgrund dieser statistischen Beschreibungsweise wird auch der Begriff
Versuchsausgang anstelle von Signal, Zeichen oder Information verwendet.
§ 1696 Aus diesem Experiment können wir zwei Kriterien zur Definition des Informationsgehaltes
einer Nachricht ableiten:
K1 Der Informationsgehalt I x einer Nachricht ist umso größer, je kleiner die Wahrscheinlichkeit
p x ihres Auftretens ist, d.h. je größer ihr ’ Überraschungswert‘ ist. Damit wird
Information als der Neuigkeitsgehalt aber nicht die Inhaltsschwere einer Nachricht definiert.
K2 Eine Nachricht mit der Wahrscheinlichkeit p x =1, d.h. das sichere Ereignis, hat den Informationsgehalt
I x =0.
Ein drittes Kriterium zur Definition des Informationsgehalts erhält man bei der Verwendung
mehrere Nachrichten:
K3 Der Informationsgehalt verschiedener voneinander unabhängiger Nachrichten soll sich
addieren.
13. März 2007 c○ M.-B. Kallenrode