Einführung in die Methoden der Künstlichen Intelligenz - Goethe ...

8.2 Wahrscheinlichkeit und Entropie
8.2.2 Entropie
Zunächst führen wir den Begriff des Informationsgehalts ein, der von einigen Lernverfahren
benötigt wird.
Wenn man eine diskrete Wahrscheinlichkeitsverteilung p i , i = 1, . . . , n hat, z.B. von
Symbolen a i , i = 1, . . . , n, dann nennt man
I(a k ) := log 2
( 1 p k
) = − log 2 (p k ) ≥ 0
den Informationsgehalt des Zeichens a k . Das kann man interpretieren als Grad der Überraschung
beim Ziehen des Symbols a k aus einer entsprechenden Urne, bzw. bei der Übermittlung
von Zeichen durch einen Kommunikationskanal. D.h. das Auftreten eines seltenen
Symbols hat einen hohen Informationsgehalt. Wenn man nur ein einziges Symbol
hat, dann ist p 1 = 1, und der Informationsgehalt ist I(a 1 ) = 0. Eine intuitive Erklärung
des Informationsgehalts ist die mittlere Anzahl der Ja/Nein-Fragen, die man stellen muss,
um die gleiche Information zu bekommen.
Beispiel 8.2.1. Zum Beispiel im Falle von 8 Objekten, die gleich oft vorkommen, ergibt sich
log(0.125) = −3 für jedes Objekt, d.h. der Informationsgehalt jedes Zeichens ist 3 und auch der
mittlere Informationsgehalt, ermittelt aus der gewichteten Summe ist 3. Kommen zwei davon,
sagen wir mal a 1 , a 2 , sehr häufig vor und die anderen praktisch nie, dann ergibt sich als mittlerer
Informationsgehalt in etwa 0.5 ∗ log 2 (0.5) + 0.5 ∗ log 2 (0.5) + 6 ∗ 0.001 ∗ log 2 (0.001) ≈ 1.
Die Entropie oder der mittlere Informationsgehalt der Symbole in der Wahrscheinlichkeitsverteilung
wie oben kann dann berechnet werden als
I(X) =
n∑
p i ∗ log 2
( 1 n∑
) = − p i ∗ log
p 2
(p i ) ≥ 0.
i
i=1
i=1
Bei Kompressionen eines Files oder bei Kodierung von Nachrichten über einem Kanal ist
das eine untere Schranke für die mittlere Anzahl von Bits pro Symbol, die man bei bester
Kompression bzw binärer Kodierung erreichen kann.
Beispiel 8.2.2. Nimmt man ein Bernoulli-Experiment, d.h. zwei Zeichen, Kopf und Zahl wobei
Kopf mit der Wahrscheinlichkeit p und Zahl mit Wahrscheinlichkeit 1 − p auftritt, dann ergibt
sich in etwa die Kurve:
M. Schmidt-Schauß & D. Sabel, Skript KI, WS 2012/13 263 Stand: 30. Januar 2013