Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

8 KAPITEL 2. GRUNDLAGEN DER INFORMATIONSTHEORIE
Siehe hierzu auch [Jumarie (1990)].
Für diskrete deterministische Prozesse,
{
1 falls x = x ′
P {X i = x} =
,
0 sonst
gilt stets H(X i ) = 0, da das Besetzen eines Zustandes eindeutig bestimmt ist,
also keine Unsicherheit aufweist. Ist der Ereignisraum endlich, X = {x 1 , . . . , x m },
und sind alle Zustände gleichverteilt, P {X i = x 1 } = . . . = P {X i = x m } = 1/m,
das heißt die Beobachtung aller Zustände von X i ist gleich unsicher, so ist die
Shannon-Entropie mit H(X i ) = log(m) maximal. Für alle anderen diskreten
stochastischen Prozesse mit endlichem Zustandsraum gilt 0 ≤ H(X i ) ≤ log(m),
wobei H(X i ) umso größer ist, je unsicherer die Vorhersage der Zustände von X i
im Mittel ist.
Dieses Konzept kann auf endlich-dimensionale Randverteilungen P X i 1 ,...,X ij
von X erweitert werden. Hier ist j ∈ N und i 1 < i 2 < . . . < i j ∈ Z beliebig.
Denn mit X i , i ∈ Z und abzählbarem Zustandsraum X besitzt (X i1 , . . . , X ij ) den
abzählbaren Zustandsraum X j . Demnach muss in Gl. (2.2) lediglich P {X i = x}
durch P {X i1 = x 1 , . . . , X ij = x j } = P X i 1 ,...,X ij ({(x1 , . . . , x j )}) ersetzt und
über alle Zustände aus X j gemittelt werden, um die Shannon-Entropie von
(X i1 , . . . , X ij ) zu erhalten.
Häufig liegt einem beobachteten stochastischen Prozess eine Modellvorstellung
zugrunde und damit auch eine a priori Verteilung Q X i
des Prozesses. Auch
hier wird Q{X i = x} statt Q X i
({x}) für die a priori Wahrscheinlichkeit, mit
der X i in x zu finden ist, geschrieben. Der Approximationsfehler, wenn die a
priori Verteilung Q X i
statt der wahren Verteilung P X i
angenommen wird, kann
durch die mittlere Differenz der Unsicherheiten − log P {X i = x}+log Q{X i = x}
quantifiziert werden:
K P ||Q (X i ) = ∑ x∈X
P {X i = x} log P {X i = x}
Q{X i = x} . (2.3)
Dies Funktional wird Kullback-Entropie [Kullback (1959), Jumarie (1990)] bzw.
Kullback-Leibler-Abstand [Cover & Thomas (1991)]. Damit es existiert, muss
Q{X i = x} > 0 für alle x ∈ {x ′ ∈ X : P {X i = x ′ } > 0} gefordert werden.
Mit häufig getroffenen der Konversion 0 log 0 = 0, a log(a/0) = ∞ falls a > 0
und 0 log(0/0) = 0 ist dies Funktional auch definiert, falls Q{X i = x} ≡ 0 gilt.
In diesem Fall ist K P ||Q (X i ) = ∞, was aber eine relativ geringe Aussage hat.
Die Kullback-Entropie nimmt nur nichtnegativen Werte an. Dies folgt aus der
Log-Summen-Ungleichung [Cover & Thomas (1991)], die wiederum aus der Jensenschen
Ungleichung [Bauer (1991), Cover & Thomas (1991)] hervorgeht. Die
Beweise für beide Ungleichungen sind in Anhang A zu finden.