Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

12 KAPITEL 2. GRUNDLAGEN DER INFORMATIONSTHEORIE
siehe beispielsweise [Cover & Thomas (1991), Jumarie (1990)]
H(X i+1 |X (k)
i )
= − ∑
= −
P {X (k)
i
x (k)
i ∈X k
= x (k)
i } ∑
P {X i+1 = x i+1 |X (k)
i = x (k)
i }
x i+1 ∈X
× log P {X i+1 = x i+1 |X (k)
i
∑
P {X (k+1)
i+1 = x (k+1)
i+1 }
x (k+1)
i+1 ∈X k+1 × log P {X i+1 = x i+1 |X (k)
i
= x (k)
i }
= x (k)
i }
(2.15)
= H(X (k+1)
i+1 ) − H(X (k)
i ) . (2.16)
Für die beiden letzten Gleichungen in Gl. (2.15) und Gl. (2.16) wurde die Relation
Gl. (2.13) ausgenutzt.
Analog zur Shannon-Entropie ist die bedingte Shannon-Entropie ein Maß für
die Unvorhersagbarkeit des Prozesses bezüglich seiner Dynamik. Man kann zeigen,
dass für alle Prozesse, auch solche die nicht markovsche sind, die Entropierate
lim H(X i+1|X (k)
i ) = H(X i+1 |X (∞)
k→∞
existiert, siehe auch [Jumarie (1990), Kolmogorov (1993)]. Für Markov-Prozesse
k-ter Ordnung gilt stets H(X i+1 |X (l)
i ) = H(X i+1 |X (k)
i ) für alle l ≥ k.
Wird X i+1 = X und X i = Y gesetzt, so lässt sich die gegenseitige Information,
Gl. (2.9), mit Hilfe der bedingten Shannon-Entropie umschreiben in
i )
M(X, Y ) = H(X) − H(X|Y ) , (2.17)
wofür Gl. (2.16) in Gl. (2.10) eingesetzt wurde. Hierbei gibt H(X) die Unsicherheit
an, mit der X beobachtet wird und H(X|Y ) die Unsicherheit von X wenn
der Zustand von Y bekannt ist. Somit ist M(X, Y ) die Abnahme der Unsicherheit
von X, also der Informationsgewinn aufgrund der zusätzlichen Beobachtung
von Y .
Wird ein unbekannter Prozess beobachtet, dann muss zur Modellierung seiner
Dynamik oft eine a priori Übergangswahrscheinlichkeit Q X i+1|X (k)
i =x (k)
i statt der
wahren Übergangswahrscheinlichkeit P X i+1|X (k)
i =x (k)
i angenommen werden. Dies
führt zu einer Erhöhung der mittleren Unsicherheit (Entropie). Als Maß für
den Informationsverlust aufgrund der fehlerhaften Annahme kann analog zur
Kullback-Entropie (Gl. (2.3)) und mit der gleichen Argumentation wie bei der
bedingten Shannon-Entropie die bedingte Kullback-Entropie konstruiert werden