Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.1. DISKRETE STOCHASTISCHE PROZESSE 15
lautet
T (X i+1 |X (k)
i , Y (l)
j )
=
∑ ∑
P {X i+1 = x i+1 , X (k)
i
i+1 ∈X k+1 y (l)
j ∈Yl
x (k+1)
× log P {X i+1 = x i+1 |X (k)
i
P {X i+1 = x i+1 |X (k)
i
= x (k)
i , Y (l)
j = y (l)
j }
= x (k)
i , Y (l)
j = y (l)
j }
= x (k)
i }
(2.21)
mit j ≤ i und wird Transferentropie genannt [Schreiber (2000b)]. Als Spezialfall
der Kullback-Entropie liefert sie nichtnegative Werte und ist genau dann Null,
wenn Gl. (2.20) erfüllt ist. Dabei können ihre Werte als Grad für die Abweichung
der Verteilungen in Gl. (2.20) voneinander interpretiert werden, weshalb sie ein
Maß für die Abhängigkeit der Dynamiken von X und Y darstellt.
Die Transferentropie lässt sich als Differenz von bedingten Shannon-Entropien
T (X i+1 |X (k)
i
, Y (l)
j ) = H(X i+1|X (k)
i ) − H(X i+1 |X (k)
i , Y (l)
j ) . (2.22)
Somit misst sie den Grad der Abweichung zwischen der Unsicherheit in der Dynamik
von X, wenn das Wissen von Y aus der Vergangenheit zusätzlich mit
berücksichtigt wird. Folglich gibt die Transferentropie die Menge an Information
an, die man über die Dynamik von X erhält, wenn man zusätzlich Kenntnis über
Y hat. Da andererseits dieser Informationsgewinn ein Maß für den Einfluss von Y
auf X aufgrund der Kopplung ist, kann die Transferentropie als Informationsfluss
von Y nach X interpretiert werden. Im Gegensatz zur gegenseitigen Information
ist die Transferentropie explizit nichtsymmetrisch bezüglich der Vertauschung
von X und Y . Aus diesem Grund kann mit ihr die Richtung der Abhängigkeit
und somit des Informationsflusses festgestellt werden.
Sind X (k+1)
i+1 und Y (l)
j
dann folgt mit Gl. (2.13)
P {X i+1 = x i+1 |X (k)
i
stochastisch unabhängig, P X(k+1) i+1 ,Y (l)
j
= P X(k+1) i+1 ⊗ P Y(l)
= x (k)
i } · P {X (k)
i
= P {X (k+1)
i+1 = x (k+1)
i+1 } · P {Y (l)
j
= P {X i+1 = x i+1 |X (k)
i
= x (k)
i } · P {Y (l)
j = y (l)
j }
= y (l)
j } = P {X(k+1) i+1 = x (k+1)
i+1 , Y (l)
j = y (l)
j }
= x (k)
i , Y (l)
j = y (l)
j }
× P {X (k)
i
= x (k)
i |Y (l)
j
= y (l)
j } · P {Y(l) j = y (l)
j } .
Da diese Gleichung für alle Zustände gelten muss, erhält man durch Ausintegrieren
von X i+1 zunächst P {X (k)
i = x (k)
i |Y (l)
j = y (l)
j } = P {X(k) i = x (k)
i } und
anschließend, dass X von Y stochastisch ungekoppelt ist, also Gl. (2.20). Somit
j
,