Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.1. DISKRETE STOCHASTISCHE PROZESSE 17
und somit Gl. (2.24). Wird P {X i+1 = x i+1 , Y (l)
j
= y (l)
j |X(k) i
= x (k)
i } in Gl. (2.25)
eingesetzt, so erhält man sogar die Gleichheit von Transferentropie und bedingter
Transferinformation
T (X i+1 |X (k)
i
, Y (l) ) = M(X i+1 , Y (l)
j
j
|X(k)
i ) . (2.26)
An dieser Stelle sei noch einmal explizit darauf hingewiesen, dass zur Quantifizierung
der Kopplung mittels Transferentropie k mindestens so groß gewählt
werden muss, dass jeglicher indirekte Einfluss von Y (l)
j auf X i+1 über X (k)
i unterbunden
ist. Handelt es sich bei X um einen Markov-Prozess m-ter Ordnung, so
ist k ≥ m zu wählen. Andernfalls kann die Transferentropie T (X i+1 |X (k)
i , Y (l)
j )
auch positive Werte liefern, obwohl Y nicht in X koppelt. Auf diese Problematik
wird bei der Bestimmung der Kopplungsrichtung zwischen zwei Punktprozessen
in dem Beispiel von Absch. 5.5 noch einmal eingegangen.
Mit Gl. (2.16) kann die Transferentropie als Summe von Shannon-Entropien
umgeschrieben werden:
T (X i+1 |X (k)
i , Y (l)
j )
= H(X (k)
i
, Y (l)
j ) − H(X(k+1) i+1 , Y (l)
j ) + H(X(k+1) i+1 ) − H(X (k)
i ) . (2.27)
Diese Beziehung wird später noch benötigt. Des Weiteren kann sie in eine Summe
von gegenseitigen Informationen zerlegt werden:
T (X i+1 |X (k)
i
2.1.3 Diskretes Beispiel
, Y (l)
j ) = M(X(k+1) i+1 , Y (l)
j ) − M(X(k) i
= M(X i+1 , (X (k)
i , Y (l)
j
, Y (l)
j )
)) − M(X i+1, X (k)
i ) . (2.28)
An einem einfachen Beispiel, das einem erlaubt, alle Verteilungen zu berechnen,
soll das unterschiedliche Verhalten von gegenseitiger Information und Transferentropie
studiert werden. Hierzu werden zwei stationäre Markovprozesse X und Y
betrachtet, die nur die Werte 0 oder 1 annehmen, X = Y = {0, 1}. Der Prozess
Y ist autonom und wechselt bei jedem Zeitschritt i seinen Zustand:
P {Y i+1 = 1|Y i = 0} = P {Y i+1 = 0|Y i = 1} = 1 .
Im ungekoppelten Fall (c = 0) macht auch der Prozess X einen Zustandswechsel,
allerdings nur mit Wahrscheinlichkeit 1/2,
P {X i+1 = 1|X i = 0} = P {X i+1 = 0|X i = 1} = 1/2 .
Wird die Kopplung c > 0 eingeschaltet, so soll die Dynamik von X zusätzlich von
den Zuständen von Y beeinflusst werden, wobei bei voller Kopplungsstärke (c =
1) X den vorherigen Zustand von Y einnehmen soll, das heißt X synchronisiert