Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.1. DISKRETE STOCHASTISCHE PROZESSE 13
[Cover & Thomas (1991), Jumarie (1990)]:
K P ||Q (X i+1 |X (k)
i )
∑
= P {X (k+1)
i+1 = x (k+1)
i+1 } log P {Xi+1 = x i+1 |X (k)
i = x (k)
i }
Q{X
x (k+1)
i+1 = x i+1 |X (k)
i+1 ∈X k+1 i = x (k)
i } , (2.18)
wobei auch hier gefordert werden muss, Q{X i+1 = x i+1 |X (k)
i
falls P {X i+1 = x i+1 |X (k)
i
= x (k)
i
= x (k)
i } > 0 gilt,
} > 0 ist, damit dieser Abstand existiert. Die
bedingte Kullback-Entropie lässt sich in eine Differenz von Kullback-Entropien
zerlegen, wozu lediglich Gl. (2.13) und Gl. (2.14) anzuwenden sind,
K P ||Q (X i+1 |X (k)
i ) = K P ||Q (X (k+1)
i+1 ) − K P ||Q (X (k)
i ) .
Wie die Kullback-Entropie ist auch die bedingte nichtnegativ und genau dann
Null, wenn a priori und wahre Übergangsverteilung identisch sind. Dies folgt
ebenfalls aus der Log-Summen-Ungleichung (Gl. (2.4)), wobei jetzt lediglich über
die Zustände x i+1 zu summieren ist.
Als Nächstes soll ein stochastisches System betrachtet werden, das in zwei
Subsysteme zerlegt werden kann. Diese Subsysteme werden im Folgenden durch
die diskreten stochastischen Prozesse X und Y beschrieben. Somit wird das gesamte
System mit dem Produktprozess (X, Y ) modelliert. Die Zustandsräume
X und Y beider Subsysteme können dabei unterschiedlich sein. Basierend auf
der bedingten Kullback-Entropie soll nun eine Methode vorgestellt werden, die
es ermöglicht, Abhängigkeiten in der Dynamik zwischen beiden Subsystemen zu
quantifizieren.
Zunächst wird angenommen, dass die Dynamik des gesamten Systems durch
die Übergangsverteilung P X i+1,Y j+1 |X (k)
i =x (k)
i ,Y (l)
j
=y(l) j
vollständig beschrieben werden
kann. Durch einfaches Ausintegrieren folgt, dass die Dynamik von X
durch die Übergangsverteilung P X i+1|X (k)
i =x (k)
i ,Y (l)
j
=y(l) j
und die von Y durch
P Y j+1|X (k)
i =x (k)
i ,Y (l)
j
=y(l) j
gegeben ist.
Angenommen, der Prozess Y koppelt nicht in X (bzw. Y treibt nicht X
an), dann ist zu erwarten, dass der zukünftige Zustand X i+1 nur von den k
letzten Zuständen von X i , . . . , X i−k+1 abhängt, nicht aber von den l Zuständen
Y j , . . . , Y j−l+1 von Y . Da hier vorausgesetzt wird, dass die Dynamik und insbesondere
die Kopplung kausal ist, gilt im Folgenden immer j ≤ i. Das bedeutet,
dass X in Bezug auf Y die verallgemeinerte Markov-Eigenschaft
P X i+1|X (k)
i
=x (k)
i , Y (l)
j
=y(l) j
= P X i+1|X (k)
i =x (k)
l (2.19)
erfüllt, also dass für alle Zustände x i+1 , . . . x i−k+1 ∈ X und y j , . . . y j−l+1 ∈ Y
P {X i+1 = x i+1 |X (k)
i
= x (k)
i , Y (l)
j
= y (l)
j } = P {X i+1 = x i+1 |X (k)
i = x (k)
i } (2.20)