Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.2. KONTINUIERLICHE STOCHASTISCHE PROZESSE 25
ist. Diese und ähnliche Gleichungen werden im Folgenden wie Gl. (2.13) im Diskreten
verwendet.
Die Charakterisierung der Übergangswahrscheinlichkeit erfolgt wie bei den
diskreten Prozessen mit der bedingten Shannon-Entropie, wobei jetzt die Unsicherheiten
durch die Dichten der Übergangsverteilungen gegeben sind. Unter
Ausnutzen der in Gl. (2.37) gegebenen Relation folgt somit die bedingte kontinuierliche
Shannon-Entropie
H(X i+1 |X (k)
i ) =
∫
g (k+1) X
(x (k+1)
i+1
i+1 ) log g Xi+1 |X (k)
i
(x i+1 |x (k)
i ) dx (k+1)
i+1 . (2.38)
Sie lässt sich als Differenz von kontinuierlichen Shannon-Entropien schreiben.
Dies führt wiederum auf Gl. (2.16). Ebenso lässt sich die kontinuierliche gegenseitige
Information in der Form von Gl. (2.17) darstellen. Auch hier kann
gezeigt werden, dass lim k→∞ H(X i+1 |X (k)
i
H(X i+1 |X (l)
i ) = H(X i+1 |X (k)
i
Ordnung ist.
) = H(X i+1 |X (∞)
i ) existiert, und dass
) für alle l ≥ k ist, wenn X ein Markov-Prozess k-ter
Die Güte, mit welcher die a priori Dichte ˜g Xi+1 |X (k)
i
Dichte g Xi+1 |X (k)
i
Kullback-Entropie
(x i+1 |x (k)
i
(x i+1 |x (k)
i ) die wahre
) approximiert, kann mit der bedingten kontinuierlichen
K P ||Q (X i+1 |X (k)
i ) =
∫
g (k+1) X
(x (k+1)
i+1
i+1 ) log g X i+1 |X (k)
i
˜g Xi+1 |X (k)
i
(x i+1 |x (k)
i )
(x i+1 |x (k)
i ) dx(k+1)
i+1 (2.39)
quantifiziert werden. Auch hier muss ˜g Xi+1
(x|x (k)
|X (k) i ) > 0 für alle x ∈ {x ′ ∈ R d :
i
(x ′ |x (k)
i ) > 0} gefordert werden, damit diese bedingte Kullback-Entropie
g Xi+1 |X (k)
i
existiert.
Analog zu der kontinuierlichen Kullback-Entropie kann gezeigt werden,
dass die bedingte nichtnegativ ist. Des Weiteren folgt K P ||Q (X i+1 ) = 0, falls
g Xi+1
= ˜g
|X (k)
i Xi+1
fast sicher ist.
|X (k)
i
Aufbauend auf der bedingten kontinuierlichen Kullback-Entropie, soll nun eine
Version der Transferentropie abgeleitet werden, um die stochastische Kopplung
zwischen den kontinuierlichen Prozessen X und Y zu studieren. Der Prozess X
ist dabei genau dann von Y stochastisch ungekoppelt, wenn die Übergangsverteilungen
von X nicht von den Zuständen von Y abhängen, also wenn Gl. (2.19)