Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

24 KAPITEL 2. GRUNDLAGEN DER INFORMATIONSTHEORIE
Sowohl kontinuierliche Shannon-Entropie, Kullback-Entropie als auch gegenseitige
Information lassen sich auf endlich-dimensionale Randverteilungen verallgemeinern.
Hierzu ist zum Beispiel für die Shannon-Entropie H(X i1 , . . . , X ik )
die Dichte g Xi in Gl. (2.31) durch g Xi1 ,...,X ik
zu ersetzen und anschließend über
alle Zustandsvektoren x = (x 1 , . . . , x k ) zu mitteln. Entsprechendes gilt für die
Kullback-Entropie und die gegenseitige Information.
2.2.2 Dynamische Eigenschaften kontinuierlicher
Prozesse
Zur Untersuchung der dynamischen Eigenschaften eines stochastischen Prozesses
müssen seine Übergangsverteilungen studiert werden. Wie in Absch. 2.1.2,
Gl. (2.12) soll auch hier angenommen werden, dass endlich viele Zustände aus
der Vergangenheit genügen, um die Dynamik der kontinuierlichen Prozesse ausreichend
gut zu approximieren. Des Weiteren wird vorausgesetzt, dass alle betrachteten
Übergangsverteilungen eine Lebesgue-Dichte besitzen,
P X i+1|X (k)
i =x (k)
i (B) =
∫
B
g Xi+1
(x
|X (k) i+1 |x (k)
i ) dx i+1 ∀B ∈ B(R d ) . (2.35)
i
Bei X (k)
i und x (k)
i handelt es sich um die in Absch. 2.1.2 eingeführten Abkürzungen
für die Produktabbildungen und Zustandsvektoren.
Da für die folgenden Betrachtungen die Existenz der Übergangsdichten
vorausgesetzt werden muss, sind hier deterministische Prozesse auszuschließen.
Denn ihre zukünftigen Zustände sind durch ihre Vergangenheit festgelegt,
weshalb ihre Übergangsdichten Diracsche Delta-Distributionen darstellen,
g Xi+1
(x
|X (k) i+1 |x (k)
i ) = δ(x i+1 − ϕ(x (k)
i )), wobei ϕ die deterministische Abbildung
i
ist.
Zwischen den Randverteilungen und den Übergangsverteilungen eines jeden
stochastischen Prozesses gilt
P X(k+1)
i+1 (B i+1 × B i × . . . × B i−k+1 )
∫ ∫
=
P X i+1|X (k)
i
=x (k)
i
(dx i+1 ) P X(k) i (dx (k)
i ) (2.36)
B i ×...×B i−k+1 B i+1
für beliebige B i+1 , . . . , B i−k+1 ∈ B(R d ), siehe [Behnen & Neuhaus (1995)]. Nach
dem Eindeutigkeitssatz für Maße [Bauer (1992), Behnen & Neuhaus (1995),
Billingsley (1995)] sowie dem Eindeutigkeitssatz für Dichten [Bauer (1992),
Bauer (1991)] folgt nach Einsetzen der jeweiligen Dichten, dass Gl. (2.36) äquivalent
zu
g (k+1) X
(x (k+1)
i+1
i+1 ) = g Xi+1 |X (k)
i
(x i+1 |x (k)
i
) · g X
(k)
i
(x (k)
i ) fast sicher (2.37)