Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.2. KONTINUIERLICHE STOCHASTISCHE PROZESSE 23
siehe auch [Cover & Thomas (1991)]. Die erste Ungleichung folgt dabei aus der
Jensenschen Ungleichung. Sie besagt, dass für jede konvexe Funktion f die Ungleichung
E [f(X i )] ≥ f(E [X i ]) erfüllt ist, siehe zum Beispiel [Bauer (1991)]. Der
Erwartungswert von X i ist mit E [X i ] = ∫ x P X i
bezeichnet worden. Somit ist
für die erste Ungleichung lediglich zu berücksichtigen, dass − log(x) eine konvexe
Funktion ist.
Bereits in Absch. 2.1 wurde erwähnt, dass zwei beliebige stochastische Prozesse
X und Y genau dann stochastisch unabhängig sind, wenn sich die gemeinsame
Verteilung als Produktmaß der endlich-dimensionalen Randverteilungen von X
und Y schreiben lässt, Gl. (2.6). Insbesondere sind die Systemzustände X i und
Y j stochastisch unabhängig, wenn Gl. (2.7) gilt. Besitzen die Verteilungen von X
und Y Dichten, so erhält man man die Äquvalenz
P X i,Y j
= P X i
⊗ P Y j
⇐⇒ g Xi ,Y j
(x, y) = g Xi (x) · g Yj (y) , (2.33)
das heißt die gemeinsame Dichte von (X i , Y j ) kann als Produkt der Dichten
von X i und Y j geschrieben werden [Bauer (1991), Behnen & Neuhaus (1995),
Billingsley (1995)]. In Bezug auf Unabhängigkeit ist Gl. (2.33) somit bei kontinuierlichen
Prozessen das Analogon zu Gl. (2.6).
Wird g Xi · g Yi als a priori Dichte in Gl. (2.32) eingesetzt, so erhält man
als Maß für die Unabhängigkeit die kontinuierliche gegenseitige Information
[Shannon & Weaver (1949), Cover & Thomas (1991), Jumarie (1990)]:
∫ ∫
M(X i , Y j ) =
g Xi ,Y j
(x, y) log g X i ,Y j
(x, y)
dx dy . (2.34)
g Xi (x) · g Yi (y)
Sie ist nichtnegativ und es gilt M(X i , Y j ) = 0, falls X i und Y j unabhängig sind.
Des Weiteren kann die kontinuierliche gegenseitige Information als Summe von
kontinuierlichen Shannon-Entropien geschrieben werden, wozu lediglich Gl. (2.30)
anzuwenden ist. Dies führt ebenfalls auf Gl. (2.10).
Um die kontinuierliche gegenseitige Information berechnen zu können, ist es
nicht ausreichend, wenn die Verteilungen von X und Y eine Dichte haben, sondern
auch die Verteilungen des Produktprozesses (X, Y ) muss eine besitzen. Somit
dürfen X und Y nicht durch eine Abbildung gekoppelt sein, zum Beispiel Y j =
f ◦ X i . Auch wenn die Dichte g Xi glatt ist, so gilt dies nicht für die gemeinsame
Dichte g Xi ,Y j
; sie ist eine δ-Distribution
g Xi ,Y j
(x, y) = g Xi (x) δ(y − f(x)) .
Hieraus folgt zwar, dass g Yj (y) = ∫ g Xi (x) δ(y − f(x)) dx eine reellwertige Funktion
ist, werden aber alle Dichten in Gl. (2.34) eingesetzt, so bleibt stets ein
nicht definierter log δ(.)-Term im Integranden der kontinuierlichen gegenseitigen
Information stehen. Insbesondere wird der Grenzfall M(X i , Y j ) = H(X i ) nicht
erreicht.