Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

44 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
für gewöhnlich analytische Ausdrücke für M(X i , Y j ) und T (X i+1 |X (k)
i , Y (l)
j ) nicht
ableitbar. Aber mit den geschätzten Dichten können sie durch numerische Integration
bestimmt werden.
Eine Ausnahme stellen multivariante Gauß-Prozesse dar, denn für sie lassen
sich Shannon-Entropie und gegenseitige Information analytisch berechnen
[Prichard & Theiler (1995), Cover & Thomas (1991)]. Sei X ein zentrierter,
d-dimensionaler Prozess, das heißt für alle i ∈ Z sind die Erwartungswerte
der einzelnen Komponenten von X i Null, E [X i,µ ] = 0, µ = 1, . . . , d.
Des Weiteren sei Σ(X i ) die Kovarianzmatrix von X i , deren Elemente durch
Σ µ,ν (X i ) = Cov [X i,µ , X i,ν ] = E [X i,µ · X i,ν ] = Σ ν,µ (X i ) gegeben sind. Trivialerweise
ist Σ(X i ) symmetrisch. Ist nun X i Gauß-verteilt, so lautet deren Dichte
[Bauer (1991), Prichard & Theiler (1995)]
g Xi (x) =
(
)
1
√
(2π)d det Σ(X i ) · exp − xT · Ξ(X i ) · x
2
wobei det Σ(X i ) die Determinante und Ξ(X i ) die inverse Matrix von Σ(X i ) ist.
x T bezeichnet den transponierten Vektor von x.
Wird dies in Gl. (2.31) eingesetzt, so folgt nach einer elementaren Rechnung
[Prichard & Theiler (1995), Cover & Thomas (1991)]
H(X i ) = d 2 log(2π e) + 1 2 log(det Σ(X i)) . (3.25)
e ist hier die Eulersche Zahl. Da nach Gl. (2.45) die kontinuierliche Shannon-
Entropie unter der Transformation X i → X i + a, mit a ∈ R d unverändert bleibt,
ist Gl. (3.25) auch für nicht-zentrierte Gauß-Prozesse gültig. Offensichtlich ist
Gl. (3.25) auch anwendbar, um zum Beispiel H(X (k)
i ) zu berechnen, sofern X (k)
i
Gauß-verteilt ist, denn X (k)
i stellt nur eine (k d)-dimensionale Zufallsvariable dar.
Mit Gl. (2.16) folgt für die bedingte Shannon-Entropie, sofern X (k+1)
i+1 Gaußverteilt
ist:
H(X i+1 |X (k)
i ) = d 2 log(2π e) + 1 2
log(det
Σ(X(k+1) i+1 )
det Σ(X (k)
i ) ) . (3.26)
Ist (X i , Y j ) eine multivariante Gauß-Variable, so folgt mit Gl. (2.10)
M(X i , Y j ) = 1 2 log det Σ(X i) · det Σ(Y j )
det Σ(X i , Y j )
,
, (3.27)
siehe [Prichard & Theiler (1995)]. Entsprechend ist die Transferentropie gemäß
Gl. (2.22) durch
T (X i+1 |X (k)
i
, Y (l)
j ) = 1 2
det Σ(X(k) i
log
det Σ(X (k+1)
gegeben, falls (X (k+1)
i+1 , Y (l)
j ) Gauß-verteilt ist.
, Y (l)
j ) · det Σ(X(k+1) i+1 )
i+1 , Y (l)
j ) · det Σ(X(k) i ) , (3.28)