Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

48 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
wobei jetzt X i = (X i,1 , . . . , X i,d ), ε = (ε 1 , . . . , ε d ) ∈ (R + ) d und x i =
(x i,1 , . . . , x i,d ), x i (n) = (x i,1 (n), . . . , x i,d (n)) ∈ R d ist. Dabei ist K j der Kern
und ε j die Bandbreite der j-ten Komponente von X i , die alle unterschiedlich
gewählt werden können. Sind die K j rechteckige Kerne, dann ist die Summe proportional
zur Anzahl der Datenpunkte, die innerhalb einer Entfernung von ε j in
jeder Richtung gefunden werden. Erfüllen alle K j die oben gegebenen Bedingungen
und ist g Xi zweimal differenzierbar, so ist auch dieser Schätzer punktweise
erwartungstreu,
ĝ Xi ;ε(x i,1 , . . . , x i,d )
ε 1 ,...,ε d →0
−−−−−−→ g Xi (x i,1 , . . . , x i,d ) , ∀x i ∈ R d ,
siehe hierzu Anhang A.
Zur Berechnung von Shannon-Entropie, gegenseitiger Information und Transferentropie
werden zunächst alle benötigten Dichten in den beobachteten
Zuständen geschätzt. Anschließend werden die Integrationen in Gl. (2.31),
Gl. (2.34) und Gl. (2.41) ausgeführt. Da es sich hierbei um die Berechnung von
Erwartungswerten handelt, wird, entsprechend dem Gesetz der großen Zahlen
[Bauer (1991), Billingsley (1995)], über alle Beobachtungen gemittelt, siehe auch
[Ott (1993)]. Somit sollten die Schätzer
sowie
Ĥ ε (X i ) = − 1 N
ˆM ε (X i , Y j ) = 1 N
Ĥ ε (X i+1 |X (k)
i ) = − 1 N
n=1
N∑
log ĝ Xi ;ε(x i (n)) , (3.34)
n=1
N∑ ĝ Xi ,Y
log
j ;ε(x i (n), y j (n))
ĝ Xi ;ε X
(x i (n)) · ĝ Yj ;ε Y
(y j (n)) , (3.35)
N∑
log
n=1
ĝ X
(k+1)
i+1 ;ε (x(k+1) i+1 (n))
ĝ X
(k)
i
;ε X
(x (k)
i
(n))
(3.36)
ˆT ε (X i+1 |X (k)
i , Y (l)
= 1 N∑
log
N
n=1
j )
ĝ (k+1) X i+1 ,Y (l)
j ;ε(x(k+1)
(x (k)
i
ĝ X
(k)
i
,Y (l)
j ;ε X,Y
i+1 (n), y (l)
j
(n)) · ĝ X (k)
i
(x (k)
;ε X i
(n))
(n), y (l)
j (n)) · ĝ (x (k+1)
X (k+1)
i+1 ;ε X,X i+1 (n))
(3.37)
für große N und kleine ε gegen die entsprechenden Entropien bzw. Informationen
konvergieren. Dabei wurden in den beiden letzten Gleichungen die bedingten
Dichten unter Ausnutzung von Gl. (2.37) durch einfache ersetzt. Die Bandbreitenvektoren
ε X , ε X,X , ε Y , ε X,Y werden aus ε gebildet, indem die entsprechenden
Komponenten zu einem neuen Vektor zusammengefasst werden. Für feste Bandbreite
ε ist Ĥε(X i ) auch unter dem Namen Cohen-Procaccia-Entropie bekannt
(k)
[Cohen & Procaccia (1985), Gaspard & Wang (1993)].