Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

Sobald kontinuierliche Prozesse betrachtet werden, tritt eine Schwierigkeit
auf, welche bei diskreten Prozessen nicht existiert: die Frage nach der Invarianz
von Shannon-Entropie, gegenseitiger Information und Transferentropie gegenüber
Koordinatentransformationen. Bekannt ist, dass die Shannon-Entropie im Allgemeinen
nicht invariant ist und dass die gegenseitige Information gegenüber Reskalierungen
und Verschiebungen der Prozesse invariant bleibt. Handelt es sich
beispielsweise um mehrdimensionale Prozesse, so stellt bereits die einfache Rotation
der Messanordnung eine Koordinatentransformation dar, die über eine lineare
Transformation hinausgeht. Damit die Quantifizierung von Abhängigkeiten
und Kopplungen physikalisch interpretierbar ist, müssen die gegenseitige Information
und die Transferentropie invariant gegenüber solchen Transformationen
bleiben. Aus diesem Grund untersuche ich, welche Eigenschaften eine Transformation
erfüllen muss, damit die Invarianz dieser Größen gewährleistet ist.
Während das Schätzen der gegenseitigen Information und der Transferentropie
aus Daten für diskrete Prozesse relativ einfach ist, treten bei kontinuierlichen
Prozessen eine Vielzahl von Schwierigkeiten auf. Aus diesem Grund
werden oft die kontinuierlichen Prozesse in diskrete umgewandelt, indem der
Zustandsraum partitioniert wird [Cover & Thomas (1991), Darbellay (1999),
Fraser & Swinney (1986)]. Ist die Verteilungsdichte eines Prozesses stetig und
existiert die Shannon-Entropie als Riemann-Integral, so ist bekannt, dass die
diskretisierte Shannon-Entropie gegen die kontinuierliche konvergiert, wenn die
Partitionselemente immer kleiner gewählt werden [Cover & Thomas (1991)]. Aufbauend
auf dieser Tatsache wird untersucht, unter welchen Bedingungen eine
Konvergenz von gegenseitiger Information und Transferentropie zu erwarten ist.
Besitzt man a priori Kenntnis über die Verteilung der Prozesse, so können
die Dichten durch Schätzen der Verteilungsparameter bestimmt werden. Anschließend
kann beispielsweise die Transferentropie durch numerische Integration
berechnet werden. Handelt es sich um Gauß-Prozesse, so existieren
für die Shannon-Entropie und die gegenseitige Information analytische Ausdrücke,
in die nur die Kovarianzmatrizen eingehen [Cover & Thomas (1991),
Prichard & Theiler (1995)]. Dies gilt ebenfalls für die Transferentropie, was ich
in einer kurzen Rechnung zeigen werde.
Eine weitere Technik, mit der die Transferentropie aus Daten berechnet werden
kann, basiert auf der Verwendung von Kernschätzern. Dabei handelt es sich
um nichtparametrische Dichteschätzer [Silverman (1986)]. Im Gegensatz zur Partitionierung
des Zustandsraums kann hier der Bias des Schätzers aufgrund serieller
Korrelationen innerhalb der Zeitreihe durch eine einfache Modifikation unterdrückt
werden. An einem Beispielsystem, bestehend aus zwei autoregressiven
Prozessen, die unidirektional gekoppelt sind, wird demonstriert, wie gegenseitige
Information und Transferentropie mit Hilfe von Kernschätzern aus Daten berechnet
werden können. Insbesondere ist die Modellstruktur bezüglich der Kopplung
identifizierbar.
Mit einem Anwendungsbeispiel wird außerdem gezeigt, wie die gegenseitige
3