Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

Kapitel 2
Grundlagen der
Informationstheorie
2.1 Diskrete stochastische Prozesse
2.1.1 Verteilung diskreter Prozesse
Eine Vielzahl von physikalischen, biologischen, technologischen oder soziologischen
Systemen lassen sich durch stochastische Prozesse mit diskreten Zuständen
beschreiben. Dabei kann die diskrete Struktur natürlichen Ursprungs sein, zum
Beispiel Quantenzustände, digitale Datenverarbeitung, Populationszahlen oder
aber aufgrund endlicher Meßauflösungen durch digitale Datenaufzeichnung, bedingt
sein.
Gerade wegen des diskreten Zustandsraums sind Methoden aus der Informationstheorie
geeignet, um solche stochastischen Prozesse zu untersuchen. Daher
werden in diesem Abschnitt die grundlegenden Begriffe der Informationstheorie
vorgestellt. Hierauf aufbauend werden Techniken entwickelt, mit denen es möglich
ist, die Wechselwirkung von stochastischen Subsystemen untereinander zu analysieren.
Im Folgenden sei (Ω, A, P ) ein Wahrscheinlichkeitsraum, wobei Ω eine beliebige
Menge ist, A eine σ-Algebra in Ω und P ein auf Eins normiertes Maß
auf A, welches als Wahrscheinlichkeitsmaß bezeichnet wird, siehe beispielsweise
[Bauer (1991), Behnen & Neuhaus (1995), Billingsley (1995)]. Die einzelnen Elemente
ω ∈ Ω stellen dabei die verschiedenen zufälligen Realisierungen des beobachteten
Expermientes dar. Die Wahrscheinlichkeit, mit der alle Realisierungen
des Ereignisses A ∈ A, A ⊂ Ω beobachtet werden, ist durch P (A) gegeben.
Des Weiteren sei X = (X i ) i∈Z eine Familie von Zufallsvariablen (messbaren
Abbildungen) auf dem Wahrscheinlichkeitsraum (Ω, A, P ) mit Werten in einem
5