Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

6 KAPITEL 2. GRUNDLAGEN DER INFORMATIONSTHEORIE
gemeinsamen Messraum (X , B):
X i : (Ω, A, P ) −→ (X , B) ,
X i : ω −→ X i (ω) ∈ X . (2.1)
Die Menge X wird Zustandsraum genannt und B ist eine σ-Algebra in X . Im
Folgenden sei der Zustandsraum abzählbar, also diskret und die σ-Algebra B sei
gleich der Potenzmenge P(X ) = {B ⊂ X }, also gleich der Menge aller Teilmengen
von X .
Dann bezeichnet man das Quadrupel (Ω, A, P, (X i ) i∈Z ) als einen stochastischen
Prozess mit diskreter Zeitmenge und diskretem Zustandsraum oder kurz
als diskreten stochastischen Prozess mit diskreter Zeitmenge, siehe zum Beispiel
[Bauer (1991), Behnen & Neuhaus (1995), Billingsley (1995)]. Die Zeitmenge ist
hier durch Z gegeben. Oft wird solch ein stochastischer Prozess einfach mit
X = (X i ) i∈Z bezeichnet, wobei man sich den Wahrscheinlichkeitsraum (Ω, A, P )
dazu denken muss. Die Wahrscheinlichkeit, mit der der Prozess X zur Zeit i
in den Zuständen aus B ∈ B beobachtet wird, ist durch dessen Verteilung
P X i
gegeben: P X i
(B) = P ({ω ∈ Ω : X i (ω) ∈ B}) = P (X −1
i (B)), siehe auch
[Bauer (1991), Behnen & Neuhaus (1995)]. Die Messbarkeit von X i gewährleistet
dabei, dass X −1
i (B) ∈ A ist, siehe Gl. (2.1). Für die Wahrscheinlichkeit, dass
X i einen bestimmten Zustand x ∈ X einnimmt, wird im Folgenden P {X i = x}
statt P X i
({x}) geschrieben. Insbesondere gilt für die Verteilungen von allen X i :
P X i
(B) ≥ 0 ∀B ∈ B ,
P X i
(B) = ∑ x∈B
P {X i = x} ,
P X i
(X ) = 1 .
Für jedes ω ∈ Ω heißt die durch i −→ X i (ω) definierte Abbildung Realisierung
oder auch Pfad des Prozesses X.
Da jeder ein-dimensionale, bzw. d-dimensionale diskrete Zustandsraum eindeutig
auf eine Teilmenge der ganzen Zahlen Z bzw. Z d abgebildet werden kann,
wird ohne Beschränkung der Allgemeinheit angenommen, dass X = Z bzw.
X = Z d ist.
Im Gegensatz zu deterministischen Prozessen sind die Zustände X i (ω) eines
stochastischen Prozesses selbst bei gleichem Anfangswert X 0 (ω) ≡ x 0 für verschiedene
Realisierungen ω 1 , ω 2 ∈ Ω unterschiedlich: X i (ω 1 ) ≠ X i (ω 2 ). Stattdessen
weist X i zu jedem Zeitpunkt i eine bestimmte Verteilung auf. Im Allgemeinen
werden auch die Zustände von X 0 über den Zustandsraum verteilt sein.
Somit kann der diskrete stochastische Prozess X = (X i ) i∈Z zu jedem Zeitpunkt
i ∈ R durch die Verteilung P {X i = x} seiner Zustände x ∈ X , also durch
die Funktion x −→ P {X i = x} beschrieben werden. Eine einfachere Charakterisierung
der Verteilung von X i kann mit einem von Shannon & Weaver (1949)