Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.1. DISKRETE STOCHASTISCHE PROZESSE 9
Die Log-Summen-Ungleichung besagt, dass für beliebige nichtnegative Zahlen
a 1 , . . . , a n und b 1 , . . . , b n die Ungleichung
(
n∑
n∑
)
a i log a ∑ n
i
i=1
≥ a i log
a i
∑
b n
i=1
i
i=1
i=1 b (2.4)
i
gilt. Wobei die Gleichheit dann und nur dann erfüllt ist, wenn a i /b i = konstant
sind. Entsprechend der zuvor eingeführten Konversion ist die Ungleichung auch
dann noch erfüllt, wenn b i = 0 für ein i gilt.
Hieraus folgt unmittelbar, dass
( ) ∑
∑
K P ||Q (X i ) ≥ P {X i = x} log ∑ x∈X P {X i = x}
x∈X
x∈X Q{X i = x} = 0
ist und K P ||Q (X i ) genau dann verschwindet, wenn wahre und a priori Verteilung
identisch sind, P X i
= Q X i
. An dieser Stelle sei darauf hingewiesen, dass es sich
bei der Kullback-Entropie nicht um einen Abstand im Sinne einer Metrik oder
Norm handelt.
Mit Hilfe der Kullback-Entropie ist es möglich, die Abhängigkeit zweier stochastischer
Prozesse mit diskreten Zuständen zu quantifizieren. Sind X = (X i ) t∈Z
und Y = (Y i ) i∈Z stochastische Prozesse mit abzählbarem Zustandsraum X bzw.
Y, dann ist auch der Produktprozess (X, Y ) = ((X i , Y i )) i∈Z
ein stochastischer
Prozess mit dem diskreten Zustandsraum X × Y. Für die gemeinsame Randverteilung
von X und Y wird analog zu oben P {X i1 = x 1 , . . . , X ik = x k , Y j1 =
y 1 , . . . , Y jl = y l } = P X i 1 ,...,X ik , Y j1 ,...,Y jl
({(x 1 , . . . , x k , y 1 , . . . , y l )}) geschrieben, wobei
auch hier k, l ∈ N, i 1 < i 2 < . . . < i k und j 1 < j 2 < . . . < j l aus Z beliebig
sind.
Die Prozesse X und Y sind genau dann stochastisch unabhängig, wenn jede
Randverteilung von (X, Y ) als Produktmaß, bestehend aus den Randverteilungen
von X und Y , geschrieben werden kann, siehe zum Beispiel [Bauer (1991),
Behnen & Neuhaus (1995), Billingsley (1995)]:
P X i 1 ,...,X ik , Y j1 ,...,Y jl
= P X i 1 ,...,X ik ⊗ P
Y j1 ,...,Y jl . (2.5)
Aufgrund der diskreten Zustandsräume ist dies äquivalent zu
P {X i1 = x 1 , . . . , X ik = x k , Y j1 = y 1 , . . . , Y jl = y l }
= P {X i1 = x 1 , . . . , X ik = x k } · P {Y j1 = y 1 , . . . , Y jl = y l } , (2.6)
für alle Zustände aus X und Y, siehe insbesondere [Behnen & Neuhaus (1995)].
Ein Spezialfall ist die stochastische Unabhängigkeit des Prozesses X zum Zeitpunkt
i vom Prozess Y zum Zeitpunkt j. Diese ist gegeben durch
P X i,Y j
= P X i
⊗ P Y j
(2.7)
⇐⇒ P {X i = x, Y j = y} = P {X i = x} · P {Y j = y} (2.8)