Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

38 KAPITEL 3. SCHÄTZEN VON ENTROPIEN UND INFORMATIONEN
treffen ist, gegeben durch
P X i
(I m,n ) ≡ P {X i ∈ I m,n } =
∫
I m,n
g Xi (x) dx .
Da g Xi stetig ist, existiert nach dem Mittelwertsatz ein ˜x(m, n) ∈ I m,n , so dass
∫
P {X i ∈ I m,n } = g Xi (˜x(m, n)) · dx = g Xi (˜x(m, n)) · |I m,n | (3.10)
I m,n
gilt. Hier ist |I m,n | = ∫ I m,n
dx das Volumen von I m,n . Einsetzen dieser Wahrscheinlichkeiten
in Gl. (2.2) und Mitteln über alle Partitionselemente (Quader) liefert
die diskretisierte Shannon-Entropie bezüglich der Partition I n
H In (X i ) = −
∑M n
m=1
g Xi (˜x(m, n)) log (g Xi (˜x(m, n))) · |I m,n |
−
∑M n
m=1
g Xi (˜x(m, n)) log |I m,n | · |I m,n | . (3.11)
Da die Riemann-Integrierbarkeit von g Xi · log g Xi vorausgesetzt wurde, folgt,
dass der erste Summand für n → ∞ gegen die kontinuierliche Shannon-Entropie
konvergiert. Somit erhält man die Konvergenzaussage
H In (X i ) +
∑M n
m=1
g Xi (˜x(m, n)) log |I m,n | · |I m,n |
n→∞
−−−→ H(X i ) , (3.12)
das heißt die kontinuierliche Shannon-Entropie und die diskretisierten Shannon-
Entropien der Partitionenfolge unterscheiden sich im Limes um den Erwartungswert
der logarithmierten Quadervolumina dieser Partitionen. Für den Spezialfall,
dass als Partitionelemente Würfel mit gleicher Kantenlänge ε n gewählt werden,
also |I m,n | = ε d n , liefert dies die Konvergenzaussage
H In (X i ) + d · log ε n
n→∞
−−−→ H(X i ) .
Dementsprechend divergiert die diskretisierte Shannon-Entropie H In (X i ) wie
−d log ε n für n → ∞, das heißt die Divergenz wird von der Skala ε n der
Messauflösung bestimmt. Ist beispielsweise X i auf dem Intervall [0, 1) gleichverteilt
(g Xi (x) = 1 falls x ∈ [0, 1) und 0 sonst), so ist die Shannon-Entropie
H(X i ) = 0. Wird der Zustandsraum bei der n-ten Partition in n gleich große Intervalle
zerlegt (ε n = 1/n), so erhält man für die diskretisierte Shannon-Entropie
H In (X i ) = log n. Sie divergiert also logarithmisch mit der Anzahl der Partitionselemente.