Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

2.1. DISKRETE STOCHASTISCHE PROZESSE 7
eingeführten Funktional erfolgen. Dazu wird die Unsicherheit − log P {X i = x}
des Zustandes x eingeführt. Sie ist ein Maß, das angibt, wie unwahrscheinlich
es ist, bei einer Beobachtung X i im Zustand x zu finden. Die Mittelung dieser
Unsicherheiten über alle x ∈ X liefert das Funktional
H(X i ) = − ∑ x∈X
P {X i = x} log P {X i = x} , (2.2)
das die Verteilung P X i
auf eine nichtnegative Zahl abbildet. Dieses Funktional
wird Shannon-Entropie genannt. Shannon & Weaver (1949) zeigten, dass diese
Entropie bis auf einen Vorfaktor das einzige Funktional ist, welches aus folgenden
Axiomen hervorgeht:
A1: H(X i ) ist stetig in den Wahrscheinlichkeiten (P {X i = x}) x∈X .
(Kleine Veränderungen in der Verteilung sollen nur kleine Änderungen in
der mittleren Unsicherheit verursachen.)
A2: Sind alle Zustände gleich verteilt, P {X i = x 1 } = . . . = P {X i = x m } = 1/m,
dann soll H(X i ) eine monoton steigende Funktion in m sein.
(Je größer die Anzahl der möglichen Zustände ist, desto größer ist die Unsicherheit.)
A3: H(X i ) lässt sich als eine gewichtete Linearkombination von Teilentropien
beim Zusammenfassen von Zuständen dargestellen.
Hierzu sei X i eine Zufallsvariable mit Zuständen in {x 1 , . . . , x m }. Y i , Z i seien
zwei weitere Zufallsvariablen mit Werten in {y 1 , . . . , y m−1 } bzw. {z 1 , z 2 },
deren Verteilungen durch
{
P {X i = x j } falls j ≤ m − 2
P {Y i = y j } =
P {X i = x m−1 } + P {X i = x m } falls j = m − 1 ,
P {Z i = z 1 } =
P {Z i = z 2 } =
gegeben seien. Dann gilt
P {X i = x m−1 }
P {X i = x m−1 } + P {X i = x m } ,
P {X i = x m }
P {X i = x m−1 } + P {X i = x m }
H(X i ) = H(Y i ) + (P {X i = x m−1 } + P {X i = x m }) H(Z i ) .
(Somit ist die Unsicherheit der Zustände von X i gleich der Unsicherheit,
mit der bei einer ersten Messung bestimmt wird, ob einer der Zustände
x 1 , . . . , x m−2 oder ein Zustand aus {x m−1 , x m } vorliegt plus der Unsicherheit,
mit der bei einer zweiten Beobachtung, welche mit Wahrscheinlichkeit
P {X i = x m−1 } + P {X i = x m } notwendig ist, bestimmt wird, ob x m−1 oder
x m auftrat.)