Shannon: Informationstheorie - Dies ist unser Püffki, nur ...

Energie je Bit
⎛Pn + P ⎞ s
Nach Shannon gilt für die Kanalkapazität C= B⋅ld⎜ ⎟
⎝ Pn
⎠
B Bandbreite des Kanals; Ps Leistung des Signals;
Pn Leistung des Störungen (noise), bei rein thermischen Rauschen Pn = k⋅B⋅T.
k BOLTZMANN-Konstante mit 1,381⋅10 -23 J/K; T absolute Temperatur
Die Signalleistung sei das z-fache der Störleistung: Ps = z⋅Pn → C = B⋅ld(1+z)
Für Verhältnis von Signalleistung zur Kanalkapazität gilt deshalb
Ps z J W
= k⋅T⋅ in bzw.
C ld(1 + z)
Bit Bit/s
Der Ausdruck von z kann nun in eine Reihe entwickelt werden:
z
1
2 3
ln(1 z ) z z z
1
2 3 4
=
+
− + − ±�
Hierfür gelten die Grenzen
1 〈
1
1+
→ →
z
für z 0
ln( z)
Also gilt
E ≥k⋅T⋅ ln(2)
Bit
Bei 300 K (≈ Zimmertemperatur) folgt E/Bit = 3.10 -21 J ≅ 5⋅10 11 Hz ≅ 5⋅10 -22 cal ≅ 26 mV
α-Entropie von Renyi
n 1
H ld pi 1
i 1
α ⎛ ⎞
α = ⋅
α
⎜∑ −
⎟
⎝ = ⎠
α = 1 Shannon-Entropie
Bongard-Weiß-Entropie
n
HBW =−∑ pi⋅ld( qi)
i=
1
objektive Wahrscheinlichkeit p und die subjektive q
Shannon.doc h. völz angelegt 1.3.09 aktuell 03.10.2009 Seite 23 von 29