Vorlesung Thermodynamik und Statistische Physik I (PDF, 5.79 MB)

40 KAPITEL 2. MIKROSKOPISCHER ZUGANG: GRUNDLAGEN
2.3.2.2 Eigenschaften der Informationsentropie
• Konkavität
Gegeben zwei Wahrscheinlichkeitsverteilungen
W = {p1, · · · pM}, ¯ W = { ¯p1, · · · pM} ¯
Betrachte W (λ) = {p (λ)
1
• Extremalität
• Additivität
, · · · p(λ)
M } mit p(λ)
i = λpi + (1 − λ)¯pi (0 ≤ λ ≤ 1)
Dann gilt: J(W (λ) ) ≥ λJ(W ) + (1 − λ)J( ¯ W ) (2.61)
(Bew.: Gilt schon für jeden
einzelnen Beitrag
)
Vergleiche zwei Wahrscheinlichkeitsverteilungen
W = {p1, · · · pM}, ¯ W = { ¯p1, · · · pM} ¯
Dann gilt: J(W ) ≤ −κ
M
i=1
pi ln ¯pi mit ” = “ ⇔ pi = ¯pi (2.62)
(Beweis: Es gilt: y − 1 ≥ ln y mit =“ ⇒ y = 1
”
❀ pi ln ¯pi − pi ln pi = pi ln ¯pi
pi ≤ pi( ¯pi
pi
= 1 − 1 = 0
⇒ −κ pi ln pi ≤ −κ pi ln ¯pi )
Gegeben zwei unabhängige Ereignisräume
ΩI = {ω (I)
1 , · · · ω(I)
M }, ΩII = {ω (II)
1 , · · · ω (II)
M }
mit Wahrscheinlichkeitsverteilungen
WI = {p (I)
1 , · · · p(I)
M }, WII = {p (II)
1 , · · · p (II)
M }
Betrachte zusammengesetzten Raum Ω = ΩI × ΩII = {(ω (I)
i , ω (II)
j
❀ Wahrscheinlichkeitsverteilung W = WI · WII = {(p (I)
i , p (II)
j
mit pij = p (I)
i · p (II)
j = Wahrscheinlichkeit, dass sowohl ω(I)
i
als auch ω (II)
j
eintritt.
− 1)
)}
)} ≡ {pij}
Dann gilt: J(WI · WII) = J(WI) + J(WII) (2.63)
(Beweis:
pij ln pij =
i,j
p
i,j
(I)
i
· p (II)
j
ln p (I)
i
Anschaulich: unabhängige Systeme
+ ln p(II)
j = p
i
(I)
i ln p (I)
i + p
j
(II)
j ln p (II)
j )
❀ Informationsentropie
addiert sich auf!