3 Teori för symmetriska system

66
Teori för symmetriska system
Denna sats visar att informationsbehandling aldrig kan öka informationen:
I modus ponens innehåller C ⇒ A och C ⇒ A ⊃ B inte mindre information än C ⇒ B.
I additionen x = a + b innehåller högerledet minst lika mycket information som vänsterledet.
xix. Sats.
a. H(X, Y) = H(X) + H(Y | X)
b. H(X, Y) ≤ H(X) + H(Y).
Likhet gäller precis då X och Y är oberoende. Ovissheten i den samtidiga händelsen (X, Y) är
samma som ovissheten i X plus ovissheten i Y då X är given och den är inte större än
summan av ovissheterna i X och Y var för sig.
xx. Redundansen för ett språk M med alfabetsstorlek L definieras som
D = R - r = log | M | - r.
R = log L = "maximala antalet bitar per bokstav" = alfabetshastigheten = absoluta
hastigheten. I engelskan är L = 26 och alltså R ≈ 4.7.
En 0:te ordningens approximation av språket ger H(X) / N = H(X) = log L. Genom att
beakta att bokstäverna i ett N-gram är beroende erhålls bättre approximationer för ökande N.
Kvantiteten r = lim N→∞ H(X)/N = språkhastigheten (språkentropin) = medelvärdet av antalet
effektiva informationsbitar per bokstav för språket är central. I engelska språket uppskattas r
till intervallet [1, 1.5] (som uppnås vid N = 100, ca.).
Ibland definieras redundansen som D / R = 1 - r / R; t ex i så fall ≈ 75% för engelska.
För att beräkna H(X) för ökande N används frekvenstabeller för N-gram med N = 0, 1, 2, ... .
N = 0 ger H = 4.7,
N = 1 ger H / 1 ≈ 4.17 (tabell 2.1),
N = 2 ger H / 2 ≈ 3.62 &c.
Jämför sats xvii.c ovan.
xxi. Rényientropi. Detta mått är en generalisering av Shannons entropi och definieras
för α ≥ 0 och α ≠ 1 enligt
H α (X) = (1 - α) -1 log Σ p(x) α .
Med gränsprocessen α → 1 erhålls H 1 (X) = H(X).
Med gränsprocessen a → ∞ erhålls H ∞ (X) = - log max p(x).
Vidare gäller för 0 < α < β att H α (X) ≥ H β (X),
med likhet om och endast om X är likformigt fördelad.
Speciellt gäller att
log | X | ≥ H α (X),
för α ≥ 0 och att
H(X) ≥ H α (X), för α > 1.