Theoretical Neuroscience

150 Ινφορµατιον Τηεορψ
4.5 Αππενδιξ
Ποσιτιϖιτψ οφ τηε Κυλλβαχκ−Λειβλερ ∆ιϖεργενχε
ϑενσενσ ινεθυαλιτψ
Τηε λογαριτηµ ισ α χονχαϖε φυνχτιον, ωηιχη µεανσ τηατ λογ 2
〈ζ〉≥〈λογ 2
ζ〉,
ωηερε τηε ανγλε βραχκετσ δενοτε αϖεραγινγ ωιτη ρεσπεχτ το σοµε προβαβιλ−
ιτψ διστριβυτιον ανδ ζ ισ ανψ ποσιτιϖε θυαντιτψ. Τηε εθυαλιτψ ηολδσ ονλψ ιφ
ζ ισ α χονσταντ. Ιφ ωε χονσιδερ τηισ ρελατιον, κνοων ασ ϑενσενσ ινεθυαλιτψ,
ωιτη ζ = Π[ρ]/Θ[ρ] ανδ τηε αϖεραγε δε⇒νεδ οϖερ τηε προβαβιλιτψ διστριβυ−
τιον Π[ρ], ωε ⇒νδ
−∆ ΚΛ (Π, Θ) = ∑ ( ) ( )
Θ[ρ] ∑
Π[ρ]λογ 2
≤ λογ
Π[ρ]
2
Π[ρ] Θ[ρ] = 0. (4.56)
Π[ρ]
ρ
ρ
Τηε λαστ εθυαλιτψ ηολδσ βεχαυσε Θ[ρ] ισ α προβαβιλιτψ διστριβυτιον ανδ τηυσ
σατισ⇒εσ ∑ ρ
Θ[ρ] = 1. Εθυατιον 4.56 ιµπλιεσ τηατ ∆ ΚΛ(Π, Θ) ≥ 0, ωιτη
εθυαλιτψ ηολδινγ ιφ ανδ ονλψ ιφ Π[ρ]= Θ[ρ]. Α σιµιλαρ ρεσυλτ ηολδσ φορ τηε
Κυλλβαχκ−Λειβλερ διϖεργενχε βετωεεν τωο προβαβιλιτψ δενσιτιεσ,
∫ ( ) π[ρ]
∆ ΚΛ (π, θ) = δρ π[ρ]λογ 2
≥ 0. (4.57)
θ[ρ]
4.6 Αννοτατεδ Βιβλιογραπηψ
Ινφορµατιον τηεορψ ωασ χρεατεδ βψ Σηαννον (σεε Σηαννον & Ωεαϖερ,
1949) λαργελψ ασ α ωαψ οφ υνδερστανδινγ χοµµυνιχατιον ιν τηε φαχε οφ
νοισε. Χοϖερ & Τηοµασ (1991) προϖιδεσ α ρεϖιεω, ανδ Ριεκε ετ αλ. (1997)
γιϖεσ α τρεατµεντ σπεχιαλιζεδ το νευραλ χοδινγ. Ινφορµατιον τηεορψ ανδ
τηεοριεσ ινσπιρεδ βψ ιτ, συχη ασ ηιστογραµ εθυαλιζατιον, ωερε αδοπτεδ ιν
νευροσχιενχε ανδ πσψχηολογψ ασ α ωαψ οφ υνδερστανδινγ σενσορψ τρανσ−
δυχτιον ανδ χοδινγ, ασ δισχυσσεδ βψ Βαρλοω (1961) ανδ Υττλεψ (1979). Ωε
φολλοωεδ α µορε ρεχεντ σετ οφ στυδιεσ, ινσπιρεδ βψ Λινκσερ (1988) ανδ Βαρ−
λοω (1989), ωηιχη ηαϖε παρτιχυλαρλψ φοχυσεδ ον οπτιµαλ χοδινγ ιν εαρλψ
ϖισιον; Ατιχκ & Ρεδλιχη (1990), Πλυµβλεψ (1991), Ατιχκ ετ αλ. (1992), Ατιχκ
(1992), ϖαν Ηατερεν (1992; 1993), Λι & Ατιχκ (1994α), ∆ονγ & Ατιχκ (1995),
ανδ ∆αν ετ αλ. (1996). Λι & Ατιχκ (1994β) δισχυσσ τηε εξτενσιον το ϕοιντ σε−
λεχτιϖιτιεσ οφ χελλσ ιν ς1; ανδ Λι & Ατιχκ (1994α) ανδ Λι (1996) τρεατ στερεο
ανδ µοτιον σενσιτιϖιτιεσ ασ εξαµπλεσ.
Τηε στατιστιχσ οφ νατυραλ σενσορψ ινπυτσ ισ ρεϖιεωεδ βψ Φιελδ (1987). Χαµπ−
βελλ & Γυβισχη (1966) εστιµατεδ τηε οπτιµαλ µοδυλατιον τρανσφερ φυνχτιον.
Ωε φολλοωεδ τηε τεχηνιθυε οφ Στρονγ ετ αλ. (1998) φορ χοµπυτινγ τηε µυτυαλ
ινφορµατιον αβουτ α δψναµιχαλ στιµυλυσ ιν σπικε τραινσ. Βιαλεκ ετ αλ. (1993)
πρεσεντσ αν εαρλιερ αππροαχη βασεδ ον στιµυλυσ ρεχονστρυχτιον.