Theoretical Neuroscience

132 Ινφορµατιον Τηεορψ
ϕεχτ το τηισ χονστραιντ ισ α χονσταντ,
π[ρ] = 1
ρ µαξ
, (4.22)
ινδεπενδεντ οφ ρ. Τηε εντροπψ φορ τηισ προβαβιλιτψ δενσιτψ, φορ ⇒νιτε ⇒ρινγ−
ρατε ρεσολυτιον ρ,ισ
( ρµαξ
)
Η = λογ 2
ρ µαξ − λογ 2
ρ = λογ 2
. (4.23)
ρ
ηιστογραµ
εθυαλιζατιον
Εθυατιον 4.22 ισ τηε βασισ οφ α σιγναλ−προχεσσινγ τεχηνιθυε χαλλεδ ηιστογραµ
εθυαλιζατιον. Αππλιεδ το νευραλ ρεσπονσεσ, τηισ ισ α προχεδυρε φορ ταιλορινγ
τηε νευροναλ σελεχτιϖιτψ σο τηατ π[ρ] = 1/ρ µαξ ιν ρεσπονσε το α σετ οφ στιµυλι
οϖερ ωηιχη τηε εντροπψ ισ το βε µαξιµιζεδ. Συπποσε α νευρον ρεσπονδσ
το α στιµυλυσ χηαραχτεριζεδ βψ τηε παραµετερ σ βψ ⇒ρινγ ατ α ρατε ρ= φ(σ).
Φορ σµαλλ σ, τηε προβαβιλιτψ τηατ τηε χοντινυουσ στιµυλυσ ϖαριαβλε φαλλσ ιν
τηε ρανγε βετωεεν σ ανδ σ + σ ισ γιϖεν ιν τερµσ οφ τηε στιµυλυσ προβα−
βιλιτψ δενσιτψ βψ π[σ]σ. Τηισ προδυχεσ α ρεσπονσε τηατ φαλλσ ιν τηε ρανγε
βετωεεν φ(σ + σ) ανδ φ(σ). Ιφ τηε ρεσπονσε προβαβιλιτψ δενσιτψ τακεσ ιτσ
οπτιµαλ ϖαλυε, π[ρ] = 1/ρ µαξ , τηε προβαβιλιτψ τηατ τηε ρεσπονσε φαλλσ ωιτηιν
τηισ ρανγε ισ | φ(σ + σ) − φ(σ)|/ρ µαξ . Σεττινγ τηεσε τωο προβαβιλιτιεσ εθυαλ
το εαχη οτηερ, ωε ⇒νδ τηατ | φ(σ + σ) − φ(σ)|/ρ µαξ = π[σ]σ.
Χονσιδερ τηε χασε οφ α µονοτονιχαλλψ ινχρεασινγ ρεσπονσε σο τηατ φ(σ +
σ)> φ(σ) φορ ποσιτιϖε σ. Τηεν, ιν τηε λιµιτ σ → 0, τηε εθυαλιζατιον
χονδιτιον βεχοµεσ
ωηιχη ηασ τηε σολυτιον
δφ
δσ = ρ µαξπ[σ], (4.24)
φ(σ) = ρ µαξ
∫ σ
σ µιν
δσ ′ π[σ ′ ], (4.25)
ωηερε σ µιν ισ τηε µινιµυµ ϖαλυε οφ σ, ωηιχη ισ ασσυµεδ το γενερατε νο
ρεσπονσε. Τηυσ, εντροπψ µαξιµιζατιον ρεθυιρεσ τηατ τηε αϖεραγε ⇒ρινγ ρατε
οφ τηε ρεσπονδινγ νευρον βε προπορτιοναλ το τηε ιντεγραλ οφ τηε προβαβιλιτψ
δενσιτψ οφ τηε στιµυλυσ.
Λαυγηλιν (1981) ηασ προϖιδεδ εϖιδενχε τηατ ρεσπονσεσ οφ τηε λαργε µονο−
πολαρ χελλ (ΛΜΧ) ιν τηε ϖισυαλ σψστεµ οφ τηε ⇓ψ σατισφψ τηε εντροπψ−
µαξιµιζινγ χονδιτιον. Τηε ΛΜΧ ρεσπονδσ το χοντραστ, ανδ Λαυγηλιν µεα−
συρεδ τηε προβαβιλιτψ διστριβυτιον οφ χοντραστσ οφ νατυραλ σχενεσ ιν ηαβιτατσ
ωηερε τηε ⇓ιεσ ηε στυδιεδ λιϖε. Τηε σολιδ χυρϖε ιν ⇒γυρε 4.2 ισ τηε ιντε−
γραλ οφ τηισ µεασυρεδ διστριβυτιον. Τηε δατα ποιντσ ιν ⇒γυρε 4.2 αρε ΛΜΧ
ρεσπονσεσ ασ α φυνχτιον οφ χοντραστ. Τηεσε ρεσπονσεσ αρε µεασυρεδ ασ µεµ−
βρανε ποτεντιαλ ⇓υχτυατιον αµπλιτυδεσ, νοτ ασ ⇒ρινγ ρατεσ, βυτ τηε αναλψσισ
πρεσεντεδ χαν βε αππλιεδ ωιτηουτ µοδι⇒χατιον. Ασ ⇒γυρε 4.2 ινδιχατεσ, τηε
ρεσπονσε ασ α φυνχτιον οφ χοντραστ ισ ϖερψ χλοσε το τηε ιντεγρατεδ προβαβιλιτψ
δενσιτψ, συγγεστινγ τηατ τηε ΛΜΧ ισ υσινγ α µαξιµυµ εντροπψ ενχοδινγ.