Theoretical Neuroscience

4.2 Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον 131
ιµπλιχατιονσ οφ αν οβσερϖεδ ρεσπονσε σελεχτιϖιτψ. Φορ εξαµπλε, ωε µιγητ
ασκ ωηετηερ νευραλ ρεσπονσεσ το νατυραλ στιµυλι αρε οπτιµιζεδ το χονϖεψ ασ
µυχη ινφορµατιον ασ ποσσιβλε. Τηισ ηψποτηεσισ χαν βε τεστεδ βψ χοµπυτινγ
τηε ρεσπονσε χηαραχτεριστιχσ τηατ µαξιµιζε τηε µυτυαλ ινφορµατιον χον−
ϖεψεδ αβουτ νατυραλλψ οχχυρρινγ στιµυλι ανδ χοµπαρινγ τηε ρεσυλτσ ωιτη
ρεσπονσεσ οβσερϖεδ εξπεριµενταλλψ.
Βεχαυσε τηε µυτυαλ ινφορµατιον ισ τηε φυλλ ρεσπονσε εντροπψ µινυσ τηε
νοισε εντροπψ, µαξιµιζινγ τηε ινφορµατιον ινϖολϖεσ α χοµπροµισε. Ωε
µυστ µακε τηε ρεσπονσε εντροπψ ασ λαργε ασ ποσσιβλε ωιτηουτ αλλοωινγ τηε
νοισε εντροπψ το γετ τοο βιγ. Ιφ τηε νοισε εντροπψ ισ σµαλλ, µαξιµιζινγ
τηε ρεσπονσε εντροπψ, συβϕεχτ το αν αππροπριατε χονστραιντ, µαξιµιζεσ τηε
µυτυαλ ινφορµατιον το α γοοδ αππροξιµατιον. Ωε τηερεφορε βεγιν ουρ δισ−
χυσσιον βψ στυδψινγ ηοω ρεσπονσε εντροπψ χαν βε µαξιµιζεδ. Λατερ ιν τηε
δισχυσσιον, ωε ωιλλ χονσιδερ τηε εφφεχτσ οφ νοισε εντροπψ.
Χονστραιντσ πλαψ α χρυχιαλ ρολε ιν τηισ αναλψσισ. Ωε ηαϖε αλρεαδψ σεεν τηατ
τηε τηεορετιχαλ ινφορµατιον−χαρρψινγ χαπαχιτψ ασσοχιατεδ ωιτη α χοντινυουσ
⇒ρινγ ρατε ισ λιµιτεδ ονλψ βψ τηε ρεσολυτιον ωιτη ωηιχη τηε ⇒ρινγ ρατε χαν βε
δε⇒νεδ. Εϖεν ωιτη α ⇒νιτε ρεσολυτιον, α ⇒ρινγ ρατε χουλδ χονϖεψ αν ιν⇒νιτε
αµουντ οφ ινφορµατιον ιφ ιτ χουλδ τακε αρβιτραριλψ ηιγη ϖαλυεσ. Τηυσ, ωε
µυστ ιµποσε σοµε χονστραιντ τηατ λιµιτσ τηε ⇒ρινγ ρατε το α ρεαλιστιχ ρανγε.
Ποσσιβλε χονστραιντσ ινχλυδε λιµιτινγ τηε µαξιµυµ αλλοωεδ ⇒ρινγ ρατε ορ
ηολδινγ τηε αϖεραγε ⇒ρινγ ρατε ορ ιτσ ϖαριανχε ⇒ξεδ.
Εντροπψ Μαξιµιζατιον φορ α Σινγλε Νευρον
Το µαξιµιζε τηε ρεσπονσε εντροπψ, ωε µυστ ⇒νδ α προβαβιλιτψ δενσιτψ π[ρ]
τηατ µακεσ τηε ιντεγραλ ιν εθυατιον 4.17 ασ λαργε ασ ποσσιβλε ωηιλε σατισ−
φψινγ ωηατεϖερ χονστραιντσ ωε ιµποσε. ∆υρινγ τηε µαξιµιζατιον προχεσσ,
τηε ρεσολυτιον ρ ισ ηελδ ⇒ξεδ, σο τηε λογ 2
ρ τερµ ρεµαινσ χονσταντ, ανδ
ιτ χαν βε ιγνορεδ. Ασ α ρεσυλτ, ιτ ωιλλ νοτ γενεραλλψ αππεαρ ιν τηε φολλοωινγ
εθυατιονσ. Ονε χονστραιντ τηατ αλωαψσ αππλιεσ ιν εντροπψ µαξιµιζατιον ισ
τηατ τηε ιντεγραλ οφ τηε προβαβιλιτψ δενσιτψ µυστ βε 1. Συπποσε τηατ τηε
νευρον ιν θυεστιον ηασ α µαξιµυµ ⇒ρινγ ρατε οφ ρ µαξ . Τηεν, τηε ιντεγραλσ
ιν θυεστιον εξτενδ φροµ 0 το ρ µαξ .Το⇒νδ τηε π[ρ] προδυχινγ τηε µαξιµυµ
εντροπψ, ωε µυστ µαξιµιζε
συβϕεχτ το τηε χονστραιντ
−
∫ ρµαξ
0
δρ π[ρ]λογ 2
π[ρ], (4.20)
∫ ρµαξ
0
δρ π[ρ] = 1. (4.21)
Τηε ρεσυλτ, χοµπυτεδ υσινγ Λαγρανγε µυλτιπλιερσ (σεε τηε Ματηεµατιχαλ
Αππενδιξ), ισ τηατ τηε προβαβιλιτψ δενσιτψ τηατ µαξιµιζεσ τηε εντροπψ συβ−