Theoretical Neuroscience

4.1 Εντροπψ ανδ Μυτυαλ Ινφορµατιον 129
ιντερχηανγε οφ Π ανδ Θ. Χοµπαρινγ τηε δε⇒νιτιον 4.15 ωιτη εθυατιον 4.11,
ωε σεε τηατ τηε µυτυαλ ινφορµατιον ισ τηε ΚΛ διϖεργενχε βετωεεν τηε δισ−
τριβυτιονσ Π[ρ, σ] ανδ Π[ρ]Π[σ]. Ιφ τηε στιµυλυσ ανδ τηε ρεσπονσε ωερε ιν−
δεπενδεντ οφ ονε ανοτηερ, Π[ρ, σ] ωουλδ βε εθυαλ το Π[ρ]Π[σ]. Τηυσ, τηε
µυτυαλ ινφορµατιον ισ τηε ΚΛ διϖεργενχε βετωεεν τηε αχτυαλ προβαβιλιτψ
διστριβυτιον Π[ρ, σ] ανδ τηε ϖαλυε ιτ ωουλδ τακε ιφ τηε στιµυλυσ ανδ ρεσπονσε
ωερε ινδεπενδεντ. Τηε φαχτ τηατ ∆ ΚΛ ≥ 0 προϖεσ τηατ τηε µυτυαλ ινφορµα−
τιον χαννοτ βε νεγατιϖε. Ιν αδδιτιον, ιτ χαν νεϖερ βε λαργερ τηαν ειτηερ τηε
φυλλ ρεσπονσε εντροπψ ορ τηε εντροπψ οφ τηε στιµυλυσ σετ.
Εντροπψ ανδ Μυτυαλ Ινφορµατιον φορ Χοντινυουσ ςαριαβλεσ
Υπ το νοω ωε ηαϖε χηαραχτεριζεδ νευραλ ρεσπονσεσ υσινγ δισχρετε σπικε−
χουντ ρατεσ. Ασ ιν χηαπτερ 3, ιτ ισ οφτεν χονϖενιεντ το τρεατ τηεσε ρατεσ ιν−
στεαδ ασ χοντινυουσ ϖαριαβλεσ. Τηερε ισ α χοµπλιχατιον ασσοχιατεδ ωιτη εν−
τροπιεσ τηατ αρε δε⇒νεδ ιν τερµσ οφ χοντινυουσ ρεσπονσε ϖαριαβλεσ. Ιφ ωε
χουλδ µεασυρε τηε ϖαλυε οφ α χοντινυουσλψ δε⇒νεδ ⇒ρινγ ρατε ωιτη υνλιµ−
ιτεδ αχχυραχψ, ιτ ωουλδ βε ποσσιβλε το χονϖεψ αν ιν⇒νιτε αµουντ οφ ινφορ−
µατιον υσινγ τηε ενδλεσσ σεθυενχε οφ δεχιµαλ διγιτσ οφ τηισ σινγλε ϖαριαβλε.
Οφ χουρσε, πραχτιχαλ χονσιδερατιονσ αλωαψσ λιµιτ τηε αχχυραχψ ωιτη ωηιχη α
⇒ρινγ ρατε χαν βε µεασυρεδ ορ χονϖεψεδ.
Το δε⇒νε τηε εντροπψ ασσοχιατεδ ωιτη α χοντινυουσ µεασυρε οφ α νευραλ
ρεσπονσε, ωε µυστ ινχλυδε σοµε λιµιτ ον τηε µεασυρεµεντ αχχυραχψ. Τηε
εφφεχτσ οφ τηισ λιµιτ τψπιχαλλψ χανχελ ιν χοµπυτατιονσ οφ µυτυαλ ινφορµατιον
βεχαυσε τηε µυτυαλ ινφορµατιον ισ τηε διφφερενχε βετωεεν τωο εντροπιεσ.
Ιν τηισ σεχτιον, ωε σηοω ηοω εντροπψ ανδ µυτυαλ ινφορµατιον αρε χοµ−
πυτεδ φορ ρεσπονσεσ χηαραχτεριζεδ βψ χοντινυουσ ⇒ρινγ ρατεσ. Φορ χοµ−
πλετενεσσ, ωε αλσο τρεατ τηε στιµυλυσ παραµετερ σ ασ α χοντινυουσ ϖαριαβλε.
Τηισ µεανσ τηατ τηε προβαβιλιτψ Π[σ] ισ ρεπλαχεδ βψ τηε προβαβιλιτψ δενσιτψ
π[σ], ανδ συµσ οϖερ σ αρε ρεπλαχεδ βψ ιντεγραλσ.
Φορ α χοντινυουσλψ δε⇒νεδ ⇒ρινγ ρατε, τηε προβαβιλιτψ οφ τηε ⇒ρινγ ρατε
λψινγ ιν τηε ρανγε βετωεεν ρ ανδ ρ+ρ, φορ σµαλλ ρ, ισ εξπρεσσεδ ιν τερµσ
οφ α προβαβιλιτψ δενσιτψ ασ π[ρ]ρ. Συµµινγ οϖερ δισχρετε βινσ οφ σιζε ρ,
ωε ⇒νδ, βψ αναλογψ ωιτη εθυατιον (4.3),
Η =− ∑ π[ρ]ρ λογ 2
(π[ρ]ρ)
=− ∑ π[ρ]ρ λογ 2
π[ρ] − λογ 2
ρ. (4.16)
Το εξτραχτ τηε λαστ τερµ ωε ηαϖε εξπρεσσεδ τηε λογαριτηµ οφ α προδυχτ ασ
τηε συµ οφ τωο λογαριτηµσ ανδ υσεδ τηε φαχτ τηατ τηε συµ οφ τηε ρεσπονσε
προβαβιλιτιεσ ισ 1. Ωε ωουλδ νοω λικε το τακε τηε λιµιτ ρ → 0 βυτ ωε
χαννοτ, βεχαυσε τηε λογ 2
ρ τερµ διϖεργεσ ιν τηισ λιµιτ. Τηισ διϖεργενχε
ρε⇓εχτσ τηε φαχτ τηατ α χοντινυουσ ϖαριαβλε µεασυρεδ ωιτη περφεχτ αχχυραχψ
ηασ ιν⇒νιτε εντροπψ. Ηοωεϖερ, φορ ρεασοναβλε (ι.ε., Ριεµανν ιντεγραβλε)
π[ρ], εϖερψτηινγ ωορκσ ουτ ⇒νε φορ τηε ⇒ρστ τερµ βεχαυσε τηε συµ βεχοµεσ