Theoretical Neuroscience

4.3 Εντροπψ ανδ Ινφορµατιον φορ Σπικε Τραινσ 147
Ηοωεϖερ, ανψ χορρελατιονσ βετωεεν συχχεσσιϖε ιντερϖαλσ (ιφ Β(τ+Τ σ ) ισ χορ−
ρελατεδ ωιτη Β(τ), φορ εξαµπλε) ρεδυχε τηε τοταλ σπικε−τραιν εντροπψ, χαυσ−
ινγ εθυατιον 4.54 το οϖερεστιµατε τηε τρυε εντροπψ ρατε. Τηυσ, φορ ⇒νιτε Τ σ ,
τηισ εθυατιον προϖιδεσ αν υππερ βουνδ ον τηε τρυε εντροπψ ρατε. Ιφ Τ σ ισ τοο
σµαλλ, Β(τ + Τ σ ) ανδ Β(τ) αρε λικελψ το βε χορρελατεδ, ανδ τηε οϖερεστιµατε
µαψ βε σεϖερε. Ασ Τ σ ινχρεασεσ, ωε εξπεχτ τηε χορρελατιονσ το γετ σµαλλερ,
ανδ εθυατιον 4.54 σηουλδ προϖιδε α µορε αχχυρατε ϖαλυε. Φορ ανψ ⇒νιτε
δατα σετ, Τ σ χαννοτ βε ινχρεασεδ παστ α χερταιν ποιντ, βεχαυσε τηερε ωιλλ
νοτ βε ενουγη σπικε σεθυενχεσ οφ δυρατιον Τ σ ιν τηε δατα σετ το δετερµινε
τηειρ προβαβιλιτιεσ. Τηυσ, ιν πραχτιχε, Τ σ µυστ βε ινχρεασεδ υντιλ τηε ποιντ
ωηερε τηε εξτραχτιον οφ προβαβιλιτιεσ βεχοµεσ προβλεµατιχ, ανδ σοµε φορµ
οφ εξτραπολατιον το Τ σ →∞µυστ βε µαδε.
Στατιστιχαλ µεχηανιχσ αργυµεντσ συγγεστ τηατ τηε διφφερενχε βετωεεν τηε
εντροπψ φορ ⇒νιτε Τ σ ανδ τηε τρυε εντροπψ φορ Τ σ →∞σηουλδ βε προπορ−
τιοναλ το 1/Τ σ φορ λαργε Τ σ . Τηερεφορε, τηε τρυε εντροπψ χαν βε εστιµατεδ,
ασ ιν ⇒γυρε 4.7, βψ λινεαρλψ εξτραπολατινγ α πλοτ οφ τηε εντροπψ ρατε ϖερσυσ
1/Τ σ το τηε ποιντ 1/Τ σ = 0. Ιν ⇒γυρε 4.7 (υππερ λινε), τηισ ηασ βεεν δονε
φορ δατα φροµ τηε µοτιον−σενσιτιϖε Η1 νευρον οφ τηε ⇓ψ ϖισυαλ σψστεµ. Τηε
πλοττεδ ποιντσ σηοω εντροπψ ρατεσ χοµπυτεδ φορ διφφερεντ ϖαλυεσ οφ 1/Τ σ ,
ανδ τηεψ ϖαρψ λινεαρλψ οϖερ µοστ οφ τηε ρανγε οφ τηε πλοτ. Ηοωεϖερ, ωηεν
1/Τ σ γοεσ βελοω αβουτ 20/σ (ορ Τ σ > 50 µσ), τηε δεπενδενχε συδδενλψ
χηανγεσ. Τηισ ισ τηε ποιντ ατ ωηιχη τηε αµουντ οφ δατα ισ ινσυφ⇒χιεντ το
εξτραχτ εϖεν αν οϖερεστιµατε οφ τηε εντροπψ. Βψ λινεαρλψ εξτραπολατινγ τηε
λινεαρ παρτ οφ τηε σεριεσ οφ χοµπυτεδ ποιντσ ιν ⇒γυρε 4.7, Στρονγ ετ αλ. εστι−
µατεδ τηατ τηε Η1 σπικε τραινσ ηαδ αν εντροπψ ρατε οφ 157 βιτσ/σ ωηεν τηε
ρεσολυτιον ωασ τ = 3 µσ.
Το χοµπυτε τηε µυτυαλ ινφορµατιον ρατε φορ α σπικε τραιν, ωε µυστ συβ−
τραχτ τηε νοισε εντροπψ ρατε φροµ τηε φυλλ σπικε−τραιν εντροπψ ρατε. Τηε
νοισε εντροπψ ρατε ισ δετερµινεδ φροµ τηε προβαβιλιτιεσ οφ ⇒νδινγ ϖαριουσ
σεθυενχεσ Β, γιϖεν τηατ τηεψ ωερε εϖοκεδ βψ τηε σαµε στιµυλυσ. Τηισ ισ
δονε βψ χονσιδερινγ σεθυενχεσ Β(τ) τηατ σταρτ ατ α ⇒ξεδ τιµε τ. Ιφ τηε σαµε
στιµυλυσ ισ υσεδ ιν ρεπεατεδ τριαλσ, σεθυενχεσ τηατ βεγιν ατ τιµε τ ιν εϖερψ
τριαλ αρε γενερατεδ βψ τηε σαµε στιµυλυσ. Τηερεφορε, τηε χονδιτιοναλ προβ−
αβιλιτψ οφ τηε ρεσπονσε, γιϖεν τηε στιµυλυσ, ισ ιν τηισ χασε τηε διστριβυτιον
Π[Β(τ)] φορ ρεσπονσε σεθυενχεσ βεγιννινγ ατ τιµε τ. Τηισ ισ οβταινεδ βψ
δετερµινινγ τηε φραχτιον οφ τριαλσ ον ωηιχη Β(τ) ωασ εϖοκεδ. Νοτε τηατ
Π[Β(τ)] ισ τηε προβαβιλιτψ οφ ⇒νδινγ α γιϖεν σεθυενχε ατ τιµε τ ωιτηιν α
σετ οφ σπικε τραινσ οβταινεδ ον τριαλσ υσινγ τηε σαµε στιµυλυσ. Ιν χοντραστ,
Π[Β], υσεδ ιν τηε σπικε−τραιν εντροπψ χαλχυλατιον, ισ τηε προβαβιλιτψ οφ ⇒νδ−
ινγ τηε σεθυενχε Β ατ ανψ τιµε ωιτηιν τηεσε τραινσ. ∆ετερµινινγ Π[Β(τ)]φορ
ασυφ⇒χιεντ νυµβερ οφ σπικε σεθυενχεσ µαψ τακε α λαργε νυµβερ οφ τριαλσ
υσινγ τηε σαµε στιµυλυσ.
Τηε φυλλ νοισε εντροπψ ισ χοµπυτεδ βψ αϖεραγινγ τηε νοισε εντροπψ ατ τιµε
τ οϖερ αλλ τ ϖαλυεσ. Τηε αϖεραγε οϖερ τ πλαψσ τηε ρολε οφ τηε αϖεραγε οϖερ