Theoretical Neuroscience

4.1 Εντροπψ ανδ Μυτυαλ Ινφορµατιον 127
φυλλ ρεσπονσε εντροπψ, ωηιχη φροµ εθυατιονσ 4.3 ανδ 4.6 γιϖεσ
Ι µ = Η − Η νοισε =− ∑ ρ
Π[ρ]λογ 2
Π[ρ] + ∑ σ,ρ
Π[σ]Π[ρ|σ]λογ 2
Π[ρ|σ]. (4.7)
Τηε προβαβιλιτψ οφ α ρεσπονσε ρ ισ ρελατεδ το τηε χονδιτιοναλ προβαβιλιτψ
Π[ρ|σ] ανδ τηε προβαβιλιτψ Π[σ] τηατ στιµυλυσ σ ισ πρεσεντεδ βψ τηε ιδεντιτψ
(χηαπτερ 3),
Π[ρ] = ∑ σ
Π[σ]Π[ρ|σ]. (4.8)
Υσινγ τηισ, ανδ ωριτινγ τηε διφφερενχε οφ τηε τωο λογαριτηµσ ιν εθυατιον 4.7
ασ τηε λογαριτηµ οφ τηε ρατιο οφ τηειρ αργυµεντσ, ωε χαν ρεωριτε τηε µυτυαλ µυτυαλ ινφορµατιον
ινφορµατιον ασ
Ι µ = ∑ ( ) Π[ρ|σ]
Π[σ]Π[ρ|σ]λογ 2
. (4.9)
Π[ρ]
σ,ρ
Ρεχαλλ φροµ χηαπτερ 3 τηατ
Π[ρ, σ] = Π[σ]Π[ρ|σ] = Π[ρ]Π[σ|ρ], (4.10)
ωηερε Π[ρ, σ] ισ τηε ϕοιντ προβαβιλιτψ οφ στιµυλυσ σ αππεαρινγ ανδ ρεσπονσε
ρ βεινγ εϖοκεδ. Εθυατιον 4.10 χαν βε υσεδ το δεριϖε ψετ ανοτηερ φορµ φορ
τηε µυτυαλ ινφορµατιον,
Ι µ = ∑ ( ) Π[ρ, σ]
Π[ρ, σ]λογ 2
. (4.11)
Π[ρ]Π[σ]
σ,ρ
Τηισ εθυατιον ρεϖεαλσ τηατ τηε µυτυαλ ινφορµατιον ισ σψµµετριχ ωιτη ρε−
σπεχτ το ιντερχηανγε οφ σ ανδ ρ, ωηιχη µεανσ τηατ τηε µυτυαλ ινφορµατιον
τηατ α σετ οφ ρεσπονσεσ χονϖεψσ αβουτ α σετ οφ στιµυλι ισ ιδεντιχαλ το τηε µυ−
τυαλ ινφορµατιον τηατ τηε σετ οφ στιµυλι χονϖεψσ αβουτ τηε ρεσπονσεσ. Το σεε
τηισ εξπλιχιτλψ, ωε αππλψ εθυατιον 4.10 αγαιν το ωριτε
Ι µ =− ∑ σ
Π[σ] λογ 2
Π[σ] + ∑ σ,ρ
Π[ρ]Π[σ|ρ]λογ 2
Π[σ|ρ]. (4.12)
Τηισ ρεσυλτ ισ τηε σαµε ασ εθυατιον 4.7, εξχεπτ τηατ τηε ρολεσ οφ τηε στιµυ−
λυσ ανδ τηε ρεσπονσε ηαϖε βεεν ιντερχηανγεδ. Εθυατιον 4.12 σηοωσ ηοω
ρεσπονσε ϖαριαβιλιτψ λιµιτσ τηε αβιλιτψ οφ α σπικε τραιν το χαρρψ ινφορµατιον.
Τηε σεχονδ τερµ ον τηε ριγητ σιδε, ωηιχη ισ νεγατιϖε, ισ τηε αϖεραγε υνχερ−
ταιντψ αβουτ τηε ιδεντιτψ οφ τηε στιµυλυσ γιϖεν τηε ρεσπονσε, ανδ ρεδυχεσ
τηε τοταλ στιµυλυσ εντροπψ ρεπρεσεντεδ βψ τηε ⇒ρστ τερµ.
Το προϖιδε σοµε χονχρετε εξαµπλεσ, ωε χοµπυτε τηε µυτυαλ ινφορµατιον
φορ α φεω σιµπλε χασεσ. Φιρστ, συπποσε τηατ τηε ρεσπονσεσ οφ τηε νευρον
αρε χοµπλετελψ υναφφεχτεδ βψ τηε ιδεντιτψ οφ τηε στιµυλυσ. Ιν τηισ χασε,
Π[ρ|σ] = Π[ρ], ανδ φροµ εθυατιον 4.9 ιτ φολλοωσ ιµµεδιατελψ τηατ Ι µ = 0. Ατ
τηε οτηερ εξτρεµε, συπποσε τηατ εαχη στιµυλυσ σ προδυχεσ α υνιθυε ανδ