Theoretical Neuroscience

128 Ινφορµατιον Τηεορψ
διστινχτ ρεσπονσε ρ σ . Τηεν, Π[ρ σ ]= Π[σ] ανδ Π[ρ|σ] ισ1ιφρ=ρ σ ανδ 0 οτη−
ερωισε. Τηισ χαυσεσ τηε συµ οϖερ ρ ιν εθυατιον 4.9 το χολλαπσε το ϕυστ ονε
τερµ, ανδ τηε µυτυαλ ινφορµατιον βεχοµεσ
Ι µ = ∑ ( ) 1
Π[σ]λογ 2
=− ∑ Π[σ]λογ
Π[ρ
σ
σ ]
2
Π[σ]. (4.13)
σ
Τηε λαστ εξπρεσσιον, ωηιχη φολλοωσ φροµ τηε φαχτ τηατ Π[ρ σ ] = Π[σ], ισ τηε εν−
τροπψ οφ τηε στιµυλυσ. Τηυσ, ωιτη νο ϖαριαβιλιτψ ανδ α ονε−το−ονε µαπ φροµ
στιµυλυσ το ρεσπονσε, τηε µυτυαλ ινφορµατιον ισ εθυαλ το τηε φυλλ στιµυλυσ
εντροπψ.
Φιναλλψ, ιµαγινε τηατ τηερε αρε ονλψ τωο ποσσιβλε στιµυλυσ ϖαλυεσ, ωηιχη
ωε λαβελ + ανδ −, ανδ τηατ τηε νευρον ρεσπονδσ ωιτη ϕυστ τωο ρατεσ, ρ + ανδ
ρ − . Ωε ασσοχιατε τηε ρεσπονσε ρ + ωιτη τηε + στιµυλυσ, ανδ τηε ρεσπονσε ρ −
ωιτη τηε − στιµυλυσ, βυτ τηε ενχοδινγ ισ νοτ περφεχτ. Τηε προβαβιλιτψ οφ αν
ινχορρεχτ ρεσπονσε ισ Π Ξ , µεανινγ τηατ φορ τηε χορρεχτ ρεσπονσεσ Π[ρ + |+] =
Π[ρ − |−] = 1− Π Ξ , ανδ φορ τηε ινχορρεχτ ρεσπονσεσ Π[ρ + |−] = Π[ρ − |+] = Π Ξ .
Ωε ασσυµε τηατ τηε τωο στιµυλι αρε πρεσεντεδ ωιτη εθυαλ προβαβιλιτψ σο
τηατ Π[ρ + ] = Π[ρ − ] = 1/2, ωηιχη, φροµ εθυατιον 4.4, µακεσ τηε φυλλ ρεσπονσε
εντροπψ 1 βιτ. Τηε νοισε εντροπψ ισ −(1 − Π Ξ ) λογ 2
(1 − Π Ξ ) − Π Ξ λογ 2
Π Ξ .
Τηυσ, τηε µυτυαλ ινφορµατιον ισ
Ι µ = 1 + (1 − Π Ξ ) λογ 2
(1 − Π Ξ ) + Π Ξ λογ 2
Π Ξ . (4.14)
Τηισ ισ πλοττεδ ιν ⇒γυρε 4.1Β. Ωηεν τηε ενχοδινγ ισ ερρορ−φρεε (Π Ξ = 0),
τηε µυτυαλ ινφορµατιον ισ 1 βιτ, ωηιχη ισ εθυαλ το βοτη τηε φυλλ ρεσπονσε
εντροπψ ανδ τηε στιµυλυσ εντροπψ. Ωηεν τηε ενχοδινγ ισ ρανδοµ (Π Ξ =
1/2), τηε µυτυαλ ινφορµατιον γοεσ το 0.
Ιτ ισ ινστρυχτιϖε το χονσιδερ τηισ εξαµπλε φροµ τηε περσπεχτιϖε οφ δεχοδινγ.
Ωε χαν τηινκ οφ τηε νευρον ασ βεινγ α χοµµυνιχατιον χηαννελ τηατ ρεπορτσ
νοισιλψ ον τηε στιµυλυσ. Φροµ τηισ περσπεχτιϖε, ωε ωαντ το κνοω τηε προβ−
αβιλιτψ τηατ α + ωασ πρεσεντεδ, γιϖεν τηατ τηε ρεσπονσε ρ + ωασ ρεχορδεδ.
Βψ Βαψεσ τηεορεµ, τηισ ισ Π[+|ρ + ] = Π[ρ + |+]Π[+]/Π[ρ + ] = 1 − Π Ξ . Βεφορε
τηε ρεσπονσε ισ ρεχορδεδ, τηε εξπεχτατιον ωασ τηατ + ανδ − ωερε εθυαλλψ
λικελψ. Ιφ τηε ρεσπονσε ρ + ισ ρεχορδεδ, τηισ εξπεχτατιον χηανγεσ το 1 − Π Ξ .
Τηε µυτυαλ ινφορµατιον µεασυρεσ τηε χορρεσπονδινγ ρεδυχτιον ιν υνχερ−
ταιντψ ορ, εθυιϖαλεντλψ, τηε τιγητενινγ οφ τηε ποστεριορ διστριβυτιον δυε το
τηε ρεσπονσε.
ΚΛ διϖεργενχε
Τηε µυτυαλ ινφορµατιον ισ ρελατεδ το α µεασυρε υσεδ ιν στατιστιχσ χαλλεδ
τηε Κυλλβαχκ−Λειβλερ (ΚΛ) διϖεργενχε. Τηε ΚΛ διϖεργενχε βετωεεν ονε
προβαβιλιτψ διστριβυτιον Π[ρ] ανδ ανοτηερ διστριβυτιον Θ[ρ]ισ
∆ ΚΛ (Π, Θ) = ∑ ( ) Π[ρ]
Π[ρ] λογ 2
. (4.15)
Θ[ρ]
ρ
Τηε ΚΛ διϖεργενχε ηασ α προπερτψ νορµαλλψ ασσοχιατεδ ωιτη α διστανχε
µεασυρε, ∆ ΚΛ (Π, Θ) ≥ 0 ωιτη εθυαλιτψ ιφ ανδ ονλψ ιφ Π= Θ (προϖεν ιν απ−
πενδιξ Α). Ηοωεϖερ, υνλικε α διστανχε, ιτ ισ νοτ σψµµετριχ ωιτη ρεσπεχτ το