Theoretical Neuroscience

4.2 Ινφορµατιον ανδ Εντροπψ Μαξιµιζατιον 139
α γοοδ στρατεγψ το υσε ιν αν υνρεστριχτεδ ωαψ φορ ϖισυαλ προχεσσινγ. Ρεαλ
ινπυτσ το ρετιναλ γανγλιον χελλσ ινϖολϖε α µιξτυρε οφ τρυε σιγναλ ανδ νοισε
χοµινγ φροµ βιοπηψσιχαλ σουρχεσ ιν τηε ρετινα. Ατ ηιγη σπατιαλ φρεθυενχιεσ,
φορ ωηιχη τηε τρυε σιγναλ ισ ωεακ, ινπυτσ το ρετιναλ γανγλιον χελλσ αρε λικελψ
το βε δοµινατεδ βψ νοισε, εσπεχιαλλψ ιν λοω−λιγητ χονδιτιονσ. Βοοστινγ τηε
αµπλιτυδε οφ τηισ νοισε−δοµινατεδ ινπυτ ανδ τρανσµιττινγ ιτ το τηε βραιν ισ
νοτ αν εφ⇒χιεντ ϖισυαλ ενχοδινγ στρατεγψ.
Τηε προβλεµ οφ εξχεσσιϖε βοοστινγ οφ ρεσπονσεσ ατ ηιγη σπατιαλ φρεθυενχψ
αρισεσ ιν τηε εντροπψ µαξιµιζατιον χαλχυλατιον βεχαυσε νο διστινχτιον ηασ
βεεν µαδε βετωεεν τηε εντροπψ χοµινγ φροµ τρυε σιγναλσ ανδ τηατ χοµινγ
φροµ νοισε. Το χορρεχτ τηισ προβλεµ, ωε σηουλδ µαξιµιζε τηε ινφορµατιον
τρανσµιττεδ βψ τηε ρετιναλ γανγλιον χελλσ αβουτ νατυραλ σχενεσ, ρατηερ τηαν
µαξιµιζε τηε εντροπψ. Α φυλλ ινφορµατιον−µαξιµιζατιον χαλχυλατιον οφ τηε
ρεχεπτιϖε ⇒ελδ προπερτιεσ οφ ρετιναλ γανγλιον χελλσ χαν βε περφορµεδ, βυτ
τηισ ρεθυιρεσ ιντροδυχινγ α νυµβερ οφ ασσυµπτιονσ αβουτ τηε χονστραιντσ
τηατ αρε ρελεϖαντ, ανδ ιτ ισ νοτ εντιρελψ οβϖιουσ ωηατ τηεσε χονστραιντσ
σηουλδ βε. Ινστεαδ, ωε ωιλλ φολλοω αν αππροξιµατε προχεδυρε τηατ πρε−
⇒λτερσ τηε ινπυτ το ελιµινατε ασ µυχη νοισε ασ ποσσιβλε, ανδ τηεν υσεσ τηε
ρεσυλτσ οφ τηισ σεχτιον το µαξιµιζε τηε εντροπψ οφ α λινεαρ ⇒λτερ αχτινγ ον
τηε πρε⇒λτερεδ ινπυτ σιγναλ.
Φιλτερινγ Ινπυτ Νοισε
Συπποσε τηατ τηε ϖισυαλ στιµυλυσ ον τηε ρετινα ισ τηε συµ οφ τηε τρυε στιµ−
υλυσ σ σ (⃗ξ) τηατ σηουλδ βε χονϖεψεδ το τηε βραιν ανδ α νοισε τερµ η(⃗ξ) τηατ
ρε⇓εχτσ ιµαγε διστορτιον, πηοτορεχεπτορ νοισε, ανδ οτηερ σιγναλσ τηατ αρε
νοτ ωορτη χονϖεψινγ βεψονδ τηε ρετινα. Το δεαλ ωιτη συχη α µιξεδ ινπυτ
É
σιγναλ, ωε εξπρεσσ τηε Φουριερ τρανσφορµ οφ τηε λινεαρ κερνελ ∆ σ (⃗κ) ασ α
É
προδυχτ οφ τωο τερµσ: α νοισε ⇒λτερ, ∆ (⃗κ), τηατ ελιµινατεσ ασ µυχη οφ τηε
νοισε ασ ποσσιβλε; ανδ α ωηιτενινγ ⇒λτερ, ∆É
ω(⃗κ), τηατ σατισ⇒εσ εθυατιον 4.42.
É
Τηε Φουριερ τρανσφορµ οφ τηε χοµπλετε ⇒λτερ ισ τηεν ∆ σ
É
(⃗κ) = ∆É
ω(⃗κ)∆ (⃗κ).
Το δετερµινε τηε φορµ οφ τηε νοισε ⇒λτερ, ωε δεµανδ τηατ ωηεν ιτ ισ απ−
πλιεδ το τηε τοταλ ινπυτ σ σ (⃗ξ) + η(⃗ξ), τηε ρεσυλτ ισ ασ χλοσε το τηε σιγναλ παρτ
οφ τηε ινπυτ, σ σ (⃗ξ), ασ ποσσιβλε. Τηε προβλεµ οφ µινιµιζινγ τηε αϖεραγε
σθυαρεδ διφφερενχε βετωεεν τηε ⇒λτερεδ νοισψ σιγναλ ανδ τηε τρυε σιγναλ ισ
φορµαλλψ τηε σαµε ασ τηε προβλεµσ ωε σολϖεδ ιν χηαπτερ 2 (αππενδιξ Α)
ανδ χηαπτερ 3 (αππενδιξ Χ) το δετερµινε τηε οπτιµαλ κερνελσ φορ ρατε πρε−
διχτιον ανδ φορ σπικε δεχοδινγ (αλσο σεε τηε Ματηεµατιχαλ Αππενδιξ). Τηε
γενεραλ σολυτιον ισ τηατ τηε Φουριερ τρανσφορµ οφ τηε οπτιµαλ ⇒λτερ ισ τηε
Φουριερ τρανσφορµ οφ τηε χροσσ−χορρελατιον βετωεεν τηε θυαντιτψ βεινγ ⇒λ−
τερεδ ανδ τηε θυαντιτψ βεινγ αππροξιµατεδ διϖιδεδ βψ τηε Φουριερ τρανσ−
φορµ οφ τηε αυτοχορρελατιον οφ τηε θυαντιτψ βεινγ ⇒λτερεδ. Ιν τηε πρεσεντ
εξαµπλε, τηερε ισ α σλιγητ χοµπλιχατιον τηατ τηε ιντεγραλ ιν εθυατιον 4.35
ισ νοτ ιν τηε φορµ οφ α χονϖολυτιον, βεχαυσε ∆ σ ισ ωριττεν ασ α φυνχτιον οφ
⃗ξ −⃗α ρατηερ τηαν ⃗α −⃗ξ. Ηοωεϖερ, ιν τηε χασε ωε χονσιδερ, τηισ υλτιµατελψ
µακεσ νο διφφερενχε το τηε ⇒ναλ ανσωερ.