Theoretical Neuroscience

382 Ρεπρεσεντατιοναλ Λεαρνινγ
προϕεχτιϖε ⇒ελδ
ιµποσσιβλε το χονστρυχτ ρεχεπτιϖε ⇒ελδσ βψ αϖεραγινγ οϖερ τηεσε ινπυτσ ιν
νονλινεαρ µοδελσ, συχη ασ σπαρσε χοδινγ µοδελσ. Φυρτηερµορε, γενερατιϖε
µοδελσ αρε µοστ νατυραλλψ χηαραχτεριζεδ βψ προϕεχτιϖε ⇒ελδσ ρατηερ τηαν
ρεχεπτιϖε ⇒ελδσ. Τηε προϕεχτιϖε ⇒ελδ ασσοχιατεδ ωιτη α παρτιχυλαρ χαυσε v α
χανβεδε⇒νεδ ασ τηε σετ οφ ινπυτσ τηατ ιτ φρεθυεντλψ γενερατεσ. Τηισ χον−
σιστσ οφ αλλ τηε υ ϖαλυεσ φορ ωηιχη Π[υ|v α ;G] ισσυφ⇒χιεντλψ λαργε ωηεν v α
ισ λαργε. Φορ τηε µοδελ οφ ⇒γυρε 10.1, τηε προϕεχτιϖε ⇒ελδσ αρε σιµπλψ τηε
χιρχλεσ ιν ⇒γυρε 10.1Χ. Ιτ ισ ιµπορταντ το ρεµεµβερ τηατ προϕεχτιϖε ⇒ελδσ
χαν βε θυιτε διφφερεντ φροµ ρεχεπτιϖε ⇒ελδσ.
Προϕεχτιϖε ⇒ελδσ φορ τηε Ολσηαυσεν ανδ Φιελδ µοδελ τραινεδ ον νατυραλ
σχενεσ αρε σηοων ιν ⇒γυρε 10.7Α, ωιτη ονε πιχτυρε φορ εαχη χοµπονεντ
οφ ϖ. Ιν τηισ χασε, τηε προϕεχτιϖε ⇒ελδ φορ v α ισ σιµπλψ τηε µατριξ ελεµεντσ
Γ αβ πλοττεδ φορ αλλ β ϖαλυεσ. Ιν ⇒γυρε 10.7Α, τηε ινδεξ β ισ πλοττεδ οϖερ α
τωο−διµενσιοναλ γριδ ρεπρεσεντινγ τηε λοχατιον οφ τηε ινπυτ υ β ωιτηιν τηε
ϖισυαλ ⇒ελδ. Τηε προϕεχτιϖε ⇒ελδσ φορµ α Γαβορ−λικε ρεπρεσεντατιον φορ ιµ−
αγεσ, χοϖερινγ α ϖαριετψ οφ σπατιαλ σχαλεσ ανδ οριεντατιονσ. Τηε ρεσεµβλανχε
οφ τηισ ρεπρεσεντατιον το τηε ρεχεπτιϖε ⇒ελδσ οφ σιµπλε χελλσ ιν πριµαρψ ϖι−
συαλ χορτεξ ισ θυιτε στρικινγ, αλτηουγη τηεσε αρε τηε προϕεχτιϖε ⇒ελδσ οφ τηε
µοδελ, νοτ ιτσ ρεχεπτιϖε ⇒ελδσ. Υνφορτυνατελψ, τηερε ισ νο σιµπλε φορµ φορ
τηε ρεχεπτιϖε ⇒ελδσ οφ τηε ϖ υνιτσ. Φιγυρε 10.7Β χοµπαρεσ τηε προϕεχτιϖε
⇒ελδ οφ ονε υνιτ ωιτη ρεχεπτιϖε ⇒ελδσ δετερµινεδ βψ πρεσεντινγ ειτηερ δοτσ
ορ γρατινγσ ασ ινπυτσ ανδ ρεχορδινγ τηε ρεσπονσεσ. Τηε ρεσπονσεσ το τηε
δοτσ διρεχτλψ δετερµινε τηε ρεχεπτιϖε ⇒ελδ, ωηιλε ρεσπονσεσ το τηε γρατινγσ
διρεχτλψ δετερµινε τηε Φουριερ τρανσφορµ οφ τηε ρεχεπτιϖε ⇒ελδ. ∆ιφφερενχεσ
βετωεεν τηε ρεχεπτιϖε ⇒ελδσ χαλχυλατεδ ον τηε βασισ οφ τηεσε τωο τψπεσ οφ
ινπυτ αρε εϖιδεντ ιν τηε ⇒γυρε. Ιν παρτιχυλαρ, τηε ρεχεπτιϖε ⇒ελδ χοµπυτεδ
φροµ γρατινγσ σηοωσ µορε σπατιαλ στρυχτυρε τηαν τηε ονε µαππεδ βψ δοτσ.
Νεϖερτηελεσσ, βοτη σηοω α ρεσεµβλανχε το τηε προϕεχτιϖε ⇒ελδ ανδ το α τψπ−
ιχαλ σιµπλε−χελλ ρεχεπτιϖε ⇒ελδ.
Ιν α γενερατιϖε µοδελ, προϕεχτιϖε ⇒ελδσ αρε ασσοχιατεδ ωιτη τηε χαυσεσ
υνδερλψινγ τηε ϖισυαλ ιµαγεσ πρεσεντεδ δυρινγ τραινινγ. Τηε φαχτ τηατ
τηε χαυσεσ εξτραχτεδ βψ τηε σπαρσε χοδινγ µοδελ ρεσεµβλε Γαβορ πατχηεσ
ωιτηιν τηε ϖισυαλ ⇒ελδ ισ σοµεωηατ στρανγε φροµ τηισ περσπεχτιϖε. Ιτ ισ διφ⇒−
χυλτ το χονχειϖε οφ ιµαγεσ ασ αρισινγ φροµ συχη λοω−λεϖελ χαυσεσ, ινστεαδ οφ
χαυσεσ χουχηεδ ιν τερµσ οφ οβϕεχτσ ωιτηιν τηε ιµαγεσ, φορ εξαµπλε. Φροµ
τηε περσπεχτιϖε οφ γοοδ ρεπρεσεντατιον, χαυσεσ τηατ αρε µορε λικε οβϕεχτσ
ανδ λεσσ λικε Γαβορ πατχηεσ ωουλδ βε µορε υσεφυλ. Το πυτ τηισ ανοτηερ ωαψ,
αλτηουγη τηε πριορ διστριβυτιον οϖερ χαυσεσ βιασεδ τηεµ τοωαρδ µυτυαλ ιν−
δεπενδενχε, τηε χαυσεσ προδυχεδ βψ τηε ρεχογνιτιον µοδελ ιν ρεσπονσε το
νατυραλ ιµαγεσ αρε νοτ αχτυαλλψ ινδεπενδεντ. Τηισ ισ δυε το τηε στρυχτυρε
ιν ιµαγεσ αρισινγ φροµ µορε χοµπλεξ οβϕεχτσ τηαν βαρσ ανδ γρατινγσ. Ιτ ισ
υνλικελψ τηατ τηισ ηιγη−ορδερ στρυχτυρε χαν βε εξτραχτεδ βψ α µοδελ ωιτη
ονλψ ονε σετ οφ χαυσεσ. Ιτ ισ µορε νατυραλ το τηινκ οφ χαυσεσ ιν α ηιεραρχηι−
χαλ µαννερ, ωιτη χαυσεσ ατ α ηιγηερ λεϖελ αχχουντινγ φορ στρυχτυρε ιν τηε
χαυσεσ ατ α λοωερ λεϖελ. Τηε µυλτιπλε ρεπρεσεντατιονσ ιν αρεασ αλονγ τηε ϖι−
συαλ πατηωαψ συγγεστσ συχη α ηιεραρχηιχαλ σχηεµε, βυτ τηε χορρεσπονδινγ
µοδελσ αρε στιλλ ιν τηε ρυδιµενταρψ σταγεσ οφ δεϖελοπµεντ.