Theoretical Neuroscience

8.3 Υνσυπερϖισεδ Λεαρνινγ 307
οφ ουρ σιµπλερ µοδελ). Τηισ εξαµπλε υσεσ χοµπετιτιϖε Ηεββιαν πλαστιχιτψ
ωιτη νονδψναµιχ µυλτιπλιχατιϖε ωειγητ νορµαλιζατιον. Τωο ωειγητ µατρι−
χεσ, Ω Ρ ανδ Ω Λ , χορρεσπονδινγ το ριγητ− ανδ λεφτ−εψε ινπυτσ, χηαραχτεριζε
τηε χοννεχτιϖιτψ οφ τηε µοδελ. Τηεσε αρε σηοων σεπαρατελψ ιν ⇒γυρε 8.9Α,
ωηιχη ιλλυστρατεσ τηατ τηε χορτιχαλ χελλσ δεϖελοπ ρετινοτοπιχαλλψ ορδερεδ ρε−
χεπτιϖε ⇒ελδσ, ανδ τηεψ σεγρεγατε ιντο αλτερνατινγ πατχηεσ δοµινατεδ βψ
ονε εψε ορ τηε οτηερ. Τηε ινδεξ α ινδιχατεσ τηε ιδεντιτψ ανδ χορτιχαλ λοχα−
τιον οφ τηε ουπυτ υνιτ, ωηερεασ β ινδιχατεσ τηε ρετιναλ λοχατιον οφ τηε χεντερ
οφ τηε χορρεσπονδινγ ινπυτ υνιτ. Τηε οχυλαρ δοµινανχε παττερν ισ εασιερ
το σεε ιν ⇒γυρε 8.9Β, ωηιχη σηοωσ τηε διφφερενχε βετωεεν τηε ριγητ− ανδ
λεφτ−εψε ωειγητσ, Ω Ρ − Ω Λ , ανδ ⇒γυρε 8.9Χ, ωηιχη σηοωσ τηε νετ οχυλαρ−
ιτψ οφ τηε τοταλ ινπυτ το εαχη ουτπυτ νευρον οφ τηε µοδελ ( ∑ β [Ω Ρ − Ω Λ ] αβ
φορ εαχη α). Ιτ ισ ποσσιβλε το αναλψζε τηε στρυχτυρε σηοων ιν ⇒γυρε 8.9 ανδ
ρεϖεαλ τηε πρεχισε εφφεχτ οφ τηε χοµπετιτιον (ι.ε., τηε εφφεχτ οφ χηανγινγ τηε
χοµπετιτιον παραµετερ δ ιν εθυατιον 8.34). Συχη αν αναλψσισ σηοωσ, φορ
εξαµπλε, τηατ συβτραχτιϖε νορµαλιζατιον οφ τηε σψναπτιχ ωειγητ ισ νοτ νεχ−
εσσαρψ το ενσυρε τηε ροβυστ δεϖελοπµεντ οφ οχυλαρ δοµινανχε, ασ ιτ ισ ιν
τηε νονχοµπετιτιϖε χασε.
Φεατυρε−Βασεδ Μοδελσ
Μοδελσ οφ χορτιχαλ µαπ φορµατιον χαν γετ εξτρεµελψ χοµπλεξ ωηεν µυλτ−
ιπλε νευροναλ σελεχτιϖιτιεσ, συχη ασ ρετινοτοπιχ λοχατιον, οχυλαρ δοµινανχε,
ανδ οριεντατιον πρεφερενχε, αρε χονσιδερεδ σιµυλτανεουσλψ. Το δεαλ ωιτη
τηισ, α χλασσ οφ µορε αβστραχτ µοδελσ, χαλλεδ χοµπετιτιϖε φεατυρε−βασεδ
µοδελσ, ηασ βεεν δεϖελοπεδ. Τηεσε υσε α γενεραλ αππροαχη σιµιλαρ το τηε
χοµπετιτιϖε Ηεββιαν µοδελσ δισχυσσεδ ιν τηε πρεϖιουσ σεχτιον. Φεατυρε−
βασεδ µοδελσ αρε νοτ διρεχτλψ ρελατεδ το τηε βιοπηψσιχαλ ρεαλιτψ οφ νευροναλ
⇒ρινγ ρατεσ ανδ σψναπτιχ στρενγτησ, βυτ τηεψ προϖιδε α χοµπαχτ δεσχριπτιον
οφ µαπ δεϖελοπµεντ.
Ιν α φεεδφορωαρδ µοδελ, τηε σελεχτιϖιτψ οφ νευρον α ισ δετερµινεδ βψ τηε
φεεδφορωαρδ ωειγητσ Ω αβ φορ αλλ ϖαλυεσ οφ β, δεσχριβινγ ηοω τηισ νευρον ισ
χοννεχτεδ το τηε ινπυτ υνιτσ οφ τηε νετωορκ. Τηε ινπυτ υνιτσ αρε δριϖεν βψ
τηε στιµυλυσ ανδ τηειρ ρεσπονσεσ ρε⇓εχτ ϖαριουσ στιµυλυσ φεατυρεσ. Τηυσ,
σελεχτιϖιτψ ιν τηεσε µοδελσ ισ δετερµινεδ βψ ηοω τηε σψναπτιχ ωειγητσ
τρανσφερ τηε σελεχτιϖιτιεσ οφ τηε ινπυτ υνιτσ το τηε ουτπυτ υνιτσ. Τηε ιδεα
οφ α φεατυρε−βασεδ µοδελ ισ το σιµπλιφψ τηισ βψ διρεχτλψ ρελατινγ τηε ουτπυτ
υνιτ σελεχτιϖιτιεσ το τηε χορρεσπονδινγ φεατυρεσ οφ τηε στιµυλυσ. Ιν φεατυρε−
βασεδ µοδελσ, τηε ινδεξ β ισ νοτ υσεδ το λαβελ διφφερεντ ινπυτ υνιτσ, βυτ
ρατηερ το λαβελ διφφερεντ φεατυρεσ οφ τηε στιµυλυσ. Ν υ ισ τηυσ εθυαλ το τηε
νυµβερ οφ παραµετερσ βεινγ υσεδ το χηαραχτεριζε τηε στιµυλυσ. Αλσο, τηε
ινπυτ ϖαριαβλε υ β ισ σετ το τηε παραµετερ υσεδ το χηαραχτεριζε φεατυρε β οφ
τηε στιµυλυσ. Σιµιλαρλψ, Ω αβ δοεσ νοτ δεσχριβε τηε χουπλινγ βετωεεν ινπυτ
υνιτ β ανδ ουτπυτ υνιτ α, βυτ ινστεαδ ιτ ρεπρεσεντσ τηε σελεχτιϖιτψ οφ ουτπυτ
υνιτ α το στιµυλυσ φεατυρε β. Φορ εξαµπλε, συπποσε β = 1 ρεπρεσεντσ τηε
λοχατιον οφ α ϖισυαλ στιµυλυσ, ανδ β = 2 ρεπρεσεντσ ιτσ οχυλαριτψ, τηε διφφερ−
ενχε ιν στρενγτη βετωεεν τηε λεφτ− ανδ ριγητ−εψε ινπυτσ. Τηεν, υ 1 ανδ υ 2
ωουλδ βε τηε λοχατιον χοορδινατε ανδ τηε οχυλαριτψ οφ τηε στιµυλυσ, ανδ
Ω α1 ανδ Ω α2 ωουλδ βε τηε πρεφερρεδ στιµυλυσ λοχατιον (τηε χεντερ οφ τηε