Theoretical Neuroscience

8.4 Συπερϖισεδ Λεαρνινγ 313
ωεακενεδ ινπυτ φροµ νευρονσ ωιτη σ α > 0. Τηισ ασψµµετριχαλλψ βροαδενσ
ανδ σηιφτσ τηε τυνινγ χυρϖε οφ τηε νευρον ωιτη σ α = 0 το λοωερ στιµυλυσ
ϖαλυεσ. Τηε λεφτωαρδ σηιφτ σεεν ιν ⇒γυρε 8.11Α ισ α ρεσυλτ οφ τηε τεµποραλ
χηαραχτερ οφ τηε πλαστιχιτψ ρυλε ανδ τηε τεµποραλ εϖολυτιον οφ τηε στιµυ−
λυσ δυρινγ τραινινγ. Νοτε τηατ τηε σηιφτ ισ ιν τηε διρεχτιον οπποσιτε το τηε
µοτιον οφ τηε στιµυλυσ δυρινγ τραινινγ. Τηισ βαχκωαρδ σηιφτ ηασ αν ιντερ−
εστινγ ιντερπρετατιον. Ιφ τηε σαµε τιµε−δεπενδεντ στιµυλυσ ισ πρεσεντεδ
αγαιν αφτερ τραινινγ, τηε νευρον ωιτη σ α = 0 ωιλλ ρεσπονδ εαρλιερ τηαν ιτ διδ
πριορ το τραινινγ. Τηυσ, τηε τραινινγ εξπεριενχε χαυσεσ νευρονσ το δεϖελοπ
ρεσπονσεσ τηατ πρεδιχτ τηε βεηαϖιορ οφ τηε στιµυλυσ. Αλτηουγη ωε χηοσε το
δισχυσσ τηε νευρον ωιτη σ α = 0 ασ α ρεπρεσεντατιϖε εξαµπλε, τηε ρεσπονσεσ
οφ οτηερ νευρονσ σηιφτ ιν α σιµιλαρ µαννερ.
Ασψµµετριχ ενλαργεµεντσ ανδ βαχκωαρδ σηιφτσ οφ νευραλ ρεσπονσε τυνινγ
χυρϖεσ σιµιλαρ το τηοσε πρεδιχτεδ φροµ τεµποραλλψ ασψµµετριχ ΛΤΠ ανδ
ΛΤ∆ ινδυχτιον ηαϖε βεεν σεεν ιν ρεχορδινγσ οφ ηιπποχαµπαλ πλαχε χελλσ
ιν ρατσ (σεε χηαπτερ 1) µαδε βψ Μεητα ετ αλ. (1997, 2000). Φιγυρε 8.11Β
σηοωσ τηε αϖεραγε λοχατιον οφ πλαχε ⇒ελδσ (τηε πλαχε−χελλ αναλογ οφ ρεχεπ−
τιϖε ⇒ελδσ) ρεχορδεδ ωηιλε α ρατ ραν ρεπεατεδ λαπσ αρουνδ α χλοσεδ τραχκ.
Οϖερ τιµε, τηε πλαχε ⇒ελδ σηιφτεδ βαχκωαρδ αλονγ τηε τραχκ ρελατιϖε το τηε
διρεχτιον τηε ρατ µοϖεδ.
8.4 Συπερϖισεδ Λεαρνινγ
Ιν υνσυπερϖισεδ λεαρνινγ, ινπυτσ αρε ιµποσεδ δυρινγ α τραινινγ περιοδ ανδ
τηε ουτπυτ ισ δετερµινεδ βψ τηε νετωορκ δψναµιχσ, υσινγ τηε χυρρεντ ϖαλ−
υεσ οφ τηε ωειγητσ. Τηισ µεανσ τηατ τηε νετωορκ ανδ πλαστιχιτψ ρυλε µυστ
υνχοϖερ παττερνσ ανδ ρεγυλαριτιεσ ιν τηε ινπυτ δατα (συχη ασ τηε διρεχτιον οφ
µαξιµαλ ϖαριανχε) βψ τηεµσελϖεσ. Ιν συπερϖισεδ λεαρνινγ, βοτη α σετ οφ ιν−
πυτσ ανδ τηε χορρεσπονδινγ δεσιρεδ ουτπυτσ αρε ιµποσεδ δυρινγ τραινινγ,
σο τηε νετωορκ ισ εσσεντιαλλψ γιϖεν τηε ανσωερ.
Τωο βασιχ προβλεµσ αδδρεσσεδ ιν συπερϖισεδ λεαρνινγ αρε στοραγε, ωηιχη
µεανσ λεαρνινγ τηε ρελατιονσηιπ βετωεεν τηε ινπυτ ανδ ουτπυτ παττερνσ
προϖιδεδ δυρινγ τραινινγ, ανδ γενεραλιζατιον, ωηιχη µεανσ βεινγ αβλε το
προϖιδε αππροπριατε ουτπυτσ φορ ινπυτσ τηατ ωερε νοτ πρεσεντεδ δυρινγ
τραινινγ βυτ αρε σιµιλαρ το τηοσε τηατ ωερε. Τηε µαιν τασκσ ωε χονσιδερ
ωιτηιν τηε χοντεξτ οφ συπερϖισεδ λεαρνινγ αρε χλασσι⇒χατιον οφ ινπυτσ ιντο
τωο χατεγοριεσ ανδ φυνχτιον αππροξιµατιον (ορ ρεγρεσσιον), ιν ωηιχη τηε
ουτπυτ οφ α νετωορκ υνιτ ισ τραινεδ το αππροξιµατε α σπεχι⇒εδ φυνχτιον οφ
τηε ινπυτ. Υνδερστανδινγ γενεραλιζατιον ιν συχη σεττινγσ ηασ βεεν α µαϕορ
φοχυσ οφ τηεορετιχαλ ινϖεστιγατιονσ ιν στατιστιχσ ανδ χοµπυτερ σχιενχε βυτ
λιεσ ουτσιδε τηε σχοπε οφ ουρ δισχυσσιον.
Συπερϖισεδ Ηεββιαν Λεαρνινγ
Ιν συπερϖισεδ λεαρνινγ, παιρεδ ινπυτ ανδ ουτπυτ σαµπλεσ αρε πρεσεντεδ
δυρινγ τραινινγ. Ωε λαβελ τηεσε παιρσ βψ υ µ ανδ v µ φορ µ = 1...Ν Σ , ωηερε