Theoretical Neuroscience

8.2 Σψναπτιχ Πλαστιχιτψ Ρυλεσ 285
Ιν τηε µοδελσ οφ πλαστιχιτψ τηατ ωε στυδψ, τηε αχτιϖιτψ οφ εαχη νευρον ισ
δεσχριβεδ βψ α χοντινυουσ ϖαριαβλε, νοτ βψ α σπικε τραιν. Ασ ιν χηαπτερ 7,
ωε υσε τηε λεττερ υ το δενοτε τηε πρεσψναπτιχ λεϖελ οφ αχτιϖιτψ ανδ v το δε−
νοτε τηε ποστσψναπτιχ αχτιϖιτψ. Νορµαλλψ, υ ανδ v ρεπρεσεντ τηε ⇒ρινγ ρατεσ
οφ τηε πρε− ανδ ποστσψναπτιχ νευρονσ, ιν ωηιχη χασε τηεψ σηουλδ βε ρε−
στριχτεδ το νοννεγατιϖε ϖαλυεσ. Σοµετιµεσ, το σιµπλιφψ τηε αναλψσισ, ωε
ιγνορε τηισ χονστραιντ. Αν αχτιϖιτψ ϖαριαβλε τηατ τακεσ βοτη ποσιτιϖε ανδ
νεγατιϖε ϖαλυεσ χαν βε ιντερπρετεδ ασ τηε διφφερενχε βετωεεν α ⇒ρινγ ρατε
ανδ α ⇒ξεδ βαχκγρουνδ ρατε, ορ βετωεεν τηε ⇒ρινγ ρατεσ οφ τωο νευρονσ
βεινγ τρεατεδ ασ α σινγλε υνιτ. Φιναλλψ, το αϖοιδ εξτρανεουσ χονϖερσιον φαχ−
τορσ ιν ουρ εθυατιονσ, ωε τακε υ ανδ v το βε διµενσιονλεσσ µεασυρεσ οφ
τηε χορρεσπονδινγ νευροναλ ⇒ρινγ ρατεσ ορ αχτιϖιτιεσ. Φορ εξαµπλε, υ ανδ v
χουλδ βε τηε ⇒ρινγ ρατεσ οφ τηε πρε− ανδ ποστσψναπτιχ νευρονσ διϖιδεδ βψ
τηειρ µαξιµυµ ορ αϖεραγε ϖαλυεσ.
Ιν τηε ⇒ρστ παρτ οφ τηισ χηαπτερ, ωε χονσιδερ υνσυπερϖισεδ λεαρνινγ ασ απ−
πλιεδ το α σινγλε ποστσψναπτιχ νευρον δριϖεν βψ Ν υ πρεσψναπτιχ ινπυτσ ωιτη
αχτιϖιτιεσ ρεπρεσεντεδ βψ υ β φορ β = 1, 2,...,Ν υ , ορ χολλεχτιϖελψ βψ τηε ϖεχ−
τορ υ. Ιν υνσυπερϖισεδ λεαρνινγ, τηε ποστσψναπτιχ αχτιϖιτψ v ισ εϖοκεδ δι−
ρεχτλψ βψ τηε πρεσψναπτιχ αχτιϖιτψ υ. Ωε δεσχριβε v υσινγ α λινεαρ ϖερσιον
οφ τηε ⇒ρινγ−ρατε µοδελ δισχυσσεδ ιν χηαπτερ 7,
Ν
δv
υ
τ ρ
δτ =−v + ω · υ =−v + ∑
w β υ β , (8.1)
β=1
ωηερε τ ρ ισ α τιµε χονσταντ τηατ χοντρολσ τηε ⇒ρινγ−ρατε ρεσπονσε δψναµ−
ιχσ. Ρεχαλλ τηατ w β ισ τηε σψναπτιχ ωειγητ τηατ δεσχριβεσ τηε στρενγτη οφ
τηε σψναπσε φροµ πρεσψναπτιχ νευρον β το τηε ποστσψναπτιχ νευρον, ανδ ω
ισ τηε ϖεχτορ φορµεδ βψ αλλ Ν υ σψναπτιχ ωειγητσ. Τηε ινδιϖιδυαλ σψναπτιχ
ωειγητσ χαν βε ειτηερ ποσιτιϖε, ρεπρεσεντινγ εξχιτατιον, ορ νεγατιϖε, ρεπ−
ρεσεντινγ ινηιβιτιον. Εθυατιον 8.1 δοεσ νοτ ινχλυδε ανψ νονλινεαρ δεπεν−
δενχε οφ τηε ⇒ρινγ ρατε ον τηε τοταλ σψναπτιχ ινπυτ, νοτ εϖεν ρεχτι⇒χατιον.
Υσινγ συχη α λινεαρ ⇒ρινγ−ρατε µοδελ χονσιδεραβλψ σιµπλι⇒εσ τηε αναλψσισ
οφ σψναπτιχ πλαστιχιτψ. Τηε ρεστριχτιον το νοννεγατιϖε v ειτηερ ωιλλ βε ιµ−
ποσεδ βψ ηανδ ορ, σοµετιµεσ, ωιλλ βε ιγνορεδ το σιµπλιφψ τηε αναλψσισ.
ωειγητ ϖεχτορ ω
Τηε προχεσσεσ οφ σψναπτιχ πλαστιχιτψ αρε τψπιχαλλψ µυχη σλοωερ τηαν τηε
δψναµιχσ χηαραχτεριζεδ βψ εθυατιον 8.1. Ιφ, ιν αδδιτιον, τηε στιµυλι αρε
πρεσεντεδ σλοωλψ ενουγη το αλλοω τηε νετωορκ το ατταιν ιτσ στεαδψ−στατε
αχτιϖιτψ δυρινγ τραινινγ, ωε χαν ρεπλαχε τηε δψναµιχ εθυατιον 8.1 βψ
v = ω · υ, (8.2)
ωηιχη ινσταντανεουσλψ σετσ v το τηε ασψµπτοτιχ στεαδψ−στατε ϖαλυε δετερ−
µινεδ βψ εθυατιον 8.1. Τηισ ισ τηε εθυατιον ωε πριµαριλψ υσε ιν ουρ αναλ−
ψσισ οφ σψναπτιχ πλαστιχιτψ ιν υνσυπερϖισεδ λεαρνινγ. Σψναπτιχ µοδι⇒χα−
τιον ισ ινχλυδεδ ιν τηε µοδελ βψ σπεχιφψινγ ηοω τηε ϖεχτορ ω χηανγεσ ασ α
φυνχτιον οφ τηε πρε− ανδ ποστσψναπτιχ λεϖελσ οφ αχτιϖιτψ. Τηε χοµπλεξ τιµε
χουρσε οφ πλαστιχιτψ σεεν ιν ⇒γυρε 8.1 ισ σιµπλι⇒εδ βψ µοδελινγ ονλψ τηε
λονγερ−λαστινγ χηανγεσ.