Theoretical Neuroscience
Theoretical Neuroscience
Theoretical Neuroscience
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
286 Πλαστιχιτψ ανδ Λεαρνινγ<br />
Τηε Βασιχ Ηεββ Ρυλε<br />
βασιχ Ηεββ ρυλε<br />
Τηε σιµπλεστ πλαστιχιτψ ρυλε τηατ φολλοωσ τηε σπιριτ οφ Ηεββσ χονϕεχτυρε<br />
τακεσ τηε φορµ<br />
τ w<br />
δω<br />
δτ<br />
= vυ, (8.3)<br />
ωηερε τ w ισ α τιµε χονσταντ τηατ χοντρολσ τηε ρατε ατ ωηιχη τηε ωειγητσ<br />
χηανγε. Τηισ εθυατιον, ωηιχη ωε χαλλ τηε βασιχ Ηεββ ρυλε, ιµπλιεσ τηατ σι−<br />
µυλτανεουσ πρε− ανδ ποστσψναπτιχ αχτιϖιτψ ινχρεασεσ σψναπτιχ στρενγτη. Ιφ<br />
τηε αχτιϖιτψ ϖαριαβλεσ ρεπρεσεντ ⇒ρινγ ρατεσ, τηε ριγητ σιδε οφ τηισ εθυατιον<br />
χαν βε ιντερπρετεδ ασ α µεασυρε οφ τηε προβαβιλιτψ τηατ τηε πρε− ανδ ποστ−<br />
σψναπτιχ νευρονσ βοτη ⇒ρε σπικεσ δυρινγ α σµαλλ τιµε ιντερϖαλ.<br />
Σψναπτιχ πλαστιχιτψ ισ γενεραλλψ µοδελεδ ασ α σλοω προχεσσ τηατ γραδυαλλψ<br />
µοδι⇒εσ σψναπτιχ ωειγητσ οϖερ α τιµε περιοδ δυρινγ ωηιχη τηε χοµπο−<br />
νεντσ οφ υ τακε α ϖαριετψ οφ διφφερεντ ϖαλυεσ. Εαχη διφφερεντ σετ οφ υ ϖαλυεσ<br />
ισ χαλλεδ αν ινπυτ παττερν. Τηε διρεχτ ωαψ το χοµπυτε τηε ωειγητ χηανγεσ<br />
ινδυχεδ βψ α σεριεσ οφ ινπυτ παττερνσ ισ το συµ τηε σµαλλ χηανγεσ χαυσεδ βψ<br />
εαχη οφ τηεµ σεπαρατελψ. Α χονϖενιεντ αλτερνατιϖε ισ το αϖεραγε οϖερ αλλ οφ<br />
τηε διφφερεντ ινπυτ παττερνσ ανδ χοµπυτε τηε ωειγητ χηανγεσ ινδυχεδ βψ<br />
τηισ αϖεραγε. Ασ λονγ ασ τηε σψναπτιχ ωειγητσ χηανγε σλοωλψ ενουγη, τηε<br />
αϖεραγινγ µετηοδ προϖιδεσ α γοοδ αππροξιµατιον οφ τηε ωειγητ χηανγεσ<br />
προδυχεδ βψ τηε σετ οφ ινπυτ παττερνσ.<br />
αϖεραγεδ Ηεββ ρυλε<br />
χορρελατιον−βασεδ<br />
ρυλε<br />
ινπυτ χορρελατιον<br />
µατριξ Θ<br />
Ιν τηισ χηαπτερ, ωε υσε ανγλε βραχκετσ 〈〉το δενοτε αϖεραγεσ οϖερ τηε εν−<br />
σεµβλε οφ ινπυτ παττερνσ πρεσεντεδ δυρινγ τραινινγ (ωηιχη ισ α σλιγητλψ διφ−<br />
φερεντ υσαγε φροµ εαρλιερ χηαπτερσ). Τηε Ηεββ ρυλε οφ εθυατιον 8.3, ωηεν<br />
αϖεραγεδ οϖερ τηε ινπυτσ υσεδ δυρινγ τραινινγ, βεχοµεσ<br />
τ w<br />
δω<br />
δτ<br />
=〈vυ〉. (8.4)<br />
Ιν υνσυπερϖισεδ λεαρνινγ, v ισ δετερµινεδ βψ εθυατιον 8.2, ανδ ιφ ωε<br />
ρεπλαχε v ωιτη ω · υ, ωε χαν ρεωριτε τηε αϖεραγεδ πλαστιχιτψ ρυλε (εθυα−<br />
τιον 8.4) ασ<br />
δω<br />
τ w<br />
δτ = Θ · ω ορ τ δw β<br />
w =<br />
δτ<br />
∑Ν υ<br />
ωηερε Θ ισ τηε ινπυτ χορρελατιον µατριξ γιϖεν βψ<br />
β ′ =1<br />
Θ ββ ′w β ′ , (8.5)<br />
Θ =〈υυ〉 ορ Θ ββ ′ =〈υ β υ β ′〉. (8.6)<br />
Εθυατιον 8.5 ισ χαλλεδ α χορρελατιον−βασεδ πλαστιχιτψ ρυλε βεχαυσε οφ τηε<br />
πρεσενχε οφ τηε ινπυτ χορρελατιον µατριξ.<br />
Ωηετηερ ορ νοτ τηε πρε− ανδ ποστσψναπτιχ αχτιϖιτψ ϖαριαβλεσ αρε ρεστριχτεδ το<br />
νοννεγατιϖε ϖαλυεσ, τηε βασιχ Ηεββ ρυλε ισ υνσταβλε. Το σηοω τηισ, ωε χον−<br />
σιδερ τηε σθυαρε οφ τηε λενγτη οφ τηε ωειγητ ϖεχτορ, |ω| 2 = ω · ω = ∑ β w2 β .<br />
Τακινγ τηε δοτ προδυχτ οφ εθυατιον 8.3 ωιτη ω, ανδ νοτινγ τηατ δ|ω| 2 /δτ =
Change language