Theoretical Neuroscience

324 Πλαστιχιτψ ανδ Λεαρνινγ
Ασ ιν τηε δισχυσσιον οφ τηε δελτα ρυλε, ιτ ισ µορε χονϖενιεντ το υσε α στοχηασ−
τιχ γραδιεντ ασχεντ ρυλε, χηοοσινγ αν ινδεξ µ ατ ρανδοµ το προϖιδε α Μοντε
Χαρλο σαµπλε φροµ τηε αϖεραγε οφ εθυατιον 8.64, ανδ χηανγινγ Ω αβ αχχορδ−
ινγ το τηε δεριϖατιϖε ωιτη ρεσπεχτ το τηισ σαµπλε,
∂ λν Π[ϖ µ |υ µ ; Ω]
= ∂ (
)
−Ε(υ µ , ϖ µ ) − λν Ζ(υ µ )
∂Ω αβ ∂Ω αβ
= v µ α υ µ β − ∑ ϖ
Π[ϖ|υ µ ; Ω]v α υ µ β . (8.65)
Τηισ δεριϖατιϖε ηασ α σιµπλε φορµ φορ τηε Βολτζµανν µαχηινε βεχαυσε οφ
εθυατιον 8.62.
συπερϖισεδ
λεαρνινγ φορ Ω
Βεφορε ωε δεριϖε τηε στοχηαστιχ γραδιεντ ασχεντ λεαρνινγ ρυλε, ωε νεεδ το
εϖαλυατε τηε συµ οϖερ ϖ ιν τηε λαστ τερµ οφ τηε βοττοµ λινε οφ εθυατιον 8.65.
Φορ Βολτζµανν µαχηινεσ ωιτη ρεχυρρεντ χοννεχτιονσ, λικε τηε ονεσ ωε δισ−
χυσσ βελοω, τηισ αϖεραγε χαννοτ βε χαλχυλατεδ τραχταβλψ. Ηοωεϖερ, ιτ χαν
βε εστιµατεδ βψ στοχηαστιχ σαµπλινγ. Ιν οτηερ ωορδσ, ωε αππροξιµατε τηε
αϖεραγε οϖερ ϖ βψ α σινγλε ινστανχε οφ α παρτιχυλαρ ουτπυτ ϖ(υ µ ) γενερατεδ
βψ τηε Βολτζµανν µαχηινε ιν ρεσπονσε το τηε ινπυτ υ µ . Μακινγ τηισ ρε−
πλαχεµεντ ανδ σεττινγ τηε χηανγε ιν τηε ωειγητ µατριξ προπορτιοναλ το τηε
δεριϖατιϖε ιν εθυατιον 8.65, ωε οβταιν τηε λεαρνινγ ρυλε
(
Ω αβ → Ω αβ + ǫ w v
µ
α υ µ β − v α(υ µ )υ µ )
β . (8.66)
Εθυατιον 8.66 ισ ιδεντιχαλ ιν φορµ το τηε περχεπτρον λεαρνινγ ρυλε οφ εθυα−
τιον 8.56, εξχεπτ τηατ ϖ(υ µ ) ισ χοµπυτεδ φροµ τηε ινπυτ υ µ βψ Γιββσ σαµ−
πλινγ ρατηερ τηαν βψ α δετερµινιστιχ ρυλε. Ασ δισχυσσεδ ατ τηε ενδ οφ τηε
πρεϖιουσ σεχτιον, εθυατιον 8.66 χαν αλσο βε ιντερπρετεδ ασ τηε διφφερενχε
οφ Ηεββιαν ανδ αντι−Ηεββιαν τερµσ. Τηε Ηεββιαν τερµ v α µ υ µ β
ισ βασεδ ον
τηε σαµπλε ινπυτ υ µ ανδ ουτπυτ ϖ µ . Τηε αντι−Ηεββιαν τερµ −v α (υ µ )υ µ β
ινϖολϖεσ τηε σαµπλε ινπυτ υ µ ανδ αν ουτπυτ ϖ(υ µ ) γενερατεδ βψ τηε Βολτζ−
µανν µαχηινε ιν ρεσπονσε το τηισ ινπυτ, ρατηερ τηαν τηε σαµπλε ουτπυτ
ϖ µ . Ιν οτηερ ωορδσ, ωηερεασ ϖ µ ισ προϖιδεδ εξτερναλλψ, ϖ(υ µ ) ισ οβταινεδ
βψ Γιββσ σαµπλινγ, υσινγ τηε ινπυτ υ µ ανδ τηε χυρρεντ ϖαλυεσ οφ τηε νετ−
ωορκ ωειγητσ. Τηε οϖεραλλ λεαρνινγ ρυλε ισ χαλλεδ α χοντραστιϖε Ηεββ ρυλε
χοντραστιϖε Ηεββ βεχαυσε ιτ δεπενδσ ον τηε διφφερενχε βετωεεν Ηεββιαν ανδ αντι−Ηεββιαν
ρυλε τερµσ. Ω αβ στοπσ χηανγινγ ωηεν τηε αϖεραγε οφ v α (υ µ )υ µ β
οϖερ τηε ινπυτ
σαµπλεσ ανδ νετωορκ ουτπυτσ εθυαλσ τηε αϖεραγε οφ v α µ υ µ β
οϖερ τηε ινπυτ
ανδ ουτπυτ σαµπλεσ.
ωακε πηασε
σλεεπ πηασε
Συπερϖισεδ λεαρνινγ φορ τηε Βολτζµανν µαχηινε ισ ρυν ιν τωο πηασεσ, βοτη
οφ ωηιχη υσε α σαµπλε ινπυτ υ µ . Τηε ⇒ρστ πηασε, σοµετιµεσ χαλλεδ τηε
ωακε πηασε, ινϖολϖεσ Ηεββιαν πλαστιχιτψ βετωεεν σαµπλε ινπυτσ ανδ ουτ−
πυτσ. Τηε δψναµιχσ οφ τηε Βολτζµανν µαχηινε πλαψ νο ρολε δυρινγ τηισ
πηασε. Τηε σεχονδ πηασε, χαλλεδ τηε σλεεπ πηασε, χονσιστσ οφ τηε νετωορκ
δρεαµινγ (ι.ε., ιντερναλλψ γενερατινγ) ϖ(υ µ ) ιν ρεσπονσε το υ µ βασεδ ον
τηε χυρρεντ ωειγητσ Ω. Τηεν, αντι−Ηεββιαν λεαρνινγ βασεδ ον υ µ ανδ
ϖ(υ µ ) ισ αππλιεδ το τηε ωειγητ µατριξ. Γιββσ σαµπλινγ ισ τψπιχαλλψ υσεδ το
γενερατε ϖ(υ µ ) φροµ υ µ . Ιτ ισ αλσο ποσσιβλε το υσε τηε µεαν−⇒ελδ µετηοδ