Theoretical Neuroscience
Theoretical Neuroscience
Theoretical Neuroscience
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
314 Πλαστιχιτψ ανδ Λεαρνινγ<br />
τηε συπερσχριπτ ισ α λαβελ ανδ δοεσ νοτ σιγνιφψ ειτηερ α χοµπονεντ οφ υ ορ<br />
α ποωερ οφ v. Φορ α φεεδφορωαρδ νετωορκ, αν αϖεραγεδ Ηεββιαν πλαστιχιτψ<br />
ρυλε φορ συπερϖισεδ λεαρνινγ χαν βε οβταινεδ φροµ εθυατιον 8.4 βψ αϖεραγ−<br />
ινγ αχροσσ αλλ τηε ινπυτ−ουτπυτ παιρσ,<br />
τ w<br />
δω<br />
δτ =〈vυ〉= 1 Ν Σ<br />
Ν Σ<br />
∑<br />
v µ υ µ . (8.44)<br />
µ=1<br />
χροσσ−χορρελατιον<br />
συπερϖισεδ λεαρνινγ<br />
ωιτη δεχαψ<br />
Ασ ιν τηε υνσυπερϖισεδ Ηεββιαν λεαρνινγ χασε, τηε σψναπτιχ µοδι⇒χατιον<br />
προχεσσ δεπενδσ ον τηε ινπυτ−ουτπυτ χροσσ−χορρελατιον 〈vυ〉. Ηοωεϖερ, φορ<br />
συπερϖισεδ λεαρνινγ, τηε ουτπυτ v = v µ ισ ιµποσεδ ον τηε νετωορκ ρατηερ<br />
τηαν βεινγ δετερµινεδ βψ ιτ.<br />
Υνλεσσ τηε χροσσ−χορρελατιον ισ 0, εθυατιον 8.44 νεϖερ στοπσ χηανγινγ τηε<br />
σψναπτιχ ωειγητσ. Τηε µετηοδσ ιντροδυχεδ το σταβιλιζε Ηεββιαν µοδι⇒−<br />
χατιον ιν τηε χασε οφ υνσυπερϖισεδ λεαρνινγ χαν βε αππλιεδ το συπερϖισεδ<br />
λεαρνινγ ασ ωελλ. Ηοωεϖερ, σταβιλιζατιον ισ εασιερ ιν τηε συπερϖισεδ χασε,<br />
βεχαυσε τηε ριγητ σιδε οφ εθυατιον 8.44 δοεσ νοτ δεπενδ ον ω. Τηερεφορε,<br />
τηε γροωτη ισ ονλψ λινεαρ ρατηερ τηαν εξπονεντιαλ ιν τιµε, µακινγ α σιµπλε<br />
µυλτιπλιχατιϖε σψναπτιχ ωειγητ δεχαψ τερµ συφ⇒χιεντ φορ σταβιλιτψ. Τηισ ισ<br />
ιντροδυχεδ βψ ωριτινγ τηε συπερϖισεδ λεαρνινγ ρυλε ασ<br />
τ w<br />
δω<br />
δτ<br />
=〈vυ〉−αω, (8.45)<br />
φορ σοµε ποσιτιϖε χονσταντ α. Ασψµπτοτιχαλλψ, εθυατιον 8.45 µακεσ ω =<br />
〈vυ〉/α, τηατ ισ, τηε ωειγητσ βεχοµε προπορτιοναλ το τηε ινπυτ−ουτπυτ χροσσ−<br />
χορρελατιον.<br />
Ωε δισχυσσ συπερϖισεδ Ηεββιαν λεαρνινγ ιν τηε χασε οφ α σινγλε ουτπυτ υνιτ,<br />
βυτ τηε ρεσυλτσ χαν βε γενεραλιζεδ το µυλτιπλε ουτπυτσ.<br />
Χλασσι⇒χατιον ανδ τηε Περχεπτρον<br />
περχεπτρον<br />
βιναρψ χλασσι⇒ερ<br />
Τηε περχεπτρον ισ α νονλινεαρ µαπ τηατ χλασσι⇒εσ ινπυτσ ιντο ονε οφ τωο<br />
χατεγοριεσ. Ιτ τηυσ αχτσ ασ α βιναρψ χλασσι⇒ερ. Το µακε τηε µοδελ χονσιστεντ<br />
ωηεν υνιτσ αρε χοννεχτεδ ιν α νετωορκ, ωε αλσο ρεθυιρε τηε ινπυτσ το βε<br />
βιναρψ. Ωε χαν τηινκ οφ τηε τωο ποσσιβλε στατεσ ασ ρεπρεσεντινγ υνιτσ τηατ<br />
αρε ειτηερ αχτιϖε ορ ιναχτιϖε. Ασ συχη, ωε ωουλδ νατυραλλψ ασσιγν τηεµ τηε<br />
ϖαλυεσ 1 ανδ 0. Ηοωεϖερ, τηε αναλψσισ ισ σιµπλερ (ωηιλε προδυχινγ σιµιλαρ<br />
ρεσυλτσ) ιφ, ινστεαδ, ωε ρεθυιρε τηε ινπυτσ υ α ανδ ουτπυτ v το τακε τηε τωο<br />
ϖαλυεσ +1 ανδ −1.<br />
Τηε ουτπυτ οφ τηε περχεπτρον ισ βασεδ ον α µοδι⇒χατιον οφ τηε λινεαρ ρυλε<br />
οφ εθυατιον 8.2 το<br />
{ +1 ιφ ω · υ − γ ≥ 0<br />
v =<br />
−1 ιφ ω · υ − γ
Change language