Theoretical Neuroscience

8.3 Υνσυπερϖισεδ Λεαρνινγ 311
ιν ωηιχη τηε ροωσ οφ τηε ωειγητ µατριξ Ω αρε διφφερεντ ειγενϖεχτορσ οφ τηε
χορρελατιον µατριξ Θ, ανδ αλλ τηε ελεµεντσ οφ τηε ρεχυρρεντ ωειγητ µατριξ
Μ αρε υλτιµατελψ σετ το 0.
Γοοδαλλ (1960) προποσεδ αν αλτερνατιϖε σχηεµε φορ δεχορρελατινγ διφφερεντ
ουτπυτ υνιτσ. Ιν ηισ µοδελ, τηε φεεδφορωαρδ ωειγητσ Ω αρε κεπτ χονσταντ,
ωηερεασ τηε ρεχυρρεντ ωειγητσ αδαπτ αχχορδινγ το τηε αντι−Ηεββ ρυλε
Γοοδαλλ ρυλε
τ Μ
δΜ
δτ
=−(Ω · υ)ϖ + Ι − Μ. (8.41)
Τηε µινυσ σιγν ιν τηε τερµ −(Ω · υ)ϖ εµβοδιεσ τηε αντι−Ηεββιαν µοδι⇒−
χατιον. Τηισ τερµ ισ νονλοχαλ βεχαυσε τηε χηανγε ιν τηε ωειγητ οφ α γιϖεν
σψναπσε δεπενδσ ον τηε τοταλ φεεδφορωαρδ ινπυτ το τηε ποστσψναπτιχ νευ−
ρον, νοτ µερελψ ον τηε ινπυτ ατ τηατ παρτιχυλαρ σψναπσε (ρεχαλλ τηατ ϖ ≠ Ω·υ
ιν τηισ χασε βεχαυσε οφ τηε ρεχυρρεντ χοννεχτιονσ). Τηε τερµ Ι−Μ πρεϖεντσ
τηε ωειγητσ φροµ γοινγ το 0 βψ πυσηινγ τηεµ τοωαρδ τηε ιδεντιτψ µατριξ
Ι. Υνλικε 8.40, τηισ ρυλε ρεθυιρεσ τηε εξιστενχε οφ αυταπσεσ, σψναπσεσ τηατ α
νευρον µακεσ οντο ιτσελφ (ι.ε., τηε διαγοναλ ελεµεντσ οφ Μ αρε νοτ 0).
Ιφ τηε Γοοδαλλ πλαστιχιτψ ρυλε χονϖεργεσ ανδ στοπσ χηανγινγ Μ, τηε ριγητ
σιδε οφ εθυατιον 8.41 µυστ ϖανιση ον αϖεραγε, ωηιχη ρεθυιρεσ (υσινγ τηε
δε⇒νιτιον οφ Κ)
〈(Ω · υ)ϖ〉=Ι − Μ = Κ −1 . (8.42)
Μυλτιπλψινγ βοτη σιδεσ βψ Κ ανδ υσινγ εθυατιον 8.30, ωε ⇒νδ
〈ϖϖ〉=〈(Κ · Ω · υ)ϖ〉=Ι. (8.43)
Τηισ µεανσ τηατ τηε ουτπυτσ αρε δεχορρελατεδ ανδ αλσο ινδιχατεσ ηιστογραµ
εθυαλιζατιον ιν τηε σενσε, δισχυσσεδ ιν χηαπτερ 4, τηατ αλλ τηε ελεµεντσ οφ ϖ
ηαϖε τηε σαµε ϖαριανχε. Ινδεεδ, τηε Γοοδαλλ αλγοριτηµ χαν βε υσεδ το ιµ−
πλεµεντ τηε δεχορρελατιον ανδ ωηιτενινγ δισχυσσεδ ιν χηαπτερ 4. Βεχαυσε
τηε αντι−Ηεββ ανδ Γοοδαλλ ρυλεσ αρε βασεδ ον λινεαρ µοδελσ, τηεψ αρε χα−
παβλε οφ ρεµοϖινγ ονλψ σεχονδ−ορδερ ρεδυνδανχψ, µεανινγ ρεδυνδανχψ
χηαραχτεριζεδ βψ τηε χοϖαριανχε µατριξ. Ιν χηαπτερ 10, ωε χονσιδερ µοδελσ
τηατ αρε βασεδ ον ελιµινατινγ ηιγηερ ορδερσ οφ ρεδυνδανχψ ασ ωελλ.
Τιµινγ−Βασεδ Πλαστιχιτψ ανδ Πρεδιχτιον
Τεµποραλ Ηεββιαν ρυλεσ ηαϖε βεεν υσεδ ιν τηε χοντεξτ οφ µυλτι−υνιτ νετ−
ωορκσ το στορε ινφορµατιον αβουτ τεµποραλ σεθυενχεσ. Το ιλλυστρατε τηισ,
ωε χονσιδερ α νετωορκ ωιτη τηε αρχηιτεχτυρε οφ ⇒γυρε 8.6. Ωε στυδψ τηε
εφφεχτ οφ τιµε−δεπενδεντ σψναπτιχ πλαστιχιτψ, ασ γιϖεν βψ εθυατιον 8.18, ον
τηε ρεχυρρεντ σψναπσεσ οφ τηε µοδελ, λεαϖινγ τηε φεεδφορωαρδ σψναπσεσ
χονσταντ.
Συπποσε τηατ βεφορε τραινινγ τηε αϖεραγε ρεσπονσε οφ ουτπυτ υνιτ α το α
στιµυλυσ χηαραχτεριζεδ βψ α παραµετερ σ ισ γιϖεν βψ τηε τυνινγ χυρϖε φ α (σ),