Theoretical Neuroscience

260 Νετωορκ Μοδελσ
Νετωορκ Σταβιλιτψ
⇒ξεδ−ποιντ
ρεχυρρεντ µοδελ
ωιτη χυρρεντ
δψναµιχσ
Λψαπυνοϖ
φυνχτιον Λ
Ωηεν α νετωορκ ρεσπονδσ το α χονσταντ ινπυτ βψ ρελαξινγ το α στεαδψ στατε
ωιτη δϖ/δτ=0, ιτ ισ σαιδ το εξηιβιτ ⇒ξεδ−ποιντ βεηαϖιορ. Αλµοστ αλλ τηε νετ−
ωορκ αχτιϖιτψ ωε ηαϖε δισχυσσεδ τηυσ φαρ ινϖολϖεσ συχη ⇒ξεδ ποιντσ. Τηισ
ισ βψ νο µεανσ τηε ονλψ τψπε οφ λονγ−τερµ αχτιϖιτψ τηατ α νετωορκ µοδελ
χαν δισπλαψ. Ιν α λατερ σεχτιον οφ τηισ χηαπτερ, ωε δισχυσσ νετωορκσ τηατ οσ−
χιλλατε, ανδ χηαοτιχ βεηαϖιορ ισ αλσο ποσσιβλε. Βυτ ιφ χερταιν χονδιτιονσ αρε
µετ, α νετωορκ ωιλλ ινεϖιταβλψ ρεαχη α ⇒ξεδ ποιντ ιν ρεσπονσε το χονσταντ
ινπυτ. Τηε τηεορψ οφ Λψαπυνοϖ φυνχτιονσ, το ωηιχη ωε γιϖε αν ινφορµαλ
ιντροδυχτιον, χαν βε υσεδ το προϖε ωηεν τηισ οχχυρσ.
Ιτ ισ εασιερ το δισχυσσ τηε Λψαπυνοϖ φυνχτιον φορ α νετωορκ ιφ ωε υσε τηε
⇒ρινγ−ρατε δψναµιχσ οφ εθυατιον 7.6 ρατηερ τηαν εθυατιον 7.8. Φορ α νετ−
ωορκ µοδελ, τηισ µεανσ εξπρεσσινγ τηε ϖεχτορ οφ νετωορκ ⇒ρινγ ρατεσ ασ
ϖ = Φ(Ι), ωηερε Ι ισ τηε τοταλ σψναπτιχ χυρρεντ ϖεχτορ (ι.ε., Ι α ρεπρεσεντσ τηε
τοταλ σψναπτιχ χυρρεντ φορ υνιτ α). Ωε ασσυµε τηατ Φ ′ (Ι)>0 φορ αλλ Ι, ωηερε
Φ ′ ισ τηε δεριϖατιϖε οφ Φ. Ι οβεψσ τηε δψναµιχ εθυατιον δεριϖεδ φροµ γεν−
εραλιζινγ εθυατιον 7.6 το α νετωορκ σιτυατιον,
δΙ
τ σ =−Ι + η + Μ · Φ(Ι). (7.39)
δτ
Νοτε τηατ ωε ηαϖε µαδε τηε συβστιτυτιον ϖ = Φ(Ι) ιν τηε λαστ τερµ οφ τηε
ριγητ σιδε οφ τηισ εθυατιον. Εθυατιον 7.39 χαν βε υσεδ ινστεαδ οφ εθυα−
τιον 7.11 το προϖιδε α ⇒ρινγ−ρατε µοδελ οφ α ρεχυρρεντ νετωορκ.
Φορ τηε φορµ οφ ⇒ρινγ−ρατε µοδελ γιϖεν βψ εθυατιον 7.39 ωιτη α σψµµετ−
ριχ ρεχυρρεντ ωειγητ µατριξ, Χοηεν ανδ Γροσσβεργ (1983) σηοωεδ τηατ τηε
φυνχτιον
(
∑Ν v ∫ )
Ια
Λ(Ι) = δζ α ζ α Φ ′ (ζ α ) − η α Φ(Ι α ) − 1 ∑Ν v
Φ(Ι α )Μ αα ′ Φ(Ι α ′) (7.40)
2
α=1
0
ηασ δΛ/δτ < 0 ωηενεϖερ δΙ/δτ ≠ 0. Το σεε τηισ, τακε τηε τιµε δεριϖατιϖε οφ
εθυατιον 7.40 ανδ υσε 7.39 το οβταιν
δΛ(Ι)
=− 1 ∑Ν v
( ) 2
Φ ′ δΙα
(Ι α ) . (7.41)
δτ τ σ δτ
α=1
Βεχαυσε Φ ′ > 0, Λ δεχρεασεσ υνλεσσ δΙ/δτ = 0. Ιφ Λ ισ βουνδεδ φροµ βελοω,
ιτ χαννοτ δεχρεασε ινδε⇒νιτελψ, σο Ι = η + Μ · ϖ µυστ χονϖεργε το α ⇒ξεδ
ποιντ. Τηισ ιµπλιεσ τηατ ϖ µυστ χονϖεργε το α ⇒ξεδ ποιντ ασ ωελλ.
α ′ =1
Ωε ηαϖε ρεθυιρεδ τηατ Φ ′ (Ι)>0 φορ αλλ ϖαλυεσ οφ ιτσ αργυµεντ Ι. Ηοωεϖερ,
ωιτη σοµε τεχηνιχαλ χοµπλιχατιονσ, ιτ χαν βε σηοων τηατ τηε Λψαπυνοϖ
φυνχτιον ωε ηαϖε πρεσεντεδ αλσο αππλιεσ το τηε χασε οφ τηε ρεχτιφψινγ αχ−
τιϖατιον φυνχτιον Φ(Ι) = [Ι] + , εϖεν τηουγη ιτ ισ νοτ διφφερεντιαβλε ατ Ι = 0
ανδ Φ ′ (Ι) = 0φορΙ < 0. Χονϖεργενχε το α ⇒ξεδποιντ,ορονεοφασετοφ
⇒ξεδ ποιντσ, ρεθυιρεσ τηε Λψαπυνοϖ φυνχτιον το βε βουνδεδ φροµ βελοω.
Ονε ωαψ το ενσυρε τηισ ισ το υσε α σατυρατινγ αχτιϖατιον φυνχτιον, σο τηατ
Φ(Ι) ισ βουνδεδ ασ Ι →∞. Ανοτηερ ωαψ ισ το κεεπ τηε ειγενϖαλυεσ οφ Μ
συφ⇒χιεντλψ σµαλλ.