Theoretical Neuroscience

276 Νετωορκ Μοδελσ
α σετ οφ ινπυτσ. Ιν χηαπτερ 10, ωε στυδψ οτηερ µοδελσ τηατ χονστρυχτ ουτπυτ
διστριβυτιονσ ιν τηισ ωαψ.
Νοτε τηατ τηε µεαν−⇒ελδ διστριβυτιον Θ[ϖ] ισ σιµπλερ τηαν τηε φυλλ Βολτζ−
µανν διστριβυτιον Π[ϖ] βεχαυσε τηε υνιτσ αρε στατιστιχαλλψ ινδεπενδεντ.
Τηισ πρεϖεντσ Θ[ϖ] φροµ προϖιδινγ α γοοδ αππροξιµατιον ιν σοµε χασεσ,
παρτιχυλαρλψ ιφ τηερε αρε νεγατιϖε ωειγητσ βετωεεν υνιτσ τηατ τενδ το µακε
τηειρ αχτιϖιτιεσ µυτυαλλψ εξχλυσιϖε. Τηε µεαν−⇒ελδ αναλψσισ οφ τηε Βολτζ−
µανν µαχηινε ιλλυστρατεσ τηε λιµιτατιονσ οφ ρατε−βασεδ δεσχριπτιονσ ιν χαπ−
τυρινγ τηε φυλλ εξτεντ οφ τηε χορρελατιονσ τηατ χαν εξιστ βετωεεν σπικινγ
νευρονσ.
7.7 Χηαπτερ Συµµαρψ
Τηε µοδελσ ιν τηισ χηαπτερ µαρκ τηε σταρτ οφ ουρ δισχυσσιον οφ χοµπυτα−
τιον, ασ οπποσεδ το χοδινγ. Υσινγ α δεσχριπτιον οφ τηε ⇒ρινγ ρατεσ οφ νετ−
ωορκ νευρονσ, ωε σηοωεδ ηοω το χονστρυχτ λινεαρ ανδ νονλινεαρ φεεδφορ−
ωαρδ ανδ ρεχυρρεντ νετωορκσ τηατ τρανσφορµ ινφορµατιον φροµ ονε χοορδι−
νατε σψστεµ το ανοτηερ, σελεχτιϖελψ αµπλιφψ ινπυτ σιγναλσ, ιντεγρατε ινπυτσ
οϖερ εξτενδεδ περιοδσ οφ τιµε, σελεχτ βετωεεν χοµπετινγ ινπυτσ, συσταιν
αχτιϖιτψ ιν τηε αβσενχε οφ ινπυτ, εξηιβιτ γαιν µοδυλατιον, αλλοω σιµπλε δε−
χοδινγ ωιτη περφορµανχε νεαρ τηε Χραµ×ερ−Ραο βουνδ, ανδ αχτ ασ χοντεντ−
αδδρεσσαβλε µεµοριεσ. Ωε υσεδ νετωορκ ρεσπονσεσ το α χοντινυουσ στιµ−
υλυσ ϖαριαβλε ασ αν εξτενδεδ εξαµπλε. Τηισ λεδ το µοδελσ οφ σιµπλε ανδ
χοµπλεξ χελλσ ιν πριµαρψ ϖισυαλ χορτεξ. Ωε δεσχριβεδ α µοδελ οφ τηε ολ−
φαχτορψ βυλβ ασ αν εξαµπλε οφ α σψστεµ φορ ωηιχη χοµπυτατιον ινϖολϖεσ
οσχιλλατιονσ αρισινγ φροµ ασψµµετριχ χουπλινγσ βετωεεν εξχιτατορψ ανδ ιν−
ηιβιτορψ νευρονσ. Λινεαρ σταβιλιτψ αναλψσισ ωασ αππλιεδ το α σιµπλι⇒εδ ϖερ−
σιον οφ τηισ µοδελ. Ωε αλσο χονσιδερεδ α στοχηαστιχ νετωορκ µοδελ χαλλεδ
τηε Βολτζµανν µαχηινε.
7.8 Αππενδιξ
Λψαπυνοϖ Φυνχτιον φορ τηε Βολτζµανν Μαχηινε
Ηερε, ωε σηοω τηατ τηε Λψαπυνοϖ φυνχτιον οφ εθυατιον 7.40 χαν βε ρεδυχεδ
το εθυατιον 7.59 ωηεν αππλιεδ το τηε µεαν−⇒ελδ ϖερσιον οφ τηε Βολτζµανν
µαχηινε. Ρεχαλλ, φροµ εθυατιον 7.40, τηατ
(
∑Ν v ∫ )
Ια
Λ(Ι) = δζ α ζ α Φ ′ (ζ α ) − η α Φ(Ι α ) − 1 ∑Ν v
Φ(Ι α )Μ αα ′ Φ(Ι α ′) . (7.60)
2
α=1
0
α ′ =1
Ωηεν Φ ισ γιϖεν βψ τηε σιγµοιδαλ φυνχτιον οφ εθυατιον 7.55,
∫ Ια
0
δζ α ζ α Φ ′ (ζ α ) = Φ(Ι α ) λν Φ(Ι α ) + (1 − Φ(Ι α ))λν(1 − Φ(Ι α ))+ κ, (7.61)