Theoretical Neuroscience

7.6 Στοχηαστιχ Νετωορκσ 275
χαν βε χονστρυχτεδ ον τηε βασισ οφ τηε δετερµινιστιχ σψναπτιχ χυρρεντ δψ−
ναµιχσ οφ α ⇒ρινγ−ρατε µοδελ. Ιν τηισ χασε, Ι ισ δετερµινεδ βψ τηε δψναµιχ
εθυατιον 7.39 ρατηερ τηαν βψ εθυατιον 7.54, ωιτη τηε φυνχτιον Φ ιν εθυα−
τιον 7.39 σετ το τηε σαµε σιγµοιδαλ φυνχτιον ασ ιν εθυατιον 7.55. Τηε ουτ−
πυτ v α ισ δετερµινεδ φροµ Ι α ατ δισχρετε τιµεσ (ιντεγερ µυλτιπλεσ οφ τ).
Τηε ρυλε υσεδ φορ τηισ ισ νοτ τηε δετερµινιστιχ ρελατιονσηιπ v α = Φ(Ι α ) υσεδ
ιν τηε ⇒ρινγ−ρατε ϖερσιον οφ τηε µοδελ. Ινστεαδ, v α ισ δετερµινεδ φροµ Ι α
στοχηαστιχαλλψ, βεινγ σετ το ειτηερ 1 ορ 0 ωιτη προβαβιλιτψ Φ(Ι α ) ορ 1 − Φ(Ι α )
ρεσπεχτιϖελψ. Τηυσ, αλτηουγη τηε µεαν−⇒ελδ φορµυλατιον φορ Ι ισ δετερµιν−
ιστιχ, Ι ισ υσεδ το γενερατε α προβαβιλιτψ διστριβυτιον οϖερ α βιναρψ ουτπυτ
ϖεχτορ ϖ. Βεχαυσε v α = 1 ηασ προβαβιλιτψ Φ(Ι α ) ανδ v α = 0 ηασ προβαβιλιτψ
1 − Φ(Ι α ), ανδ τηε υνιτσ αρε ινδεπενδεντ, τηε προβαβιλιτψ διστριβυτιον φορ
τηε εντιρε ϖεχτορ ϖ ισ
∏Ν v
Θ[ϖ] = Φ(Ι α ) v α
(1 − Φ(Ι α )) 1−v α
. (7.58)
α=1
Τηισ ισ χαλλεδ τηε µεαν−⇒ελδ διστριβυτιον φορ τηε Βολτζµανν µαχηινε. Νοτε
τηατ τηισ διστριβυτιον (ανδ ινδεεδ ϖ ιτσελφ) πλαψσ νο ρολε ιν τηε δψναµιχσ οφ
τηε µεαν−⇒ελδ φορµυλατιον οφ τηε Βολτζµανν µαχηινε. Ιτ ισ, ρατηερ, α ωαψ
οφ ιντερπρετινγ τηε ουτπυτσ.
µεαν−⇒ελδ
διστριβυτιον
Ωε ηαϖε πρεσεντεδ τωο φορµυλατιονσ οφ τηε Βολτζµανν µαχηινε, Γιββσ
σαµπλινγ ανδ τηε µεαν−⇒ελδ αππροαχη, τηατ λεαδ το τηε τωο διστριβυτιονσ
Π[ϖ] ανδ Θ[ϖ] (εθυατιονσ 7.57 ανδ 7.58). Τηε Λψαπυνοϖ φυνχτιον οφ εθυα−
τιον 7.40, ωηιχη δεχρεασεσ στεαδιλψ υνδερ τηε δψναµιχσ οφ εθυατιον 7.39
υντιλ α ⇒ξεδ ποιντ ισ ρεαχηεδ, προϖιδεσ α κεψ ινσιγητ ιντο τηε ρελατιονσηιπ
βετωεεν τηεσε τωο διστριβυτιονσ. Ιν τηε αππενδιξ το τηισ χηαπτερ, ωε σηοω
τηατ τηισ Λψαπυνοϖ φυνχτιον χαν βε εξπρεσσεδ ασ
Λ(Ι) = ∆ ΚΛ (Θ, Π) + Κ , (7.59)
ωηερε Κ ισ α χονσταντ, ανδ ∆ ΚΛ ισ τηε Κυλλβαχκ−Λειβλερ διϖεργενχε (σεε
χηαπτερ 4). ∆ ΚΛ (Θ, Π) ισ α µεασυρε οφ ηοω διφφερεντ τηε τωο διστριβυτιονσ
Θ ανδ Π αρε φροµ εαχη οτηερ. Τηε φαχτ τηατ τηε δψναµιχσ οφ εθυατιον 7.39
ρεδυχεσ τηε Λψαπυνοϖ φυνχτιον το α µινιµυµ ϖαλυε µεανσ τηατ ιτ αλσο
ρεδυχεσ τηε διφφερενχε βετωεεν Θ ανδ Π, ασ µεασυρεδ βψ τηε Κυλλβαχκ−
Λειβλερ διϖεργενχε. Τηισ οφφερσ αν ιντερεστινγ ιντερπρετατιον οφ τηε µεαν−
⇒ελδ δψναµιχσ; ιτ µοδι⇒εσ τηε χυρρεντ ϖαλυε οφ τηε ϖεχτορ Ι υντιλ τηε διστρι−
βυτιον οφ βιναρψ ουτπυτ ϖαλυεσ γενερατεδ βψ τηε µεαν−⇒ελδ φορµυλατιον οφ
τηε Βολτζµανν µαχηινε µατχηεσ ασ χλοσελψ ασ ποσσιβλε (⇒νδινγ ατ λεαστ α λο−
χαλ µινιµυµ οφ ∆ ΚΛ (Θ, Π)) τηε διστριβυτιον γενερατεδ βψ Γιββσ σαµπλινγ.
Ιν τηισ ωαψ, τηε µεαν−⇒ελδ προχεδυρε χαν βε ϖιεωεδ ασ αν αππροξιµατιον
οφ Γιββσ σαµπλινγ.
Τηε ποωερ οφ τηε Βολτζµανν µαχηινε λιεσ ιν τηε ρελατιονσηιπ βετωεεν τηε
διστριβυτιον οφ ουτπυτ ϖαλυεσ, εθυατιον 7.57, ανδ τηε θυαδρατιχ ενεργψ
φυνχτιον οφ εθυατιον 7.56. Τηισ µακεσ ιτ ισ ποσσιβλε το δετερµινε ηοω
χηανγινγ τηε ωειγητσ Μ αφφεχτσ τηε διστριβυτιον οφ ουτπυτ στατεσ. Ιν χηαπ−
τερ 8, ωε πρεσεντ α λεαρνινγ ρυλε φορ τηε ωειγητσ οφ τηε Βολτζµανν µαχηινε
τηατ αλλοωσ Π[ϖ] το αππροξιµατε α προβαβιλιτψ διστριβυτιον εξτραχτεδ φροµ