Theoretical Neuroscience
Theoretical Neuroscience
Theoretical Neuroscience
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
10.3 Χαυσαλ Μοδελσ φορ ∆ενσιτψ Εστιµατιον 387<br />
ϖ<br />
Ω<br />
υ<br />
Γ<br />
Φιγυρε 10.9 Νετωορκ φορ τηε Ηελµηολτζ µαχηινε. Ιν τηε βοττοµ−υπ νετωορκ, ρεπρε−<br />
σεντατιοναλ υνιτσ ϖ αρε δριϖεν βψ ινπυτσ υ τηρουγη φεεδφορωαρδ ωειγητσ Ω. Ιντηε<br />
τοπ−δοων νετωορκ, τηε ινπυτσ αρε δριϖεν βψ τηε ϖ υνιτσ τηρουγη φεεδβαχκ ωειγητσ<br />
Γ.<br />
Τηε Ηελµηολτζ Μαχηινε<br />
Τηε Ηελµηολτζ µαχηινε ωασ δεσιγνεδ το αχχοµµοδατε ηιεραρχηιχαλ αρχηι−<br />
τεχτυρεσ τηατ χονστρυχτ χοµπλεξ µυλτιλαψερ ρεπρεσεντατιονσ. Τηε µοδελ ιν−<br />
ϖολϖεσ τωο ιντεραχτινγ νετωορκσ, ονε ωιτη παραµετερσ G τηατ ισ δριϖεν<br />
ιν τηε τοπ−δοων διρεχτιον το ιµπλεµεντ τηε γενερατιϖε µοδελ, ανδ τηε<br />
οτηερ, ωιτη παραµετερσ W , δριϖεν βοττοµ−υπ το ιµπλεµεντ τηε ρεχογνι−<br />
τιον µοδελ. Τηε παραµετερσ αρε δετερµινεδ βψ α µοδι⇒εδ ΕΜ αλγοριτηµ<br />
τηατ ρεσυλτσ ιν ρουγηλψ σψµµετριχ υπδατεσ φορ τηε τωο νετωορκσ.<br />
Ωε χονσιδερ α σιµπλε, τωο−λαψερ, νονλινεαρ Ηελµηολτζ µαχηινε (⇒γ−<br />
υρε 10.9) ωιτη βιναρψ υνιτσ, σο τηατ υ β ανδ v α φορ αλλ β ανδ α τακε τηε ϖαλυεσ<br />
0ορ1.Φορτηισµοδελ,<br />
Π[ϖ;G] = ∏ α<br />
(<br />
φ(γα ) ) v α<br />
(<br />
1 − φ(γα ) ) 1−v α<br />
(10.41)<br />
Π[υ|ϖ;G] = ∏ β<br />
(<br />
φ<br />
(<br />
ηβ + [Γ · ϖ] β<br />
)) υβ<br />
(<br />
1 − φ<br />
(<br />
ηβ + [Γ · ϖ] β<br />
)) 1−υβ<br />
, (10.42)<br />
ωηερε γ α ισ α γενερατιϖε βιασ ωειγητ φορ ουτπυτ α τηατ χοντρολσ ηοω φρε−<br />
θυεντλψ v α = 1, η β ισ τηε γενερατιϖε βιασ ωειγητ φορ υ β , ανδ φ(γ) = 1/(1 +<br />
εξπ(−γ)) ισ τηε στανδαρδ σιγµοιδ φυνχτιον. Τηε γενερατιϖε µοδελ ισ τηυσ<br />
παραµετεριζεδ βψ G = (γ, η, Γ). Αχχορδινγ το τηεσε διστριβυτιονσ, τηε<br />
χοµπονεντσ οφ ϖ αρε µυτυαλλψ ινδεπενδεντ, ανδ τηε χοµπονεντσ οφ υ αρε<br />
ινδεπενδεντ γιϖεν α ⇒ξεδ ϖαλυε οφ ϖ.<br />
Τηε γενερατιϖε µοδελ ισ νονινϖερτιβλε ιν τηισ χασε, σο αν αππροξιµατε<br />
ρεχογνιτιον διστριβυτιον µυστ βε χονστρυχτεδ. Τηισ υσεσ α φορµ σιµιλαρ το<br />
εθυατιον 10.42, εξχεπτ ωιτη βοττοµ−υπ ωειγητσ Ω ανδ βιασεσ ω,<br />
Θ[ϖ; υ,W ] = ∏ α<br />
(<br />
φ<br />
(<br />
wα + [Ω · υ] α<br />
)) vα<br />
(<br />
1 − φ<br />
(<br />
wα + [Ω · υ] α<br />
)) 1−vα<br />
. (10.43)<br />
Τηε παραµετερ λιστ φορ τηε ρεχογνιτιον µοδελ ισ W = (ω, Ω). Τηισ διστρι−<br />
βυτιον ισ ονλψ αν αππροξιµατε ινϖερσε οφ τηε γενερατιϖε µοδελ βεχαυσε ιτ<br />
ιµπλιεσ τηατ τηε χοµπονεντσ οφ ϖ αρε ινδεπενδεντ ωηεν, ιν φαχτ, γιϖεν α<br />
παρτιχυλαρ ινπυτ υ, τηεψ αρε χονδιτιοναλλψ δεπενδεντ δυε το τηε ωαψ τηεψ<br />
ιντεραχτ ιν εθυατιον 10.42 το γενερατε υ (τηισ ισ τηε σαµε ασσυµπτιον ασ ιν<br />
τηε µεαν−⇒ελδ αππροξιµατε διστριβυτιον φορ τηε Βολτζµανν µαχηινε, εξ−<br />
χεπτ τηατ τηε παραµετερσ οφ τηε διστριβυτιον ηερε αρε σηαρεδ βετωεεν αλλ<br />
ινπυτ χασεσ).
Change language