Theoretical Neuroscience
Theoretical Neuroscience
Theoretical Neuroscience
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
8.4 Συπερϖισεδ Λεαρνινγ 325<br />
ωε δισχυσσεδ ιν χηαπτερ 7 το αππροξιµατε τηε αϖεραγε οϖερ τηε διστριβυτιον<br />
Π[ϖ|υ µ ; Ω] ιν εθυατιον 8.65.<br />
Συπερϖισεδ λεαρνινγ χαν αλσο βε ιµπλεµεντεδ ιν α Βολτζµανν µαχηινε<br />
ωιτη ρεχυρρεντ χοννεχτιονσ. Ωηεν τηε ουτπυτ υνιτσ αρε χοννεχτεδ βψ α<br />
σψµµετριχ ρεχυρρεντ ωειγητ µατριξ Μ (ωιτη Μ αα = 0), τηε ενεργψ φυνχτιον<br />
ισ<br />
Ε(υ, ϖ) =−ϖ · Ω · υ − 1 ϖ · Μ · ϖ. (8.67)<br />
2<br />
Εϖερψτηινγ τηατ ηασ βεεν δεσχριβεδ τηυσ φαρ αππλιεσ το τηισ χασε, εξχεπτ τηατ<br />
τηε ουτπυτ ϖ(υ µ ) φορ τηε σαµπλε ινπυτ υ µ µυστ νοω βε χοµπυτεδ βψ ρε−<br />
πεατεδ Γιββσ σαµπλινγ, υσινγ Φ( ∑ β Ω αβυ µ β + ∑ α Μ ′ αα ′v α ′) φορ τηε προβαβιλ−<br />
ιτψ τηατ v α = 1 (σεε χηαπτερ 7). Ρεπεατεδ σαµπλινγ ισ ρεθυιρεδ το ασσυρε τηατ<br />
τηε νετωορκ ρελαξεσ το τηε εθυιλιβριυµ διστριβυτιον οφ εθυατιον 8.62. Μοδ−<br />
ι⇒χατιον οφ τηε φεεδφορωαρδ ωειγητ Ω αβ τηεν προχεεδσ ασ ιν εθυατιον 8.66.<br />
Τηε χοντραστιϖε Ηεββ ρυλε φορ ρεχυρρεντ ωειγητ Μ αα ′ ισ σιµιλαρλψ γιϖεν βψ<br />
Μ αα ′ → Μ αα ′ + ǫ µ<br />
( v<br />
µ<br />
α v µ α ′ − v α(υ µ )v α ′(υ µ ) ) . (8.68)<br />
συπερϖισεδ<br />
λεαρνινγ φορ Μ<br />
Τηε Βολτζµανν µαχηινε ωασ οριγιναλλψ ιντροδυχεδ ιν τηε χοντεξτ οφ υνσυ−<br />
περϖισεδ ρατηερ τηαν συπερϖισεδ λεαρνινγ. Ιν τηε συπερϖισεδ χασε, ωε τρψ το<br />
µακε τηε διστριβυτιον Π[ϖ|υ; Ω] µατχη τηε προβαβιλιτψ διστριβυτιον Π[ϖ|υ]<br />
τηατ γενερατεσ τηε σαµπλεσ παιρσ (υ µ , ϖ µ ). Ιν τηε υνσυπερϖισεδ χασε, νο<br />
ουτπυτ σαµπλε ϖ µ ισ προϖιδεδ, ανδ ινστεαδ ωε τρψ το µακε τηε νετωορκ<br />
γενερατε α προβαβιλιτψ διστριβυτιον οϖερ υ τηατ µατχηεσ τηε διστριβυτιον<br />
Π[υ] φροµ ωηιχη τηε σαµπλεσ υ µ ωερε δραων. Ασ ωε δισχυσσ ιν χηαπτερ 10,<br />
α φρεθυεντ γοαλ οφ προβαβιλιστιχ υνσυπερϖισεδ λεαρνινγ ισ το γενερατε νετ−<br />
ωορκ διστριβυτιονσ τηατ µατχη τηε διστριβυτιονσ οφ ινπυτ δατα.<br />
Ωε χονσιδερ τηε υνσυπερϖισεδ Βολτζµανν µαχηινε ωιτηουτ ρεχυρρεντ χον−<br />
νεχτιονσ. Ιν αδδιτιον το τηε διστριβυτιον οφ εθυατιον 8.62 φορ ϖ, γιϖεν α σπε−<br />
χι⇒χ ινπυτ υ, τηε ενεργψ φυνχτιον οφ τηε Βολτζµανν µαχηινε χαν βε υσεδ το<br />
δε⇒νε α διστριβυτιον οϖερ βοτη υ ανδ ϖ δε⇒νεδ βψ<br />
Π[υ, ϖ; Ω] =<br />
εξπ(−Ε(υ, ϖ))<br />
Ζ<br />
ωιτη<br />
Ζ = ∑ εξπ(−Ε(υ, ϖ)) . (8.69)<br />
υ,ϖ<br />
Τηισ χαν βε υσεδ το χονστρυχτ α διστριβυτιον φορ υ αλονε βψ συµµινγ οϖερ<br />
τηε ποσσιβλε ϖαλυεσ οφ ϖ,<br />
Π[υ; Ω] = ∑ ϖ<br />
Π[υ, ϖ; Ω] = 1 ∑<br />
εξπ(−Ε(υ, ϖ)) . (8.70)<br />
Ζ<br />
Τηε γοαλ οφ υνσυπερϖισεδ λεαρνινγ φορ τηε Βολτζµανν µαχηινε ισ το µακε<br />
τηισ διστριβυτιον µατχη, ασ χλοσελψ ασ ποσσιβλε, τηε διστριβυτιον οφ ινπυτσ<br />
Π[υ].<br />
ϖ
Change language